Tcnicas Bsicas do Jornalismo de Dados - Mdulo 1

Na era do Big Data, o jornalismo de

dados tem profunda importncia para
a sociedade
Traduzido e adaptado por Natlia Mazotte do artigo
In the age of big data, data
journalism has profound importance for society
, de Alex Howard
A
promessa do jornalismo de dados foi um tema forte durante toda a edio de 2012 da
conferncia

do National Institute for Computer-Assisted Reporting (ou Instituto Nacional de Reportagem

Assistida por Computador, o NICAR como conhecido por sua sigla em ingls). Em 2012, dar sentido
ao
big data atravs de narrativa e contexto, particularmente de dados no estruturados, ser um
objetivo central para os cientistas de dados ao redor do mundo, quer eles trabalhem em redaes,

em Wall Street ou no Vale do Silcio. Esse objetivo ser possibilitado substancialmente por um
conjunto crescente de ferramentas gratuitas, sejam elas utilizadas por tcnicos do governo
como
feito em Chicago
, tcnicos de sade ou programadores em redaes.

No NICAR 2012, voc podia ver literalmente o cdigo que sustenta o futuro do jornalismo sendo
escrito - ou, pelo menos, projetado - nas paredes.
"O nvel de energia era incrvel", disse David Herzog, professor associado de jornalismo impresso e
digital da Escola de Jornalismo do Missouri, em uma entrevista por email aps o NICAR. "Eu no vi
participantes com as mos suadas e preocupados com o futuro do jornalismo. Eles estavam muito
ocupados o construindo."
Assim como
softwares cvicos abertos fazem cada vez mais parte do governo,
softwares de cdigo
aberto
esto desempenhando um papel fundamental no novo jornalismo de dados
.

"Ferramentas gratuitas e de cdigo aberto dominaram a conversa", disse Herzog. " evidente a
partir dos painis e das aulas prticas que ferramentas de cdigo livre e aberto eliminaram a
barreira de entrada em termos de muitos custos de software."
Embora muitos programadores sejam agnsticos com relao a quais ferramentas eles usam para
realizar um trabalho, as pessoas que esto construindo e compartilhando ferramentas de jornalismo
de dados esto fazendo isso muitas vezes por meio de cdigos de fonte aberta. Como
Dan Sinker
,o

Tcnicas Bsicas do Jornalismo de Dados - Mdulo 1

chefe da Parceria de Tecnologia Jornalstica Knight-Mozilla para o Mozilla, escreveu depois,

jornalistas-programadores
levaram o NICAR 12 "a um nvel totalmente novo".

O
Projeto PANDA foi lanado oficialmente em verso
beta em St. Louis, com uma festa de
lanamento. Voc pode conferir o
PANDA no Github
.

O
Overview da organizao Associated Press tornar a procura atravs de documentos
mais fcil.

O
LA Times Datadesk compartilhou uma ferramenta,
Django Bakery
, para transformar
aplicativos Django em arquivos HTML.

Jonathan Soma
, com a ajuda de John Keefe da WNYC, desenvolveu
Tabletop.js como uma
maneira de usar uma planilha pblica do Google Spreadsheets como uma fonte de dados
para um aplicativo Web.
Tabletop est no Github tambm
.

Enquanto uma parte do desenvolvimento de cdigo aberto foi definitivamente impulsionada pelas
exigncias do Knight News Challenge, que financiou o PANDA e o projeto Overview, h tambm um
esprito de colaborao em evidncia em toda esta comunidade.
Este um grupo de pessoas altamente dedicadas "a mostrar o seu trabalho" - e, para os
programadores dentro de redaes, isso significa compartilhar seu cdigo. Para colocar de outra
forma,
programe, no diga
. Sesses sobre Python, Django, mapeamento, Google Refine e Google
Fusion estavam lotadas no NICAR 12.

"Eu acho que esta foi a melhor conferncia NICAR desde a primeira, em 1993", disse Herzog.
"Sempre foi difcil fazer escolhas a partir do cardpio de painis, demonstraes e aulas prticas em
conferncias NICAR. Mas eu achava que havia uma abundncia de sesses excelentes e muito
informativas desenvolvidas pelos prprios participantes. Alm disso, acho que o NICAR oferece uma
boa variedade de opes para iniciantes e especialistas. Por exemplo, os participantes podem
aprender a mapear usando tabelas do Google Fusion na parte para novatos, ou ainda usando
PostGIS e qGIS no nvel avanado. Coletar dados atravs da raspagem tornou-se um negcio cada
vez maior para os jornalistas de dados. Ao mesmo tempo, est ficando mais fcil para as pessoas
com pouca ou nenhuma formao em programao raspar usando ferramentas como planilhas,
Google Refine e ScraperWiki. "

Sobre a histria do NICAR

De acordo com o
IRE
, o NICAR foi fundado em 1989. Desde ento, o instituto j treinou milhares de
jornalistas em como achar, coletar e publicar informaes eletrnicas.

Atualmente, as conferncias NICAR ajudam jornalistas, hackers e programadores a entender as

melhores prticas, mtodos e ferramentas digitais para fazer um jornalismo que envolva anlise de

Tcnicas Bsicas do Jornalismo de Dados - Mdulo 1

dados e reportagem clssica de campo, disse Brant Houston, ex-diretor executivo da

Investigative

Reporters and Editors

, em uma entrevista por e-mail. A conferncia NICAR obviamente tambm
abrange jornalismo investigativo e padres para integridade e credibilidade de dados.

St. Louis foi minha dcima conferncia NICAR, disse

Anthony DeBarros
, o editor snior de banco

de dados do jornal USA Today, em uma entrevista por e-mail. "Minha primeira foi em 1999, em
Boston. A conferncia um lugar onde jornalistas nerds podem se reunir e se lembrar de que no
esto sozinhos em seu amor por nmeros, anlise de dados, programao e pela busca de grandes
histrias ao se debruarem sobre colunas em uma planilha. Ela serve como um importante espao
de treinamento para jornalistas comeando a mexer com dados em redaes, e tem sempre mantido
jornalistas informados sobre os desenvolvimentos tecnolgicos que oferecem novas maneiras de
encontrar e contar histrias. Ao mesmo tempo, sua conexo com o IRE a mantm firmemente
enraizada nos melhores aspectos do jornalismo investigativo - desenterrando histrias que servem
ao bem pblico.

Baby, you can drive my CAR

Muito antes de ns comearmos a falar sobre "jornalismo de dados," a prtica da reportagem
assistida por computador (CAR, na sigla em ingls) foi crescendo ao redor do mundo.
"A prtica de CAR mudou ao longo do tempo assim como as ferramentas e o ambiente no mundo
digital mudaram", disse Houston. "Ela comeou no tempo dos
mainframes no final dos anos 60,
passou para PCs (que aumentaram a velocidade e a flexibilidade de anlise e apresentao) e seguiu

para a Web, o que acelerou a capacidade de coletar, analisar e apresentar dados. Os objetivos
bsicos permaneceram os mesmos. Vasculhar dados e dar sentido a eles, muitas vezes com mtodos
das cincias sociais. A prtica CAR tende a ser um termo "guarda-chuva" - um que inclui jornalismo
de preciso, jornalismo de dados e qualquer metodologia que d sentido a dados, tais como
visualizaes e apresentaes de dados eficazes".
De uma certa forma, o termo CAR ainda existe porque o mundo do jornalismo no cunhou uma
expresso melhor para usar em seu lugar.
"Reportagem assistida por computador" uma expresso antiquada, mas a maioria das pessoas que
a pratica reconhece isso h anos ", disse DeBarros. "Ela se mantm porque ningum ainda inventou
um substituto
matador
." Phil Meyer, o padrinho do movimento, escreveu um livro seminal chamado
Precision Journalism
, e essa expresso tima para descrever esse segmento de CAR que lida com
estatsticas e com o uso de mtodos de cincias sociais na busca por notcias. Como um termo

guarda-chuva, o jornalismo de dados parece ser a melhor descrio no momento, provavelmente

porque abrange adequadamente a maioria das reas que CAR tornou-se - desde a tradicional
reportagem baseada em dados at as novas categorias de aplicativos de notcia.

Tcnicas Bsicas do Jornalismo de Dados - Mdulo 1

A mudana mais significativa na CAR pode muito bem ter ocorrido quando todos os computadores
que estavam sendo utilizados para reportagens foram conectados em rede (com a Internet) na
dcada de 1990.
"Pode parecer bvio, mas claro que a Internet mudou tudo, e por um tempo CAR foi esmagada
enquanto se tentava aprender a navegar na Internet por histrias, e a como fazer o download de
dados", disse Cohen. "Em seguida, houve uma fase em que todo mundo estava desenvolvendo
intranets para entregar registros pblicos dentro de redaes, para ajudar a encontrar pessoas no
prazo de entrega, etc. Por isso, na maior parte do tempo, a CAR estava focada em comunicao, no
na publicao ou apresentao. Agora o pessoal de jornalismo de dados surgiu com outra direo:
pessoas que esto usando dados obtidos por meio de APIs e que muitas vezes ignoram o lado de
reportagem e usam as mesmas tcnicas para entregar a informao no filtrada para os seus leitores
em um formato mais fcil do que o que o governo est nos dando. Mas eu acho que tudo est
comeando a se consolidar - os chamados jornalistas de dados esto cada vez mais interessados em
reportagens, e os reprteres que utilizam as prticas de reportagem assistida por computador de
forma mais tradicional esto interessados na obteno de suas histrias na web de maneiras mais
interessantes.
No importa o nome, os objetivos ainda so os mesmos.
"CAR sempre foi relacionada ao uso de dados para encontrar e contar histrias", disse DeBarros. "E
ainda . O que mudou nos ltimos anos a maior nfase dada a apresentaes on-line (mapas e
aplicativos interativos) e as habilidades de programao necessrias para produzi-las (JavaScript,
HTML / CSS, Django, Ruby on Rails). As conferncias NICAR anteriores giravam muito mais em torno
das melhores histrias do ano e de como usar tcnicas de dados para cobrir determinados tpicos.
Isso ainda existe. Mas, mais recentemente, a conferncia e a prtica cresceram para incluir mais
tpicos de programao e apresentao de dados. Isso reflete o estado da mdia - todas as redaes
esto fazendo hora extra para fazerem o seu contedo funcionar bem na web, no celular e com
aplicativos, e os jornalistas de dados tendem a ser vanguarda nesse sentido, de maneira que no
surpreendente que a conferncia se expanda para incluir esses temas."

O que foi destaque no NICAR 2012?

As ferramentas e tticas em exposio no NICAR foram suficientes para convencer Tyler Dukes da
Universidade de Duke a escrever que "o NICAR me mostrou que eu no sei nada
". Navegue atravs
das
ferramentas, slides e links da NICAR 2012 com curadoria de
Chrys Wu para ter uma noo de
quanta novidade existe l fora. O grande tema, no entanto, sem dvida, eram os dados.

Tcnicas Bsicas do Jornalismo de Dados - Mdulo 1

"Os dados realmente so o fil mignon da conferncia, e uma verificao rpida da programao
mostra as toneladas de sesses realizadas sobre todos os tipos de tpicos de dados, desde o censo
populacional sade, do crime educao", disse DeBarros.
O que eu vi em toda parte no NICAR foi o interesse no apenas em dados, no entanto, mas em como
obt-los e utiliz-los, desde encontrar histrias e fontes que forneam evidncias empricas para
sustentar outras reportagens at contar histrias com mapas e visualizaes.
"Um dos temas principais foi a anlise de dados (usando planilhas, softwares de gerenciamento de
dados, GIS), que d mais credibilidade ao jornalismo ao identificar padres, tendncias e pontos fora
da curva", disse Houston. "Outros temas envolveram coleta e anlise de mdias sociais, visualizao
de dados, planejamento e organizao de histrias baseadas na anlise de dados, programao para
web scraping (coleta de dados na Web) e a combinao de vrios programas da Web."
"Coleta de dados atravs de raspagem web vem se tornando um negcio cada vez maior para os
jornalistas de dados", disse Herzog. "Ao mesmo tempo, est ficando mais fcil para as pessoas com
pouca ou nenhuma formao em programao raspar usando ferramentas como planilhas, Google
Refine e ScraperWiki. Dito isto, uma outra mensagem para mim foi como a programao tem se
tornado importante. No, nem todos os jornalistas ou at mesmo jornalistas de dados precisa
aprender programao. Mas como
Rich Gordon da Medill disse
, todos os jornalistas devem
compreender o que ela pode fazer. "

Cohen destacou os dados de forma similar, especificamente a sua forma. "O tema que eu vi este ano
foi um foco em dados no estruturados, em vez de estruturados", disse ela. "Durante muito tempo,
martelamos governos para nos darem 'dados' em colunas e linhas. Acho que estamos vendo cada
vez mais que as histrias vm da informao no estruturada na mesma intensidade (seno em
intensidade maior) em que vem de documentos, udio e vdeo, tweets e outras mdias sociais - a
partir de fontes governamentais e no-governamentais. O outro tema que h muito mais
colaborao, abertura e compartilhamento entre as empresas de notcias concorrentes. (Veja, por
exemplo, PANDA,
census.ire.org e a API do New York Times sobre financiamento de campanha
).
Mas isso tambm no vai to longe - voc no v a ProPublica compartilhando com outros os dados
mdicos de mais de 40 estados que Dan conseguiu atravs de raspagem (eu tenho que admitir, no
entanto, que eu no pedi a ele para compartilhar.) A IRE sempre foi relacionada a tcnicas e
ferramentas de compartilhamento - agora estamos realmente compartilhando fontes"
Embora os dados dominaram o NICAR 12, outras tendncias tambm eram importantes, como
ferramentas abertas de mapeamento s tendncias macroeconmicas na indstria de mdia.
"Diversas redaes esto sofrendo com a rpida mudana na tecnologia de mapeamento", disse
DeBarros. "Muitos de ns durante anos utilizaram bem o Flash, mas a falta de suporte para Flash no
iPad tem alimentado a explorao em mapas baseados em tecnologias de cdigo aberto que

Tcnicas Bsicas do Jornalismo de Dados - Mdulo 1

trabalham em uma variedade de ambientes online. Muitas redaes esto sofrendo com isso, e o
nmero de sesses de mapeamento na conferncia refletiu isso."
H tambm um contexto significativo para o interesse no desenvolvimento de habilidades de
jornalismo de dados. Mais de 166 jornais dos EUA pararam de publicar edies impressas ou
fecharam completamente desde 2008, resultando
em mais de 35.000 postos de trabalho perdidos ou
em aquisies na indstria de jornal desde 2007.

"A crise econmica e a mudana fundamental no negcio de publicaes impressas significam que
os jornalistas esto mais conscientes sobre a parte comercial do que nunca", disse DeBarros, "e eu
acho que a conferncia refletiu isso mais do que no passado. Houve uma grande sesso sobre como
transformar um bom trabalho em dinheiro por Chase Davis e Matt Wynn, por exemplo. Eu estive em
um painel sobre as razes de negcio para lanar APIs. Existe um mal-estar geral que a maioria dos
jornalistas sente sabendo que a nossa indstria ainda enfrenta tempos econmicos difceis. Assistir
a uma nova gerao de jornalistas abraar a causa emocionante."
Um aspecto notvel dessa nova gerao de jornalistas de dados que ela no parece ou ecoa as
redaes do sculo 20.
"Esta foi a conferncia com maior diversidade de que eu posso me lembrar", disse Herzog. "Eu vi
mais mulheres e negros do que nunca. Tivemos jornalistas de dados de vrios pases: Coria, Reino
Unido, Srvia, Alemanha, Canad, Amrica Latina, Dinamarca, Sucia e mais. Alm disso, a
conferncia tambm muito mais diversificada em termos de habilidades e interesses profissionais.
Empresrios da Web 2.0, programadores, defensores de dados abertos, especialistas em visualizao
de dados, educadores e construtores de aplicativos misturados com jornalistas tradicionais de CAR.
Eu tambm vi um pblico mais jovem, uma nova gerao de jornalistas de dados que est
abraando a causa. Para muitos dos participantes, esta foi a sua primeira conferncia."

Que problemas o jornalismo de dados enfrenta?

Embor as ferramentas estejam evoluindo, ainda h imensos desafios pela frente, desde o lado da
tecnologia em si at o treinamento de redaes. Um grande desafio no solucionado tornar a
anlise de dados no estruturados mais fcil e rpida de fazer. Alm de mim, trabalham com isso a
Sarah Cohen, a equipe DocumentCloud, equipes da AP e Chicago Tribune e muitos outros", disse
Houston.
H tambm a questo de melhorar o nvel de matemtica fundamental entre os profissionais da
mdia. "Isso vai soar bsico, mas ainda h jornalistas de todo o mundo que no podem abrir uma
planilha do Excel, classificar os valores ou escrever uma equao para determinar variao
percentual", disse DeBarros. "E isso inclui um grande nmero de estagirios universitrios que vejo
ano aps ano, o que realmente me assusta. Programas de jornalismo precisam se atualizar e

Tcnicas Bsicas do Jornalismo de Dados - Mdulo 1

entender que vivemos em uma sociedade rica em dados, e conhecimentos de matemtica e

competncias bsicas de anlise de dados so altamente relevantes para o jornalismo. Os mais de
400 jornalistas no NICAR ainda representam uma espcie de
outlier na indstria, e isso tem que
mudar se o jornalismo quiser continuar a ser relevante em uma cultura baseada na informao ".

Qual o papel do jornalismo de dados em governos abertos?

No terceiro dia do NICAR 2012, eu falei sobre "jornalismo de dados abertos, o que, parafraseando
Jonathan Stray, eu defino como a obteno, curadoria e produo de reportagens com dados abertos
de interesse pblico. Como algum que seguiu o movimento de abertura de governos de perto por
alguns anos, os paralelos com o que os hackers cvicos esto fazendo e o que esta comunidade de
jornalistas de dados faz inevitvel. Eles esto focados em colocar dados para
trabalhar pelo bem
pblico
, seja com ou sem fins lucrativos, para utilidade cvica ou responsabilidade governamental.

Para isso, preciso que jornalistas de dados e programadores cvicos usem as poderosas
ferramentas emergentes nas redaes para a exploso de informaes digitais de governos,
empresas e nossos concidados.
A necessidade de jornalismo de dados, no contexto de enormes quantidades de dados do governo
que esto sendo liberados, no poderia ser mais oportuna, sobretudo tendo em conta os problemas
de qualidade persistentes.
"Eu no consigo encontrar quaisquer desvantagens em se ter mais dados em vez de menos", disse
Cohen, "mas eu me preocupo com algumas coisas."
Em primeiro lugar, enfatizou Cohen, h a questo de saber se os dados so abertos desde o incio - e
as consequncias da 'higienizao' feita antes do lanamento. "A demanda por dados estruturados,
limpos com a finalidade de criar aplicativos, pode resultar em registros falsos em vez de registros
reais liberados.
USASpending.gov um bom exemplo de que - ns no temos acesso aos registros
reais de gastos, como faturas e ordens de compra usadas pelas agncias, ou aos sistemas que eles

realmente utilizam para fechar os negcios. Em vez disso, temos um sistema parcial cujo nico
objetivo ser pblico, por isso no tem alta prioridade dentro de agncias e no h nenhuma pista
de auditoria natural nele. Ele no usado para o registro do gasto pblico, por isso, os erros no so
suscetveis de serem descobertos. "
Para lidar com esse tipo de problema, Cohen recomenda obter mais fontes documentais, como um
historiador faria.
To address those two issues, Cohen recommends getting more source documents, as a historian
would. "Eu acho que o que podemos fazer pressionar ainda mais para obter registros reais, e no
se contentar com o que o governo quer nos dar", disse ela. "Ns tambm temos que melhorar no uso

Tcnicas Bsicas do Jornalismo de Dados - Mdulo 1

de registros que no estejam em formatos agradveis e fceis de usar - eles no nasceram assim,
devemos aperfeioar a capacidade de usar os registros sob qualquer forma que eles existem.

Por que o jornalismo de dados e os aplicativos de notcia

so relevantes?
Dado o contexto econmico e tecnolgico, pode parecer que o jornalismo de dados responde por si
mesmo. "CAR, jornalismo de dados, jornalismo de preciso, e aplicativos de notcias so todos
cruciais para o jornalismo - e o seu futuro - porque eles extraem sentido das enormes quantidades
de dados", disse Houston, "para que as pessoas possam entender o mundo e tomar decises e criar
polticas sensatas."
Considerando que o universo dos que praticam jornalismo de dados continua a ser uma pequena
parcela da mdia no mundo, h claramente ainda uma necessidade de seus praticantes mais
importantes mostrarem o porqu dele ser relevante, em termos de impacto.
"Ns estamos vivendo em uma cultura guiada por dados", disse DeBarros. "Um jornalista experiente
no uso de dados pode aproveitar a API do Twitter ou uma planilha para encontrar notcias de um
modo to simples quanto usar o telefone para ligar para uma fonte. No s isso, falamos a muitos
leitores que esto acostumados a lidar com dados todos os dias - contadores, educadores,
pesquisadores, profissionais de marketing. Se queremos captar sua ateno, precisamos falar a
lngua dos dados com autoridade. E eles so inteligentes o suficiente para saber se fizemos nossa
pesquisa corretamente ou no. Quanto aos aplicativos de notcia, eles so importantes porque quando bem executados- podem fazer grandes quantidades de dados ser facilmente compreensveis
e relevantes para cada pessoa que for us-los".

Novas ferramentas, mesmas regras

Embora as plataformas e ferramentas para o jornalismo estejam evoluindo e as fontes de dados
estejam crescendo, muitas outras coisas no mudaram. Por exemplo, a tica que norteia as escolhas
da profisso permanece central para o jornalismo do sculo 21, como o
novo guia de tica da NPR
deixa claro.

Se os desenvolvedores de notcias esto processando dados em tempo real, validando dados no

mundo real ou melhorando a cobertura de notcias com os dados, o bom jornalismo de dados ainda
deve contar uma histria.
Se a ferramenta um smartphone, notebook ou conjunto de dados, ela tambm deve abranger a
reportagem investigativa, como enfatizou Doug Smith do Los Angeles Times na conferncia NICAR.

Tcnicas Bsicas do Jornalismo de Dados - Mdulo 1

Se o texto a prxima fronteira em jornalismo de dados, aproveitando o poder do big data, ser a
servio de contar histrias de forma mais eficaz. Jornalismo digital e cincias humanas digitais esto
se fundindo a servio de uma sociedade mais informada.