Livro - Avaliação de Projetos Econômicos

1 Edio - Brasil - 2012
Dinmica Grca e Editora Ltda.

Ficha Tcnica
ISBN 978-85-98149-04-2
Iniciativa
Fundao Ita Social
Vice Presidente
Antonio Jacinto Matias
Superintendente
Valria Veiga Riccomini
Gerente
Isabel Cristina Santana
Coordenador do Programa
Antonio Bara Bresolin
Coordenao Tcnica
Ita Unibanco
Gerncia de Avaliao de Projetos
Lgia Maria de Vasconcellos
Clarissa Gondim Teixeira
Crditos da Publicao
Organizador
Naercio Menezes Filho
Autores
Betnia Peixoto
Cristine Campos de Xavier Pinto
Lycia Lima
Miguel Nathan Foguel
Ricardo Paes de Barros
Projeto Grco e Diagramao
Andr Godoi Comunicao Completa
Apoio
Carlos Eduardo Garrido
Evandro da Silva e Silva
Gabriela Gall Rosa
Luciana Rocha Vidal
Reviso de textos
Jos Paulo Ferrer
ORGANIZADOR
AUTORES
Betnia Peixoto
Lycia Lima
1 Edio - Brasil
2012
NDICE
Apresentao
Srgio Ribeiro da Costa Werlang
Prefcio
Introduo
Ricardo Paes de Barros - Lycia Lima
1. Avaliao de Impacto de Programas Sociais:
Por que, para que e quando fazer?
Parte I - Mtodos Bsicos de Avaliao de Impacto
2. Modelo de Resultados Potenciais
3. Mtodos de Aleatorizao
4. Diferenas em Diferenas
5. Pareamento

Parte II - Mtodos Avanados de Avaliao de Impacto
6. Variveis Instrumentais
7. Regresso Descontnua
Parte III - Anlise de Retorno Econmico
Betnia Peixoto
8. O Clculo do Retorno Econmico
Bibliografa
Bibliografa Complementar
Autores

07
09

13

31
175
183
185
35
49
69
85
107

107
125
147
149
APRESENTAO
O Ita Unibanco, comprometido com o crescimento social e econmico do
pas, busca a sustentabilidade nos negcios, apostando em relaes dura-
douras, fundamentadas nos seus valores de transparncia, tica, respeito ao
dilogo e capacidade de gesto de riscos. E, por entender que a educao o
principal caminho para o desenvolvimento sustentvel do Brasil, este o foco
do investimento social do banco.
A Fundao Ita Social, um dos braos do investimento social do Ita Uniban-
co, tem como atividades centrais a formulao, a implantao e a disseminao
de metodologias voltadas melhoria de polticas pblicas na rea educacional.
Sua atuao acontece em todo o territrio brasileiro, em parceria com gover-
nos, setor privado e organizaes da sociedade civil.
Os valores estruturantes da cultura do Ita Unibanco permeiam as aes da
Fundao, compartilhando competncias que garantem a execuo das me-
lhores prticas de gesto, na busca de resultados, nos ganhos de escala, no
monitoramento e na avaliao das aes sociais apoiadas e desenvolvidas.
Neste contexto, a Fundao Ita Social e o banco lanaram, em 2004, o Progra-
ma Avaliao Econmica de Projetos Sociais, colocando conhecimentos muito
prprios da empresa a servio da causa social. Com a convico de que a avalia-
o uma importante ferramenta de gesto, diversas aes foram desenvolvi-
das desde ento, entre elas cursos e seminrios ofertados em todo o pas, com
o objetivo de disseminar a cultura da avaliao.
Este livro complementa as estratgias de disseminao dos conceitos da ava-
liao econmica de projetos sociais ao tornar metodologias de impacto, hoje
ainda ensinadas em poucos cursos de ps-graduao, acessveis a alunos de
graduao interessados no tema. Alm disso, traz exemplos de avaliaes de
projetos brasileiros, mostrando que nos ltimos anos a avaliao tem sido as-
sumida, pouco a pouco, como um relevante instrumento de gesto e de pres-
tao de contas sociedade.
Colocamos foco tambm na anlise de retorno econmico, pois, consideran-
do-se que a escassez de recursos para investimentos voltados para o desenvol-
vimento social uma realidade constante, importantssimo garantir que tais
investimentos estejam alcanando seu melhor resultado.
Agradecemos ao coordenador e aos autores deste livro, em especial ao Ricardo
Paes de Barros, por sua dedicao e empenho para a realizao deste projeto,
convencidos, como ns, da importncia da disseminao deste conhecimento.
Esperamos, com mais este esforo de difundir a prtica da avaliao econmica
em projetos sociais, estar, de fato, contribuindo para a maior efcincia e alcan-
ce das aes sociais no nosso pas.
Vice-presidente da Fundao Ita Social
Srgio Ribeiro da Costa Werlang
Vice-presidente do Ita Unibanco
Avaliao Econmica de Projetos Socias l 9
PREFCIO
H meros 10 anos, a avaliao econmica de projetos sociais, tema deste livro,
era uma rea praticamente inexplorada por economistas e cientistas sociais no
Brasil. Os primeiros estudos brasileiros nesse campo, avaliando o impacto de
programas de treinamento e emprego, foram realizados no incio deste sculo.
A atuao da Fundao Ita Social na rea de avaliao de impacto e retorno
econmico iniciou-se em 2004, quando o programa Razes e Asas foi avaliado
economicamente.
Desde ento, a Fundao Ita Social oferece cursos para gestores de organiza-
es no governamentais, do setor pblico e de fundaes empresariais, alm
de seminrios internacionais e regionais e cursos avanados para alunos de
ps-graduao de todo o pas. A partir do interesse pelos cursos, que quase
sempre geram lista de espera, surgiu a ideia de lanar uma publicao que tra-
tasse do tema com amplitude e rigor, para atingir o pblico que tem interesse
pelo assunto, mas que no tem a possibilidade de presenciar os cursos e semi-
nrios. Dessa ideia nasceu este livro.
A preocupao com avaliao tem ganhado fora na medida em que a socie-
dade brasileira sente a necessidade de usar seus recursos na rea social da me-
lhor forma possvel. Afnal, vrios programas e polticas em diversas reas so
lanados todos os anos nos vrios nveis da administrao pblica e existe a
necessidade de sabermos o real efeito desses programas nas vidas das pessoas.
Da mesma forma, o trabalho desenvolvido no terceiro setor, principalmente
na rea social, precisa prestar contas sociedade e para os seus fnanciadores,
mostrando que os recursos esto sendo gastos da melhor forma possvel.
Mas, o que signifca avaliar economicamente os projetos sociais? Como os au-
tores mostram nos captulos que se seguem, a avaliao econmica com-
posta de duas partes: avaliao de impacto e clculo do retorno econmico.
A avaliao de impacto usa ferramentas estatsticas para estimar o efeito de
um programa sobre os seus benefcirios, ou seja, se o programa atingiu ou
no seus objetivos iniciais e qual a magnitude desse efeito. Para que essa an-
lise seja feita de forma objetiva, a avaliao necessita ter indicadores objetivos
e mensurveis, que possam ser utilizados para aferir o sucesso do programa.
Alm disso, necessrio que haja um grupo de controle, ou seja, pessoas, es-
colas ou regies que no foram atendidas pelo programa e que so parecidas
com o grupo que sofreu a interveno, chamado, seguindo a tradio da litera-
tura mdica, de grupo de tratamento.
l Fundao Ita Social 10
Mas, para que a avaliao seja completa necessrio tambm saber se os be-
nefcios gerados a partir do impacto estimado superam os custos do programa,
ou seja, se o projeto vale a pena do ponto de vista econmico. Muitas das ava-
liaes quantitativas existentes no chegam a essa parte, concluindo a avalia-
o com a estimativa do impacto. Entretanto, o clculo do retorno econmico
essencial para verifcar se os custos do programa so altos a ponto de invia-
bilizar a replicao do projeto. Alm disso, essa metodologia permite o clculo
da taxa interna de retorno de diferentes projetos, que podem assim ser compa-
rados. Para esse fm, so utilizadas tcnicas simples de matemtica fnanceira,
que so muito usadas para calcular o retorno de outros tipos de investimentos.
Os autores desse livro esto entre os maiores especialistas em avaliao do
pas. No primeiro captulo, guisa de introduo, Ricardo Paes de Barros e Lycia
Lima discutem por que a avaliao de impacto to necessria. Afnal, por que
deveramos gastar recursos avaliando um programa que, se no apresentasse
resultados satisfatrios, no seria demandado por ningum? Os autores expli-
cam que a avaliao conduzida de forma rigorosa pode mostrar se os resulta-
dos esperados foram efetivamente alcanados, dada a imperfeio com que
diversos programas so colocados em prtica. Alm disso, projetos que tive-
ram impacto comprovado para um grupo especfco ou regio podem ter um
resultado completamente diferente quando implementados em outra regio
ou grupo de pessoas ou at em outro perodo de tempo.
Aps a introduo, a primeira parte do livro trata dos mtodos bsicos de
avaliao de impacto. No segundo captulo, Miguel Nathan Foguel introduz o
modelo bsico que permeia todas as metodologias de avaliao de impacto,
chamado Modelo de Resultados Potenciais. Em seguida, no capitulo 3, Miguel
explica a teoria por detrs do procedimento que considerado o padro-ouro
nas avaliaes de impacto, no qual os grupos de tratamento e controle so es-
colhidos aleatoriamente, ou seja, atravs de um sorteio. Mas, como na grande
parte dos casos prticos a escolha dos tratados no se d de forma aleatria, a
maior parte do livro foca as metodologias no experimentais. Assim, no quarto
captulo, Miguel explica a metodologia de diferenas em diferenas, que deve
ser utilizada quando possumos informaes sobre a varivel de resultado an-
tes e depois da realizao do programa. Por fm, no captulo 5, Cristine Campos
de Xavier Pinto explica o mtodo de pareamento, o mais utilizado na prtica
pelas avaliaes de projetos sociais, que procura comparar grupos de trata-
mento e controle que so parecidos em termos de suas caractersticas.
A segunda parte do livro apresenta mtodos mais sofsticados de avaliao de
impacto. No captulo 6, Cristine explica o mtodo de variveis instrumentais,
que lida com o fato de que a participao no programa pode ser explicada por
fatores que no so observados pelo avaliador. Em seguida, a mesma autora
apresenta o mtodo de regresso descontnua, bastante utilizado atualmente
em artigos acadmicos, que apropriado para os casos em que a probabilida-
de de uma pessoa ou escola ser tratada muda drasticamente dependendo de
fatores especfcos.
A terceira parte do livro lida com o clculo do retorno econmico de um proje-
to social. No captulo 8, Betnia Peixoto explica detalhadamente os conceitos
e o instrumental necessrios para o clculo desse retorno, incluindo aplicaes
prticas e um exemplo para que os conceitos sejam sedimentados. Conceitos
como valor presente lquido, taxa interna de retorno e custo-efetividade so
discutidos nesse captulo.
Este livro foi planejado tendo em vista um pblico formado por alunos de gra-
duao de cursos na rea de cincias sociais, que tenham passado por um bom
curso de estatstica bsica e que tenham interesse por projetos sociais. Gesto-
res de entidades do terceiro setor, fundaes empresariais e dos vrios nveis
do governo tambm acharo o contedo bastante estimulante. Alm disso, o
instrumental desenvolvido nos captulos avanados ideal para os interessa-
dos em se aprofundar na metodologia.
O apndice do livro comenta uma bibliografa complementar nas reas de
estatstica e matemtica fnanceira que pode ser utilizada como auxlio para
entendimento dos captulos do livro. Alm disso, cada captulo traz exerccios
especfcos que servem para ajudar a fxao do contedo. Finalmente, a parte
fnal traz um exerccio prtico para ser resolvido pelos leitores. As bases de da-
dos e as respostas dos exerccios esto disponveis na pgina da Fundao Ita
Social na internet.
Esse livro deve estimular ainda mais a realizao de avaliaes de impacto, para
que possamos conhecer e replicar os projetos sociais e polticas pblicas com
maior retorno econmico, de forma a gerar o mximo de valor para a socieda-
de brasileira.

CAPTULO 1
Avaliao de Impacto
de Programas Sociais
Por que, para que e quando fazer?
Lycia Lima
1
Introduo
A deciso dos formuladores de polticas pblicas de investir em um programa
social sempre parte do pressuposto de que aquela interveno ter um impac-
to positivo sobre um conjunto de resultados de interesse coletivo ou individual
que, em ltima instncia, deve trazer benefcios para ao menos uma parcela da
sociedade. Mas ser que, na prtica, as polticas pblicas e os projetos sociais
do terceiro setor atingem os objetivos para os quais foram desenhados?
O principal propsito de uma avaliao de impacto verifcar se, na realidade,
um determinado programa est alcanando os objetivos, ou impactos, espe-
rados. Entenderemos por impacto as diferenas entre a situao dos partici-
pantes do projeto aps terem participado e a situao em que estariam, caso
no tivessem tido acesso a ele. Dessa forma, o impacto do programa defnido
como o contraste entre duas situaes: uma real (a situao dos participantes
aps a participao no projeto) e outra hipottica (a situao em que estariam
caso no tivessem tido a oportunidade de participar do programa). Esta def-
nio de impacto, entretanto, apenas um ponto de partida. Os demais cap-
tulos deste livro se encarregaro de aprofundar essa discusso e apresentar os
diferentes mtodos existentes para a estimao do impacto.
Avaliaes de impacto certamente consomem recursos que, alternativamente,
poderiam ser investidos diretamente no prprio programa. A crescente expan-
so de estudos dessa natureza sinaliza que a importncia de dedicar esforos e
recursos para este fm cada vez mais reconhecida. Mas por que avaliaes de
impacto so importantes?
Os resultados dessas avaliaes tm uma variedade de utilidades potenciais.
A mais bvia delas utilizar as informaes produzidas para a melhoria do de-
senho do prprio programa em questo. Alm disso, os resultados produzidos
podem ser usados para auxiliar no desenho de outros programas subsequen-
tes na mesma comunidade ou at mesmo para informar formuladores de po-
lticas que pretendam desenhar programas com objetivos similares em outras
comunidades.
Este livro busca descrever a metodologia necessria para a realizao de ava-
liaes de impacto. Entretanto, antes de iniciar a discusso metodolgica,
fundamental entender por que, para que e quando avaliar programas sociais.
2
Por que avaliar o impacto de
um programa social?
Nossa sociedade investe uma grande quantidade de recursos, tanto humanos
quanto fnanceiros, em programas sociais. Avaliaes de impacto nos permi-
tem verifcar se estes recursos esto de fato sendo aplicados da melhor manei-
ra possvel. No entanto, avaliaes de impacto tambm consomem recursos.
Ser que a realizao da avaliao de impacto do programa sempre o melhor
uso daqueles recursos ou seria melhor revert-los em um maior investimento
no prprio programa? Afnal, os benefcios de uma avaliao de impacto supe-
ram seus custos?
2.1 No evidente que um programa
amplamente utilizado tem impacto?
A justifcativa da importncia da aplicao de recursos para avaliar impacto
no to bvia. Uma contra-argumentao vlida poderia ser fundamentada
na alegao de que pouco provvel que um programa com acesso voluntrio
no tenha impacto sobre aqueles que o procuram e dele se utilizam.
Por que algum dedicaria tempo e esforo a um programa que no lhe traz
benefcios e, portanto, no tem qualquer impacto? A ampla utilizao de um
programa por ao menos um segmento da sociedade no seria por si s indcio
de existncia de impacto? De fato, pouco provvel que a maioria dos progra-
mas existentes no traga benefcio algum a seus benefcirios. Afnal, em sua
maioria, os programas sociais so voluntariamente utilizados pelos seus bene-
fcirios que, portanto, devem estar convencidos da sua utilidade.
Em sua maioria, os programas sociais se baseiam em teorias que preveem um
elo entre o acesso ao programa e impactos positivos sobre um conjunto pr-
determinado de resultados. Portanto, os formuladores de polticas pblicas,
geralmente, contam com argumentos tericos e, frequentemente, com evi-
dncia emprica, ambos sinalizando a efccia do programa em questo.
Assim, investigar a existncia de impacto de um programa cuidadosamente
desenhado e voluntariamente utilizado pela sociedade no seria questionar a
racionalidade dos usurios e a validade dos argumentos tericos e empricos
adotados no desenho do programa? Existem duas possveis respostas a essa
pergunta.
Uma das motivaes de uma avaliao de impacto , precisamente, a validao
das teorias que serviram de base ao desenho do programa. Por este motivo,
to comum e importante a avaliao de impacto de programas em escala
piloto. A avaliao de um piloto busca verifcar se a ligao entre o acesso ao
programa e os resultados esperados vlida, para que o programa possa ser
expandido com menos incerteza sobre o seu potencial de alcanar sucesso. Si-
milarmente, uma avaliao de impacto tambm til para confrmar se as per-
cepes dos usurios sobre a efccia do programa coincidem com a realidade.
Por outro lado, podemos argumentar que o objetivo de uma avaliao de im-
pacto vai muito alm de simplesmente determinar a existncia ou no do im-
pacto. Mesmo que tenhamos convico da existncia de impacto de um dado
programa, ainda assim ser necessrio conduzir uma avaliao para que pos-
samos entender o impacto. Tanto para o gestor do programa, quanto para os
usurios, to ou mais importante do que saber se h algum impacto conhe-
cer a magnitude do impacto, assim como saber sobre quais dimenses o pro-
grama tem impacto e que canais permitem que este impacto se manifeste. Este
conhecimento indispensvel para o aperfeioamento do desenho do progra-
ma e para a melhoria na sua adequao s necessidades de seus usurios.
2.2 Demanda pelos mais ricos evidncia
de impacto?
Muitos dos programas sociais existentes so ofertados gratuitamente para a
parcela mais pobre da sociedade. Nesse caso, adeso voluntria ao programa
deve ser necessariamente interpretada como indcio do impacto do programa?
Pode-se argumentar que no. possvel que os pobres tenham conhecimen-
to limitado sobre a efccia daquele servio ou programa. Alm disso, como a
oferta gratuita, os benefcirios aderem porque no perdem nada participan-
do.
Contudo, o que dizer do impacto de um servio oferecido gratuitamente aos
mais pobres, mas para o qual existe proviso privada para suprir a demanda
dos mais ricos, que pagam preos signifcativos pelo acesso? Assumindo que a
qualidade dos servios oferecidos gratuitamente aos pobres seja igual quali-
dade da oferta privada aos ricos, no seria a existncia de demanda pelos mais
ricos evidncia sufciente de que o servio teria impacto? Com base na teoria
econmica, podemos argumentar que a existncia de demanda por um servi-
o com preo signifcativo sim um indcio de impacto. Por que ento a neces-
sidade de realizar uma avaliao de impacto nesta situao?
Em primeiro lugar, observadas as diferenas entre os pobres e os ricos, pode-
se argumentar que o fato de um servio ou programa ter impacto sobre um
grupo no implica necessariamente que ter o mesmo impacto sobre o outro
grupo. Dessa forma, havendo demanda dos mais ricos por um servio, ainda
assim ser necessrio avaliar a magnitude do impacto sobre os mais pobres.
Em segundo lugar, mesmo quando no h dvidas sobre a existncia do im-
pacto do servio, pode ser importante avaliar a sua magnitude sobre os mais
pobres. Sabemos que, em geral, as prioridades dos indivduos (e, portanto, o
valor dos benefcios) variam com o nvel de renda. Benefcios que tm eleva-
do valor para os mais ricos podem no ser classifcados como prioritrios para
os mais pobres. Logo, a evidncia da efccia do programa entre os mais ricos
pode no ser sufciente para justifcar a implantao de um programa anlogo
para os mais pobres. Nesses casos, justifca-se, pois, a utilizao da avaliao
de impacto para produzir evidncia direta do impacto do programa e do valor
desses benefcios para o grupo dos mais pobres.
2.3 A relao entre impacto, ambiente
socioeconmico e caractersticas da
populao benefciada
Formuladores de polticas pblicas, geralmente, desenham um programa so-
cial visando a uma populao-alvo especfca sendo benefciada em um am-
biente pr-estabelecido. Assim, natural que existam poucas dvidas sobre o
impacto de um determinado programa quando este implementado no local
e momento corretos e benefcia a populao para a qual foi originalmente de-
senhado. Porm, este mesmo programa implementado em um ambiente com-
pletamente distinto do planejado provavelmente no ter o mesmo resultado.
de se esperar que a mesma ao dirigida a outra populao, outro local e ou-
tro momento do tempo no benefcie da mesma forma os que dela participam.
Uma das utilidades da avaliao de impacto , precisamente, determinar em
que medida a efccia de um programa depende das caractersticas da popula-
o benefciada, do momento no tempo e da natureza do ambiente socioeco-
nmico em que ocorre.
2.4. Impacto potencial versus impacto
efetivo
O impacto de um programa no depende apenas do seu desenho e da sua
adequao ao perfl dos benefcirios e ao ambiente socioeconmico em que
estes vivem. Igualmente determinante da magnitude do impacto a forma
como o programa implementado. Mesmo sendo poucas as dvidas sobre o
impacto potencial de um programa bem desenhado e focalizado, podem per-
sistir grandes incertezas relativas ao efetivo impacto desse programa quando
implementado de maneira defciente. Neste caso, o objetivo da avaliao de
impacto no investigar o impacto terico ou potencial do programa, mas sim
sobre o seu impacto efetivo, dada a maneira imperfeita como foi implementa-
do.
Em suma, o impacto de um programa depende no apenas do seu impacto
potencial, mas est tambm intrinsecamente ligado s condies da sua im-
plementao. Ainda que um programa tenha comprovadamente impacto po-
tencial, fundamental avaliar o seu impacto real. Nesse caso, a avaliao de
impacto til para verifcar qual parcela do impacto potencial foi desperdiada
devido a falhas no processo de implementao.
Esse dilema inerente avaliao de impacto de polticas pblicas. Em vrias
reas, existem estudos tericos que, consensualmente, apontam para a im-
portncia de determinadas aes. Em contraste, muitas avaliaes de impacto
encontram impactos irrisrios dessas mesmas aes aps a implementao.
Assim, o frequente descompasso entre os resultados tericos e empricos re-
fora ainda mais a necessidade de uma avaliao de impacto, essencial para
discernir entre o impacto do programa como originalmente desenhado (im-
pacto potencial) e o impacto do programa como de fato implementado (im-
pacto efetivo).
2.5 Avaliao de impacto como forma de
monitoramento
Os impactos de um determinado programa social difcilmente so invariveis
ao longo do tempo. Assim, nada garante que um programa avaliado hoje con-
tinue tendo o mesmo impacto no prximo ano ou no ano subsequente.
Podemos apontar pelo menos quatro razes para justifcar essa potencial in-
constncia temporal do impacto. Primeiramente, o impacto de um programa,
normalmente, est relacionado com o tempo de exposio do benefcirio, po-
dendo tanto declinar rapidamente logo aps o trmino do programa como
persistir por um longo perodo de tempo. Em segundo lugar, ao longo do tem-
po podem ocorrer futuaes na qualidade da gesto do programa e, conse-
quentemente, na efccia da implementao, gerando oscilaes na magnitu-
de do impacto. Em terceiro lugar, o impacto pode variar ao longo do tempo se
for sensvel a mudanas no ambiente socioeconmico. Por fm, se o perfl da
populao benefciada pelo programa se modifca ao longo do tempo, de se
esperar que a magnitude do impacto tambm se altere.
Devido a cada um desses motivos, mesmo programas que tm impacto inicial
de magnitude conhecida devem ser continuamente avaliados. Por um lado,
uma avaliao contnua a nica maneira de identifcar os impactos de m-
dio e longo prazos do programa e, portanto, a nica forma de avaliar seu grau
de maturao e persistncia. Por outro lado, repetidas avaliaes do mesmo
programa podem revelar como o impacto do programa responde a mudanas
no ambiente socioeconmico e no perfl dos benefcirios. Por fm, mesmo no
caso em que o perfl da populao benefciada e o ambiente socioeconmico
permanecem estveis, avaliaes de impacto peridicas podem ser de extre-
ma utilidade como um instrumento de gesto. Neste caso, futuaes na mag-
nitude do impacto podem indicar uma melhoria ou deteriorao na forma de
funcionamento e, portanto, na gesto do programa.
Os argumentos apresentados sinalizam que o impacto de um programa tem
carter mutvel ao longo do tempo. Portanto, uma avaliao de impacto deve
ser considerada como uma ferramenta para a utilizao contnua, j que as
concluses auferidas a partir de sua utilizao pontual no so necessariamen-
te vlidas intertemporalmente.
2.6 A questo da relao custo-efetividade
A existncia de impacto no sufciente para justifcar a alocao de recursos
adicionais para um dado programa. Em uma sociedade, se existirem programas
alternativos que perseguem os mesmos objetivos, a opo por um determina-
do programa depender de este ser aquele que produz o maior impacto por
unidade de custo. Esse critrio comumente denominado custo-efetividade.
Assim, em um cenrio onde os recursos so escassos e diferentes programas
competem pelos mesmos recursos, a avaliao de impacto essencial para
mensurar a magnitude do impacto e calcular a relao custo-efetividade de
cada programa. Mesmo que o impacto de um dado programa seja inquestio-
nvel, este programa pode no ser aquele com a melhor relao custo-efetivi-
dade e, portanto, pode no ser o melhor candidato a receber os recursos dis-
ponveis. Assim, para se avaliar a relao custo-efetividade de um programa,
necessrio no apenas reconhecer a existncia do impacto, mas tambm men-
surar a sua magnitude.
2.7 A questo da relao custo-benefcio
Para que recursos sejam alocados a um programa, no basta que o programa
tenha impacto ou mesmo que seja aquele com a melhor relao custo-efeti-
vidade. necessrio tambm que o valor dos benefcios do programa supere
seus custos, isto , que o programa tenha uma relao custo-benefcio favo-
rvel. No clculo desta relao, deve-se considerar todos os custos e benef-
cios sociais, tanto aqueles sobre os agentes diretamente envolvidos como as
externalidades sobre o restante da sociedade. Mesmo diante da evidncia de
que um programa tem impacto, essencial ainda assim estimar a magnitude
deste impacto para que se possa verifcar se o valor dos benefcios produzidos
superam os custos demandados. Muitas vezes, diferentes aes com objetivos
anlogos no diferem substancialmente com relao ao seu custo. Nestes ca-
sos, so as diferenas na magnitude do impacto que iro determinar qual o
programa que tem a melhor relao custo-benefcio.
Em princpio, possvel argumentar que todos os programas com relao cus-
to-benefcio favorvel deveriam ser implementados. Esta certamente a regra
quando no existe interdependncia entre os programas. De fato, se os bene-
fcios e os custos de um programa no dependem da existncia ou operao
dos demais, ento no existe razo para que todos os programas com relao
custo-benefcio favorvel no sejam simultaneamente implementados.
No entanto, em geral, os benefcios e custos de programas alternativos depen-
dem da existncia ou operao de seus concorrentes, e as relaes custo-bene-
fcio so estimadas supondo que estes no foram nem sero implementados.
Neste caso, o procedimento decisrio deve ser necessariamente sequencial.
Primeiro decide-se sobre a implementao do programa com a melhor relao
custo-benefcio. Em seguida, novas relaes custo-benefcio so recalculadas
para os programas no implantados, levando em considerao que aquele de
melhor relao custo-benefcio foi efetivamente implantado. Aps esta reava-
liao, caso ainda exista algum programa com relao custo-benefcio favor-
vel, o melhor deles deve ser implantado e o procedimento novamente condu-
zido. Note que esta anlise sequencial requer a estimao do impacto de cada
programa tanto na ausncia quanto na presena dos demais.
2.8 Por que no investigar diretamente a
propenso a pagar?
A seo anterior demonstrou que, em ltima instncia, o objetivo de uma ava-
liao de impacto deve ser investigar a relao custo-benefcio de um progra-
ma. Para tanto, realiza-se uma comparao entre os custos e o valor dos benef-
cios do programa, sendo o ltimo obtido a partir do produto entre a magnitude
do impacto e o valor atribudo a este pelo conjunto de benefcirios.
Nesse sentido, uma avaliao de impacto apresenta duas limitaes. Primei-
ramente, um programa tem geralmente uma variedade de impactos, alguns
intencionais e muitos outros colaterais. Neste caso, para obter a relao cus-
to-benefcio, seria necessrio estimar a magnitude de todos esses impactos, o
que j seria um desafo, dado que muitos desses impactos so de difcil men-
surao. Em segundo lugar, mesmo que fosse possvel estimar a magnitude de
todos os impactos, ainda seria preciso estimar o valor que cada benefcirio
atribui a cada um deles. De fato, a avaliao de impacto apenas um primeiro
passo para se estimar a relao custo-benefcio.
Caso a mensurao da magnitude de cada impacto, seguida de sua valorao,
fosse a nica alternativa para se obter o valor dos benefcios, sem dvida, a ava-
liao de impacto seria essencial para a estimao da relao custo-benefcio
de um programa. No entanto, existe uma alternativa para estimar o valor dos
benefcios: a propenso a pagar do benefcirio pelo servio.
O valor total de um programa, benefcio ou servio para um benefcirio pode
ser avaliado a partir da investigao do valor pelo qual ele estaria disposto a
trocar o acesso ao programa, medido em termos monetrios ou em termos do
acesso a outros bens e servios. As tcnicas utilizadas para a investigao da
propenso a pagar podem ser classifcadas em dois grandes grupos: (i) com-
portamental e (ii) no comportamental.
Nos mtodos no comportamentais, pergunta-se diretamente ao benefcirio
quanto ele estaria disposto a pagar pelo acesso a um determinado programa,
benefcio ou servio. O desafo neste caso que frequentemente a resposta
pode no ser fdedigna. Como a pergunta se refere a uma situao hipottica,
as pessoas tendem a superestimar o valor que elas efetivamente estariam dis-
postas a pagar. Existem, entretanto, protocolos pr-estabelecidos que defnem
como investigaes desta natureza podem ser conduzidas visando mitigar a
possibilidade de resultados pouco confveis.
Por outro lado, nos mtodos comportamentais, o valor do benefcio inferido
a partir da observao direta do efetivo comportamento do benefcirio. No
caso dos servios para os quais existe um mercado, verifcamos que o preo
de mercado o valor (ou a propenso a pagar) que o benefcirio marginal
atribui ao servio em questo. Quando no existe mercado, ainda assim o va-
lor associado ao servio pode ser inferido com base na observao de outros
comportamentos. No caso de um posto de sade, por exemplo, o valor pode
ser avaliado a partir do raio de cobertura do servio. Quanto mais valorizado
o servio, maior a distncia que os benefcirios estaro dispostos a percorrer
para acess-lo.
Em resumo, a vantagem metodolgica da utilizao da propenso a pagar
que este mtodo estima diretamente o valor do benefcio, evitando problemas
potenciais causados pela necessidade de estimar mltiplos impactos e o valor
atribudo a cada um deles. Ao contrrio da avaliao de impacto, no neces-
srio primeiramente decompor o impacto nos seus diversos componentes e
posteriormente valorar cada um destes individualmente. Sendo assim, dado
que a avaliao de impacto se apresenta como um instrumento mais complexo
e que via de regra exige maior esforo, qual seria ento a justifcativa para a sua
utilizao?
Existem essencialmente trs justifcativas que sustentam o uso da avaliao
de impacto. Em primeiro lugar, quando o impacto de um programa ocorre via
poucas dimenses de fcil mensurao, a magnitude do impacto pode ser ava-
liada de forma relativamente incontestvel com base em mtodos experimen-
tais. Alm disso, na ausncia de mercados para o servio ou benefcio em ques-
to, a utilizao da propenso a pagar poderia levar a estimativas ainda menos
confveis. No entanto, importante ressaltar que um aumento do nmero de
dimenses do impacto e o surgimento de mercado para o servio ou benefcio
em questo tornaria o uso da propenso a pagar mais fundamentada vis--vis
utilizao da avaliao de impacto.
Em segundo lugar, pode-se argumentar que a utilizao da propenso a pagar
tem sua confabilidade reduzida quando existem externalidades e o programa
em questo tem impactos sobre no benefcirios. Neste caso, se o nmero de
dimenses do impacto limitado e o grupo de no benefcirios impactados
pelo programa est bem defnido, uma avaliao de impacto experimental
provavelmente capaz de produzir estimativas mais confveis.
Por fm, o uso da propenso a pagar tem a grande limitao de no permitir a
identifcao dos motivos pelos quais os benefcirios valorizam aquele servi-
o. Assim, sabe-se quanto o programa valorizado, mas nada se sabe sobre os
mecanismos pelos quais o programa infuencia o bem-estar dos benefcirios.
Essa limitao especialmente problemtica no caso de programas multiface-
tados, na medida em que impossvel distinguir qual componente do progra-
ma est contribuindo mais ou menos para a satisfao do usurio.
Do ponto de vista dos benefcirios, possvel que seja sufciente saber o grau
de satisfao dos benefcirios com o programa de um modo geral. Porm,
para os gestores e aqueles que fnanciam o programa, essa informao pode
ser insufciente.
Existem duas razes que justifcam a necessidade de identifcar os impactos
especfcos de um programa. Por um lado, possvel que os responsveis pelo
fnanciamento valorizem os impactos especfcos de maneira distinta dos be-
nefcirios. Em outras palavras, aqueles que fnanciam o programa podem
querer se assegurar de que o programa est causando satisfao pela via pre-
tendida e no por algum outro motivo qualquer. Por outro lado, identifcar a
magnitude dos impactos especfcos importante para avaliar a adequao
do programa no alcance dos seus objetivos especfcos. Essa informao pode
ser til tanto para o redesenho do prprio programa quanto para o desenho
de outros programas em contextos nos quais alguns impactos especfcos so
particularmente valorizados.
2.9 Heterogeneidade do programa e da
populao-alvo
A grande maioria das intervenes heterognea e oferecida a uma cliente-
la tambm heterognea. Na maioria dos casos, possvel ajustar os diversos
parmetros do programa, desde sua durao e intensidade at seu contedo
e qualidade. de se esperar, portanto, que a magnitude do impacto varie com
estes parmetros e, tambm, segundo as caractersticas do benefcirio e o
contexto socioeconmico em que o programa se insere. Assim, a realizao de
uma avaliao de impacto essencial para entender como a heterogeneidade
na interveno e no perfl dos usurios se refete nos resultados alcanados.
Um mesmo programa pode ter muitos desenhos que variam em termos da sua
efcincia. Uma avaliao de impacto possibilita no apenas identifcar o dese-
nho mais efciente, mas tambm identifcar os segmentos da populao-alvo
para os quais os benefcios so maiores. A identifcao destes grupos fun-
damental para o desenho do programa. No curto prazo, a atuao do progra-
ma deveria se concentrar nos segmentos da populao-alvo que tm a maior
probabilidade de se benefciar destas aes. Por outro lado, a identifcao dos
segmentos que pouco se benefciam das aes igualmente importante na
medida em que revela a necessidade do investimento em aes alternativas
voltadas para estes grupos.
3. Para que avaliar o impacto de
um programa social?
Avaliaes de impacto tm, em geral, uma multiplicidade de usos que podem
ser categorizados em dois grandes grupos: (i) uso interno e (ii) uso externo. O
uso interno de uma avaliao diz respeito sua utilidade para a tomada de
decises sobre o prprio programa avaliado. O uso externo de uma avaliao
relativo utilizao dos resultados da avaliao como instrumento para o
desenho ou a melhoria do desenho de outros programas similares.
3.1 Sobre o uso interno:
o aperfeioamento do desenho,
funcionamento e gesto do
programa avaliado
Em seu uso interno, a avaliao de impacto serve como insumo para a tomada
de deciso sobre o prprio programa. Neste sentido, a mesma pode ser uti-
lizada com vrios objetivos, dependendo do usurio a que se destina. Quan-
do os usurios dos resultados so aqueles responsveis pela continuidade ou
descontinuidade do programa, a avaliao de impacto tipicamente utilizada
como veredicto. Enquanto resultados positivos justifcam a permanncia ou
ampliao de um programa, a ausncia destes d suporte desativao pro-
gressiva ou imediata do programa. Em resumo, em primeiro lugar, uma avalia-
o de impacto serve para (i) justifcar a existncia de um programa e (ii) decidir
sobre sua desativao, continuidade ou expanso.
Outra utilidade interna potencial de uma avaliao de impacto fornecer in-
sumos para a promoo de melhorias no desenho do programa. Para tanto,
fundamental que a avaliao no apenas obtenha estimativas da magnitude
do impacto, mas tambm identifque os fatores determinantes do impacto.
Saber como a magnitude do impacto varia com os parmetros que defnem a
interveno a nica maneira atravs da qual uma avaliao pode contribuir
para a reformulao dos princpios que embasam o programa, possibilitando
assim o aperfeioamento do seu desenho e a adequao do seu marco lgico.
O impacto de um programa, entretanto, no determinado apenas por seu de-
senho. A natureza dos benefcirios e a forma e o grau com que estes utilizam
as aes do programa tambm infuenciam a magnitude do impacto. Assim, na
medida em que a avaliao revela como a magnitude do impacto do programa
varia com a forma e grau de utilizao dos servios e tipo de benefcirio, a
mesma se torna um instrumento de extrema utilidade ao gestor responsvel
pela operao do programa. A partir dessas informaes, o gestor capaz de
realizar ajustes fnos no programa, podendo, potencialmente, readequar a na-
tureza dos servios e bens oferecidos s necessidades dos benefcirios e assim
promover uma maior efetividade do programa em questo.
Por fm, deve-se ressaltar ainda que o impacto do programa tambm depende da
forma como a gesto e operao do programa conduzida. Assim, uma avaliao de
impacto que contempla informaes sobre a sensibilidade da magnitude do impac-
to s variveis relacionadas gesto e operao do programa fornece informaes
valiosas para o aperfeioamento ou reformulao do sistema de gesto e operao.
3.2 Sobre o uso externo: para o desenho
e aperfeioamento de programas
similares
O uso externo de uma avaliao de impacto est relacionado com a sua uti-
lidade para auxiliar no desenho, na implementao ou na gesto de outros
programas similares em contextos distintos. Neste sentido, avaliaes de im-
pacto funcionam como bens pblicos, na medida em que benefciam uma po-
pulao muito maior que aquela que originalmente participou do programa e
fnanciou a avaliao.
Dentre a grande variedade de usos externos de uma avaliao de impacto, tal-
vez o de maior importncia seja a identifcao de melhores prticas. Gesto-
res em toda parte esto continuamente em busca dos melhores programas,
aes e prticas que permitam alcanar seus objetivos da forma mais efcaz
possvel. Em todo momento, dada a tecnologia social existente, h um conjun-
to de prticas que so aquelas com as melhores relaes custo-efetividade. A
identifcao destas intervenes requer avaliaes de impacto de uma ampla
variedade de programas com objetivos similares. Assim, indiscutvel que a
identifcao das melhores prticas e, portanto, avaliaes de impacto so fun-
damentais para o aprimoramento da efccia dos programas sociais em vigor.
A avaliao dos impactos de um programa, quando associada avaliao de
seu custo, permite compar-lo com as alternativas disponveis em termos de
suas relaes custo-efetividade. A sua posio relativa queles programas
que representam as melhores prticas defne o seu potencial de expanso e
difuso. Programas com as relaes custo-efetividade mais favorveis esto
em evidncia como candidatos tanto para a expanso nos locais onde atuam
quanto para a adoo em outras reas (desde que seu impacto seja robusto a
mudanas nos contextos socioeconmicos e culturais).
Assim, para que a utilizao externa das avaliaes de impacto seja a mais
ampla possvel, essencial que estas investiguem no apenas o tamanho do
impacto, mas tambm a interao deste com caractersticas do ambiente so-
cioeconmico e cultural em que as avaliaes se inserem. Este o conceito de
validade externa que, em outras palavras, determina em que medida o impac-
to estimado de um programa pode ser extrapolado para diferentes contextos.
Trata-se, fundamentalmente, de uma avaliao da robustez ou da sensibilidade
do programa ao contexto.
Frequentemente, os programas avaliados se mostram sensveis ao contexto
em que se inserem. Esta sensibilidade, entretanto, no de forma alguma uma
indicao de que o programa no possa ser ajustado para outro contexto. A
constatao da sensibilidade do impacto do programa ao seu ambiente deve
ser utilizada apenas como um alerta para que a expanso do programa seja
feita de forma cuidadosa, adequando o mesmo s caractersticas especfcas
do novo contexto. Nestes casos, importante que as avaliaes de impacto es-
tabeleam no apenas o grau de sensibilidade do impacto do programa como
um todo ao contexto, mas fundamentalmente estabeleam quais aspectos do
programa determinam esta sensibilidade (ou, em outras palavras, como a mag-
nitude do impacto depende do contexto).
Esse tipo de informao fundamental para sinalizar quais cuidados devem ser
adotados na difuso do programa, mas nada dizem sobre quais os ajustes ne-
cessrios no seu desenho para que o seu impacto seja invariante ao contexto.
Para que estes ajustes possam ser identifcados, seria necessrio que as avalia-
es tambm indicassem como os parmetros do programa devem ser ajusta-
dos em cada situao para que sua efccia seja preservada nos mais distintos
ambientes. Este um dos grandes desafos de uma avaliao de impacto: ava-
liar a sensibilidade do impacto ao contexto e identifcar as adequaes neces-
srias para que o programa seja apropriado s mais variveis circunstncias.
4. Quando avaliar o impacto de
um programa social? Avaliaes
ex-ante versus ex-post
Existem essencialmente trs momentos na execuo de um programa em que
avaliaes de impacto podem ocorrer: (i) antes do incio do programa (so as
ditas avaliaes ex-ante), (ii) durante o perodo de execuo do programa (so
as ditas avaliaes ex-post de percurso) e (iii) aps a concluso do programa
(so as ditas avaliaes ex-post de encerramento). Em cada caso, a avaliao
caracterizada por metodologias e objetivos distintos, condicionados dis-
ponibilidade de informaes relacionadas ao programa naquele momento do
tempo.

4.1 Sobre a necessidade de avaliaes
ex-ante e ex-post
A deciso pela implementao de um dado programa geralmente precedida
pela apresentao de argumentos que justifcam a racionalidade da opo por
aquela determinada interveno. Em geral, justifcativas deste tipo se baseiam
em estimativas de custos e impactos esperados do programa em questo. Pre-
ver a magnitude dos impactos antes que a interveno seja implantada o
objetivo das avaliaes ex-ante de impacto. Embora o objetivo primordial de
uma avaliao ex-ante seja justifcar a adoo de um dado programa, possvel
e recomendvel que avaliaes ex-ante sejam tambm utilizadas para decidir
sobre o melhor desenho da interveno.
Uma vez elaborados e implementados, programas sociais muitas vezes permi-
tem ajustes ao seu desenho durante a fase de operao. Avaliaes de impacto
realizadas durante o perodo de operao do programa, denominadas avalia-
es ex-post de percurso, so utilizadas para verifcar a validade das previses
realizadas pelas avaliaes ex-ante. Desta forma, esse tipo de avaliao mostra-
se fundamental para traar recomendaes sobre o futuro do programa, seja
no sentido de interromper, continuar ou aperfeioar as aes da interveno
em curso. Este tipo de avaliao muito comum durante a fase piloto da imple-
mentao de um programa, embora seja importante que a sua aplicao no
se limite a esta fase.
O grande desafo para a realizao de uma boa avaliao ex-post de percurso
o tempo. Por um lado, importante que a avaliao seja realizada quanto
antes para que tenha sua infuncia sobre o desenho, operao, continuidade e
expanso do programa maximizada. Por outro lado, dado que alguns impactos
podem levar tempo para se manifestar, quanto mais cedo realizada a avaliao
de impacto, maior a probabilidade de se subestimar ou at ignorar impactos
importantes que no se manifestaram no curto prazo. Esse problema par-
ticularmente grave j que, frequentemente, os impactos de maior importn-
cia podem ser os de longo prazo. Assim, toda avaliao ex-post de percurso
precisa analisar cuidadosamente o trade-of entre fornecer respostas rpidas
para auxiliar no aperfeioamento e expanso do programa e aguardar o tempo
necessrio para que parte substancial dos impactos do programa se manifeste.
Portanto, avaliaes ex-post de percurso so mais comuns em programas de
longa durao ou mesmo de durao ilimitada, sendo difceis de serem realiza-
das em programas de curta durao.
A realizao de uma avaliao de impacto tambm justifcada aps o encer-
ramento de um programa social. Neste caso, dois objetivos merecem ateno.
Por um lado, a avaliao ex-post de encerramento til para determinar quo
adequada foi a deciso de alocao de recursos quele programa. Trata-se de
uma avaliao ex-post das decises realizadas no passado e da qualidade da
gesto do programa. No permite rever ou aprimorar aes, mas apenas veri-
fcar se os agentes envolvidos no processo decisrio tomaram ou no decises
adequadas e se os responsveis pelo programa fzeram uma boa gesto.
Por outro lado, uma utilidade extremamente importante das avaliaes ex-post
em geral est relacionada identifcao de melhores prticas. Avaliaes ex
-post de programas com objetivos similares geralmente fornecem informaes
relevantes que podem auxiliar na tomada de deciso de gestores pblicos em-
penhados em desenhar novos programas ou aperfeioar os programas exis-
tentes na rea em questo.
Por fm, vale ressaltar que as avaliaes ex-post de encerramento tm a grande
vantagem de evitar o confito entre o momento da avaliao e o prazo de ma-
turao do impacto do programa. Neste caso, no h restrio de tempo para
a sua realizao, o que torna este tipo de avaliao ideal para garantir a cap-
tao dos impactos verdadeiramente de longo prazo de um programa social.
4.2 Diferenas informacionais e
metodolgicas
Em decorrncia do momento em que so realizadas, as avaliaes ex-ante e ex
-post se baseiam cada qual em um conjunto distinto de informaes, aquelas
disponveis naquele dado momento do tempo. Avaliaes ex-post podem con-
tar com informaes sobre a situao de benefcirios e no benefcirios antes
e em vrios momentos aps o incio da interveno. Por outro lado, avaliaes
ex-ante so conduzidas s vezes sem informaes sobre quem sero os efeti-
vos benefcirios do programa. Na medida em que informaes naturalmente
se acumulam ao longo do tempo, avaliaes ex-post tm grande vantagem
informacional sobre suas contrapartidas ex-ante.
Todo trabalho avaliativo sempre o resultado da combinao de teoria com
evidncia emprica. No entanto, no h uma recomendao pr-estabelecida
sobre os pesos que devem ser atribudos teoria ou evidncia emprica em
avaliaes de um modo geral. Em uma avaliao ex-post cuidadosa, na qual
uma grande quantidade de informaes pertinentes e fdedignas foi coletada,
o papel da teoria tender naturalmente a ser dominado pelo da evidncia em-
prica. J numa avaliao ex-ante, o papel da teoria passa a ser primordial, uma
vez que as estimativas de impacto so obtidas a partir de simulaes com da-
dos na maioria das vezes secundrios sobre o comportamento hipottico dos
futuros benefcirios do programa a ser implantado. Neste caso, com base na
teoria sobre o comportamento destes benefcirios que so derivadas as hip-
teses a partir das quais estas simulaes de impacto so realizadas.
5. Consideraes fnais
Na nossa sociedade, formuladores de polticas continuamente propem uma
grande variedade de solues visando atender s mais diversas necessidades
da populao. Entretanto, dada a escassez dos recursos disponveis, nem todas
estas solues podem ser efetivamente implementadas. necessrio, portan-
to, escolher bem. Quais das propostas apresentadas abrangem a maior parte
das necessidades da populao ao menor custo? Em outras palavras, quais des-
tas propostas representam o melhor uso do oramento disponvel?
Um dos instrumentos fundamentais para se obter a resposta a estas questes
a avaliao de impacto, que permite isolar a contribuio de uma ao espe-
cfca no alcance dos resultados de interesse. No entanto, isolar o impacto de
uma ao no tarefa fcil. Este livro trata das metodologias disponveis para
identifcar e estimar o impacto de intervenes implementadas por agentes
governamentais ou no governamentais.
Neste captulo inicial, procuramos apresentar ao leitor por que, para que e
quando deve-se realizar uma avaliao de impacto. A nossa discusso sinaliza
que a avaliao de impacto uma ferramenta valiosa que serve a propsitos
mltiplos, sendo assim relevante no apenas para aqueles diretamente envol-
vidos no programa, mas potencialmente para vrios outros agentes da socie-
dade.
Exerccios
1) Quais so as possveis motivaes para uma avaliao de impacto?
2) O impacto de um programa no depende apenas do seu desenho e da sua
adequao ao perfl dos benefcirios e ao ambiente socioeconmico em que
estes vivem. Do que mais depende o impacto do programa?
3) Explique a importncia da avaliao de impacto em um cenrio onde os re-
cursos so escassos e diferentes programas competem pelos mesmos recursos.
4) Existem essencialmente trs momentos na execuo de um programa em
que avaliaes de impacto podem ocorrer. Explique cada caso.
5) Explique os conceitos de uso interno e uso externo de uma avaliao.
PARTE 1
Mtodos Bsicos de
Avaliao de Impacto
A parte I do livro dedicada a apresentar um conjunto de mtodos que
so amplamente empregados para isolar e medir o impacto de programas
sociais. Esses mtodos so comumente divididos em duas categorias: o
mtodo experimental e os mtodos no experimentais. O primeiro, a ser
apresentado no captulo 3, baseado na seleo aleatria dos indivduos
que faro parte do grupo que receber o programa (grupo de tratamento)
e do grupo que no o receber (grupo de controle). Como veremos, esse
mtodo faz com que a nica diferena entre os grupos seja a participao
no programa, uma vez que a aleatorizao garante que eles sejam muito
semelhantes tanto em termos das caractersticas observadas como das no
observadas pelo analista. Pelo fato de conseguir fazer com que a interven-
o seja a nica diferena entre os grupos de tratamento e controle, esse
mtodo tem a denominao de padro-ouro na rea de avaliao de im-
pacto.
Os demais captulos apresentaro em detalhes os mtodos no experimen-
tais. Como no so baseados na seleo aleatria dos grupos de tratamento
e controle, esses mtodos no asseguram que os dois grupos difram entre
si apenas pela participao no programa. Na realidade, o que eles fazem
substituir a aleatorizao do mtodo experimental por certas condies e
hipteses que visam a tornar o grupo de controle parecido com o grupo de
tratamento. Como veremos, cada mtodo adota um conjunto especfco de
hipteses para identifcar o efeito causal do programa. Essas hipteses no
so diretamente testveis, mas algumas podem ser confrmadas de modo
indireto.
A escolha do mtodo a ser empregado depende em larga medida do pro-
grama a ser avaliado, dos arranjos institucionais existentes, dos custos en-
volvidos na avaliao, alm da disponibilidade de dados. O aumento da
importncia da avaliao de impacto e da anlise de custo-benefcio entre
fnanciadores, gestores e fscalizadores dos programas tem sido acompa-
nhado pelo desenvolvimento e aperfeioamento de um conjunto de m-
todos que formam hoje uma ampla caixa de ferramentas utilizada na rea
de avaliao de impacto. Ao apresentar uma introduo a alguns dos prin-
cipais mtodos disponveis nessa caixa de ferramentas, esta parte do livro
pretende auxiliar no somente no entendimento das metodologias, mas
tambm no processo de escolha da metodologia mais adequada a ser ado-
tada no contexto especfco no qual se insere o programa. A esse propsi-
to, vale assinalar que o foco do livro sobre as metodologias ex-post. Em
contraste com as avaliaes ex-ante, que so baseadas em modelos sobre
o comportamento dos agentes, as metodologias ex-post so baseadas em
dados especfcos colhidos para a avaliao do programa (ver Box 1 e seo
4 do captulo 1).
Antes de entramos no detalhamento de cada mtodo de nossa caixa bsi-
ca de ferramentas, apresentaremos no captulo 2 um arcabouo conceitual
amplamente utilizado na rea de avaliao de impacto. Alm de estabele-
cer a notao que empregaremos em outros captulos desta parte do livro,
sua principal fnalidade apresentar um dos principais problemas da rea
de avaliao de impacto, a saber, o vis de seleo.
Box 1: Avaliaes Ex-ante e Ex-post
As avaliaes ex-ante so elaboradas
com base na construo de um modelo
sobre o comportamento dos agentes e
do ambiente econmico no qual eles e o
programa em avaliao esto inseridos.
Em alguns casos, o modelo proposto
estrutural, ou seja, baseado em hipte-
ses acerca das formas funcionais que re-
presentam o comportamento econmi-
co dos indivduos e do funcionamento
da economia ao longo do tempo (por
exemplo, Heckman et al., 1998). Em ou-
tros casos, o modelo proposto basea-
do em formas reduzidas, isto , em equa-
es que procuram refetir as relaes
diretas entre as decises dos agentes, os
indicadores de resultado e demais vari-
veis consideradas relevantes na estima-
o do impacto do programa (ver, por
exemplo, Bourguignon e Ferreira, 2003).
Tipicamente, as avaliaes ex-ante uti-
lizam dados de fontes secundrias ao
programa para estimar os parmetros
do modelo proposto, incluindo o pr-
prio impacto do programa. Aps a esti-
mao do modelo, possvel alterar os
valores de alguns dos seus parmetros
e, por meio de simulaes, avaliar como
as variveis de interesse mudam. Esse
tipo de exerccio bastante til para se
obter um balizamento de como os im-
pactos do programa podem variar para
diferentes hipteses sobre o comporta-
mento dos agentes e o funcionamen-
to da economia. Por outro lado, o mto-
do ex-ante tipicamente requer a adoo
de um conjunto de hipteses no tes-
tveis, tanto sobre o comportamen-
to dos indivduos quanto sobre a iden-
tifcao dos parmetros do modelo.
Distintamente, as avaliaes de impac-
to ex-post no so baseadas em mode-
los tericos, mas sim em mtodos emp-
ricos que procuram estimar diretamente
dos dados os impactos do programa. Em
contraste com o mtodo ex-ante, que
geralmente empregado antes da im-
plementao da interveno, as avalia-
es ex-post s podem ocorrer durante
ou aps a execuo do programa. Ade-
mais, a maior parte das avaliaes ex
-post so model-free, isto , preferem
deixar os prprios dados falarem ao in-
vs de proporem modelos tericos para
explicar os resultados encontrados. Em-
bora extremamente teis para se conhe-
cer a efetividade das intervenes, as
avaliaes ex-post normalmente s es-
timam os impactos especfcos dos pro-
gramas. Nesse sentido, elas no permi-
tem construir diferentes cenrios para
o programa e, portanto, no oferecem
uma ideia das variaes no impacto para
diferentes desenhos do programa.
Mas as abordagens ex-ante e ex-post
no so mutuamente excludentes. Re-
centemente, Todd e Wolpin (2006) com-
binaram os dois tipos de mtodos para
estudar o impacto do programa mexica-
no de transferncia condicional de renda
Progresa (atualmente chamado de Opor-
tunidades). Basicamente, o exerccio dos
autores consistiu em prever o impacto
do programa com base na abordagem
ex-ante e posteriormente compar-lo
com o impacto obtido pelo mtodo ex
-post de aleatorizao (ver captulo 3). A
varivel de resultado foi a frequncia
escola de crianas entre 12 e 15. Os im-
pactos obtidos pelas duas abordagens
foram bastante semelhantes, o que per-
mitiu a realizao de cenrios mais con-
fveis a partir de variaes nos parme-
tros do modelo de base.
CAPTULO 2
Modelo de resultados
potenciais
O problema central da rea de avaliao de programas construir o contra-
fatual do grupo tratado pelo programa. Na forma mais simples de apresen-
tar esse problema, podemos pensar que qualquer indivduo est sempre
em uma de duas situaes distintas: ter sido ou no ter sido tratado pelo
programa. Idealmente, o melhor grupo de comparao para os indivduos
tratados seria formado pelos mesmos indivduos na situao em que eles
no fossem tratados. Contudo, essas situaes so mutuamente exclusivas:
claramente no possvel observar os mesmos indivduos na condio de
tratados e de no tratados ao mesmo tempo. O desafo do avaliador, por-
tanto, encontrar um grupo de indivduos que represente adequadamente
a situao de no tratamento, ou seja, um grupo que funcione como um
bom contrafatual do grupo tratado.
Uma srie de pontos precisam ser levados em considerao para se en-
contrar um grupo de controle que possa replicar o grupo tratado caso ele
no tivesse passado pela interveno. Naturalmente, como no possvel
observar essa situao contrafatual, a escolha desse grupo de comparao
envolver o uso de procedimentos e hipteses cuja fnalidade bsica mi-
nimizar o que se costuma denominar de vis de autosseleo. Para enten-
der melhor o que est por trs desse vis, apresentaremos neste captulo
o arcabouo mais utilizado na rea de avaliao, a saber, o arcabouo de
resultados potenciais. Um elemento crucial para um bom entendimento
desse arcabouo e da rea de avaliao de impacto em geral ter sem-
pre em mente a potencial existncia de uma situao contrafatual.
Antes de apresentarmos formalmente esse arcabouo, vale a pena analisar
dois mtodos ingnuos, porm amplamente utilizados por no especia-
listas para construir o grupo de controle. O primeiro baseado na compa-
rao do que ocorre com o grupo de tratamento antes e depois da inter-
veno. O segundo consiste em comparar o grupo que escolhe passar pelo
programa com um grupo que decide no participar da interveno. Como
veremos, esses mtodos difcilmente so capazes de fornecer o impacto do
programa.
2.1 Comparando os Tratados Antes e Depois
Considere uma situao em que um programa de treinamento profssional
foi oferecido para trabalhadores de baixa escolaridade numa certa localida-
de, por exemplo, um municpio ou uma rea de uma cidade. Esse programa
consistia de um curso ministrado por pessoal especializado e tinha como
objetivo aumentar o rendimento do trabalho dos participantes. Suponha
que o total de inscritos tenha sido igual ao nmero de vagas oferecidas e
que todos os inscritos tenham participado do programa.
Um pouco antes do comeo do programa (por exemplo, no dia da inscri-
o), todos os participantes responderam um questionrio que levantou
informaes sobre suas caractersticas socioeconmicas, incluindo a situ-
ao de emprego e rendimento laboral naquele momento. Suponha que
o rendimento mdio do trabalho para todos os indivduos que entraram
no programa de treinamento tenha sido de R$ 1000. Um ano depois, os
mesmos tipos de informaes foram novamente coletadas com todos os
participantes do programa. O rendimento mdio encontrado nesse segun-
do momento foi igual a R$ 1100.
A Figura 2.1 ilustra as informaes obtidas para o rendimento mdio para
os perodos anterior e posterior ao programa
1
. Os retngulos esto asso-
ciados aos valores observados. Alguns diriam que o efeito do programa foi
de R$ 100 (R$ 1100 R$ 1000), o que equivale a um aumento de 10% no
rendimento mdio inicial. Mas ser que podemos afrmar que esse foi o
verdadeiro efeito do programa?
3

1
A ocorrncia do programa foi simplifcada para se dar no momento demarca-
do pela linha vertical tracejada.
Para responder essa pergunta, temos que nos questionar se o grupo de trata-
mento antes do programa representa o contrafatual adequado para a situao
de no tratamento depois do programa. Ou seja, em termos da Figura 2.1, ser
que o losango representa o valor que seria recebido pelo grupo tratado de-
pois do programa, caso ele no tivesse passado pela interveno? A resposta a
essa pergunta seria normalmente negativa, j que h uma srie de fatores que
podem ter afetado o rendimento mdio do grupo tratado alm do programa.
Por exemplo, possvel que a situao do mercado de trabalho da localidade
onde residem os participantes do programa tenha melhorado ao longo dos
doze meses entre as coletas das informaes. Para ilustrar essa possibilidade,
suponha que essa mudana nas condies do mercado de trabalho tenha sido
responsvel por levar o rendimento mdio para o ponto associado forma
circular na Figura 2.1. Nesse caso, a variao do rendimento mdio que pode
Figura 1: Rendimento mdio dos participantes antes e depois do
programa
Rendimento Mdio (R$)
Antes Depois
Impacto?
1100
1000
t=0 t=1 Tempo Programa
ser atribuda ao programa deixa de ser os R$ 100 estimados inicialmente. Esse
exemplo mostra que, a menos que possamos controlar a infuncia do merca-
do de trabalho e de todos os outros fatores que afetam o rendimento mdio
do trabalho, a simples comparao entre o que ocorre com o grupo de trata-
dos antes e depois do programa no identifca corretamente o efeito causal de
uma interveno.
3
2.2 Comparando os Tratados com os No
Tratados
Outra prtica ingnua comumente usada pelos no especialistas a que com-
para o grupo de tratados diretamente com um grupo de no tratados. Entre-
tanto, apenas por no ter passado pela interveno no signifca que o grupo
de no tratados representa bem o que ocorreria com o grupo de tratamento
caso este no tivesse sido tratado. Em outras palavras, a ausncia do tratamen-
to para alguns no gera automaticamente o contrafatual de no tratamento
para outros.
As principais razes para isso esto relacionadas com as diferenas nas caracte-
rsticas observveis e no observveis (pelo avaliador) entre os dois grupos. Por
exemplo, possvel que, mesmo que os grupos sejam parecidos (em mdia)
em atributos observveis como gnero, idade, escolaridade, renda familiar etc.,
eles difram em habilidades, motivao, esforo, e outras caractersticas que
tipicamente no esto disponveis nas bases de dados utilizadas nas avaliaes
de impacto. Na medida em que muitas dessas caractersticas podem afetar a
varivel de resultado sobre a qual se quer medir o impacto da interveno, o
uso da comparao direta entre os dois grupos no necessariamente mede o
efeito causal do programa. Afnal, as diferenas nas caractersticas no observ-
veis entre os grupos poderiam estar misturadas ao efeito do programa.
Para ilustrar esse problema, continuaremos com a situao hipottica da sub-
seo anterior. Assim, admita que o segundo questionrio usado com os par-
ticipantes do programa de treinamento tenha sido aplicado a uma amostra de
pessoas da mesma localidade que no tenham participado do programa. Su-
ponha que a mdia do rendimento do trabalho obtida com as informaes co-
letadas com esse grupo de no tratados aps o programa tenha sido de R$900.
Suponha que os dois grupos sejam idnticos, em mdia, nas caractersticas le-
vantadas no questionrio, que no incluiu nenhuma tentativa de medir a mo-
2
Vale observar que um conjunto de variveis observadas nos dados referentes aos prpri-
os indivduos podem ter mudado entre os dois perodos. Essas mudanas podem afetar a
diferena de rendimento mdio observada. Por exemplo, como a idade tende a infuenciar
o rendimento mdio das pessoas, o fato de que se passou um ano entre os perodos de
comparao seria um fator adicional a explicar parte da diferena observada.
2
tivao das pessoas. A Figura 2.2 contm as informaes para os dois grupos
para o perodo depois do programa, onde o tringulo representa o rendimento
mdio do grupo de no participantes.
Embora as pessoas dos dois grupos sejam parecidas em mdia em diversas
caractersticas, no podemos afrmar que os R$ 200 de diferena no rendimen-
to mdio dos grupos (ou seja, a distncia entre o retngulo e o tringulo em
t=1) medem corretamente o impacto do programa de treinamento.
3
Para isso,
basta admitirmos que a motivao (que no foi medida) seja uma caracterstica
que afeta o desempenho das pessoas no mercado de trabalho, incluindo o seu
salrio. Se os dois grupos diferem em termos de motivao diferena essa
3
Nesse exemplo, assumimos que no h informaes para o grupo de no tratados antes
da interveno. Essas informaes sero introduzidas no captulo 4 dentro do contexto do
mtodo de diferenas em diferenas.
Figura 1: Rendimento mdio dos tratados e no tratados
Antes Depois
Impacto?
1100
1000
900
que pode explicar porque o grupo tratado decidiu participar do programa e o
grupo no tratado preferiu no participar , ento provvel que parte dos R$
200 de diferena entre os grupos se deva ao fator motivao. Se isso ocorrer,
no podemos tratar essa quantia como o efeito causal do programa de treina-
mento.
Os prximos captulos desta parte do livro sero dedicados a apresentar um
conjunto amplo de metodologias que buscam isolar o efeito dos programas
dos efeitos causados por outros fatores que afetam a(s) varivel(eis) de resulta-
do de interesse. O arcabouo conceitual que apresentaremos na prxima seo
tem a fnalidade de facilitar o entendimento dessas metodologias.
2.3 O Arcabouo de Resultados Potenciais
Para apresentar o arcabouo de modo formal, utilizaremos o algarismo 1 para
denotar a situao em que o indivduo tratado e o algarismo 0 para a situa-
o contrafatual na qual esse mesmo indivduo no tratado. Estamos interes-
sados em avaliar o impacto de um programa (por exemplo, um programa de
qualifcao de mo de obra) sobre uma varivel de resultado (por exemplo,
o rendimento do trabalho). Denotando por essa varivel, podemos pensar
que seu valor para indivduo ser caso ele esteja na situao de tratado,
mas poderia assumir, pelo menos potencialmente, o valor caso ele no
seja tratado. A vantagem de apresentar o problema dessa forma explicitar
que cada uma das situaes est associada a um resultado potencialmente dis-
tinto para um mesmo indivduo. Assim, se fosse possvel observar o indivduo
nas duas situaes, a diferena forneceria o impacto do
programa para esse indivduo.
Cada indivduo possui um par de resultados potenciais e ca-
ractersticas observveis pelo avaliador, que denotaremos por meio do vetor
. Exemplos tpicos de caractersticas observadas que so includas em ava-
liaes so o gnero, a idade e a escolaridade da pessoa. Uma maneira ampla-
mente utilizada para especifcar o modelo de gerao de valores dos resulta-
dos potenciais o par de equaes lineares:

onde o componente no observvel (pelo avaliador) que infuencia os re-
sultados potenciais do indivduo .
Seja uma varivel discreta que assume valor igual a um se o indivduo par-
ticipa do programa e valor zero caso ele no participe. Trata-se, portanto, do
que chamamos de uma varivel binria (ou dummy, em ingls), cujos valores
unitrio ou nulo podem depender da deciso do indivduo de participar ou
no da interveno, respectivamente. O fato de que o valor dessa varivel pode
depender da deciso do indivduo importante, pois, como veremos, essa de-
ciso pode estar correlacionada com outros elementos que determinam ,
gerando o vis de autosseleo.
Dado o apresentado at aqui, podemos expressar a equao de resultados po-
tenciais como:

Note que ela informa o resultado observado para qualquer indivduo , pois
quando ocorre a participao no programa observamos a situao de
tratado, , ao passo que quando no h participao observamos a
situao de no tratado, .
Aplicando agora as equaes (1) e (2) na equao (3), esta ltima se transforma
em:
,
que uma equao de regresso linear cuja nica diferena em relao que-
las tipicamente encontradas em livros de estatstica e econometria bsica
que o parmetro que captaria o efeito do programa, , varia entre os indiv-
duos. Em muitas avaliaes, faz-se a hiptese de que o impacto do programa
igual para todos os indivduos, ou seja, para qualquer indivduo da
populao. Nesse caso, a equao (4) se especializa em
4
:

O maior problema para estimar corretamente o impacto do programa por
meio da equao (5) que a varivel potencialmente correlacionada com
o componente no observvel . Na realidade, bastante provvel que isso
ocorra, j que a participao no programa normalmente no se d de forma
aleatria. Ao contrrio, a participao geralmente decorre de uma deciso vo-
luntria do indivduo (ou da famlia), a qual pode ter sido tomada com base em
informaes que no so observadas pelo avaliador e, portanto, esto embu-
tidas no componente da equao (5). Um exemplo o que apresentamos na
seo 2.2, no qual os indivduos que participam de programas de treinamento
4
Tratar o impacto da interveno como homogneo na populao tende a ser uma hiptese
forte. De fato, parece mais razovel esperar que o efeito de grande parte dos programas seja
heterogneo entre as pessoas. Contudo, a hiptese de homogeneidade facilita a exposio
e, assim, a menos que explicitado no texto, estaremos supondo que ela se aplica.
so considerados mais motivados. Como motivao uma dimenso do com-
portamento das pessoas que pode afetar (por exemplo, o rendimento do
trabalho) e difcilmente medida nos dados (ou seja, passa a ser incorporada
em ), aparece um problema de correlao entre e que precisa ser resolvido
para que o parmetro de interesse, , seja corretamente estimado.
Esse problema de estimao incorreta de devido correlao entre a partici-
pao no programa ( ) e a parte no observvel ( ) geralmente recebe o nome
de problema de autosseleo. A magnitude dessa incorreo chamada de
vis de autosseleo. Sua denominao decorre do fato de que so os prprios
tratados que se selecionam para participar do programa. Se essa autosseleo
estiver associada com caractersticas no observveis dos indivduos, esse gru-
po se torna um grupo especial da populao (por exemplo, mais motivados),
o que pode afetar diversas variveis de resultado, tornando difcil o isolamento
do efeito causal do programa
5
.
Boa parte do esforo de pesquisa realizado at os dias de hoje na rea de ava-
liao tem sido dedicado a encontrar solues para contornar o problema da
autosseleo. A fm de apresent-lo de forma mais geral, considere as seguin-
tes mdias populacionais da varivel de resultado para os grupos de tratados
e no tratados
6
:
Note que somente e so mdias que podem ser calculadas direta-
mente dos dados. J e representam mdias contrafatuais, a primeira
correspondendo mdia para os tratados caso eles no tivessem sido tratados
e a segunda a mdia para os no tratados caso eles tivessem sido tratados.
5
Muitas vezes, o governo ou entidade gestora do programa que escolhe o grupo de in-
divduos ou famlias que recebero as aes da interveno. Se essa escolha recair sobre
parcelas especiais da populao em caractersticas no observveis, surge tambm uma
correlao entre o termo e a varivel de participao da equao (5). Nesse caso, muitas
vezes diz-se que h um problema de vis de seleo, mas no de autosseleo, pois no
so os prprios indivduos que se selecionam para participar do tratamento. A anlise do
problema permanece essencialmente a mesma, apesar das distintas denominaes.
6
Todas as expresses a seguir poderiam estar condicionadas ao vetor de caractersticas ,
ou seja, cada expresso poderia ser computada para diferentes combinaes dos valores
assumidos pelas variveis contidas nesse vetor. Para no tornar a notao demasiadamente
carregada, optamos por no o incluir nas expresses.
Em geral, na rea de avaliao, estamos interessados em computar o que se
costuma denominar de efeito mdio do programa sobre os tratados (EMPT):

ou seja, a diferena entre a mdia da varivel de resultado para os tratados na
situao de tratados e a mdia para esses mesmos indivduos na situao con-
trafatual de eles no terem passado pela interveno. O EMPT um parmetro
importante, uma vez que informa o impacto mdio do programa para aquela
parcela da populao que foi efetivamente tratada
7
.
Como mencionado anteriormente, o desafo encontrar um grupo que repre-
sente adequadamente o contrafatual do grupo tratado. comum o uso de um
grupo de indivduos no tratados como o grupo que representa o contrafatual
desejado por exemplo, o grupo de no participantes do nosso exemplo hi-
pottico do programa de treinamento da seo 2.1. Quando isso ocorre, geral-
mente calcula-se a diferena:

que tomada como o impacto mdio do programa. No entanto, isso tende
a ser um procedimento incorreto, uma vez que o grupo de no tratados no
necessariamente funciona como um bom contrafatual. Para ver isso formal-
mente, adicionaremos e subtrairemos da equao (7) a mdia contrafatual
:

Como se pode ver, D no igual ao EMPT por conta da existncia do termo
, que corresponde ao que denominamos
vis de autosseleo. Note que ele corresponde diferena de mdias da vari-
vel de resultado na situao de no tratamento (isto , ), quando os indiv-
duos participam ou no do programa.
7
Existem dois outros parmetros que tambm recebem bastante ateno na rea de avalia-
o. Um deles chamado de efeito mdio do programa sobre os no tratados (EMPNT): N =
E[Y
i
(1)|T
i
= 0] E[Y
i
(0)|T
i
= 0] = D
01
D
00
, que mediria o impacto da interveno sobre
aquela parcela da populao que no foi tratada. O outro parmetro capta o impacto do
programa sobre um indivduo aleatrio da populao e recebe o nome de efeito mdio do
programa (EMP). Ele defnido como: P = E[Y
i
(1)] E[Y
i
(0)], onde E[Y
i
(1)] e E[Y
i
(0)] so
respectivamente as mdias para tratados no caso de eles participarem ou no participarem
da interveno.
Como mencionado anteriormente, o termo autosseleo est associado deci-
so dos prprios indivduos de participar ou no da interveno.
Para que V seja igual a zero, a mdia observada para os no tratados, D
00
, deve
ser igual mdia do contrafatual que buscamos, D
10
. O problema que no
observamos D
10
e, portanto, no temos como saber a magnitude do vis de
autosseleo embutido em D.
Nossa tarefa nos prximos captulos ser apresentar mtodos que buscam
solucionar o problema do vis de autosseleo. Cada mtodo lana mo de
certos procedimentos e hipteses para tentar resolver esse problema. Embora
cada metodologia v ser discutida em detalhes em cada captulo, faremos aqui
um sumrio das hipteses bsicas utilizadas.
8
Considerado o padro-ouro da rea de avaliao, o primeiro mtodo baseia-se
na aleatorizao de indivduos, famlias ou at mesmo de comunidades intei-
ras para participar ou no do programa. Esse procedimento de aleatorizao
gera dois grupos experimentais, o de tratamento, formado pelos indivduos
que foram aleatorizados para participar do programa, e o grupo de controle,
composto pelos que foram aleatorizados para fcar de fora. O fato de que a par-
ticipao ou no no tratamento ou seja, na notao introduzida neste captu-
lo, o fato de a varivel T assumir valor um ou zero, respectivamente defnida
pelo procedimento de aleatorizao garante que os grupos de tratamento e
controle sejam parecidos tanto nas caractersticas observveis quanto nas no
observveis. O vis de autosseleo fca assim contornado, permitindo que a
comparao entre os grupos identifque o efeito causal do programa.
Outro mtodo que discutiremos em detalhes chamado diferenas em diferen-
as (DID). Esse mtodo requer dados em painel das unidades tratadas e no
tratadas, com perodos de observao antes e depois da interveno. Ele re-
cebe esse nome porque duas diferenas so calculadas: a diferena entre os
perodos de tempo para cada unidade observada e a diferena entre as uni-
dades para cada perodo de tempo. Como os dados so em painel, o mtodo
comporta a presena de um termo invariante no tempo para cada unidade de
observao. Esse termo, que eliminado no cmputo da diferena temporal
para cada unidade, capta todas as caractersticas no observadas da unidade
que so constantes no tempo. A principal hiptese desse mtodo que a tra-
jetria da varivel de resultado do grupo de controle refita a do grupo de tra-
tamento na ausncia da interveno. Embora essa hiptese no seja testvel,
uma indicao de sua validade ocorre quando os grupos possuam uma mes-
8
Assumindo a especifcao linear da equao (5), se calcularmos

obteremos o impacto mdio do programa, , somado ao vis
de autosseleo, aqui representado por .
ma trajetria temporal da varivel de resultado antes da interveno. A ideia
que, se as trajetrias dos grupos so semelhantes no perodo pr-programa,
ento aumentam as chances de que a trajetria do grupo de controle aps o
programa represente bem a trajetria do grupo de tratamento na ausncia da
interveno. Neste caso, qualquer diferena entre os grupos que aparea aps
o programa pode ser interpretada como o impacto da interveno. Quando as
informaes disponveis cobrem um intervalo relativamente extenso antes do
programa, o teste de trajetrias iguais entre os grupos pr-programa passvel
de ser testada estatisticamente nos dados.
O mtodo denominado pareamento busca tornar o grupo tratado semelhante a
um grupo de no tratados, com base em um conjunto amplo de caractersticas
observadas dos indivduos. A hiptese que, ao levar em considerao essas
caractersticas, a varivel de resultado passa a independer da participao ou
no dos indivduos no programa ou seja, as variveis e tornam-se
independentes de T , fazendo com que o vis de autosseleo deixe de ope-
rar. Existem diversas maneiras de tornar os grupos de tratamento e controle
semelhantes em caractersticas observadas, sendo a mais utilizada conhecida
como mtodo do escore de propenso (MEP). Neste mtodo, assume-se que
a probabilidade de um indivduo participar do programa depende apenas de
um conjunto de caractersticas observadas, que esto disponveis nos dados
a serem utilizados pelo avaliador. Estimada essa probabilidade, o pareamento
dos grupos realizado em termos das semelhanas dessa probabilidade esti-
mada. A ideia por trs do MPE que, quando a probabilidade de participao
similar entre os indivduos tratados e no tratados, os dois grupos tornam-se
comparveis, o que permite identifcar o efeito causal da interveno. A hipte-
se de que apenas as caractersticas observveis so sufcientes para contornar
o vis de autosseleo no passvel de ser testada diretamente nos dados.
Muitos programas e polticas defnem sua populao-alvo com base em crit-
rios que estabelecem valores de corte para quem pode ser ou no elegvel a
receber ou participar das aes da interveno. Por exemplo, o programa Bol-
sa-Famlia estabelece que somente a famlia cuja renda per capita est abaixo
de certa linha de corte pode receber a transferncia monetria prevista pelo
programa. Outro exemplo o programa de Jovens Aprendizes do governo fe-
deral, que fxa uma idade abaixo da qual um jovem estudante pode ser contra-
tado com benefcio fscal por uma empresa no Brasil. O mtodo denominado
regresso descontnua procura explorar a existncia desse tipo de desconti-
nuidade nos critrios de elegibilidade dos programas para criar os grupos de
tratamento e controle. A ideia bsica que os indivduos no elegveis que
esto prximos linha de corte (por exemplo, acima dela) so comparveis
em caractersticas observveis e no observveis aos indivduos elegveis que
tambm esto prximos a essa linha (por exemplo, abaixo dela). Como a nica
diferena entre esses dois grupos de cada lado do valor de corte o fato de
um poder participar do programa e outro no, o problema de autosseleo
fca, pelo menos em princpio, resolvido. Assim, sob a hiptese de que no h
uma descontinuidade marcante na varivel de interesse em torno da linha de
corte para o grupo de no elegveis, a diferena nessa varivel entre os dois
grupos fornece o impacto do programa. Embora seja um mtodo que s pode
ser empregado para avaliar o impacto de intervenes que possuam linhas de
corte, ele considerado bastante consistente para estimar o efeito de progra-
mas nessa categoria, pelo menos para os indivduos que se situam em torno da
linha de corte estabelecida pelas regras dos programas.
O ltimo mtodo a ser apresentado nesta parte do livro o de variveis instru-
mentais. Trata-se de uma metodologia na qual se procura encontrar alguma
varivel (instrumento) que infuencie a deciso de participar no programa e ao
mesmo tempo no seja correlacionada com as caractersticas no observadas
dos indivduos que afetam a varivel de resultado ou seja, uma varivel que
se correlacione com T, mas no com na equao (5). Como capaz de afetar
a participao no programa, mas no est correlacionada com as caractersti-
cas no observadas, essa varivel corrige o problema de autosseleo, permi-
tindo assim identifcar o efeito causal de interesse. Naturalmente, a existncia
de uma varivel com essas caractersticas vai depender do contexto no qual o
programa est inserido e da disponibilidade dos dados. Ademais, tipicamente,
no possvel testar a validade da hiptese de que o instrumento no de fato
correlacionado com as caractersticas no observveis dos indivduos. De todo
modo, o mtodo de variveis instrumentais uma abordagem bastante geral
dentro da rea de econometria, sendo tambm bastante empregada na rea
de avaliao de impacto.
Exerccios
1) Um jornal de grande circulao apresentou numa matria um grfco com a
srie histrica da incidncia de diarreia em crianas de certo municpio. O gr-
fco mostrava que a incidncia de diarreia permanecia inalterada e a matria
dizia que o programa de saneamento do governo no teve nenhum impacto
sobre a doena. Essa afrmativa do jornal est correta? Por qu?
2) O prefeito de uma capital implantou um programa de alfabetizao de adul-
tos no terceiro ano de seu mandato. No ano seguinte, em campanha eleitoral,
ele comparou a taxa de analfabetismo da sua cidade com a do interior do es-
tado para mostrar que o programa era um sucesso. Seria o interior do estado
um bom grupo de controle para avaliar o programa implantado na capital?
Discuta.
3) Qual a mais importante funo do grupo de controle em uma avalio de
impacto?
4) Tipicamente, a escolha do curso universitrio uma deciso que envolve
uma anlise sobre as motivaes, interesses, aptides, os custos pessoais e f-
nanceiros de fazer o curso, alm de uma previso sobre a renda que a profsso
escolhida pode oferecer no futuro. Tomando o curso universitrio como um
programa (de treinamento), responda os seguintes itens:
a) Seria o rendimento do trabalho de pessoas com ensino superior
infuenciado por caractersticas normalmente no observadas pelo avaliador?
Cite algumas dessas caractersticas.
b) A escolha por entrar em certo curso universitrio equivale deciso
de participar de certo programa. Seria essa deciso correlacionada com o ren-
dimento futuro do trabalho dos formados?
c) Qual o principal tipo de problema que pode surgir se compararmos
diretamente os rendimentos do trabalho dos estudantes formados em diferen-
tes cursos?
CAPTULO 3
Mtodo de
Aleatorizao
O principal problema da rea de avaliao encontrar um grupo de controle
que represente adequadamente o contrafatual do grupo tratado, ou seja, um
grupo de comparao que seja o mais prximo possvel do que teria ocorrido
com o grupo tratado caso este no tivesse recebido a interveno. Embora a
situao contrafatual no tenha como ser concretamente observada, ela pode
ser bastante bem aproximada pelo uso do mtodo de aleatorizao. Este m-
todo, muitas vezes chamado de mtodo experimental, baseado na seleo
aleatria dos indivduos, famlias ou at mesmo comunidades inteiras que fa-
ro parte dos grupos de tratamento e controle.
3
Quando bem implementado,
o mecanismo da aleatorizao fornece o balanceamento necessrio tanto das
caractersticas observadas quanto das no observadas das unidades que com-
pem os dois grupos. Portanto, por construo, o mtodo permite criar uma
situao na qual no h correlao entre ser ou no tratado e os atributos das
unidades de observao. O problema do vis de autosseleo fca assim resol-
vido.
A avaliao aleatorizada utilizada em diversos campos, sendo considerado o
procedimento de referncia para se estabelecer causalidade e medir o impac-
to de vrios tipos de tratamento. Por exemplo, ele amplamente empregado
nas reas de medicina e farmacutica, em que medicaes e procedimentos
mdicos so avaliados com base na aleatorizao dos indivduos que recebe-
ro ou no o tratamento em avaliao. Na realidade, tamanha a importncia
do mtodo de aleatorizao que o seu uso obrigatrio para se comprovar a
efetividade (e a existncia de eventuais efeitos adversos) dos medicamentos
que os laboratrios farmacuticos pretendem disponibilizar para uso humano.
Alm de ser o padro-ouro para determinar a causalidade de um tratamen-
to, o mtodo de aleatorizao tem outro apelo importante: sua simplicidade
9
O mtodo de aleatorizao recebe vrios nomes na literatura especializada, incluindo ex-
perimento social (controlado), experimento aleatrio, avaliao experimental, avaliao
aleatorizada ou mtodo experimental. Usaremos indistintamente essas denominaes ao
longo deste captulo e do livro.
9
de clculo. De fato, para obtermos o impacto da interveno com base nes-
se mtodo, basta subtrairmos a mdia da varivel de interesse do grupo de
tratamento da mdia correspondente calculada para o grupo de controle. Em
condies ideais, essa simples diferena de mdias fornece uma estimativa do
efeito causal do tratamento sobre os tratados. Esse atributo dos experimentos
sociais um atrativo importante, pois torna o mtodo mais transparente para
os gestores do programa e para o pblico em geral.
Contudo, apesar de suas diversas vantagens, o mtodo de aleatorizao no
est isento de problemas. Como veremos, a maior parte deles surge de situa-
es prticas que ocorrem aps a aleatorizao dos indivduos entre os grupos
experimentais. Os principais exemplos so o no comparecimento s ativida-
des do programa por parte de uma parcela do grupo selecionado para o tra-
tamento e a substituio da interveno por outros programas similares por
parte de uma frao do grupo de controle. Em ambos os casos, pode haver
uma mudana de composio das caractersticas entre grupos experimentais,
que foram selecionados a priori de forma aleatria, porm terminaram infuen-
ciados a posteriori por decises de participao ou no no programa em ava-
liao ou em similares. Problemas desse tipo podem causar vieses no negli-
genciveis na estimao do efeito que se pretendia isolar com o experimento
aleatrio.
Neste captulo, apresentaremos as principais propriedades do mtodo de alea-
torizao, incluindo suas limitaes e possveis solues. Antes, porm, dis-
cutiremos um ponto importante existente na rea de avaliao de impacto, a
saber, a validade das concluses que podem ser inferidas a partir dos estudos
de avaliao.
3.1 Validade Interna e Validade Externa
A validade interna questiona se o desenho da avaliao identifca corretamente
o efeito causal de um programa. Quando um estudo possui validade interna,
seus resultados conseguem isolar o verdadeiro impacto do programa, isto ,
esto livres da infuncia de outros fatores que no o prprio efeito da inter-
veno. Quando bem realizadas, as avaliaes baseadas em experimentos
aleatrios criam um grupo de controle que estatisticamente equivalente ao
grupo de tratamento antes do incio do programa. Em situao ideal, qualquer
diferena observada entre os grupos aps a interveno atribuda ao efeito
causal do programa. Tem-se ento que a seleo aleatria dos grupos de tra-
tamento e controle assegura a validade interna de uma avaliao. Ela garante
que os resultados da avaliao so vlidos dentro do contexto especfco da-
quela avaliao.
J a validade externa a capacidade de estender os resultados para fora do con-
texto da avaliao. Em outras palavras, uma avaliao possui validade externa
se for possvel generalizar as estimativas do impacto do programa avaliado
para outras populaes e outros momentos no tempo. Uma forma de garantir
a validade externa dos resultados em certo ponto no tempo que a amostra
utilizada na avaliao seja representativa da populao-alvo do programa na-
quele momento. Normalmente, quando a amostra obtida por mtodos de
amostragem aleatria da populao-alvo, essa representatividade assegu-
rada.
3.1.1 Validade Interna
A caracterstica bsica de um experimento aleatrio o uso de um mecanismo
que seleciona aleatoriamente os indivduos a participar ou no do programa.
Quando essa seleo aleatria feita de forma correta, cada indivduo perten-
cente ao conjunto de participantes potenciais tem a mesma probabilidade de
ser selecionado a participar da interveno, independentemente de suas ca-
ractersticas pessoais. Em outras palavras, quando o processo de aleatorizao
bem realizado, devemos esperar que os grupos de tratamento e controle se-
jam semelhantes tanto nas suas caractersticas observadas quanto nas no ob-
servadas. A nica diferena que se espera entre os dois grupos que o grupo
de tratamento participe do programa, ao passo que o de controle no passe
pela interveno.
A ideia de que deve haver um balanceamento de caractersticas entre os dois
grupos aleatorizados bastante natural. Para ver isso, considere uma situao
hipottica em que h 2000 indivduos elegveis para frequentar um programa
de treinamento bsico para o uso de planilhas eletrnicas em computadores.
Suponhamos que, nesse total de duas mil pessoas, 1200 (60%) sejam homens,
1000 (50%) tenham cabelo preto e 400 (20%) sejam hbeis com nmeros. Ad-
mita que esta ltima caracterstica seja difcil de medir e, nesse sentido, tor-
na-se no observada para ns. O que deveramos esperar do balanceamento
dessas caractersticas, se os 2000 potenciais participantes fossem aleatorizados
em dois grupos com 1000 indivduos em cada? intuitivo esperar que cada
grupo fosse composto de aproximadamente 60% de homens, 50% de pessoas
de cabelo preto e 20% com habilidades com nmeros, ou seja, devemos espe-
rar que os dois grupos sejam semelhantes entre si (e com o conjunto total de
indivduos).
Note que essa semelhana deve se dar tanto nas caractersticas observadas
(sexo e cor do cabelo) quanto nas no observadas (habilidade com nmeros,
no nosso exemplo). Isso importante, pois a aleatorizao que garante que,
em mdia, os dois grupos sejam similares em todas as dimenses. Na realidade,
essa equivalncia entre os grupos que permite utilizar o grupo de controle
como contrafatual para o grupo de tratamento. Esse o principal motivo que
faz com que o mtodo de aleatorizao seja considerado o padro-ouro de es-
tudos de efeitos causais. Em muitas reas, inclusive, a validade interna de uma
avaliao de impacto s aceita se esta for baseada na aleatorizao dos que
vo ou no receber o tratamento que se quer estudar. Por exemplo, na rea de
farmacutica, os medicamentos s so autorizados para uso geral se os labora-
trios conduzirem com sucesso um experimento em que o grupo que recebe
a medicao e o que no recebe (ou recebe um placebo) so selecionados de
forma aleatria.
3.1.2 Validade Externa
Sem a validade interna de uma avaliao, pouca utilidade ela ter para revelar
o verdadeiro efeito da interveno. No entanto, mesmo quando a validade in-
terna est assegurada, pode ocorrer de a avaliao ter sido realizada para um
grupo de pessoas que no representativo da populao-alvo do programa.
Por exemplo, se a avaliao de um programa nacional foi feita somente para
uma localidade (bairro, cidade ou estado), no possvel generalizar os resul-
tados da avaliao para o pas como um todo. Em casos como esses, no se
pode garantir a validade externa da avaliao, ou seja, os resultados no so
extensveis a outros grupos ou contextos.
A validade externa assegurada quando a amostra de indivduos que utili-
zada na avaliao representativa da populao de elegveis a receber o pro-
grama. Por exemplo, a avaliao de impacto de um programa de qualifcao
profssional para jovens de ambos os sexos ter validade externa se a avaliao
for baseada numa amostra representativa desses grupos demogrfcos. Natu-
ralmente, se a amostra contiver indivduos adultos ou for formada somente por
homens, as concluses da avaliao no podem ser generalizadas para a toda
a populao-alvo do programa. No entanto, no basta que a amostra s conte-
nha indivduos da populao-alvo; necessrio tambm que os indivduos da
amostra representem acuradamente essa populao.
Na prtica, a forma mais utilizada para garantir a representatividade de uma
amostra que ela seja uma amostra aleatria da populao que ela preten-
de representar.
4
As mais importantes pesquisas socioeconmicas conduzidas
pelo IBGE e outros institutos ofciais de estatstica do mundo so baseadas em
10
Para tanto, ela dever ter sido escolhida com base em algum mtodo de amostragem. H
uma diversidade de mtodos para selecionar uma amostra aleatria de uma populao. En-
tre os mais empregados esto as amostragens simples e estratifcada. Foge do escopo deste
livro um tratamento mais amplo dos mtodos de amostragem. Uma apresentao desses
mtodos pode ser encontrada no livro clssico de Cochran (1977).
10
amostras aleatrias retiradas da populao dos pases. No caso de uma amos-
tra para fns de avaliao de impacto de um programa, a representatividade
da populao de elegveis est assegurada se a amostra a ser empregada na
avaliao for escolhida de forma aleatria a partir dessa populao.
Note que a aleatorizao que garante a validade externa de uma avaliao no
assegura a validade interna dessa avaliao, e vice-versa. Se a avaliao utiliza
uma amostra aleatria da populao-alvo do programa, mas a participao no
tratamento no realizada atravs de aleatorizao, ento a amostra deve ser
representativa da populao de elegveis, porm os resultados da avaliao
podem no ter validade interna. Distintamente, caso a amostra no seja aleat-
ria da populao-alvo, mas a participao no programa seja aleatorizada entre
os grupos de tratamento e controle, os impactos computados pela avaliao
sero internamente vlidos, porm no tero validade externa.
3.2 Custos da Aleatorizao
Durante as ltimas dcadas, o mtodo experimental vem sendo cada vez mais
utilizado em avaliaes de impacto de programas sociais. Esse crescimento
tem sido observado tanto em pases ricos quanto pobres, e tem coberto in-
tervenes nas reas de educao, sade, treinamento profssional, pobreza,
entre outras.
Contudo, apesar desse crescimento, o mtodo de aleatorizao (ainda) est
longe de ser o predominantemente utilizado em avaliaes de impacto de pro-
gramas sociais. Mas por que ele no o mais utilizado, visto que o nico que
garante com poucas hipteses a validade interna das avaliaes de impacto? A
resposta a essa pergunta reside em trs conjuntos de fatores: ticos, fnancei-
ros e tcnicos.
Muitos argumentam que no tico negar a participao em certo progra-
ma social com base num mecanismo de aleatorizao. Afnal, dizem os que se
opem ao mtodo, quando se trata de um programa social no eticamente
correto deixar pessoas fora do programa com base num simples lanamento
de moeda. Sem dvida, no se cogita utilizar aleatorizao para casos de in-
tervenes de ampla escala (por exemplo, programas de vacinao), ou para
pblicos-alvo muito especfcos (por exemplo, pessoas com algum tipo de de-
fcincia). No entanto, h pelo menos duas situaes importantes em que esse
problema tico no se coloca.
A primeira, mais comum, ocorre quando existe escassez de vagas para atender
toda a demanda ou pblico-alvo do programa. Nessa situao, pode-se inclu-
sive justifcar o uso da aleatorizao como o critrio mais justo de alocao
das vagas existentes entre os candidatos ao programa. De fato, se pensarmos
bem, ao invs de utilizar o tradicional critrio de atendimento por ordem de
chegada, em muitas situaes pode ser mais correto oferecer as vagas dispo-
nveis garantindo a todos os elegveis a mesma probabilidade de acesso a elas.
Se, por exemplo, h escassez relativa de vagas e no se conhece bem onde os
elegveis moram, parece mais justo receber todas as inscries e selecionar os
participantes via um processo de aleatorizao por exemplo, retirando alea-
toriamente os nomes de uma urna na presena dos inscritos do que oferecer
as vagas disponveis para os primeiros que chegarem ao local de inscrio. A
aleatorizao das vagas, nesse sentido, no recomendada para assegurar so-
mente a validade interna da avaliao, mas tambm para garantir a igualdade
de oportunidade de acesso aos servios do programa.
A segunda situao na qual mais fcil eticamente utilizar o mtodo de alea-
torizao ocorre quando os recursos do programa (fnanceiros, de pessoal ou
operacionais) so limitados e, apesar de se planejar atender toda a populao
-alvo ao fnal da implementao, s possvel incluir os elegveis ao longo do
tempo. Em casos como esse, ningum ser privado de participar do programa;
o que se aleatoriza somente a ordem com que os elegveis entram no pro-
grama. Ao longo do processo gradual de entrada no programa, os que ainda
no tiverem participado servem como grupo de controle para os que j foram
selecionados. Muitas vezes, essa aleatorizao gradual no realizada no nvel
indivduo ou famlia e sim em um nvel mais agregado como bairros, comuni-
dades ou municpios. Um exemplo bastante conhecido de aleatorizao gra-
dual foi o programa mexicano de transferncia condicional de renda, Progresa
(hoje em dia chamado Oportunidades), que teve a primeira parcela dos muni-
cpios considerados elegveis selecionados de forma aleatria pelos gestores
do programa.
Mas no s por razes ticas que os experimentos sociais no so realizados
com mais frequncia. Outro motivo importante que eles podem ser dispen-
diosos em relao ao oramento global do programa. Tipicamente, a avaliao
aleatorizada de um programa social requer a mobilizao de vrios recursos,
tais como o tempo dos gestores do programa, a contratao de pessoal tcni-
co e a realizao de pesquisas de campo com as unidades tratadas e de con-
trole. Este ltimo componente requer o uso de questionrios especialmente
desenhados para a avaliao do programa em questo, que so geralmente
aplicados em dois momentos do tempo: o primeiro tipicamente no momento
da inscrio no programa e o segundo alguns meses aps o fnal da interven-
o. Normalmente, este componente que requer o maior volume de recursos
fnanceiros e, portanto, o que merece mais ateno no planejamento da ava-
liao. Assim, apesar de todas as vantagens do mtodo experimental, impor-
tante contrapor os benefcios e custos de sua aplicao vis--vis a de outros
mtodos.
H tambm razes de natureza tcnica que difcultam o uso de experimentos
aleatrios. Entre as mais importantes esto: o no comparecimento ao progra-
ma de uma parcela dos indivduos do grupo de tratamento; a possibilidade de
que pelo menos parte do grupo de controle acabe encontrando uma maneira
de entrar no programa ou substitu-lo por um semelhante; e a perda de ob-
servaes por atrito amostral, isto , a perda das informaes sobre unidades
tratadas e de controle ao longo do tempo. Essas e outras difculdades tcnicas
sero discutidas com mais detalhes na seo 3.4.
3.3 Como a Aleatorizao Resolve o
Problema de Autosseleo
Tipicamente, estamos interessados em estimar o efeito mdio do programa so-
bre os tratados (EMPT). Como vimos no captulo 2 (seo 2.3), esse parmetro,
que denotamos por D, expresso por:
(1)
ou seja, um parmetro que mede a mdia da varivel de resultado para a popu-
lao de tratados quando ela tratada subtrada da mdia da mesma varivel
para a mesma populao, porm na situao contrafatual de no tratamento.
Olhando para essa expresso, possvel perceber que a primeira mdia pode
ser calculada diretamente a partir de informaes para a populao de trata-
dos. No caso de um experimento social, essa mdia fornecida pelos dados
coletados para o grupo de tratamento, o qual foi aleatoriamente selecionado
para participar do programa.
O grande problema como obter a segunda mdia da expresso (1), ou seja,
como encontrar a verdadeira mdia da varivel de interesse caso os tratados
no tivessem sido tratados. aqui que o mtodo de aleatorizao d a sua
maior contribuio, pois o grupo que foi aleatorizado para fora do programa
capaz de prover essa mdia. Especifcamente, ao construir os grupos de trata-
mento e controle com base num mecanismo de aleatorizao, o experimento
social torna a varivel que indica tratamento, T, independente dos resultados
potenciais. Essa independncia se d por fora do prprio processo de aleatori-
zao. Assim, enquanto um grupo qualquer de indivduos no tratados fornece
um grupo de controle escolhido de forma aleatria assegura
que Note que, ao garantir a validade desta
ltima igualdade, o experimento aleatrio consegue resolver o vis de autos-
seleo.
Podemos tambm utilizar equaes lineares tpicas dos modelos estimados
por Mnimos Quadrados Ordinrios (MQO) para entender como a aleatorizao
resolve o problema do vis de autosseleo. Considere a equao:

onde o termo aqui capta tanto as variveis observadas quanto as no ob-
servadas do indivduo i. Nessa equao, o parmetro deve captar o efeito do
programa e o vis de autosseleo aparece pela potencial correlao entre T
e . Essa correlao pode se dar porque a participao no programa correla-
cionada tanto com algumas caractersticas observadas quanto no observadas
das pessoas. Por exemplo, possvel que, quanto maior a motivao dos indi-
vduos, maior a chance de participao num programa de treinamento de mo
de obra.
A expresso para a mdia condicional da equao (2) dada por:

O que a aleatorizao garante que a participao no programa independen-
te das caractersticas observadas e no observadas dos indivduos, exatamente
como no exemplo da seo 2.1.1, em que os grupos de tratamento e controle
tm todos os atributos semelhantes. a gerao dessa independncia entre T
e que faz o mtodo de aleatorizao ser capaz de anular o vis de autossele-
o. Em termos da equao (3), isso signifca que a aleatorizao faz com que:

ou seja, garante o atendimento de uma das hipteses fundamentais (mdia
condicional zero do erro) para que o modelo de MQO gere um estimador no
-enviesado dos parmetros da regresso. Devido ao resultado da expresso (4),
podemos escrever que:

o que comprova que o mtodo isola corretamente o efeito de interesse. Note
que a estimao do efeito pode ser feita com base numa simples regresso de
MQO ou, como mostra a expresso (5), atravs do simples cmputo da diferen-
a de duas mdias amostrais: onde e repre-
sentam a varivel de resultado respectivamente para os indivduos tratados
e indivduos no tratados. Essa simplicidade de clculo uma das grandes
vantagens do mtodo de aleatorizao.
5

11
Em termos de inferncia, o teste de se o parmetro diferente de zero (o conhecido
teste-t) equivalente ao teste de diferenas de mdias. Este ltimo baseado na estatsti-
11
Embora tenhamos incorporado as caractersticas observadas dos indivduos ao
termo na equao (2), possvel explicit-las no modelo sem produzir gran-
des alteraes nos resultados obtidos at agora. Considere ento a equao (2)
modifcada pela introduo do vetor de caractersticas observadas X:
onde o primeiro elemento de X igual a um e um vetor de parmetros con-
forme a X. Se bem realizado, o experimento aleatrio assegura que:

o que implica que a diferena:
isola o parmetro de interesse.
6

Um ponto adicional que, em princpio, a aleatorizao garante que tanto
as caractersticas observadas como as no observadas so balanceadas entre
os grupos de tratamento e controle. Ou seja, se os dados contm K diferen-
tes caractersticas dos indivduos (sexo, idade, escolaridade, renda familiar,
entre outras), devemos esperar que a mdia de cada caracterstica conti-
da em para o grupo de tratamento seja igual mdia da
mesma varivel para o grupo de controle. Formalmente, isso signifca que
um resultado que pode ser tes-
tado com base nos dados coletados para os dois grupos experimentais.
7
Na
realidade, sempre recomendvel testar o balanceamento das caractersticas
observadas entre os grupos, pois caso ocorra rejeio da hiptese de balancea-
mento para muitas variveis em X, h indicao de que o protocolo de aleato-
rizao no foi bem realizado, o que pode comprometer a acurcia com que os
efeitos do programa so estimados.
ca onde representa o desvio-padro da diferena de mdias. Como as
amostras dos grupos de tratamento e controle so independentes, em
que e denotam o nmero de observaes das amostras dos dois grupos, respecti-
vamente.
12
Embora a prova da afrmao a seguir esteja fora do escopo deste livro, vale assinalar que
o modelo expresso por (2) e (3) pelo menos to efciente quanto o expresso por (2) e (3).
Em outras palavras, o parmetro pode ser estimado de forma mais precisa com a incluso
das caractersticas em no modelo (desde que os coefcientes em sejam diferentes de zero).
13
H vrias formas de se testar este resultado. Um das mais empregadas o teste para dif-
erenas de mdias de amostras independentes. Esse teste bastante confvel quando a
aleatorizao dos grupos de tratamento e controle feita com base no mtodo de amostr-
agem aleatria simples. Todavia, caso a aleatorizao dos grupos seja realizada de forma
estratifcada exemplos tpicos de estratos so: escola, turma, clnica, bairro, etc. , no nec-
essariamente esse o teste mais recomendado. Para maiores detalhes, ver Firpo et al. (2011).
13
12
comum que os programas sociais gerem efeitos distintos para diferentes gru-
pos da populao. Por exemplo, programas de treinamento de mo de obra
tendem a mostrar impactos diferenciados entre mulheres e homens e entre
jovens e adultos. Tipicamente, a incorporao desse tipo de heterogeneidade
ao modelo importante, j que revela aos gestores para que grupos socioeco-
nmicos o programa pode ser aperfeioado.
Caso o tamanho da amostra de indivduos nos grupos de tratamento e con-
trole seja sufcientemente grande, possvel estimar o impacto do programa
particionando a amostra entre os estratos para os quais se quer conhecer o
efeito. Por exemplo, se se quer conhecer o efeito de um programa de creche
gratuita para diferentes reas de um municpio, pode-se calcular a diferenas
de mdias da varivel de interesse (e.g., participao no mercado de trabalho
das mulheres) entre o grupo de tratamento e controle separadamente para
cada rea da cidade. Naturalmente, importante que a amostra para cada rea
da cidade seja relativamente grande, caso contrrio o impacto no ser preci-
samente medido.
Podemos tambm utilizar uma variante da equao (2) para computar impac-
tos heterogneos de um programa para grupos formados pelas caractersticas
que aparecem no vetor X. Para operacionalizar essa estratgia, basta interagir
as variveis em X, para as quais temos interesse em medir separadamente o im-
pacto do programa, com o indicador de tratamento T. Para verifcar isso, supo-
nha que queiramos medir o efeito mdio de uma interveno separadamente
para homens e mulheres, os quais so identifcados na base de dados pela va-
rivel binria com 1 para mulheres e 0 para homens. Denotemos
por X* todas as variveis presentes em X que no Se escrevermos:
o efeito do programa para as mulheres pode ser obtido por meio de:

e para os homens via:
Comparando as duas ltimas expresses, v-se que a potencial heterogeneida-
de de impacto entre os grupos de gnero dada pelo parmetro . A realizao
de um simples teste t para permite inferir se ele nulo ou no. Da mesma
forma que para , outras variveis presentes em X poderiam ser interagidas
com T para obtermos o impacto diferenciado do programa segundo essas ca-
ractersticas.
3.4 Dificuldades Tcnicas da Aleatorizao
Apesar de os experimentos sociais apresentarem importantes vantagens sobre
outros mtodos de avaliao de impacto, eles no esto livres de problemas.
Na seo 3.2, abordamos os problemas de natureza tica e fnanceira que po-
dem surgir para se implementar um experimento social. Nesta seo, discutire-
mos algumas difculdades de natureza mais tcnica que, caso no sejam ade-
quadamente tratadas, podem comprometer bastante a acurcia os resultados
obtidos.
Quatro so as principais difculdades tcnicas que aparecem na realizao dos
experimentos aleatorizados. A primeira o no comparecimento de uma par-
cela dos indivduos selecionados para o grupo de tratamento para realizar o
programa. A segunda, muito frequente, a substituio do programa em ava-
liao por outros semelhantes por parte dos indivduos do grupo de controle.
A terceira difculdade, chamada atrito amostral, tipicamente aparece quando
h coleta de dados em mais de um ponto do tempo e ocorre perda de ob-
servaes de um conjunto de indivduos da amostra entre perodos. A quarta
difculdade surge quando o prprio programa gera externalidades para os no
tratados incluindo os membros do grupo de controle , o que pode distorcer
os efeitos computados.

No Comparecimento
Um dos problemas mais comuns de um experimento social aleatrio ocorre
quando, aps terem sido selecionados para participar do programa, alguns
indivduos do grupo de tratamento no aparecem de fato para realizar as
atividades previstas na interveno. O no comparecimento desse subgrupo
altera o grupo de tratamento, o que pode comprometer a identifcao dos
impactos do programa, especialmente se a desistncia estiver associada com
caractersticas no observadas dos desistentes. Por exemplo, se os menos mo-
tivados entre os selecionados para o programa so os que no comparecem, a
composio do grupo de tratamento deixa de ser parecida com a do grupo de
controle nessa caracterstica. Assim, se motivao for um determinante impor-
tante da varivel de resultado (por exemplo, busca por emprego), a diferena
de composio que aparece a posteriori entre os dois grupos ir comprometer
o isolamento do que efetivamente o impacto do programa.
Uma forma de olhar para esse problema que ocorre uma distino entre a
oferta e a participao propriamente dita no programa. Essa distino, que
ocorre com vrios programas sociais e no somente com experimentos alea-
torizados, pode criar uma diferena entre o impacto que os gestores intencio-
navam que o programa tivesse para o pblico elegvel em geral e o impacto
que de fato ocorreu para o pblico efetivamente tratado. Na realidade, essa
diferena de impactos tem sido amplamente discutida na literatura de avalia-
o de impacto e pode ser entendida dentro do arcabouo dos experimentos
aleatrios.
Suponhamos que os gestores de um programa de treinamento tenham aleato-
rizado a oferta de vagas entre os indivduos de uma comunidade. Seja Z uma
varivel binria que assume valor unitrio quando um indivduo aleatorizado
para o grupo de tratamento e valor zero quando a aleatorizao para o grupo
de controle. Caso uma frao dos que foram alocados para o grupo de trata-
mento no aparecerem para participar do curso, haver uma distino entre a
varivel Z e a varivel que identifca quem efetivamente compareceu, T. Assim,
se a estimao for realizada com base na diferena
no estaremos identifcando o EMPT, mas sim outro parmetro, que recebe o
nome de efeito da inteno de tratar (EIT).
3

Dada a frequncia com que o problema de desistncia ocorre, a estimao do
EIT pode ser to relevante quanto a do EMPT. De fato, enquanto o EMPT forne-
ce o impacto somente para os tratados, o EIT informa os gestores sobre como
a disponibilidade do programa afeta em mdia a populao de elegveis. Isso
importante, j que, na prtica, o mximo que os gestores normalmente conse-
guem fazer oferecer o programa populao-alvo, no tendo como obrig-la
a frequent-lo.
Mas o no recebimento dos servios do programa por parte de uma parcela do
grupo de tratamento no impede que o mtodo de aleatorizao seja capaz de
identifcar o efeito do programa. Se olharmos com cuidado a situao, poss-
vel perceber que a varivel Z deve ser correlacionada com a varivel T, porm
no associada com qualquer determinante (observado ou no) da varivel de
resultado, Y. Isso permite utiliz-la como um instrumento no mtodo de va-
riveis instrumentais, um tema que ser tratado com detalhes no captulo 6.
Substituio
O problema inverso tambm costuma ocorrer com os indivduos que compem
o grupo de controle. Idealmente, num experimento social, nenhum membro
desse grupo deveria receber os servios do programa ou de um substituto
prximo dele. Contudo, na prtica, no incomum que uma parcela do gru-
po acabe entrando no programa em avaliao ou em algum programa similar.
Quanto mais substituvel a interveno sendo avaliada, maior a possibilidade
de que os controles busquem um tratamento parecido em algum outro lugar.
14
Implicitamente, estamos assumindo que o efeito da interveno heterogneo entre as
pessoas. Naturalmente, na hiptese de que o efeito igual para todos, no haveria diferena
entre o EIT e o EMPT.
14
A principal consequncia dessa substituio do programa que o grupo de
controle experimental deixa de corresponder ao contrafatual do estado no
tratamento. Como decorrncia, a mdia da varivel de resultado para o grupo
de controle, deixa de fornecer a mdia que se buscava com o ex-
perimento aleatrio, Com isso, a simples diferena das mdias
calculadas para os grupos de tratamento e controle experimentais no isola
mais o impacto do programa.
4

Naturalmente, para se estimar o efeito causal da interveno nessa situao
de substituio do programa h que se recorrer a estratgias de identifcao
alternativas. Como no caso do no comparecimento s atividades do progra-
ma por parte do grupo de tratamento, uma estratgia fazer uso da varivel Z
como instrumento quando h substituio do programa por parte dos contro-
les. Essa estratgia de identifcao ser discutida no captulo 6.
Outra possibilidade assumir que o efeito do programa substituto para os con-
troles que dele participam igual ao efeito do programa em avaliao para os
efetivamente tratados (Heckman et al., 1999). Se representa respec-
tivamente as situaes em que um indivduo do grupo de controle recebe um
tratamento alternativo e no recebe tratamento nenhum, essa hiptese pode
ser expressa por:
onde representaria a varivel de resultado no caso do recebimento do
tratamento alternativo ao em avaliao. Trata-se claramente de uma hipte-
se forte, cuja invocao requereria uma anlise cuidadosa dos contedos das
duas intervenes em questo.

Atrito
Em quase todas as pesquisas que coletam dados de campo em mais de um
momento do tempo h perda de informaes sobre alguns indivduos que no
so encontrados nos perodos subsequentes ao primeiro. H diversos motivos
que levam ao aparecimento desse atrito amostral, mas muitos deles so no
-aleatrios, ou seja, podem estar relacionados s caractersticas (no observa-
das) dos indivduos ou ao impacto de interesse. Normalmente, quando o atrito
no aleatrio, a estimao do efeito causal do programa por meio da compa-
rao entre tratados e controles torna-se potencialmente enviesada.
A apario desse tipo de vis mais provvel quando a taxa de atrito difere
entre o grupo de tratamento e o grupo de controle. Na prtica, essa a situao
15
Novamente, sob a hiptese de que o efeito do programa homogneo para todos, essa
diferena identifcar o impacto do programa.
15
mais comum, com a taxa do grupo de controle sendo tipicamente mais eleva-
da que a do grupo de tratamento. Muitas vezes, a negao do programa aos
controles gera uma reao de recusa por parte deles em fornecer informaes
aos entrevistadores do programa. Em alguns casos, os controles, quando se
veem na situao de no encontrar um programa alternativo perto de onde
moram, se mudam para outras localidades, tornando mais difcil a coleta sub-
sequente de informaes.
Como j mencionado, sempre boa prtica comparar as caractersticas obser-
vadas dos grupos de tratamento e controle, antes e aps o tratamento. Essa
comparao pode ser particularmente informativa quando a taxa de atrito
substancial, pois, se aparecerem diferenas marcantes entre os dois grupos nas
caractersticas observadas, provvel que o atrito tenha alterado tambm a
composio dos atributos no observados entre os grupos. Tipicamente, a re-
soluo do problema do vis de atrito amostral requer o uso complementar de
hipteses comuns aos mtodos no experimentais.
5

Externalidades
Alm das limitaes acima apontadas, os experimentos aleatrios tambm po-
dem estar associados a dois outros tipos de problemas. O primeiro um efeito
de transbordamento do programa sobre o grupo de controle, ou seja, uma ex-
ternalidade (positiva ou negativa) que gerada pelo prprio tratamento so-
bre a varivel de resultado do grupo de controle. Por exemplo, se os grupos
de tratamento e controle de um programa de combate obesidade infantil
so escolhidos aleatoriamente dentro das escolas, provvel que o tratamento
acabe afetando indiretamente o grupo de controle, j que as crianas trata-
das podem infuenciar o comportamento alimentar das crianas do grupo de
controle (dentro ou fora da escola). Em casos como esse, mais recomendado
realizar a aleatorizao dos grupos experimentais entre escolas, preferencial-
mente guardando certa distncia entre as selecionadas para cada grupo. Esse
tipo de cuidado deve ser sempre tomado com intervenes de sade, educa-
cionais, alimentares, entre outras, em que podem ocorrer externalidades de-
vido ao contato fsico ou de comunicao dos indivduos tratados com os no
tratados.
6
16
Uma forma comumente utilizada especifcar uma equao dos determinantes do atrito
amostral e estim-la conjuntamente com a equao da varivel de resultado. Geralmente,
esse procedimento realizado utilizando-se variveis instrumentais, um mtodo que ser
apresentado no captulo 6. O leitor mais interessado encontrar em Grasdal (2001) uma dis-
cusso sobre esse procedimento no contexto de avaliao de impacto. Dufo et al. (2008)
prov uma apresentao do problema de atrito amostral no contexto de experimentos ale-
atrios.
17
H algumas tcnicas para averiguar a existncia de efeitos de transbordamento para fora
do grupo de tratados. Uma delas, utilizada num estudo sobre os efeitos de um programa de
16
17
Finalmente, o ltimo problema que precisa ser levado em considerao a
ocorrncia de efeitos de equilbrio geral, isto , efeitos que o programa pode
ter sobre o funcionamento da economia do local onde ele ocorre. Esses efei-
tos so mais comuns quando a escala do programa grande relativamente
ao tamanho da economia. Por exemplo, o programa Bolsa-Famlia atende uma
proporo que pode chegar a quase 90% da populao de vrios municpios
pequenos no Brasil. Em municipalidades como essas, as transferncias de ren-
da s famlias benefciadas pelo programa pode gerar um impacto signifcativo
sobre a demanda por diversos bens e servios dessas localidades, resultando
em mudanas de preos e salrios. Esse tipo de efeito agregado da interveno
tende a alterar o prprio estado do contrafatual de no tratamento, tipicamen-
te concebido para uma situao na qual no h mudanas na economia de-
correntes do prprio programa. Os efeitos de equilbrio geral podem provocar
uma reao dos agentes sobre suas decises futuras em relao varivel de
interesse, pelo menos no longo prazo. Por exemplo, um amplo programa de
concesso de bolsas de estudos universitrias pode ter efeito positivo sobre a
entrada dos benefcirios na universidade. No entanto, devido a sua escala, o
programa tambm tende a alterar o retorno educao superior, o que pode
afetar as decises das pessoas de fazer curso superior no futuro.
A maior parte das avaliaes de impacto no leva em conta esse tipo de efeitos
indiretos do programa na economia e nas decises dos agentes. Essa prtica
no recomendada, especialmente nos casos de intervenes de larga escala.
A forma tpica de resolver esse problema lanar mo de um modelo estrutu-
ral geral que incorpore de forma explcita o comportamento dos agentes. Aps
a estimao dos parmetros do modelo inclusive o referente ao impacto do
programa , possvel simul-lo para conhecer os efeitos diretos e indiretos da
interveno.
aplicao de drogas de combate a vermes em escolas do Qunia (Miguel e Kremer, 2004),
faz uso de diferentes nveis de exposio ao tratamento para analisar as externalidades (pos-
itivas) do programa nas localidades prximas s escolas. Ver Dufo et al. (2008) para uma
apresentao de outras tcnicas para estudar a presena de externalidades de intervenes
avaliadas pelo mtodo de aleatorizao.
Box 1: Avaliao Experimental do Planfor
Tabela B.1: Estimativas do Impacto do Planfor para Rio de Janeiro e Fortaleza
Rio de Janeiro Fortaleza
Lanado em 1995 pelo governo federal, o
Plano Nacional de Formao Profssional
(Planfor) foi um programa de qualifcao
que ofereceu cursos de treinamento pro-
fssional para uma variedade de ocupaes
tais como garom, cabeleireiro, vendedor,
eletricista, costureiro etc. Os principais ob-
jetivos do programa eram aumentar a em-
pregabilidade e a capacidade de gerao
de renda dos trabalhadores da sua popula-
o-alvo, que era prioritariamente formada
de desempregados e pessoas em situao
de desvantagem social. A inscrio no pro-
grama era voluntria e os cursos costuma-
vam durar entre 30 e 60 dias, em geral com
uma carga horria de 60 horas por ms. Os
servios de treinamento eram basicamente
providos por escolas especializadas, univer-
sidades, sindicatos e organizaes no go-
vernamentais.
Em 1998, o Planfor passou por uma avalia-
o de impacto realizada com base no m-
todo de aleatorizao. Especifcamente, fo-
ram avaliados os cursos oferecidos no ms
de setembro de 1998 nas regies metropo-
litanas do Rio de Janeiro e de Fortaleza. Na
inscrio para os cursos, os indivduos res-
ponderam um questionrio normalmen-
te chamado de linha de base com uma
srie de perguntas sobre suas condies so-
cioeconmicas e de trabalho. Como houve
excesso de demanda, os grupos de trata-
mento e controle foram formados pela ale-
atorizao dos inscritos nos diversos cursos
oferecidos em cada regio. Em novembro
de 1999, um segundo questionrio foi apli-
cado aos indivduos de ambos os grupos
normalmente chamado de acompanha-
mento (ou follow-up) que puderam ser
encontrados cerca de um ano depois do in-
cio dos cursos. Novamente, perguntas sobre
Fonte: Ipea e Cedeplar (2000).
Nota: Os nmeros entre parnteses correspondem aos erros-padro calculados para as amostras de cada
grupo experimental e regio metropolitana. Os nmero entre colchetes referem-se aos p-valores reportados
para as estimativas do impacto do programa.
a situao de trabalho foram levantadas no
segundo questionrio. Apesar da ocorrncia
de atrito (isto , perda de observaes entre
a linha de base e o follow-up), as amostras
fnais permaneceram grandes, com a do Rio
de Janeiro contendo 2256 indivduos (1201
tratados) e a de Fortaleza, 2517 (1210 trata-
dos).
A Tabela B.1 contm as estimativas do im-
pacto do Planfor separadamente para cada
regio metropolitana (Ipea e Cedeplar,
2000). As variveis de resultado so a pro-
poro de ocupados e a taxa de desempre-
go. As estimativas para cada grupo experi-
mental esto apresentadas em termos das
diferenas nessas variveis entre os pero-
dos anterior e posterior aos cursos. O impac-
to calculado simplesmente pela subtrao
dessas diferenas entre os dois grupos, ou
seja, pelo procedimento conhecido por di-
ferenas em diferenas, a ser tratado em de-
talhes no captulo 4.
Os resultados mostram que o programa pa-
rece ter tido um impacto positivo em ter-
mos de ocupao em ambas as regies. Es-
pecifcamente, vemos que a proporo de
ocupados aumentou mais entre os trata-
dos do que entre os controles tanto no Rio
de Janeiro quanto em Fortaleza, gerando
um impacto positivo de cerca de 2 pontos
de percentagem (pp) na primeira regio e
de aproximadamente 3 pp na segunda. No
caso da taxa de desemprego, as estimativas
indicam que o programa s foi capaz de re-
duzir essa taxa no Rio de Janeiro. De fato, em
Fortaleza, embora a estimativa pontual do
impacto seja na direo de aumento da taxa
de desemprego, do ponto de vista estatsti-
co o efeito pode ser considerado nulo, pelo
menos ao nvel de signifcncia de 10%.
Box 2: Impacto das Creches Pblicas no Rio de Janeiro sobre
a Participao das Mulheres no Mercado de Trabalho
Na cidade do Rio de Janeiro, existe um
conjunto amplo de creches que recebem
algum fnanciamento do governo para fun-
cionar. Espera-se que as creches tenham
efeitos positivos tanto no desenvolvimen-
to das crianas quanto na insero das suas
mes no mercado de trabalho. As evidn-
cias mostram que um desenvolvimento
adequado na primeira infncia tem efeitos
cognitivos e no-cognitivos positivos, com
repercusses de longo prazo para as pes-
soas na fase juvenil e adulta. A liberao de
tempo que as creches propiciam para um
maior engajamento das mes com o mer-
cado de trabalho tambm considerada
importante, especialmente para as famlias
de baixa renda.
Em 2007, utilizou-se um mecanismo de
loteria na cidade do Rio de Janeiro para
selecionar entre as 25 mil famlias candi-
datas s 10 mil vagas a serem oferecidas
nas creches municipais com fnanciamento
pblico no ano de 2008. Explorando essa
aleatorizao, uma pesquisa foi realizada
com cerca de 3800 famlias entre junho e
outubro de 2008 para levantar uma srie
de informaes sobre a situao de traba-
lho das mulheres. Metade dessas famlias
tinha sido selecionada aleatoriamente
para fazer parte do grupo de tratamento e
a outra metade para o grupo de controle.
Na prtica, no entanto, ocorreram os pro-
blemas de no comparecimento por parte
das famlias do grupo de tratamento e de
substituio do programa pelas famlias do
grupo de controle. Especifcamente, 94%
das crianas do grupo de tratamento entra-
ram de fato nas creches cobertas pelo pro-
grama, ao passo que 51% das crianas do
grupo de controle acabaram conseguindo
vagas nesse mesmo conjunto de creches.
Como mencionado no texto, a existncia
desses problemas requer o uso de mtodos
complementares ao proposto pelo mtodo
de aleatorizao. Em Barros et al. (2011),
empregou-se o procedimento de variveis
instrumentais a ser discutido no captulo
6 para se estimar um parmetro conheci-
do como efeito mdio local do tratamento
(EMLT). Sendo Y a varivel de resultado,
T uma varivel binria que indica se uma
mulher pertence ao grupo de tratamento
ou controle ( T = 1 ou 0, respectivamente)
e Z uma varivel tambm binria que mar-
ca quais mulheres efetivamente tiveram ou
no seus flhos matriculados nas creches (Z
= 1 ou 0, respectivamente), o estudo citado
estimou o seguinte parmetro:
EMLT=
E[Y|T=1]
_
E[Y|T=0]
P[Z=1|T=1]
_
P[Z=1|T=0]
Em linhas gerais, esse parmetro pode ser
interpretado como efeito do programa que
seria estimado pelo mtodo de aleatori-
zao (o numerador) corrigido para o fato
de que nem todos os tratados e controles
cumpriram o que a seleo aleatria de-
terminou (o denominador). Note que essa
correo dada pela diferena entre os 94%
das mulheres do grupo de tratamento que
tiveram seus flhos efetivamente tratados (o
P[Z = 1|T = 1] do denominador) e os 51%
das mulheres do grupo de controle que
descumpriram o determinado pela loteria e
conseguiram colocar seus flhos nas creches
do programa (o P[Z = 1|T = 0] do denomi-
nador).
As estimativas do impacto do programa
indicam aumentos relativos de 8% na taxa
de participao das mulheres no mercado
de trabalho (de 74% para 79%) e de 27% na
proporo de ocupadas (de 36% para 46%).
A interveno parece tambm ter reduzido
a taxa de desemprego das mulheres em
16% (de 50% para 42%).
Exerccios
1) Um governo estadual est atualmente planejando realizar programa de re-
duo do analfabetismo e quer que uma avaliao seja realizada para medir
os impactos do programa. Assinale se as assertivas abaixo so verdadeiras ou
falsas e explique sua resposta.
a) Se esse governo utilizar apenas os dados da Pesquisa Nacional por
Amostra de Domiclios (PNAD) que uma pesquisa com uma amostra aleat-
ria realizada pelo IBGE em todo o territrio nacional para avaliar o programa,
os resultados asseguraro a validade interna do estudo.
b) A validade externa da avaliao estar garantida se houver a aleato-
rizao dos servios do programa (por exemplo, entre os municpios do esta-
do).
c) Qual o principal tipo de problema que pode surgir se compararmos
diretamente os rendimentos do trabalho dos estudantes formados em diferen-
tes cursos?
2) Uma entidade que recebe verba pblica presta servios de treinamento de
mo de obra para trabalhadores de baixa renda num certo municpio. Para se-
lecionar os benefciados pelo programa, a entidade utiliza o critrio do primei-
ro a chegar ao local da inscrio. Um dia, um gestor decidiu tabular as informa-
es das fchas de inscrio para o programa nessa entidade e descobriu que
cerca de 80% dos benefciados morava no mesmo bairro do local da inscrio.
O gestor tambm observou que as caractersticas socioeconmicas dos ins-
critos no diferiam muito entre si. Baseado apenas na ideia de igualdade de
oportunidade para participar do programa, voc proporia alguma mudana de
critrio de seleo dos benefciados? Pensando agora somente em termos de
avaliao de impacto do programa, voc proporia utilizar um critrio baseado
na seleo aleatria dos inscritos? Desenvolva suas respostas.
3) Em laboratrios de fsica, biologia e reas cientfcas afns, muito comum
a realizao de experimentos controlados, ou seja, experimentos nos quais
o pesquisador tem ampla capacidade de controlar as variveis que afetam o
objeto de estudo. Nas cincias sociais, entretanto, no to fcil realizar ex-
perimentos desse tipo. Discuta pelo menos duas razes (tcnicas ou no) que
difcultam a realizao de experimentos aleatrios na rea de avaliao de pro-
gramas sociais.
4) Em uma avaliao de impacto aleatorizada de um programa de reforo es-
colar, descobriu-se que 10% dos alunos do grupo de tratamento desistiram do
programa. Ao analisar as informaes disponveis, os avaliadores observaram
que esses alunos que no compareceram tinham histricos escolares piores
que os demais.
a) Voc trataria essa informao como uma evidncia de que h ca-
ractersticas no observadas dos alunos que infuenciaram na desistncia do
programa?
b) A diferena entre o grupo que foi aleatorizado para participar e o
que efetivamente participou no impede o uso do experimento para estimar o
impacto do programa. Discuta o efeito causal que poderia ser estimado nessa
situao.
c) Distintamente, se a situao fosse que 10% dos indivduos do grupo
de controle substituram o programa por outros similares, o experimento alea-
trio estaria invalidado para se estimar o impacto do programa? Explique.
CAPTULO 4
Diferenas
em Diferenas
Como vimos nos captulos anteriores, os mtodos de avaliao de impacto so
geralmente divididos em dois grupos: experimental e no-experimental. O pri-
meiro, apresentado no captulo anterior, baseado na seleo aleatria dos
participantes e no participantes do programa e considerado o mtodo de
referncia na rea de avaliao. O segundo grupo composto por uma varie-
dade de mtodos distintos que, embora faam uso de hipteses especfcas
para identifcar o efeito causal do programa, procuram mimetizar o mtodo
experimental. Os prximos captulos sero dedicados aos principais mtodos
no-experimentais utilizados na rea de avaliao de impacto. Neste captulo,
discutiremos um dos mais empregados dentre eles, o chamado mtodo das
diferenas em diferenas (DD).
Como sugere o seu nome, o mtodo de DD baseado no clculo de uma dupla
subtrao: a primeira se refere diferena das mdias da varivel de resultado
entre os perodos anterior e posterior ao programa, para o grupo de tratamen-
to e para o de controle, e a segunda se refere diferena da primeira diferena
calculada entre esses dois grupos. Naturalmente, a operacionalizao do mto-
do requer a existncia de informaes para ambos os grupos para pelo menos
um perodo de tempo antes e um perodo depois do programa. Embora essa
demanda por dados torne a aplicao do procedimento mais custosa, o mto-
do possui uma srie de vantagens relativamente a outros mtodos no-expe-
rimentais. Em particular, como veremos, ele capaz de lidar com o vis de se-
leo associado a certo tipo de caractersticas no observveis dos indivduos,
especifcamente quelas que so invariantes no tempo.
A aplicabilidade do procedimento de DD ampla e ele tem sido utilizado iso-
ladamente ou em combinao com outros mtodos em diversas situaes.
3

Muitas vezes, ele empregado no contexto do que se chama experimento na-
tural (ou quase-experimento) uma situao na qual a ocorrncia de um evento
fortuito ou em larga medida imprevisto permite formar grupos de trata-
18
Por exemplo, no captulo 5, apresentaremos como o mtodo de pareamento combina-
do com o mtodo de DD.
18
mento e controle parecidos em diversos aspectos. Esses eventos podem ter
origem em mudanas que ocorrem na prpria natureza (por exemplo, terre-
motos e furaces), alteraes institucionais (modifcaes inesperadas em leis
ou programas em algum municpio ou estado) ou at mesmo na seleo dos
participantes que ocorre devido a circunstncias que envolvem um alto grau
de aleatoriedade.
4
Qualquer que seja o caso, a ideia que a fortuidade do
evento permita criar uma seleo dos indivduos ou unidades de observao
que comporo os grupos de tratamento e controle prxima daquela do m-
todo experimental.
5
No entanto, mesmo que o evento gerador parea fortui-
to, no h garantias de que o grupo de controle seja uma boa representao
contrafatual do grupo tratado. O mtodo de DD procura resolver isso levando
em considerao as diferenas de caractersticas pr-existentes entre tratados
e controles. Essa caracterstica torna o mtodo de DD empregvel no s em
casos de experimentos naturais, mas em diversos outros contextos onde haja
disponibilidade de informaes pr e ps-programa para os dois grupos. Neste
captulo, a menos que explicitamente mencionado, no distinguiremos se o
procedimento de DD est sendo aplicado num contexto de experimento alea-
trio, natural ou outra situao em que as condies demandadas pelo mto-
do so atendidas.
A principal hiptese do mtodo de DD que a trajetria temporal da varivel
de resultado para o grupo de controle represente o que ocorreria com o gru-
po tratado caso no houvesse a interveno. Naturalmente, essa hiptese no
pode ser testada diretamente nos dados, mas uma indicao de sua validade
aparece quando as trajetrias dos dois grupos so parecidas pr-programa. A
ideia bsica que, se as trajetrias se assemelham durante o perodo antes do
programa, ento parece razovel supor que a evoluo do grupo de controle
aps o programa represente com fdedignidade o que ocorreria com o grupo
de tratados na situao de no tratamento. Assim, quando existem dados para
vrios perodos de tempo pr-programa, tipicamente testa-se se as sries da
varivel de resultado para os dois grupos possuem a mesma tendncia tempo-
ral. Embora este no seja um teste cabal da hiptese, ele bastante intuitivo e
pode ser realizado com facilidade.
19
Um exemplo interessante dessa ltima situao o estudo de Braido et al. (2012), que
avaliou os efeitos do programa brasileiro Bolsa-Alimentao sobre o padro de consumo
dos domiclios. Por conta de uma incompatibilidade temporria dos softwares utilizados
nos sistemas de recrutamento e seleo de benefcirios do programa, um conjunto de do-
miclios acabou no sendo selecionado devido presena de letras nos nomes de membros
dos domiclios que tivessem acentos, til ou cedilha. Dada a abrangncia com que essas letras
aparecem nos nomes das pessoas no Brasil, esse equvoco, que foi no intencional, constitui
um mecanismo fortuito de seleo ao programa. Esse experimento natural permitiu aos
autores construir grupos de tratamento e controle muito prximos aos de experimentos
aleatrios.
20
Vale observar que o mtodo de DD tambm utilizado com experimentos puramente
aleatrios, sempre que estes levantam informaes para os perodos pr e ps-interveno.
19
20
O procedimento de DD pode ser utilizado com dados de indivduos/famlias,
mas tambm com dados em nveis mais agregados, por exemplo, setores de
atividade, ocupaes, municpios ou estados. Por exemplo, se certa UF imple-
mentou um programa de educao ou sade num determinado ano, poss-
vel empregar o mtodo para avaliar o impacto desse programa comparando
os dados agregados (por exemplo, frequncia escolar ou incidncia de uma
doena) da UF tratada com os dados de um conjunto de UFs no tratadas. Sua
aplicabilidade com dados agregados uma importante vantagem do mtodo
de DD, pois permite que o impacto de uma srie de intervenes possam ser
avaliadas apenas com base em informaes rotineiramente coletadas por go-
vernos e institutos de pesquisa e estatstica.
Outra importante vantagem do mtodo de DD que ele permite controlar para
caractersticas no observveis dos indivduos que sejam invariantes no tempo
(por exemplo, habilidades inatas). Como vimos em captulos anteriores, os atri-
butos no observados dos indivduos so uma fonte potencial de gerao de vis
de autosseleo. Embora o mtodo de DD s consiga levar em conta esse tipo
de atributo que fxo no tempo, esse controle capaz de resolver o problema de
autosseleo para um conjunto amplo de aplicaes. Essa capacidade confere
ao DD uma vantagem relativa a outros mtodos no-experimentais, por exem-
plo, o mtodo do emparelhamento, que no consegue controlar para vieses de
autosseleo decorrentes de atributos no observveis, fxos ou no no tempo.

4.1 Comparando com os Mtodos
Ingnuos
Em uma avaliao de impacto sempre se busca encontrar o contrafatual para
o grupo tratado, ou seja, o que teria ocorrido a esse grupo na ausncia da in-
terveno. No captulo 2 (sees 2.1 e 2.2), vimos dois mtodos ingnuos de
identifcar o impacto do programa, a saber: (i) quando apenas se compara o
grupo de tratados antes e depois da interveno e (ii) quando se compara o
grupo de tratados com um grupo qualquer de no tratados aps a interveno.
A primeira forma de identifcao no possui um grupo de controle explcito e
s consegue isolar o impacto do programa sob a hiptese de que o nico fator
que afeta a varivel de resultado do grupo de tratados a prpria interveno.
Obviamente, trata-se de uma hiptese forte, j que sempre h um conjunto
de fatores que podem infuenciar a trajetria dessa varivel alm da prpria
interveno. A segunda forma de identifcao utiliza um grupo de controle
explicitamente, mas s consegue isolar o efeito do programa sob a hiptese
de que esse grupo representa corretamente o que teria ocorrido com o grupo
tratado na ausncia do programa. Novamente, trata-se de uma suposio forte,
uma vez que parte da diferena na varivel de resultado entre os dois grupos
pode se dever existncia de diferentes caractersticas entre os grupos. Esse
problema torna-se particularmente srio quando essas caractersticas no so
observadas (ou medidas) pelo avaliador.
O mtodo de diferenas em diferenas (DD) busca contornar os problemas des-
sas duas formas de identifcar o impacto de um programa. Em relao primei-
ra, ao invs de simplesmente contrastar o grupo de tratamento com ele mesmo
antes e depois do programa, o mtodo de DD vai buscar um grupo de compa-
rao que se parea ao mximo com o grupo tratado. A ideia que esse grupo
esteja sujeito s mesmas infuncias dos fatores que afetam a varivel de resul-
tado dos tratados, ou seja, que esse grupo funcione como um grupo de controle
semelhante ao que se constri a partir de experimentos aleatrios. Obviamen-
te, sem aleatorizao, no h garantias de que a nica diferena entre os gru-
pos a participao no programa, mas o mtodo de DD, assim como os demais
mtodos no-experimentais, busca mimetizar a situao de aleatorizao. Uma
caracterstica do mtodo de DD que ajuda nesse processo que ele capaz de
levar em conta uma das principais fontes de diferena entre tratados e contro-
les: as caractersticas no observveis dos indivduos que so invariantes no
tempo. Nesse sentido, ele um avano em relao ao mtodo que simplesmen-
te contrasta o grupo de tratamento com um grupo de indivduos no tratados.

4.2 Hipteses Bsicas
Para identifcar o efeito causal de uma interveno, o mtodo de DD lana mo
de um conjunto de hipteses. Idealmente, o mtodo quer encontrar um grupo
de indivduos (ou unidades mais agregadas de observao, como municpios
ou estados) para os quais a evoluo da varivel de resultado corresponda
trajetria dessa varivel para o grupo tratado na ausncia do programa. Natu-
ralmente, essa uma condio no diretamente testvel pelos dados: a des-
peito da quantidade ou qualidade das informaes disponveis, no possvel
saber se a evoluo da varivel de resultados para o grupo de controle repre-
senta bem o contrafatual dessa varivel para o grupo tratado aps o programa.
Mas o fato de essa hiptese no ser diretamente passvel de confrmao em-
prica no signifca que os dados no possam ser utilizados para revelar algo
sobre sua validade. De fato, sempre que possvel, a verifcao da hiptese
feita de forma indireta atravs de um teste que requer que a tendncia tempo-
ral da varivel de resultado dos dois grupos seja a mesma antes do programa.
A ideia que uma trajetria temporal semelhante indica que ambos os grupos
vinham reagindo de forma similar a todo e qualquer fator que afeta a varivel
de resultado antes da interveno. Supe-se ento que, na ausncia da inter-
veno, essa trajetria continuaria ao longo do tempo para o grupo tratado
aps o programa tal como ela efetivamente segue para o grupo de controle.
Note que a condio que os grupos tenham a mesma tendncia temporal,
mas no necessrio que eles partam exatamente do mesmo ponto antes do
programa: o mtodo de DD capaz de lidar com diferenas existentes entre os
grupos pr-programa. Se a condio de mesma tendncia atendida, ento
desvios na trajetria da varivel de resultado entre os grupos aps o programa
so atribudos aos efeitos causais da interveno.
Caso haja disponibilidade de dados para vrios pontos no tempo antes da in-
terveno, o teste de mesma trajetria temporal para os dois grupos pode ser
facilmente realizado. Naturalmente, esse teste s pode ser feito com base nos
dados do perodo pr-programa, j que as trajetrias dos grupos podem dife-
rir por causa dos efeitos do programa logo aps o incio deste.
6
Vale ressaltar
que, embora a existncia de uma mesma tendncia temporal pr-programa
no garanta que o grupo de controle um bom contrafatual para o grupo tra-
tado, recomendvel que o teste seja realizado sempre que possvel. De fato,
caso a hiptese de mesma tendncia no seja rejeitada, o teste confere maior
credibilidade ao grupo de controle como um contrafatual adequado para o
grupo tratado.
O mtodo de DD pode ser utilizado tanto com dados de painel quanto com
dados seccionais (cross-section) repetidos no tempo. Os primeiros tipicamente
referem-se a informaes de indivduos ou famlias que so seguidos ao longo
do tempo, enquanto os segundos so dados temporais calculados para unida-
des mais agregadas tais como escolas, hospitais, setores de atividade, bairros,
municpios ou estados. A agregao dos dados normalmente feita de termos
de propores ou mdias das variveis de interesse para a avaliao. J os mo-
mentos no tempo geralmente so meses ou anos.
7

A despeito do tipo de dados, outra hiptese do mtodo de DD que a compo-
21
Em alguns casos, podem ocorrer efeitos antecipatrios do programa, isto , mudanas
no comportamento do grupo de tratamento ou controle antes mesmo do comeo da in-
terveno. Por exemplo, quando as notcias da introduo de uma poltica ou programa
vm a pblico com alguma antecedncia, certas decises dos indivduos tratados ou de
controle podem se alterar modifcando as trajetrias da varivel de resultado pr-programa.
Em casos como esses, a verifcao da existncia de tendncias semelhantes no perodo pr
-programa pode ser realizada retirando-se os dados mais prximos do incio da interveno.
22
Proposto por Abadie et al. (2010) para contextos em que a unidade de tratamento agre-
gada, h um mtodo recente que um pouco mais geral que o de DD. Nele, busca-se de
forma fexvel um conjunto de unidades agregadas no tratadas para o qual a trajetria da
mdia da varivel de resultado seja a mais prxima possvel (segundo certo critrio) da tra-
jetria da unidade tratada antes do programa. Em linhas gerais, o mtodo procura um vetor
de pesos para unidades no tratadas que as aproxime ao mximo do que ocorreu com a
unidade tratada pr-interveno.
22
21
sio dos grupos de tratamento ou controle no se altere de forma signifcativa
entre os perodos anterior e posterior interveno. Por exemplo, quando as
informaes so de painel, possvel que tenha ocorrido atrito amostral no
aleatrio com o grupo de tratamento ou controle (ou ambos). O impacto do
programa pode ser mal identifcado pelo mtodo de DD nesse caso, j que as
diferenas na varivel de resultado entre perodos de tempo e entre grupos
podem refetir no apenas o efeito do tratamento, mas tambm mudanas nas
caractersticas no observadas dos indivduos. De forma semelhante, quando
os dados so de cross-sections repetidas, as unidades de observao deveriam
manter, pelo menos aproximadamente, a mesma composio de caractersti-
cas das subunidades (indivduos, frmas etc.) que as compem. Por exemplo,
quando se est comparando uma regio tratada (digamos, certas reas de uma
cidade) com regies no tratadas (outras reas da cidade), se estiver ocorrendo
um esvaziamento de pessoas de um dos dois tipos de reas, provvel que a
distribuio das caractersticas observveis e no observveis esteja mudando
em um ou ambos os tipos de rea. Parte ento do que o mtodo atribuir ao
efeito do tratamento na realidade pode se dever s mudanas de composio
dos grupos.
Outra condio requerida pelo mtodo de DD que os grupos de tratamento e
controle no sejam afetados de forma heterognea por mudanas de qualquer
natureza que ocorram aps o programa. Por exemplo, se houver uma mudan-
a idiossincrtica com o grupo de controle aps a interveno, a trajetria da
varivel de resultado desse grupo pode se alterar de forma a que ela deixe de
representar adequadamente o contrafatual do grupo tratado. Uma mudana
idiossincrtica (independente do programa) tambm pode ocorrer com o gru-
po de tratados.
8
Em ambos os casos, o mtodo de DD captar os efeitos dessas
mudanas, os quais sero erroneamente atribudos aos efeitos do programa.

4.3 O Modelo de Diferenas em Diferenas
A forma mais simples de expressar o estimador do mtodo de DD calculando
uma dupla diferena de mdias da varivel de resultado. Se denotarmos por T
= {1,0} a participao ou no no programa e por t = {1,0} os perodos posterior
e anterior interveno, respectivamente, o estimador de DD ser dado por:

23
possvel tambm que choques macroeconmicos tenham efeitos diferenciados sobre os
grupos de tratamento e controle, ou seja, no se pode garantir nem mesmo que choques
agregados sejam homogneos sobre os grupos.
23
ou seja, pela diferena temporal do que ocorreu com o grupo tratamento sub-
trada da mesma diferena calculada para o grupo de controle. Embutida nesse
estimador est a hiptese de que a variao temporal na varivel de resultado
para o grupo de controle representa a variao contrafatual do grupo tratado,
isto , a variao que seria experimentada pelo grupo de tratamento na ausn-
cia do programa.
9
Em decorrncia dessa hiptese, a diferena entre a variao
efetivamente observada para o grupo de tratamento e a variao contrafatual
fornecida pelo grupo de controle vai capturar o efeito causal da interveno.
Como mencionado anteriormente, a mdia da varivel de resultado para o gru-
po de controle no perodo anterior ao programa no precisa coincidir com a
mdia correspondente para o grupo de tratamento, ou seja, os grupos podem
ou no partir de um mesmo ponto. Na realidade, na maior parte das aplicaes
do procedimento de DD, os dois grupos tm essas mdias distintas, um fato
que tipicamente refete as diferentes infuncias dos atributos observveis e
no observveis dos indivduos sobre a varivel de resultado. O que o mtodo
de fato requer que a variao temporal do que ocorre com o grupo de con-
trole antes e depois do programa refita corretamente a variao temporal do
grupo de tratados na situao contrafatual de no tratamento.
Uma forma equivalente de expressar o estimador de DD pela dupla diferena:

que apenas um rearranjo da expresso (1). A expresso (2) mostra que o es-
timador de DD tambm pode ser visto como o contraste das diferenas de
mdias existentes entre os dois grupos no perodo anterior e posterior ao pro-
grama. Aqui, torna-se ainda mais claro que o mtodo permite a existncia de
diferenas de mdias entre os dois grupos no perodo pr-programa, ou seja,
o mtodo no requer que o segundo termo entre chaves na expresso (2) seja
igual a zero.
Para ilustrar como o mtodo funciona, retornaremos ao exemplo hipottico
que utilizamos no captulo 2, no qual imaginamos um curso de treinamento
profssional oferecido a trabalhadores de baixa escolaridade em certo munic-
pio. O interesse recaa sobre o impacto do programa sobre o salrio mdio dos
tratados, que era de R$ 1000 um pouco antes do incio do curso e de R$ 1100
alguns meses aps o programa. Argumentamos naquele captulo que nem a
comparao do grupo tratado antes e depois da interveno e nem a compa-
24
Se utilizarmos o arcabouo de resultados potenciais apresentado no captulo 2, a hiptese
requerida pelo mtodo de DD : E[Y(0)|T = 1, t =1] E[Y(0)|T = 1, t = 0] = E[Y(0)|T = 0,t = 1]
E[Y(0)|T = 0, t = 0],, ou seja, que a variao temporal na mdia do contrafatual do grupo
tratado seja igual variao observada na mdia do grupo de controle.
24
rao dos tratados com um grupo de no tratados somente aps a interveno
isolam corretamente o impacto do programa. Suponha agora que fomos capa-
zes de levantar informaes sobre o grupo de no tratados no perodo anterior
ao programa. A Tabela 4.1 contm os valores dos salrios mdios dos grupos de
tratamento e controle respectivamente, para os perodos anterior
e posterior ao programa respectivamente. A notao representa a
mdia amostral do salrio e signifca o operador de diferena.
Distintamente dos outros dois mtodos, o procedimento de DD compu-
ta uma dupla diferena de mdias. Acompanhando as expresses (1) e (2),
h duas maneiras de se calcular essa dupla diferena. Seguindo a expres-
so (1), a primeira obtida fazendo-se inicialmente a diferena das m-
dias entre os perodos antes e depois do programa para cada grupo isto ,
e, posteriormente, calculando-se a segun-
da diferena entre os grupos: A segun-
da maneira corresponde ao anlogo amostral da expresso (2), sendo obtida
pela subtrao das mdias salariais entre os grupos de tratamento e controle
para cada perodo de tempo isto , e,
a seguir, pela diferena dessa primeira subtrao entre os perodos anterior e
posterior ao programa: O mtodo
de DD mostra ento que o impacto do curso foi de R$ 50, o que representa um
aumento salarial de 5% em mdia para os tratados relativamente situao
deles antes do incio do programa.
Tabela 4.1: Mdia salarial por grupo e perodo de tempo R$
O funcionamento do mtodo de DD tambm pode ser visualizado pela Figura
4.1. Nela, as mdias salariais observadas dos grupos de tratamento e controle
esto representadas pelos quadrados e tringulos preenchidos, respectiva-
mente. O principal aspecto a se destacar nessa Figura o quadrado listrado,
que representa o contrafatual do grupo de tratamento aps o programa. Note
Tratados
Antes
Depois
Diferena
Controle Diferena
que a posio dele obtida atravs de uma projeo da mdia salarial dos tra-
tados que paralela que ocorreu com o grupo de controle depois do progra-
ma. Essa projeo, que est ilustrada pela linha pontilhada que se liga ao ponto
E na Figura 4.1, baseada na hiptese de que a trajetria do salrio mdio do
grupo de tratamento na ausncia do programa igual trajetria dessa vari-
vel para o grupo de controle aps a interveno. Essa a principal hiptese do
mtodo de DD.
A magnitude do impacto do programa pode ser obtida na Figura 4.1 a partir da
diferena de pontos: (B A) (D C) = (1100 1000) (900 850) = 50, ou
seja, pela primeira forma de dupla diferena descrita anteriormente. Note que
o impacto no calculado pela simples variao salarial antes e depois do pro-
grama para o grupo tratado (i.e., B A), mas sim pelo contraste dessa variao
com a experimentada pelo grupo de controle no mesmo intervalo (i.e., D
C). Utilizando a segunda forma de dupla diferena apresentada anteriormente,
obtemos (B D) (A C) = (1100 900) (1000 850) = 50, um resultado
que mostra que o impacto no dado apenas pela diferena entre tratados e
controles ps-tratamento (i.e., B D), mas sim pela comparao dessa dife-
rena com a sua correspondente antes do programa (i.e., A C).
Figura 4.1: Rendimento mdio dos tratados e no tratados, antes e
depois do programa
1100
1000
900
A
C
B
E
D
Podemos tambm apresentar o modelo de DD por meio de regresses lineares.
Suponhamos inicialmente que s possumos observaes para dois perodos de
tempo, um anterior e o outro posterior ao programa. A equao bsica do mo-
delo pode ser especifcada como:

onde o subscrito t foi acrescentado notao dos captulos anteriores para de-
notar o perodo de tempo no qual o indivduo (ou unidade de observao) i
se encontra. Como antes, o vetor X representa as caractersticas observadas do
indivduo e T uma varivel binria que assume valor unitrio, se o indivduo
tratado, e valor nulo, caso contrrio. A varivel t tambm binria, assumindo va-
lor um no perodo ps-programa e valor zero, caso contrrio. O termo de erro
dado por . Sob a hiptese de que o efeito causal do programa
(condicional a X) medido pelo parmetro .
3

Note que, na equao (3), as variveis T e t aparecem tanto isoladamente quanto
interagidas. Caso no houvesse o termo de interao entre as variveis, suas pre-
senas isoladas captariam respectivamente as diferenas da mdia de Y entre o
grupo de tratamento e controle e entre o perodo anterior e posterior ao progra-
ma (condicional a X). A introduo do termo de interao na equao procura
captar o que ocorreu especifcamente com o grupo de tratamento no perodo
ps-programa, ou seja, se a mdia da varivel de resultado para esse grupo em
particular tornou-se diferente aps a interveno. fcil ver ento que o papel
do termo de interao entre as variveis T e t medir o impacto do programa. A
magnitude desse impacto , portanto, capturada pelo parmetro . Uma forma
de verifcar isso escrevendo a mdia (condicional a X) da varivel de resultado
para os seguintes casos (retirando os subscritos para facilitar a leitura):
Tratados, pr-programa:
Tratados, ps-programa:

Controles, pr-programa:
Controles, ps-programa:
25
Sem a presena do vetor de caractersticas X, o parmetro equivale dupla diferena de
mdias do mtodo de DD discutida anteriormente.
25
onde as ltimas igualdades so obtidas sob a hiptese de mdia condicional
nula: Assim, calculando a dupla diferena:
4
A equao (3) pode ser expandida para o caso em que h disponibilidade de
informaes para vrios perodos de tempo (por exemplo, meses ou anos). Seja
ento t = 1,2,,, onde representa o nmero mximo de perodos para o qual
temos informaes sobre os dois grupos. Digamos que a interveno ocorre em
certo ms (ou ano) k ao longo do perodo de observao isto , 1< k < . Consi-
dere a equao a seguir, que uma modifcao da equao (3):

onde uma varivel binria que assume valor um se o indivduo i
tratado, tambm binria mas s assume valor unitrio se o indiv-
duo i tratado e o perodo t se refere a qualquer ms aps o incio da interven-
o (isto , ). Qualquer varivel do conjunto assume valor
unitrio ou zero dependendo de se o ms da observao corresponde ao ms t
ou no, respectivamente (por exemplo, ser igual a um se o ms for o segun-
do e zero, caso contrrio).
5
A funo de cada varivel desse conjunto controlar
para efeitos agregados de tempo que possam afetar a varivel de resultado de
todos os indivduos do grupo de tratamento e controle (por exemplo, infao).
Analogamente equao (3), o efeito causal do programa tambm ser dado
pelo parmetro na equao (4).
Uma das principais vantagens do mtodo de DD que ele capaz de controlar
para as infuncias sobre a varivel de resultado das caractersticas no obser-
vveis dos indivduos que sejam fxas no tempo. Essa uma vantagem impor-
tante do mtodo, pois, muitas vezes, essas caractersticas fxas no observveis
infuenciam tambm a participao no programa. Por exemplo, as habilidades
inatas tendem a infuenciar no somente os salrios, mas tambm a deciso das
pessoas de participar em cursos de treinamento. A motivao ou certos traos
de comportamento (inibio, autoestima, entre outros) tambm seriam outros
exemplos de caractersticas no observveis que podem afetar tanto salrios
quanto a deciso de participar no programa. Qualquer que seja o caso, o im-
portante que o mtodo de DD capaz de levar em conta a associao entre a
varivel de resultado, a participao no programa e as caractersticas no obser-
26
Note que o primeiro mtodo ingnuo da diferena de mdias antes e depois do progra-
ma para o grupo de tratamento fornece: {(B) (A)} = + , o que revela um vis igual a .
J o segundo mtodo ingnuo compara dos tratados com os controles no perodo aps o
programa. Por este mtodo, o impacto seria: {(B) (D)} = + , o que corresponde a um
vis de magnitude .
27
Note-se que exclumos da equao a varivel binria dt
i1
para evitar o problema de mul-
ticolinearidade perfeita com a (implcita) presena do intercepto no vetor de parmetros .
26
27
vveis dos indivduos que sejam invariantes no tempo (pelo menos durante o
perodo de observao). Assim, como o problema do vis de autosseleo pode
surgir da associao entre essas dimenses, o mtodo de DD oferece uma ferra-
menta poderosa para contornar esse problema.
Para verifcar como o mtodo de DD controla para a infuncia das caractersticas
no observveis que no se alteram no tempo, podemos utilizar uma especifca-
o da regresso linear tipicamente empregada em modelos de dados de painel.
Nesse tipo de modelo, a expresso para a varivel de resultado passa a poder
incluir os chamados efeitos fxos individuais, os quais entram na equao como
um conjunto de variveis binrias que tm valor unitrio ou nulo dependendo
de com qual indivduo elas esto associadas. Assumindo a existncia de mlti-
plos perodos de tempo t = 1,2,, e uma amostra com i = 1,2,, N indivduos,
a equao pode ser escrita como:

onde igual a um para o indivduo i e zero para todos os demais indivduos
da amostra (exemplo: recebe valor um para o indivduo i = 2 e zero para o
resto dos indivduos).
6
A incluso desses efeitos fxos especfcos de cada indi-
vduo permite controlar para heterogeneidades existentes entre as pessoas em
caractersticas que sejam fxas no tempo.
7
Uma propriedade dos efeitos fxos
que eles podem ser correlacionados com qualquer caracterstica observada
dos indivduos, incluindo a que determina a participao no programa,
ao permitir esse tipo de correlao que o mtodo de DD controla para o vis de
autosseleo.
Uma forma de estimar a equao (5) aplicar o mtodo do MQO primeira dife-
rena dessa equao:
8

Note que os efeitos fxos individuais so eliminados na equao (6) e isso s
ocorre porque eles so invariantes no tempo. Note tambm que essa equao
28
Novamente, exclumos a varivel I
1
para evitar o problema de multicolinearidade perfeita
com o intercepto em X.
29
Estrito senso, a presena do efeito fxo individual na equao capta a infuncia sobre Y
de qualquer caracterstica, observvel ou no, do indivduo que no varie com o tempo. Isso
implica que os efeitos de variveis fxas no tempo no so identifcados conjuntamente com
o efeito fxo individual. Por essa razo, o termo T
1
no aparece na equao (6). De forma
semelhante, eventuais variveis tempo-invariantes contidas no vetor X (por exemplo, sexo e
cor) tambm no poderiam aparecer na equao.
30
Outra forma de estimao comumente utilizada com dados de painel a que se chama de
intragrupos. Neste caso, cada varivel subtrada do valor de sua mdia temporal para cada
indivduo, por exemplo, subtrai-se
28
29
30
est em linha com a aplicao do mtodo de DD, pois corresponde ao clculo de
sua primeira diferena. A hiptese bsica que permite estimar o impacto do pro-
grama pela equao (6) o qual dado pelo parmetro que o termo
no seja correlacionado com as variveis do modelo, em particular com
9
Embora estejamos nos referindo a indivduos ao apresentar as equaes acima,
mutatis mutandis, elas tambm podem ser utilizadas para o caso em que as uni-
dades de observao esto num nvel mais agregado, como escolas, setores de
atividade, municpios ou estados. Uma das principais vantagens de usar dados
agregados (e.g., mdias, propores) que eles tendem a atenuar problemas
de erros de medidas que tipicamente aparecem em informaes coletadas no
nvel do indivduo ou famlia. Por outro lado, para que o mtodo de DD identi-
fque corretamente o efeito causal de uma interveno importante que tanto
o grupo de tratamento quanto o de controle permaneam similares nas suas
caractersticas ao longo do tempo. Em particular, importante que no ocorram
mudanas expressivas na composio dos grupos no que tange aos efeitos fxos
dos indivduos que compem os agregados de cada grupo. Esse tipo de mu-
danas, ao tornar os grupos distintos entre perodos de tempo, enfraquece (ou
impede) a comparabilidade temporal dos grupos. Por exemplo, a migrao de
pessoas entre municpios ou estados pode tornar os grupos muito diferentes an-
tes e depois de uma interveno. Ou a dinmica prpria do sistema educacional
pode fazer com que a composio dos alunos das escolas se altere de ano para
ano. A perda de comparabilidade dos grupos ao longo do tempo compromete
a acurcia do mtodo de DD, j que o impacto estimado pode estar misturado
com efeitos das mudanas de caractersticas no medidas dos grupos. Uma boa
prtica em avaliaes que utilizam dados de cross-section repetidos verifcar se
as caractersticas observveis de cada grupo permanecem relativamente est-
veis no tempo. Esse tipo de problema tambm pode ocorrer com dados longitu-
dinais de indivduos quando ocorre atrito amostral.
4.4 Desvantagens
Embora possua uma srie de vantagens, o mtodo de DD no consegue lidar
com casos em que alguma mudana temporria num fator no observvel dos
indivduos afeta a deciso de participao no programa. Por exemplo, j se de-
tectou que muitos trabalhadores que fazem cursos de treinamento experimen-
taram choques negativos e temporrios de renda um pouco antes do comeo
do programa (Ashenfelter, 1978, e Heckman e Smith, 1999). Alm de poder ter
infuenciado os indivduos a fazerem o curso, essa queda temporria nos ren-
dimentos poder fazer com que o grupo tratado experimente um crescimento
maior nos seus rendimentos mesmo se ele no tivesse participado do programa.
Se essa mudana temporria no ocorrer com o grupo de controle, o procedi-
31
Embora fora do escopo do livro, vale observar que, se o termo apre-
sentar correlao serial isto , a correlao entre e ser diferente de zero , h
que se fazer alguma correo para os erros-padro a serem estimados pelo procedimento
de DD. Mais detalhes podem ser encontrados em Bertrand et al. (2004).
31
mento de DD tender a sobre-estimar o verdadeiro impacto do programa. De
forma mais geral, vieses aparecero no estimador de DD sempre que houver al-
gum tipo de caracterstica no observvel que varie no tempo e afete simultane-
amente a varivel de resultado e a participao no programa.
Box 1: O Impacto do Programa Sade da Famlia
O Programa de Sade da Famlia (PSF)
procura prover ateno bsica de sade
s famlias de comunidades carentes no
Brasil. O funcionamento do programa
baseia-se no uso de equipes de profs-
sionais de sade (mdicos, enfermeiras,
auxiliares de enfermagem e agentes
comunitrios) cujos principais objetivos
so a proviso de prticas bsicas de
sade (e.g., estratgias para lidar com
problemas simples de sade) s famlias,
o encaminhamento das pessoas para
clnicas e hospitais em casos especfcos
e o acompanhamento da situao de
sade das famlias benefciadas ao longo
do tempo. Idealmente implementado
com a participao das trs esferas de
governo (federal, estadual e municipal),
o PSF iniciou-se na metade dos anos
90. O programa foi se expandindo pro-
gressivamente ao longo dos anos e em
meados da dcada de 2000 j atendia a
quase totalidade dos municpios do pas.
Utilizando informaes no nvel munici-
pal, Rocha e Soares (2010) avaliam o im-
pacto do PSF comparando os municpios
tratados e no tratados pelo programa
ao longo do tempo. Os autores utilizam
o mtodo das diferenas em diferenas
explorando as diferentes datas de entra-
da dos municpios no programa. Os re-
sultados mostram que o PSF foi capaz de
reduzir a taxa de mortalidade das pesso-
as de vrias faixas etrias, notadamente
do grupo de crianas. Outros efeitos po-
sitivos foram estimados sobre a oferta
de trabalho dos adultos e a frequncia
escola das crianas das famlias das regi-
es NO e NE.
Exerccios
1) Foi noticiado em dois jornais locais que a poltica atual de reduo da crimina-
lidade de seu estado era efcaz. Em um dos jornais, a comprovao dessa efccia
foi associada informao de que a taxa de roubos de veculos havia cado 10%
nos ltimos dois anos. J no outro jornal, a efetividade da poltica foi consubstan-
ciada por meio da comparao da taxa de roubo de veculos no ltimo ano do seu
estado com a mdia da mesma taxa para os demais estados do pas. Como um co-
nhecedor da rea de avaliao de impacto, ao ler os jornais, voc considera ambas
as matrias ingnuas e decide tentar estimar o verdadeiro impacto do programa
(talvez porque voc ou algum prximo teve seu carro roubado recentemente!).
Responda os itens a seguir.
a) Por que voc acha a matria do primeiro jornal ingnua? E a segunda?
b) Voc decide estimar o efeito da poltica usando o mtodo das diferen-
as em diferenas. Quais os dados que voc deve buscar?
c) O que voc deveria testar com dados anteriores ao incio da poltica
para averiguar se o grupo de controle parece adequado aos seus propsitos?
2) Um grupo de bilogos utilizou a erupo de um vulco que ocorreu numa ilha
para estudar o efeito de erupes vulcnicas sobre a fora e a fauna daquela regio.
Para tanto, eles compararam os dados da ilha que sofreu a erupo com os dados
de outras ilhas antes e depois da erupo. Nem sempre na rea de avaliao de
polticas ou programas sociais tem-se a certeza de que a interveno ocorreu de
forma totalmente exgena como no caso da erupo do vulco. Crie ou busque
exemplos de programas sociais que se aproximem da situao de experimento na-
tural.
3) Uma das grandes vantagens do mtodo de diferenas em diferenas que ele
capaz de lidar com a autosseleo decorrente de certo tipo de caractersticas no
observadas dos indivduos. Que tipo de caractersticas esse e como o mtodo as
incorpora no modelo?
4) Certo municpio comeou a realizar um programa habitacional que comeou a
atrair um conjunto signifcativo de moradores de outros municpios para residirem
l. Suponha que um analista contratado para avaliar o impacto do programa e
decide utilizar o mtodo de diferenas em diferenas com informaes no nvel
de municpio. Discuta os problemas que o avaliador precisa levar em considerao
com os dados aps o programa para aplicar corretamente o mtodo.
5) O grfco 4.2 abaixo mostra as trajetrias do salrio mdio dos grupos de tra-
tamento e controle de uma avaliao de impacto para um curso de treinamento
hipottico que ocorreu no momento zero no grfco. possvel que o mtodo das
diferenas em diferenas estime de forma enviesada o impacto do programa? Por
qu?
15
14
13
12
- 6 - 5 - 4 - 3 - 2 - 1 0 1 2 3 4 5 6
11
meses
Controle Tratamento
R
$

1
0
0
Grfco 4.2: Trajetria do Salrio Mdio por Grupo
CAPTULO 5
Pareamento
Cristine Campos Xavier Pinto
O mtodo do pareamento busca construir um grupo de controle semelhante
ao grupo de tratamento em termos de determinadas caractersticas observ-
veis.
3
De acordo com as hipteses deste mtodo, cada membro do grupo de
tratamento teria um par no grupo de controle que representa o resultado que
ele teria obtido caso no fosse tratado. De outra forma, as hipteses do parea-
mento postulam que, ao comparar dois indivduos, um no grupo de controle
e outro no grupo de tratamento, com as mesmas caractersticas observveis, o
nico fator que diferencia os resultados destes indivduos a participao ou
no no programa.
A hiptese principal deste mtodo, que tem como objetivo estimar o efeito
mdio do tratamento sobre os tratados (EMPT), que o vetor de variveis ob-
servveis X contm todas as informaes sobre o resultado potencial na au-
sncia do tratamento (Y(0)) que o indivduo possui ao tomar a deciso de par-
ticipar ou no do tratamento. Ao levar em considerao estas caractersticas
observveis, o avaliador controla por todas as variveis que esto relaciona-
das ao resultado potencial na ausncia de tratamento e que tambm afetam
a deciso do indivduo em participar ou no. Assim, ao controlar pelo vetor X,
a varivel Y(0) torna-se independente de T. Esta hiptese conhecida como
seleo nos observveis, ou ignorabilidade, ou ainda no-confundimento, e
pode ser formalizada como:
4

A implicao desta hiptese que o resultado de um indivduo no grupo de
controle um bom previsor do resultado potencial na ausncia de tratamento
de um indivduo no grupo de tratamento que possui o mesmo vetor de vari-
veis observveis (X).
5
Desta forma, para estimar o EMPT via pareamento, pre-
32
Existe uma extensa literatura emprica e terica sobre o mtodo de pareamento. Ver Ro-
senbaum (1995, 2002), Rubin (1973, 1979), Heckman, Ichimura e Todd (1998), Abadie e Im-
bens (2002), Lalonde (1986) e Deheija e Wahba (1999).
33
Para estudar o efeito mdio do tratamento, precisamos da hiptese de independncia nos
dois resultados potenciais,
34
Esta hiptese de independncia mais forte do que a hiptese mnima necessria para
identifcar o efeito mdio do tratamento sobre os tratados. A hiptese necessria seria a
32
33
34
cisamos que cada indivduo no grupo de tratamento tenha um par no grupo
de controle, cujo resultado reproduz o que seria o resultado deste indivduo
na ausncia de tratamento. Desta forma, precisamos que a regio do vetor X
que engloba as caractersticas dos indivduos tratados tambm represente as
caractersticas dos indivduos que esto no grupo de no-tratados. Assim, a
segunda hiptese do mtodo do pareamento a hiptese de sobreposio, e
pode ser formalizada como:
6
(H2)
Uma das crticas aos mtodos baseados nas duas hipteses acima que, ao
tomar a deciso de participar ou no, os indivduos olham no s para um ve-
tor de caractersticas observveis, mas tambm para caractersticas que no
so observadas pelo avaliador. Se estas caractersticas no-observveis forem
correlacionadas tanto com a deciso de participar do programa como com o
resultado potencial deste indivduo, o mtodo do pareamento no conseguir
eliminar o vis de seleo, e a estimao do EMPT estar sujeita a um vis.
Sob as hipteses H1 e H2, obtemos o efeito mdio de tratamento sobre os tra-
tados. O efeito mdio do tratamento sobre os tratados para a subpopulao
com caractersticas observveis X=x pode ser escrito como:
(5.1)
em que a mdia populacional de Y para os tratados com
uma determinada combinao de caractersticas X e
a mdia de Y que os tratados com essas caractersticas teriam caso no tives-
sem recebido o tratamento.
De outra forma, o efeito mdio do tratamento sobre os tratados para os indi-
vduos com certa combinao de caractersticas de X seria a diferena entre
a mdia populacional do resultado para os indivduos tratados e a mdia po-
pulacional do resultado de interesse para estes indivduos tratados caso eles
no recebessem o tratamento. Na prtica, podemos estimar a primeira mdia
condicional em 5.1 usando a mdia amostral dos resultados obtidos pelos in-
divduos tratados. No entanto, no conseguimos observar os resultados destes
independncia na mdia, isto , .
35
Como no caso do EMP, precisamos que para cada indivduo no grupo de tratamento te-
nhamos um par no grupo de controle cujo resultado potencial seja um bom previsor do
resultado deste indivduo na ausncia do tratamento. Tambm precisamos que para cada
indivduo no grupo de controle tenhamos um par no grupo de tratamento cujo resultado
potencial seja um bom previsor do resultado deste indivduo caso ele fosse tratado. Nesse
caso, a hiptese de sobreposio deve ser expandida para: Esta
hiptese garante que as caractersticas dos tratados sejam representadas no grupo de con-
trole, e vice-versa.
35
indivduos tratados caso eles no tivessem recebido tratamento, e no pode-
mos simplesmente estimar a segunda mdia condicional usando uma mdia
amostral. No entanto, a hiptese H1 nos permite escrever o segundo termo da
equao 5.1 em funo das variveis que observamos.
Sob a hiptese H1,

Ou seja, em mdia, os resultados sem tratamento dos tratados que apresentem
uma determinada combinao de caractersticas presentes em X so iguais
aos resultados sem tratamento dos no tratados (grupo de controle) com essas
mesmas caractersticas, que so observveis para o avaliador.
Este resultado juntamente com a hiptese H2 indicam que podemos estimar
o segundo termo da equao 5.1 usando a mdia dos resultados de interesse
para os indivduos no grupo de controle que possuem a mesma combinao
de caractersticas X que os indivduos no grupo de tratamento.
E, portanto, podemos escrever:
(5.2)
Assim, podemos calcular o efeito do tratamento para os indivduos com uma
determinada combinao de caractersticas X comparando a mdia observa-
da de Y para os tratados com essas caractersticas com a mdia observada de
Y para os indivduos do grupo de controle com essas mesmas caractersticas.
Para obter o efeito mdio do tratamento sobre os tratados, precisamos calcular
o valor esperado (expectativa) dessa diferena de mdias na distribuio de X,
condicional a T=1:
7

Por exemplo, no caso em que inclui apenas uma varivel explicativa discreta,

Neste caso, D uma mdia ponderada dos efeitos mdios para os indivduos
com determinada combinao de caractersticas X (D(x)), na qual os pesos so
36
Note que para obter o efeito mdio do tratamento, precisamos calcular a expectativa de
D(x) sobre a distribuio de X. No caso em que X inclui apenas uma varivel explicativa
discreta,
36
i
dados pela porcentagem de indivduos tratados que possuem esta combina-
o de caractersticas X.
Para estimar o EMPT, precisamos estimar e
Se a hiptese H2 for violada, no ser possvel estimar ambas as
mdias, pois os valores de x sero vlidos para o grupo de tratamento, mas no
para o grupo de no-tratados.
5.1 Pareamento Simples
Para cada indivduo no grupo de tratamento, o estimador de pareamento bus-
ca os indivduos no grupo de controle mais prximos (em termos do seu vetor
de variveis observveis) e usa os resultados destes indivduos para obter o
que seria o resultado do indivduo no grupo de tratamento caso ele no fos-
se tratado (contrafatual). As principais diferenas entre os vrios estimadores
de pareamento dizem respeito mtrica usada para defnir os indivduos mais
prximos dos tratados em termos do vetor de variveis X. Alm disso, os m-
todos tambm diferem em relao a quantos indivduos do grupo de no-tra-
tados sero relacionados a cada indivduo no grupo de tratamento para obter
o seu contrafatual.
Suponha um pareamento em que mais de um indivduo no grupo de controle
possa ser relacionado com o indivduo no grupo de tratados, e que o mesmo
indivduo no grupo de controle possa ser relacionado a vrios indivduos no
grupo de tratados. Usando uma medida de distncia
8
, que nos diz quais so os
indivduos no grupo de controle que possuem um nmero de caractersticas
observveis mais prximas do indivduo i, identifcamos os M pares mais prxi-
mos deste indivduo. De modo mais formal, defnimos como o conjunto de
ndices com M pares mais prximos do indivduo i: e o
anlogo amostral dos resultados potenciais como:
(5.1.1)

37
Um exemplo de medida de distncia a mtrica defnida em Imbens e Wooldridge (2007)
para determinar quo diferentes os indivduos so em relao ao vetor X,

na qual 1 uma funo indicadora que igual a 1 se a expresso entre chaves verdadeira,
e 0 caso contrrio. Nesta mtrica, l lm (i) o ndice do indivduo no grupo de no-tratados
com a distncia M mais prxima do indivduo i no grupo de tratados em termos a mtrica
||. ||. Por exemplo, l
1
(i) representa o par a distncia 1 do indivduo 1, isto , o indivduo mais
prximo do indivduo i.
37
Usando este estimador do contrafatual do indivduo i, o estimador simples de
pareamento :
(5.1.2)

no qual o nmero de indivduos no grupo de tratamento.
O estimador de pareamento muito sensvel escolha de variveis presentes
em X. Se o vetor X incluir um nmero grande de variveis explicativas, a hip-
tese de sobreposio (H2) pode no ser verdadeira, pois a regio de X no qual
precisamos de sobreposio das caractersticas entre o grupo de controle e de
tratamento muito grande. Se incluirmos um nmero limitado de variveis no
vetor X, a hiptese de seleo nos observveis (H1) pode ser violada. O vetor X
deve incluir as variveis observveis que infuenciaram o indivduo no momen-
to da deciso de participar, e que so simultaneamente correlacionadas com
os resultados potenciais dos indivduos. Este conjunto de variveis garante
que a hiptese de seleo nos observveis se verifca, mas no necessariamen-
te que teremos sobreposio. A sobreposio pode ocorrer somente em um
pedao da regio de X. Neste caso, o pareamento estar olhando para outro
parmetro, que seria o efeito mdio do tratamento sobre os tratados naquela
regio de suporte comum
9
.
Como vimos no captulo 3, se os indivduos fossem alocados de forma aleatria
entre os grupos de tratamento e de controle como no experimento natural, na
mdia eles deveriam ter caractersticas bem parecidas. O mtodo do parea-
mento assume que ao controlar por todas as caractersticas que afetam simul-
taneamente a deciso de participar no programa e os resultados potenciais,
comparamos indivduos semelhantes, exceto pelo fato de que um recebeu o
tratamento, enquanto o outro no sofreu infuncia do programa. Para verifcar
se atravs do pareamento estamos de fato comparando indivduos que pos-
suem um vetor X de caractersticas semelhantes, podemos realizar um teste
de comparao de mdias. Se fzermos um teste de comparao de mdias
das variveis observveis entre os grupos de controle e de tratamento antes do
pareamento, devemos notar que na mdia eles so diferentes em algumas ca-
ractersticas, pois eles no foram selecionados de forma aleatria entre os dois
grupos. No entanto, aps o pareamento, se fzermos o mesmo teste de compa-
rao de mdias, o grupo de controle e o grupo de tratamento usados para es-
timar o efeito mdio do tratamento devem ser semelhantes nas caractersticas
observveis, pois escolhemos para cada indivduo no grupo de tratamento os
seus pares com caractersticas bastante parecidas.
38
Ver Crump, Hotz, Imbens e Mitnik (2009, 2008).
38
5.2 Pareamento com Escore de Propenso
A implementao do estimador de pareamento torna-se cada vez mais difcil
quanto maior for a dimenso do vetor X. Quando acrescentamos variveis ao
vetor X, a dimenso da regio de X cresce exponencialmente, e fca cada vez
mais difcil encontrar para cada indivduo no grupo de tratamento sua con-
traparte no grupo de controle com todas as caractersticas observveis seme-
lhantes. Rosenbaum and Rubin (1983) sugeriram que ao invs de parearmos os
indivduos com base em todo o vetor X, podemos parear os indivduos usando
uma funo de X que resume toda a informao contida neste vetor. Esta fun-
o a probabilidade de receber o tratamento dado o conjunto de caratersti-
cas X, e denominada de escore de propenso. De forma formal, o escore de
propenso defnido como:

Como o escore de propenso contm a mesma informao contida no vetor
de caractersticas observveis X, se a hiptese de seleo nos observveis for
vlida, tambm ser vlida a independncia entre o resultado potencial na au-
sncia de tratamento e a deciso de participar ou no, quando condicionarmos
no escore de propenso
10
. De modo mais formal,

Este resultado nos diz que, se as hipteses H1 e H2 se verifcarem e se o escore
de propenso for conhecido, poderemos estimar o efeito mdio do tratamento
sobre os tratados fazendo o pareamento entre indivduos tratados e indivdu-
os no tratados com base somente no escore de propenso. Na prtica, no
conhecemos o escore de propenso e precisaremos estim-lo. A forma mais
comumente usada para estimar o escore de propenso usar os procedimen-
tos paramtricos para estimao de probabilidade, por exemplo, os modelos
probit ou logit. No caso do modelo logit, assumimos que a probabilidade de
participar ou no segue o seguinte modelo:

Em que vetor de parmetros que ser estimado num primeiro estgio. Seja
o estimador do parmetro . Neste caso, o escore de propenso estimado
como:
39
Para uma prova formal deste resultado, ver Rosenbaum e Rubin (1983).
39

Como no caso do pareamento baseado no X, o pareamento baseado no esco-
re de propenso tambm ir depender de uma mtrica pr-determinada, que
defnir a proximidade do escore de propenso dos indivduos tratados em re-
lao ao escore de propenso dos indivduos no-tratados. Um dos estimado-
res mais usados o estimador de pareamento do vizinho mais prximo (The
Nearest Neighbor Matching) que usa os resultados dos M indivduos no grupo
de no-tratados que possuem escores de propenso mais prximos ao escore
de propenso do indivduo i para estimar qual seria o resultado do indivduo i
caso ele no recebesse tratamento
11

12
.
Formalmente, sendo o conjunto das M observaes com o menor valor
de podemos construir o anlogo amostral para o resultado
potencial do indivduo caso ele no fosse tratado, como:
(5.2.1)
e o efeito mdio do tratamento sobre os tratados estimado como na equao
(5.1.2), usando essa defnio para Para implementar esse estimador na
prtica, primeiro usamos a mdia de Y dos M indivduos mais prximos de
cada participante do tratamento (em termos do escore de propenso) para
calcular o contrafatual de cada indivduo tratado (Yi(0)) e depois calculamos
a diferena de mdias entre os tratados e seus contrafatuais, como em (5.2.1).
importante ressaltar que as propriedades do estimador de pareamento base-
ado no escore de propenso tambm dependem da escolha do vetor X. ne-
cessrio escolher o vetor X que afete simultaneamente a deciso de participar
ou no do tratamento e os resultados potenciais. Alm disso, o estimador de
pareamento baseado no escore de propenso tambm sensvel especifca-
o do escore de propenso, isto , forma funcional que vai ser escolhida na
40
Outros estimadores de pareamento baseado no escore de propenso so o pareamento
baseado em Kernel e o pareamento baseado em polinmio local. Neste caso, para construir
o contrafatual para o indivduo no grupo de tratamento usam-se os indivduos no grupo de
no-tratados que esto em uma vizinhana em torno do escore de propenso do indivduo
i. Alm disso, cada indivduo no-tratado pode receber um peso diferente ao calcular o con-
trafatual do indivduo i.
41
Um exemplo usar a mesma medida de distncia que usamos no caso do pareamento
baseado no vetor X,

Neste caso, o ndice do indivduo no grupo de no-tratados cujo escore de pro-
penso est a distncia m do escore de propenso do indivduo tratado i.
40 41
estimao do escore de propenso. necessrio que esta forma funcional seja
fexvel o sufciente para que a hiptese de sobreposio (H2) se verifque. Ro-
senbaum e Rubin (1983) propuseram uma forma simples de buscar evidncia
se estamos violando a hiptese de sobreposio. Eles sugeriram uma compa-
rao simples das mdias de cada uma das variveis observveis no grupo de
tratamento e no grupo de seus pares. Se a diferena destas mdias for muito
grande, o teste de diferena de mdias ir rejeitar a hiptese de que os grupos
de tratamento e o grupo de pares so balanceados em relao a estas variveis
observveis. Nesse caso, provavelmente o escore de propenso no est sendo
fexvel o sufciente para garantir que a distribuio dos observveis a mesma
no grupo de tratamento e no grupo de pares.
Existem diversos mtodos que usam o escore de propenso para ajustar as di-
ferenas entre os indivduos nos grupos de controle e de tratamento, sempre
com base nas hipteses de seleo nos observveis e de sobreposio. Na pr-
xima seo, iremos apresentar dois mtodos bastante usados: o mtodo de
imputao baseado em uma regresso linear e o mtodo de reponderao.
5.3 Regresso Linear
O modelo de regresso linear tambm pode ser visto como um estimador de
pareamento
13
. Usando as defnies do captulo 2 para o caso em que conside-
ramos que o programa tem o mesmo efeito em todos os indivduos, podemos
escrever os resultados potenciais como:

Para estimarmos o efeito mdio do tratamento sobre os tratados, precisamos
conhecer o modelo do resultado potencial para Sob as hipteses de se-
leo nos observveis e exogeneidade de podemos esti-
mar o efeito mdio do tratamento sobre os tratados usando o estimador de
mnimos quadrados ordinrios da regresso de Y em X.
Neste caso, iremos estimar uma regresso linear de Y em X para a amostra de
indivduos que no foram tratados. Os coefcientes estimados nesta regresso
simples para a subamostra do grupo de controle so ento usados para prever
qual teria sido o resultado de cada indivduo do grupo de tratamento caso ele
no tivesse recebido o tratamento. Neste caso, o estimador do efeito mdio do
tratamento sobre os tratados seria:
42
Rubin (1977) usa o mtodo de regresso linear para estimar o efeito mdio do tratamento.
42
(5.3.3)
em que o valor previsto para o grupo de indivduos no grupo de tra-
tamento usando os coefcientes estimador pela regresso linear simples no
grupo de controle
14
.
Os estimadores baseados em regresso dependem fortemente da extrapola-
o dos valores para valores fora do intervalo dos usados na regresso.
Os coefcientes estimados nesta regresso so usados para encontrar os valo-
res preditos do resultado para os indivduos tratados caso eles no recebessem
tratamento. Para esta extrapolao, necessitamos de sobreposio na regio
de X do grupo de controle e no grupo de tratamento, isto , precisamos da
nossa hiptese H2. Por exemplo, se estimssemos uma regresso linear sim-
ples com intercepto, o valor mdio previsto para os indivduos no grupo trata-
mento seria:

em que o intercepto da regresso usando somente os indivduos do gru-
po de controle, e o coefciente relacionado a X estimado na mesma re-
gresso. Usando a frmula do estimador do intercepto da regresso,

em que o valor mdio do resultado para o grupo de controle, o valor
mdio das variveis explicativas no grupo de tratamento e o valor mdio
das variveis explicativas no grupo de controle. Se muito diferente de
os valores previstos usando a regresso linear sero muito sensveis especif-
cao desta regresso. Podemos usar sempre uma forma funcional fexvel para
a regresso, mas no teremos garantias de que este modelo funciona bem nas
regies onde no h sobreposio da regio de X no grupo de controle e no
grupo de tratamento.
Um mtodo alternativo para obter o efeito mdio do tratamento sobre os tra-
tados atravs de uma regresso linear usar o escore de propenso como uma
varivel explicativa
15
. Neste caso, iremos estimar uma regresso linear simples
de Y em P(X) para a sub-amostra de indivduos no-tratados, e usar os valores
43
Para estimar o efeito mdio do tratamento, precisamos tambm estimar a regres-
so linear simples para os indivduos tratados, e usar os resultados desta regresso para
prever qual seria o resultado para os indivduos no grupo de controle caso eles rece-
bessem o tratamento. Neste caso, o estimador do efeito mdio do tratamento seria:
no qual o valor previsto
para os indivduos no grupo de no-tratados usando os resultados da regresso estimada
para os indivduos que receberam o tratamento.
44
Este mtodo foi sugerido por Rosenbaum e Rubin (1983).
43
44
estimados nesta regresso para prever os valores dos resultados dos indivdu-
os tratados caso eles no recebessem tratamento.
5.4 Reponderao
O escore de propenso tambm pode ser usado como um peso
16
que, ao ba-
lancear os indivduos no grupo de controle, torna este grupo semelhante na
mdia ao grupo de indivduos tratados. Neste caso, ponderamos cada unidade
no grupo de controle pela probabilidade de no receber tratamento. Quando
maior for a probabilidade do indivduo no grupo de controle de no receber
o tratamento, menor ser o seu peso ao balancearmos o grupo de controle.
Usando a Lei de Bayes, podemos defnir uma relao entre a distribuio de X
na populao de tratados e a distribuio de X na populao de no-tratados.
Pela Lei de Bayes, a distribuio de X condicional a D=1 pode ser escrita como

E, de forma anloga, podemos escrever a distribuio condicional de X em
D=0 como,

e dividindo as duas distribuies condicionais, temos

Usando a defnio do escore de propenso e defnindo que
podemos reescrever a relao entre as distribuies condicionais de X,

(5.4.1)

Usando esta relao e a hiptese de seleo nos observveis, podemos escre-
ver o parmetro de interesse (EMPT) usando o escore de propenso como peso,

Como no caso do estimador de pareamento, estimamos o escore de propen-
45
Para uma reviso do mtodo de reponderao, ver Imbens (2004) e Imbens e Wooldridge
(2009).
45
so usando o modelo paramtrico, como o logit. Dado que T uma varivel
binria, o estimador de ser simplesmente a proporo de tratados, isto
, Usando o anlogo amostral para a equao acima, o estimador de
reponderao de D

(5.4.2)

Este estimador se baseia somente na estimao do escore de propenso, e
uma das limitaes deste estimador ser bastante sensvel especifcao do
escore de propenso. Quando o valor do escore de propenso for prximo de
um, este estimador pode assumir valores muito altos.
5.5 Combinao de Mtodos
Alguns estimadores surgiram da combinao de dois mtodos descritos nas
sees anteriores. Estes mtodos so bastante atrativos na prtica, por terem
comportamentos menos sensveis a certas hipteses, como a especifcao
correta do modelo do escore de propenso ou a especifcao correta da fun-
o de regresso que relaciona Y(0) com X. Nesta seo, descrevemos trs
combinaes: regresso e pareamento, pareamento e diferenas em diferen-
as, e regresso e reponderao.
5.5.1 Pareamento e Regresso Linear
Abadie e Imbens (2002) mostram que, medida que aumentamos a dimenso
do vetor X, podemos estar diminuindo a varincia do estimador de pareamen-
to baseado em X, mas aumentamos o vis. Para cada indivduo no grupo de
tratamento, podemos defnir um resduo que seria a diferena entre o efeito
de tratamento para aquele indivduo, e o efeito mdio do
tratamento A varincia do estimador de pareamento uma funo da
soma do quadrado dos resduos. Ao aumentarmos o nmero de variveis in-
cludas em X, diminumos este resduo e consequentemente a varincia do es-
timador. O vis surge porque o vetor de variveis explicativas para o indivduo i
prximo do vetor de variveis explicativas dos seus M vizinhos mais prximos
usados no pareamento, mas no exatamente igual. No caso do pareamento
com base em poucas variveis discretas em que fosse possvel parear os in-
divduos no grupo de tratamento com indivduos no grupo de controle com
valores exatamente iguais para o vetor X, o vis desapareceria. Uma das ma-
neiras de corrigir o vis do estimador de pareamento ajustar pela diferena
nos valores das variveis explicativas X, usando o modelo de regresso linear.
Neste caso, usamos o mesmo conjunto que engloba os M indivduos no
grupo de controle cujos vetores X esto mais prximos do vetor X do indi-
vduo i, como na seo 5.1 acima. Alm disso, estimamos a regresso linear
que relaciona o resultado Y com X somente para a subamostra de indivduos
que no receberam tratamento, como na seo 5.2 acima. Com os coefcientes
estimados na regresso, calculamos o valor previsto de Y para os indivduos
no grupo de controle e tambm para os indivduos no grupo de tratamento, e
usamos estes valores preditos para ajustar o estimador de pareamento. Neste
caso, os valores do resultado para os indivduos tratados caso eles no rece-
bem tratamento so:
(5.5.1.1)
e o estimador do efeito mdio do tratamento sobre os tratados que combina
pareamento e regresso :
(5.5.1.2)
5.5.2 Pareamento e o Mtodo de Diferenas
em Diferenas
No caso de dados em painel, o mtodo do pareamento pode ser combinado
com o mtodo de diferenas em diferenas
17
. Esta combinao de mtodos faz
com que algumas das hipteses usadas em cada um dos mtodos possam ser
substitudas por hipteses mais fracas. Por exemplo, a hiptese de seleo nos
observveis estabelece que, condicional ao vetor de variveis observveis X,
no pode existir nenhum fator no-observvel que infuencie simultaneamen-
te a deciso de participar ou no no tratamento e os resultados potenciais. Ao
combinar o pareamento com o mtodo de diferenas em diferenas, podemos
permitir que fatores no-observveis que sejam constantes ao longo do tempo
infuenciem simultaneamente a deciso de participar e os resultados poten-
ciais, mesmo controlando pelo vetor de variveis observveis X, como vimos
no captulo 4.
Para aplicar esta combinao de mtodos, precisamos observar os indivduos
no grupo de controle e no grupo de tratamento em pelo menos dois perodos
no tempo, um anterior ao recebimento do tratamento e um perodo aps o
tratamento. Para simplifcar, vamos considerar apenas dois perodos: , antes
do tratamento, e , aps o tratamento. Este mtodo usa basicamente a ideia
do mtodo de diferenas em diferenas, isto , ele compara a diferena do re-
46
Este mtodo foi proposto por Heckman, Ichimura e Todd (1997,1998).
46
sultado do grupo de tratamento entre os perodos e com a diferena de
resultados do grupo de controle no mesmo perodo e atribui esta diferena da
diferena ao efeito do tratamento. Formalmente, o mtodo que combina pare-
amento e o mtodo de diferenas em diferenas estima o seguinte parmetro
populacional,

em que representa o resultado no tempo t para o individuo i quando o seu
status de tratamento d. Para que este parmetro corresponda ao efeito m-
dio do tratamento sobre os tratados, precisamos da seguinte hiptese:
(H3)
Esta hiptese mais fraca do que a hiptese de seleo nos observveis, pois
ela continua vlida mesmo que existam fatores no-observveis comuns aos
dois perodos que afetem simultaneamente a deciso de participar e os resul-
tados potenciais. No entanto, esta hiptese exige informao em pelo menos
um perodo anterior interveno. Se a evoluo dos resultados entre os pe-
rodos pr e ps-programa a mesma no grupo de controle e no grupo de
tratamento, esta hiptese vlida. O vetor X tem que incluir toda a informao
disponvel para o indivduo quando ele decidiu participar ou no no programa,
isto , so caractersticas observveis em perodos anteriores ao programa e
que esto relacionadas deciso de participao.
A hiptese H3 no sufciente para identifcarmos o efeito mdio do tratamen-
to sobre os tratados. Como no estimador de pareamento, precisamos tambm
da hiptese de sobreposio da regio de X para o grupo de controle e o gru-
po de tratamento. No caso de dados longitudinais, precisamos da hiptese H2.
Se tivermos suporte comum, podemos estimar o efeito mdio do tratamento
sobre os tratados fazendo um pareamento baseado no escore de propenso
18

e calculando a diferena das diferenas. Usando o estimador de pareamento
baseado no vizinho mais prximo, defnimos o conjunto como o conjun-
to das M observaes que possuem o escore de propenso mais prximo do
indivduo i, isto , os M indivduos tais que
Usando o pareamento, construmos o anlogo amostral
para a diferena do resultado potencial do indivduo entre os perodos e
caso ele no fosse tratado:
(5.5.2.1)
e o estimador de pareamento no escore de propenso para dados longitudi-
nais :,
47
Podemos tambm fazer o pareamento baseado no vetor X.
47
(5.5.2.2)
Para implementar esse estimador na prtica, primeiro calculamos para cada
indivduo no grupo de tratamento qual seria a diferena de resultados entre
os perodos e caso ele no fosse tratado. Para isso, estimamos o escore de
propenso para todos os indivduos, e selecionamos os M indivduos no-tra-
tados mais prximos de cada indivduo tratado em relao ao escore de pro-
penso e calculamos a mdia da diferena de resultados entre os dois perodos
para os M indivduos. Em um segundo passo, para cada indivduo no grupo
de tratamento, calculamos a diferena entre a sua diferena de resultado en-
tre os perodos e e a mdia dos M indivduos no grupo de controle mais
prximos a ele. O estimador do efeito mdio do tratamento sobre os tratados
a mdia destas diferenas das diferenas calculadas para os indivduos trata-
dos. Para estimar o escore de propenso usando dados em painel, precisamos
usar a amostra de controles e tratamentos. A varivel dependente T igual a
1 se o indivduo recebeu o tratamento, e 0 caso contrrio, e o vetor X engloba
as informaes que os indivduos tinham ao decidir participar ou no no pro-
grama, isto , caractersticas nos perodos anteriores ao programa. Neste vetor
X, podemos incluir variveis que infuenciaram a deciso do indivduo entre
participar ou no do programa, e no devemos incluir variveis que possam
ser resultado do programa.
5.5.3 Regresso Linear e Reponderao
Como vimos acima, alm do pareamento, podemos usar regresso linear ou
reponderao para estimar o efeito mdio do tratamento. No primeiro mto-
do, estimamos uma regresso linear para o grupo de controle e para o grupo
de tratamento usando o vetor X como variveis explicativas. Nesta primeira
abordagem, no precisamos estimar o escore de propenso. J o mtodo de
reponderao se baseia somente na estimao do escore de propenso. Neste
segundo mtodo, no precisamos estimar a funo de regresso que relaciona
os resultados potenciais com X. Sob algumas hipteses, ambos os mtodos
resultam em estimadores consistentes e efcientes para o efeito mdio do tra-
tamento. No entanto, enquanto o comportamento do estimador de regresso
sensvel especifcao usada para o modelo que relaciona os resultados po-
tenciais com X, o estimador de reponderao sensvel ao modelo usado para
o escore de propenso. Robins e Ritov (1997) propuseram um estimador que
combina o mtodo de regresso com o mtodo de reponderao. A motivao
para combinar mtodos que o estimador se torna menos sensvel a apenas
uma das hipteses. Este estimador para o efeito mdio do tratamento tem a
propriedade de ser duplamente robusto, isto , se o modelo paramtrico para
o escore de propenso for corretamente especifcado ou se o modelo param-
trico para a regresso linear for corretamente especifcado, o estimador con-
sistente para o efeito mdio do tratamento sobre os tratados.
Esta combinao de mtodos tambm pode ser usada para estimar o efei-
to mdio do tratamento sobre os tratados. Uma maneira de estimar o efeito
mdio do tratamento sobre os tratados proposta por Hirano e Imbens (2001)
usando uma regresso linear estimar o seguinte modelo linear:
(5.5.3.1)
no qual a mdia amostral de X na subamostra de indivduos tratados. Nes-
te caso, representa o efeito mdio do tratamento sobre os tratados.
Mas, essa regresso linear pode ser combinada com o mtodo de reponde-
rao, no qual ponderamos as unidades no grupo de controle por Ao
fnal, estimamos uma regresso ponderada com o peso igual a 1 para um in-
divduo no grupo de tratamento e igual a para uma unidade no grupo
de controle. De modo mais formal, estimamos o modelo linear acima com a
seguinte funo peso:
(5.5.3.2)
no qual representa o estimador paramtrico do escore de propenso,
obtido por uma regresso logit ou probit
19
.
Para obter o efeito mdio do tratamento usamos tambm uma regresso pon-
derada com duas modifcaes em relao ao modelo anterior. Primeiro, a re-
gresso estimada excluindo a mdia para toda a amostra:

em que a mdia amostral de X na amostra total, incluindo os indivduos
no grupo de tratamento. Segundo, temos que no s reponderar os indivdu-
os no grupo de controle para melhor representar os indivduos tratados, mas
tambm os indivduos no grupo de tratamento para melhor representar os in-
divduos no-tratados. Neste caso, o peso para os indivduos tratados ser o
inverso da probabilidade de receber tratamento e para os indivduos no-tra-
tados ser o inverso da probabilidade de no receber tratamento. Neste caso,
usamos a seguinte funo peso:

48
Este mtodo mais geral, permitindo que a regresso linear inclua apenas um subvetor de
variveis explicativas, bem como o modelo para o escore de propenso. De outra maneira,
o vetor de variveis observveis que determinam a participao no tratamento pode ser
diferente do vetor de variveis explicativas que determinam os resultados.
48
5.6 Exemplos
Mattos, Maia e Marques (2010) usam o pareamento baseado no escore de pro-
penso para estimar o efeito de programas redistributivos incondicionais no
nmero de horas trabalhadas de homens e mulheres. O programa Bolsa-Fam-
lia engloba polticas de transferncias condicionais e incondicionais de renda.
Este programa abrange a populao em extrema pobreza e so elegveis as
famlias com renda per capita inferior a R$ 50. Estas famlias podem receber a
transferncia sem nenhuma contrapartida. Alm disso, existe um valor adicio-
nal para cada criana da famlia que for para a escola. Este programa difere do
antigo Bolsa Escola, no qual as transferncias ocorriam somente se os flhos
frequentassem a escola. O objetivo do artigo comparar a oferta de trabalho
dos benefcirios de programas incondicionais como o Renda Mnima em rela-
o a programas condicionais como o Bolsa Escola. A ideia seria que os bene-
fcirios dos programas de transferncia incondicionais no teriam incentivos
para mudar suas horas de trabalho, pois eles teriam um aumento de renda sem
nenhuma contrapartida. J nos programas condicionais como o Bolsa Escola,
as crianas precisam fcar na escola, o que poderia reduzir as horas trabalhadas
pelas crianas, o que, por sua vez, pode afetar a oferta de trabalho dos adultos.
Alm disso, ao trabalhar mais horas, os adultos poderiam perder o direito ao
benefcio. Os autores usam o mtodo do pareamento um a um baseado no
escore de propenso isto , cada indivduo no grupo de tratado pareado com
apenas um indivduo no grupo de controle para estimar o efeito mdio dos
programas de transferncias de renda nas horas trabalhadas dos benefcirios.
Neste exerccio, usamos dados semelhantes aos usados em Mattos, Maia e Mar-
ques (2010) para estimar o efeito do programa de Renda Mnima e do progra-
ma Bolsa Escola sobre o nmero de horas remuneradas de homens e mulheres
benefcirios do programa com idade entre 12 e 65 anos
20
.
A tabela 5.3.1 apresenta os resultados da estimao deste efeito usando alguns
dos mtodos descritos nesta seo. A parte superior da tabela apresenta os
resultados para os homens, enquanto a parte inferior apresenta os resultados
para as mulheres. Para os homens, o efeito do programa Bolsa Escola sobre o
nmero de horas trabalhadas remuneradas ao ano negativo e estatisticamen-
te signifcativo em todos os mtodos, exceto no mtodo que usa o pareamento
com o mtodo do vizinho mais prximo (coluna 2). interessante notar que os
resultados estimados pelo pareamento com mtodo do vizinho mais prximo,
pela regresso e pela regresso com reponderao so bem semelhantes. No
entanto, no caso do Programa de Renda Mnima, o efeito do programa sobre
o nmero de horas remuneradas no estatisticamente signifcativo, exceto
para o caso em que combinamos o mtodo da regresso com o mtodo da
49
No artigo em questo, os autores usam como varivel dependente o nmero de horas
trabalhadas ao ano. Neste exemplo, usamos como varivel dependente o nmero de horas
de trabalho remuneradas ao ano.
49
reponderao (coluna 4). Neste ltimo caso, encontramos um efeito positivo
sobre o nmero de horas trabalhadas remuneradas. Este resultado contradiz
a teoria de que programas de transferncias incondicionais no levariam os
indivduos a trabalharem mais, pois eles teriam um aumento da renda sem
contrapartida. No caso das mulheres, quando usamos o mtodo do pareamen-
to, encontramos que os efeitos de ambos os programas so no signifcativos.
Quando usamos o mtodo da regresso, encontramos que o efeito do progra-
ma de Renda Mnima negativo e signifcativo a 5%, enquanto o efeito do
programa Bolsa Escola no signifcativo. Os resultados encontrados com o
mtodo que combina regresso com ponderao indicam que ambos os pro-
gramas tm um efeito negativo e signifcativo no nmero de horas remunera-
das das mulheres benefcirias, sendo este efeito maior em valor absoluto para
no caso do programa de Renda Mnima. Este resultado indica que, no caso das
mulheres, o programa leva a uma diminuio da oferta de trabalho.
Uma das hipteses usadas por todos os mtodos baseados no escore de pro-
penso a de que existe sobreposio da distribuio do escore de propenso
para tratados e da distribuio do escore de propenso para os controles na
regio de X. O grfco 5.6.2 mostra a sobreposio do escore de propenso
para homens e mulheres benefcirios e no-benefcirios para cada um dos
programas. As barras azuis mostram o histograma para os indivduos que no
receberam tratamento, enquanto as barras vermelhas mostram o histograma
para os indivduos no grupo de tratamento. Logo, podemos verifcar qual a
porcentagem de indivduos no grupo de controle e no grupo de tratamento
para cada intervalo do escore de propenso. Se h sobreposio, em cada in-
tervalo que tiver indivduo tratado, temos que ter tambm indivduos no-tra-
tados. Os grfcos indicam que h sobreposio das distribuies do escore de
propenso tanto para os homens quanto para as mulheres.
Tabela 5.3.1: Mtodos usando o Escore de Propenso
Fonte: Elaborao prpria dos dados da POF 2002-2003.
O vetor de varivel X inclui escolaridade, participao no mercado de trabalho, ciclo de vida, composio
familiar, raa, sade, qualidade de moradia, controles estaduais.
O modelo o mesmo usado em Mattos, Maia e Marques (2010)
Exerccios
1) Estamos interessados em estimar o efeito mdio do tratamento,

Usamos a seguinte hiptese de seleo nos observveis

e a seguinte hiptese de sobreposio,

Grfco 5.3.2: Distribuio do Escore de Propenso para Tratados e para
No-Tratados
a) Mostre que se simplesmente tirarmos a diferena entre a expecta-
tiva dos resultados potenciais para os tratados e a expectativa dos resultados
potenciais para o controle no necessariamente conseguimos o efeito mdio
do tratamento.
c) Mostre que podemos usar o mtodo da reponderao para obter o
efeito mdio do tratamento. Ou seja, mostre a seguinte igualdade:

d) Proponha um estimador para o efeito mdio do tratamento basea-
do no resultado obtido na letra (b).
2) No exemplo deste captulo, Mattos, Maia e Marques (2010) usam o mtodo
do pareamento para estimar o efeito mdio do tratamento de programas de
transferncias de renda sobre o nmero de horas remuneradas dos benefci-
rios do programa.
a) Quais hipteses devem ser vlidas para que o estimador de parea-
mento seja consistente para o efeito mdio do tratamento sobre os tratados?
b) Interprete estas hipteses no contexto do exemplo, e discuta a vali-
dade destas hipteses.
d) Suponha que voc obtenha uma base de dados que contm as
caractersticas (X) dos benefcirios e no-benefcirios do programa antes e
depois da implementao. Alm disso, voc tambm observa o resultado de
interesse nos perodos pr e ps-programa. Como voc modifcaria a anlise
realizada por Mattos, Maia e Marques (2010)? Discuta a validade das hipteses
deste novo mtodo.
3) Para estimar o efeito de um programa de treinamento no mercado de tra-
balho sobre salrio, voc obtm uma base de dados que tem o salrio dos
indivduos tratados e no-tratados e um vetor com vrias caractersticas do
background socioeconmico dos indivduos e tambm da sua atividade no
mercado de trabalho. Em um primeiro momento, voc decide usar estas infor-
maes para estimar o efeito mdio do tratamento sobre os benefcirios usan-
do um pareamento simples baseado no vetor de caractersticas dos indivduos.
Ao tentar o pareamento baseado nas caractersticas individuais e nas caracte-
rsticas dos postos de trabalho, o vetor X tem uma dimensionalidade muito
grande e voc decide fazer o pareamento baseado no escore de propenso.
a) Quais hipteses precisam ser satisfeitas para que este estimador ba-
seado no escore de propenso represente o efeito mdio do tratamento sobre
os benefcirios do programa?
b) Voc poderia obter este efeito mdio do tratamento sobre os trata-
dos usando uma regresso linear? Se sim, explique como. Se no, justifque a
sua resposta.
c) Um pesquisador l o seu trabalho e argumenta que o seu resultado
muito sensvel especifcao do escore de propenso. Ele acredita que a
sua especifcao do escore de propenso no fexvel o sufciente para que
as hipteses especifcadas em (a) sejam satisfeitas. Como voc responderia a
esta crtica? Proponha um mtodo que seja menos sensvel a especifcao do
escore de propenso e interprete as suas hipteses.
4) Hirano e Imbens (2001) usam os mtodos baseados no escore de propen-
so para estimar o efeito mdio de um procedimento cardaco, o cateterismo,
sobre a probabilidade de sobrevivncia dos indivduos. Eles usam observaes
para 5.735 indivduos, sendo 2.184 tratados e 3.551 no-tratados. Para cada
indivduo, eles observam se um procedimento de cateterismo foi aplicado no
perodo de 24 horas aps a entrada no hospital com problemas cardacos. Os
indivduos no grupo de tratamento so aqueles que sofreram a interveno de
um cateterismo, enquanto os indivduos no grupo de controle so aqueles que
no sofreram a interveno. Alm disso, eles observam um vetor com 72 carac-
tersticas para cada um dos indivduos, como por exemplo, sexo, raa, educa-
o, renda, se possui plano de sade, tipo de doena que possui, peso, etc. Eles
estimam o escore de propenso baseado em um modelo logstico.
a) Antes de estimar o efeito mdio do tratamento sobre os tratados,
eles apresentam uma tabela que contm um teste de diferena de mdias para
as caractersticas observveis. Eles obtm resultados para este teste antes e de-
pois da ponderao pelo escore de propenso. Esta tabela encontra-se abaixo.
Interprete estes resultados.

Nesta tabela, renda 1, renda 2 e renda 3 representam 3 baixas de renda faixa,
mdia e alta, respectivamente.
b) Antes de estimar os efeitos, eles tambm mostram os histogramas
do escore de propenso para o grupo de tratados e para o grupo de no-trata-
dos. Interprete estes grfcos.

c) Eles usam diferentes mtodos para estimar o efeito mdio do tra-
tamento sobre a taxa de sobrevivncia. Usando um estimador de pareamen-
to simples baseado nos vizinhos mais prximos, eles encontram um efeito de
-0,081 (erro-padro de 0,017). Ao combinar o mtodo de pareamento com re-
gresso simples, o efeito de -0,063 (erro-padro de 0,016). Estimando o efeito
mdio do tratamento por regresso linear, eles encontram um efeito mdio de
-0,065 (erro-padro de 0,014), enquanto usando o mtodo de reponderao,
eles encontram um efeito mdio de -0,060 (erro-padro de 0,018). Combinan-
do os mtodos de regresso e reponderao, eles encontram um efeito mdio
de -0,062 (erro-padro de 0,015). Interprete estas evidncias, dando nfase s
hipteses em que se baseia cada estimador. Qual seria a concluso sobre o
efeito deste procedimento na taxa de sobrevivncia?
PARTE 2
Mtodos Avanados de
Avaliao de Impacto
CAPTULO 6
Variveis Instrumentais

Ao contrrio dos mtodos apresentados no captulo 5, o mtodo de varivel
instrumental baseia-se no caso de seleo em variveis no observveis. Neste
captulo, consideraremos o arcabouo de resultados potenciais apresentado
no captulo 2, mas lidaremos com a estimao do efeito mdio do tratamento
sob a hiptese de seleo em caractersticas no observveis. O nosso proble-
ma consiste em estimar o efeito mdio do tratamento quando existem outros
fatores, alm das caractersticas observveis presentes no vetor X, que afetam
simultaneamente a deciso de participar no programa e os resultados poten-
ciais, isto , quando:

Neste caso, precisamos de uma varivel exgena Z que afeta a deciso de participa-
o e que no est correlacionada com nenhum fator no observvel relacionado
ao resultado potencial. No caso clssico de varivel instrumental com efeitos ho-
mogneos do tratamento, estamos pensando no seguinte sistema de equaes:

no qual igual a 1 se o indivduo recebeu tratamento, e 0 se o indivduo
no-tratado. Alm disso, assumimos que ,
ou seja, que no h relao linear entre o instrumento e o termo aleatrio da
equao principal, mas os termos aleatrios no observveis das duas equa-
es so correlacionados. Neste sistema, os fatores no observveis que afe-
tam a deciso de participar no programa esto correlacionados com os fatores
no observveis que afetam o resultado de interesse, e precisamos de um ins-
trumento Z que permita captar uma variao exgena na deciso de participar
do programa, e que ao mesmo tempo no est relacionado de forma direta
com o resultado potencial.
Este modelo pode ser estimado por mnimos quadrados em dois estgios. Nes-
te caso, em um primeiro estgio, estimamos um modelo de probabilidade line-
ar que relaciona com e obtemos o valor predito:

Este valor predito representa uma variao exgena na deciso de participar
ou no do programa, que no est relacionada a nenhum outro fator que possa
infuenciar o resultado de interesse.
Em um segundo estgio, estimamos uma regresso linear que relaciona o re-
sultado de interesse (Y) com este valor predito,

No sistema de equao acima, a varivel Z no afeta diretamente Y. Ela s afeta
o resultado de interesse atravs da sua relao com a participao ou no no
tratamento. Alm disso, assumimos que o efeito de tratamento homogneo,
isto , para todo indivduo i. No caso de tratamento homogneo, o re-
sultado do indivduo depende apenas da sua participao ou no no programa
e no est relacionado a como a participao no programa afetada pelo ins-
trumento Z. No caso de tratamento homogneo, o efeito mdio do tratamento
(EMP) igual ao efeito mdio do tratamento sobre os tratados (EMPT), EMP
=EMPT= .
Se os indivduos souberem que os ganhos de participao podem diferir para
certos grupos, eles iro levar em considerao esta informao na hora de deci-
dir se participam ou no do programa. Neste caso, tanto seus ganhos individu-
ais como iro afetar a deciso de participar do indivduo i, e variaes em
iro afetar a deciso de participar de forma diferente para cada indivduo,
dependendo do seu ganho com o tratamento, . Neste caso, a hiptese de
homogeneidade do tratamento violada, e o estimador de varivel instrumen-
tal no identifca o efeito mdio do tratamento ou o efeito mdio do tratamen-
to sobre os tratados.
Imbens e Angrist (1994) mostraram que quando os efeitos do tratamento so
heterogneos, o arcabouo de varivel instrumental permite identifcar um
efeito mdio de tratamento local, isto , um efeito mdio do tratamento para
uma subpopulao especfca. Neste caso, ser o efeito mdio do tratamento
para aqueles indivduos cuja variao em Z provoca uma variao no status de
participao sem afetar os resultados potenciais. Para estes indivduos, a dife-
rena na mdia dos resultados potenciais do grupo de tratados e do grupo de
no-tratados ocasionada por uma variao em Z se d exclusivamente atravs
do efeito de Z na taxa de participao do programa.
Este efeito mdio do tratamento para a subpopulao de indivduos induzidos
ao tratamento por variaes no instrumento chamado de efeito mdio local
do tratamento (LATE)
3
. Iremos entender este efeito dentro do arcabouo de
resultados potenciais. Neste arcabouo, defnimos como compliers os indiv-
duos que so induzidos pelo instrumento a terem uma mudana de compor-
tamento na varivel endgena, no caso em questo, na participao ou no no
programa. O LATE seria o efeito mdio do tratamento para esta populao de
compliers. Como no captulo 2, defnimos (0) como o resultado potencial
do indivduo i caso ele no tivesse participado no programa e (1) como o
resultado potencial do indivduo i caso ele tivesse participado. Podemos defnir
o resultado observado como:
(6.1)

Suponha que, alm de observarmos ( , ) para cada indivduo, observamos
tambm uma varivel instrumental binria . Neste caso, (0) seria o valor
potencial da varivel endgena (participao no tratamento) se a pessoa ti-
vesse um valor de que a induzisse a no participar e (1) seria o valor po-
tencial da varivel endgena (participao no tratamento) se a pessoa tivesse
um valor de que a induzisse a participar
4
. O valor realizado para pode ser
defnido como uma funo do instrumento:
(6.2)
Neste arcabouo de resultados e tratamentos potenciais, podemos pensar no
resultado potencial como uma funo de Z e T, (Z,T) que seria o resultado
50
Esta sigla LATE vem do nome em ingls, Local Average Treatment Efect.
51
T
i
(0) e T
i
(1) so os valores potenciais para a participao no tratamento, e seriam respec-
tivamente os valores de T que eles teriam se no tivessem sido tratados ou tivessem sido
tratados, independendo se eles de fato receberam tratamento ou no.
50
51
potencial que seria observado se o instrumento assumisse valor z e o tratamen-
to, valor t. Com um instrumento binrio, temos quatro resultados potenciais,
(0,0), (0,1), (1,0), (1,1). Por exemplo, Y(0,0) seria o resultado potencial
do indivduo que obteve um valor de Z igual a 0 e decidiu no participar do
programa.
Como no caso clssico de varivel instrumental, precisamos que o instrumen-
to Z s afete o resultado de interesse atravs do seu efeito na taxa de parti-
cipao. Para garantir que isso acontea em um arcabouo com efeitos he-
tergenos, precisamos que Z seja independente no apenas dos resultados
potenciais, mas tambm dos tratamentos potenciais. Precisamos que a varivel
instrumental seja to boa como se ela fosse alocada de forma aleatria entre os
indivduos, isto , precisamos que o instrumento seja independente dos quatro
resultados potenciais e dos tratamentos potenciais.
Alocao Aleatria: independente de ( (0,0), (0,1), (1,0), (1,1),
(1), (0)) (H1)
Alm de ser alocado de forma aleatria, precisamos que ele s afete o resul-
tado de interesse atravs da variao que provoca na taxa de participao, ou
seja, precisamos de uma hiptese conhecida como restrio de excluso. Esta
hiptese garante que o instrumento s afete Y atravs de um canal conhecido.
De um modo mais formal, esta hiptese garante que, ao controlarmos por t,
(z,t) no uma funo de z, mas somente de t:
Restrio de Excluso: (z,t) = (z*,t) para todo t, z, z* (H2)
A restrio de excluso permite que os resultados potenciais sejam defnidos
somente com base no status do tratamento:

e o resultado observado pode ser escrito como:
(6.5)
No caso de tratamentos heterogneos, cada indivduo responde a diferentes
valores do instrumento dependo do resultado recebido pelo tratamento. Pode-
mos pensar em quatro tipos de comportamento induzidos pelo instrumento.
Suponha que os indivduos que recebem valores de Z igual a 1 so convidados
a participar do programa, enquanto os indivduos com valores de Z igual a 0
no so convidados a participar. Podemos pensar, por exemplo, em um progra-
ma em que o aluno pode se matricular em um curso tcnico dependendo de
sua nota em um teste de profcincia e o seu histrico escolar. Se a nota do alu-
no no teste for superior a um valor determinado c, ele convidado a se matri-
cular no curso. Caso ele receba uma nota inferior a c, ele no recebe o convite.
Neste caso, o instrumento seria uma varivel binria que igual a 1 se o aluno
tirou uma nota no teste de profcincia acima de c, e 0, caso contrrio. Podemos
pensar em um primeiro grupo de alunos que gostariam de se matricular no
programa independente da sua nota no teste de profcincia, isto , indepen-
dente do valor do instrumento. Estes alunos so chamados de always-takers,
pois eles sempre aceitariam participar do programa independentemente do
valor do instrumento. Existe outro grupo de indivduos que no gostaria de
se matricular no curso tcnico, independentemente do valor do instrumento.
Este grupo de indivduos conhecido como never-takers e so aqueles que
nunca aceitariam participar, independentemente da sua nota no teste de pro-
fcincia. Alm disso, existem indivduos que iro mudar o seu comportamen-
to de acordo com o valor do instrumento. O terceiro grupo composto pelos
indivduos que, se tiverem uma nota acima de c no teste de profcincia, iro
realizar o curso tcnico, mas se receberem uma nota abaixo de c no teste, no
iro se matricular. Estes indivduos so chamados de compliers. Finalmente,
teremos os indivduos que tero comportamento oposto quele induzido pelo
instrumento. Neste grupo, se os indivduos recebessem notas abaixo de c, eles
gostariam de se matricular no curso; mas se eles recebessem notas acima de
c, eles no se matriculariam no curso. Este ltimo grupo conhecido como
defers. Podemos representar estes quatro grupos em uma tabela
5
de acordo
com o comportamento de cada um a variaes do instrumento,

Por exemplo, a primeira clula desta tabela representa os indivduos cujo tra-
tamento potencial, independentemente da realizao do instrumento (0 ou 1),
sempre igual a 0, ou seja, eles nunca participam. Estes so os never-takers.
Baseados nas variveis que observamos para cada indivduo ( , , ), no
podemos classifcar estes indivduos em cada um dos grupos acima. Para isso,
precisaramos saber como eles iriam reagir caso eles recebessem outra realiza-
o para a varivel instrumental. Com as informaes que observamos pode-
mos montar a seguinte tabela:
52
Estas tabelas foram retiradas de Imbens e Wooldridge (2009)
52

Esta tabela indica que, ao observamos para o indivduo i o par (Z,T) = (0,1), s
sabemos que este indivduo no participaria do curso tcnico se a sua nota for
abaixo do ponto de corte c. Este indivduo pode estar no grupo de compliers
ou de never-takers. Para saber de fato a qual grupo o indivduo realmente
pertence, precisaramos saber qual seria o seu comportamento caso ele tiras-
se uma nota superior a c no teste de profcincia. Para que o LATE identifque
o efeito mdio para alguma subpopulao, precisamos identifcar o compor-
tamento de cada um dos grupos e para isso assumimos que existem poucos
indivduos que faro o oposto do que foi sugerido pelo instrumento, isto ,
assumimos monotonicidade dos tratamentos potenciais:
Monotonicidade: para todo i (H3)
Esta hiptese de monotonicidade garante que todas as pessoas so afetadas
na mesma direo pelo instrumento, isto , no podem existir os indivduos
que, se recebessem uma nota no teste de profcincia acima de c, no iriam se
matricular no curso, e se recebessem uma nota no teste acima de c iriam se ma-
tricular no curso. Com a hiptese de monotonicidade, a informao que temos
nos dados observveis aumenta e pode ser representada pela tabela abaixo:

Como pode ser visto pela tabela, a hiptese de monotonicidade elimina a exis-
tncia dos defers. Usando a informao da tabela acima, podemos identifcar
o efeito mdio do tratamento sobre a populao de compliers. Podemos de-
compor a expectativa condicional de Y em Z no comportamento de cada um
dos grupos,
Sob a hiptese de monotonicidade, representa a proporo
de always-takers, representa a proporo de never-takers e
representa a proporo de compliers. Podemos decompor a diferena dos re-
sultados potenciais em quatro grupos:

Note que as duas primeiras linhas representam o grupo de compliers, a tercei-
ra linha se refere o grupo de always-takers e a ltima linha representa o grupo
de never-takers. Sob a hiptese de restrio de excluso,

e podemos reescrever a expresso acima como:

O efeito mdio do tratamento para o grupo de compliers simplesmente a
seguinte razo:

Esta razo o parmetro estimado pelo mtodo de varivel instrumental quan-
do o instrumento uma varivel binria e os efeitos so heterogneos. Os da-
dos observveis s nos do informao sobre o efeito mdio do tratamento
para a subpopulao de indivduos que tiveram o comportamento induzido
pelo instrumento, isto , para o grupo de compliers.
Suponha que observamos um vetor de caractersticas adicionais dos indivdu-
os (X) que podem ser usados nos modelos para o resultado de interesse e para
a participao no tratamento. Neste caso, este vetor seria includo nos dois mo-
delos que iremos estimar por mnimos quadrados em dois estgios:

Consideramos que so variveis exgenas que tm um efeito direto no re-
sultado de interesse. Se a varivel instrumental for de fato alocada de for-
ma aleatria entre os indivduos, ele seria independente das demais variveis
explicativas do modelo e a incluso do vetor X no modelo s levaria ao
aumento da preciso das estimativas. No entanto, como no caso tradicional de
variveis instrumentais, a razo principal de se incluir outras variveis explica-
tivas no modelo que a hiptese de alocao aleatria de e a restrio de
excluso so vlidas somente se condicionarmos em , isto , se comparar-
mos indivduos com as mesmas caractersticas observveis. De maneira mais
formal, neste caso, as hipteses de alocao aleatria e a restrio de excluso
seriam:
Alocao Aleatria*: Z independente de (Y (0,0), Y (0,1), Y (1,0), Y (1,1),
T (1), T (0)), condicional em X (H1*)
Esta hiptese nos diz que entre indivduos com o mesmo vetor de caractersti-
cas X , o instrumento Z foi alocado de forma aleatria.
Restrio de Excluso*: Y (z,t,x) = Y (z*,t,x) para todo t, x, z, z* (H2)
Neste caso, somente para indivduos com o mesmo vetor de variveis explicati-
vas, os resultados potenciais no iro depender da realizao de Z.
No caso em que inclumos um vetor adicional de variveis explicativas no mo-
delo, a estimao tambm pode ser realizada por mnimos quadrados em dois
estgios. Em um primeiro momento estimamos o modelo linear que relaciona
a participao com todas as variveis exgenas e calculamos o valor predito,

e em um segundo estgio, usamos este valor predito como varivel explicativa
no modelo linear para Y,

6.1 Interpretao do parmetro LATE e a
sua relao com os outros mtodos
Como j foi dito, apesar de muito semelhante ao estimador clssico de vari-
vel instrumental (se eliminarmos a hiptese de efeitos heterogneos), o LATE
no representa o efeito mdio do tratamento ou o efeito mdio do tratamen-
to sobre os tratados. O LATE representa apenas o efeito mdio do tratamento
para uma subpopulao bem especfca, a populao de indivduos que tem
seu comportamento alterado em funo de uma variao no instrumento. Em
geral, este grupo de indivduos no representativo da populao como um
tudo. Dada esta limitao, podemos perguntar se este efeito local identifcado
pelo LATE interessante para uma anlise de poltica. A resposta a esta per-
gunta ir depender do instrumento que ser usado na anlise. Por exemplo,
se a varivel instrumental for alguma mudana de poltica que afeta a taxa de
participao, o LATE representa um parmetro de interesse para esta poltica,
pois representa o efeito mdio do tratamento para a subpopulao que teve o
seu comportamento alterado por tal poltica. Se, por outro lado, usarmos uma
varivel contnua que simplesmente afeta a taxa de participao e no tem
efeito direto no resultado, LATE pode ser um parmetro menos informativo.
importante pensar tambm na relao entre o arcabouo do LATE e os de-
mais mtodos apresentados neste livro. Como j foi dito, diferentemente dos
mtodos de pareamento, o mtodo de varivel instrumental usado quando a
hiptese de seleo em caractersticas observveis violada, ou seja, o proces-
so de seleo para o tratamento baseado em caractersticas no-observveis.
Alm disso, podemos fazer uma analogia entre o LATE e um experimento ale-
atrio. Suponha que o instrumento seja uma oferta de tratamento que foi alo-
cado de forma aleatria entre os indivduos. Por exemplo, suponha que quere-
mos testar o efeito de um exame novo que foi criado para detectar cncer de
mama, e para isso convidamos uma amostra aleatria de mulheres de 35 a 50
anos para realizar o exame. As mulheres que recebem a carta convite podem
se dirigir clnica e fazer o exame, ou podem no aceitar o convite e no fazer
o exame. Como so as mulheres que escolhem se iro fazer ou no o exame,
as mulheres que decidem fazer o exame podem ser na mdia diferentes das
mulheres que se recusaram a faz-lo. Por exemplo, as mulheres que aceitaram
os convites so geralmente mais bem instrudas, se preocupam mais em rea-
lizar os seus exames peridicos para deteco de doenas e tm hbitos mais
saudveis, tendo na mdia uma sade melhor que as mulheres que rejeitaram
o convite. Logo, para encontrar o efeito mdio do tratamento sobre a proba-
bilidade de detectar cncer de mama, no podemos comparar a proporo de
mulheres que fzeram o exame e foram diagnosticadas com cncer de mama
com a proporo de mulheres que no fzeram o exame e receberam o diag-
nstico da doena, pois neste caso estaramos misturando o efeito do progra-
ma com o efeito de uma vida mais saudvel. Neste caso, estamos no arcabouo
em que o instrumento vem de um experimento real e foi alocado de forma ale-
atria entre as mulheres. O instrumento seria uma varivel binria que assume
valor igual a 1 se a mulher foi convidada a fazer o exame, e 0, caso contrrio.
Neste caso, LATE o efeito mdio sobre as mulheres que de fato receberam o
tratamento, isto , o efeito mdio do tratamento sobre os tratados.
6.2 O Caso de Mltiplos Instrumentos
Imbens e Angrist (1994) e Angrist e Imbens (1995) mostram que o estimador
que usa mltiplos instrumentos uma mdia ponderada de cada um dos LA-
TEs obtidos com cada instrumento especfco. Nesta seo, iremos entender
este resultado dentro de um instrumental simples no qual consideremos um
par de instrumentos binrios e , que so mutuamente exclusivos. Su-
ponha que a hiptese de monotonicidade satisfeita para cada uma destas
variveis binrias. Para estimar o efeito mdio do tratamento para a populao
de compliers, usamos o estimador de MQO em dois estgios. Em um primeiro
estgio, estimamos o modelo linear que relaciona o tratamento com as duas
variveis instrumentais:
(6.2.1)
Em um segundo estgio, usamos este valor predito como a varivel explicativa no
modelo linear para o resultado Y e estimamos o seguinte modelo linear simples:

(6.2.2)
O estimador de mnimos quadrados em dois estgios para este caso :
(6.2.3)
Substituindo a equao do primeiro estgio para :
(6.2.4)
Multiplicando e dividindo o primeiro termo por Cov , o segundo termo
por Cov , temos que:

Note que seria o LATE usando apenas o instrumento , e
seria o LATE usando apenas o instrumento . Logo, podemos escrever o es-
timado de MQO como uma mdia ponderada dos estimadores usando cada
uma das variveis instrumentais,
(6.2.5)
Os pesos de cada um dos LATES depende de quo forte a relao de cada
instrumento com a participao no tratamento, isto , ser dado maior peso
ao instrumento que apresenta uma relao mais forte com a participao no
tratamento. Podemos mostrar que este resultado se estende para o caso de
mltiplos instrumentos discretos.
6.3 O Caso de Instrumentos Contnuos
Nesta seo, consideremos a estimao do impacto do tratamento sobre toda
a distribuio de um instrumento contnuo. Neste caso, o instrumento cont-
nuo e a probabilidade de participao condicional a Z tambm uma funo
contnua, isto , uma funo contnua em z. Neste caso,
usamos mudanas infnitesimais na taxa de participao para medir o efeito
mdio local do tratamento (LATE). Heckman (1990), Vytlacil (2002), Heckman
e Vytlacil (2001), Carneiro, Heckman e Vytlacil (2005) usam um modelo de se-
leo para interpretar este efeito marginal. A seleo feita atravs de uma
funo de z e de um componente no-observvel, :
(6.3.1)
Sob a hiptese de alocao aleatria de Z , e se a restrio de excluso e a hip-
tese de monotonicidade so satisfeitas para todos os pares de z e z*, o modelo
latente implica que podemos ordenar os indivduos de acordo com os seus
componentes no-observveis . Se o fator no-observvel do indivduo i
menor que o do indivduo , ento para todo z. Dado este
ordenamento baseado no no-observvel, podemos defnir o efeito marginal
do tratamento condicional em :
(6.3.2)
Este efeito se relaciona diretamente com o limite do efeito mdio local do tra-
tamento defnido para os valores de tal que existe um valor z que satisfaz
,
para (6.3.3)
Para entender este parmetro como o limite do LATE, voltamos ao caso mais
simples em que uma funo linear em z . Neste caso, o estimador do
LATE para dois pontos na distribuio de z,
(6.3.4)
E podemos pensar no efeito marginal do tratamento (EMT) como o estimador
de LATE quando z fca arbitrariamente prximo de z*,
(6.3.5)
Este parmetro EMT usa um instrumento contnuo na tentativa de reconstruir
a distribuio das probabilidades de participao, e usar esta distribuio para
estimar o efeito na variao marginal de z.
6.4 Exemplo
Ponczek e Souza (2011) usam o arcabouo de varivel instrumental para estimar o
efeito do tamanho da famlia em alguns resultados das crianas. Em uma amostra
de famlias cuja mulher teve duas ou mais gestaes, eles usam como instrumen-
to uma varivel binria que indica se na segunda gestao ocorreu o nascimento
de gmeos. Segundo os autores, este acontecimento de gmeos claramente
relacionado com o tamanho de famlia, e condicional ao vetor de caractersticas
da famlia, ele s afeta os resultados de interesse atravs do efeito no tamanho
da famlia. Neste caso, a subpopulao de compliers composta pelas famlias
com pelo menos um flho nascido da primeira gestao que tiveram o tamanho
da famlia aumentado em um nmero inesperado devido ao nascimento de g-
meos. Os resultados de interesse neste artigo que sero apresentados aqui so: se
a criana participa da fora de trabalho, se a criana vai escola e se a criana no
repetiu a srie. As tabelas 6.4.1 e 6.4.2 apresentam os resultados para as crianas
com idade entre 10 e 15 anos que moram com a me e o marido da me. Os efeitos
mdios locais foram estimados por mnimos quadrados em dois estgios. A tabela
6.4.1 apresenta os resultados do primeiro estgio, enquanto a tabela 6.4.2 contm
os resultados do segundo estgio. As variveis explicativas usadas como controle
em ambos os modelos so: variveis binrias para anos e estados brasileiros, edu-
cao do chefe da famlia, gnero e sexo do chefe de famlia e educao e idade
da me. Usando os dados do Censo Brasileiro de 1991, os autores encontram que
o tamanho da famlia apresenta um efeito signifcativo na progresso escolar das
meninas, sendo este efeito negativo. Os autores apresentam evidncias de que,
quanto maior o tamanho da famlia, menor ser a probabilidade de a criana pro-
gredir na escola, mantendo todas as demais caractersticas da famlia constantes.
Como salientado pelos autores, este resultado importante para pensarmos nas
polticas pblicas de transferncia de renda que condicionam o montante recebi-
do pelas famlias somente na sua renda e no nmero de flhos que elas possuem.
Nestas polticas o efeito benefcio da renda pode ser cancelado pelos efeitos nega-
tivos do incentivo ao aumento do tamanho da famlia.
Tabela 6.4.1: Resultados do Primeiro Estgio

Fonte: Ponczek e Souza (2011)
Tabela 6.4.2: Resultados do Segundo Estgio

Fonte: Ponczek e Souza (2011)
Exerccios
1) Dufo (2001) estima o efeito da construo de escolas na Indonsia no salrio
dos indivduos. Neste artigo, a autora usa um modelo linear para o salrio (w)
do indivduo i nascido na regio j e na coorte k, que pode ser simplifcado pela
equao:
em que uma varivel binria que indica se na regio j o programa foi muito
intenso. Esta varivel igual a 1 se na regio j duas ou mais escolas foram cons-
trudas, e igual a 0, caso contrrio. Alm disso, igual a 1 se o indivduo
estudou em uma escola que foi construda pelo programa, e 0, caso contrrio,
e representa os fatores no observveis. Este modelo assume que o efeito
mdio do tratamento varia com a intensidade do programa.
a) Calcule .
Qual seria o efeito mdio do programa para os indivduos que moravam em
regies nas quais o programa teve grande intensidade? Qual o efeito mdio do
programa para os indivduos em regies com baixa intensidade do programa?
b) Na tentativa de capturar efeitos heterogneos, os autores propem
o modelo composto pelo seguinte sistema de equaes:

em que .
O que o parmetro representa? Quem seriam os compliers neste modelo?
c) Como podemos estimar o efeito mdio do tratamento para a subpo-
pulao de compliers usando o sistema acima?
2) Usamos o seguinte sistema de equaes para estimar o retorno da educao
sobre o salrio,
Em que S representa o nmero de anos de estudo do indivduo i, Z uma
varivel binria que igual a 1 se o indivduo i nasceu no primeiro trimes-
tre do ano, e 0 se o indivduo nasceu no quarto trimestre. Assumimos que
e . Suponha que .
a) Interprete as duas hipteses e no
contexto deste exerccio.
b) Mostre que
c) Mostre que
d) Usando os resultados das letras (a) e (b), mostre que

e) Baseado nos estimadores acima, proponha um estimador para .
f) Angrist e Imbens (1995) usam uma base de dados para os Estados
Unidos para estimar o efeito dos anos de escolaridade sobre salrio, usando o
trimestre de nascimento como instrumento para anos de estudo. A ideia que
as pessoas s podem entrar no ensino bsico com 6 anos de idade. Nos Esta-
dos Unidos, o ano letivo comea em agosto. Assim, as crianas que nascem no
quarto trimestre do ano tm que esperar um ano a mais para entrar na escola
que as crianas que nascem no primeiro trimestre de nascimento. Esta variao
levaria um grupo a permanecer mais tempo na escola do que o outro. Os auto-
res separam os indivduos em dois grupos. O primeiro grupo, composto pelos
indivduos nascidos no primeiro trimestre, e o segundo, por aqueles nascidos
no quarto trimestre. Para cada grupo, eles obtm as seguintes mdias para os
alunos de estudo e logaritmo do salrio,

Usando os resultados da tabela acima e o estimador proposto em (e), calcule a
estimativa para o efeito mdio de anos de estudo no logaritmo do salrio. In-
terprete este coefciente como o efeito mdio de um tratamento para a subpo-
pulao de compliers. Quem so os compliers neste caso?
3) Considere o seguinte modelo com efeitos heterogneos, no qual T uma
varivel binria que igual a 1 se o indivduo recebeu o tratamento, e
uma varivel instrumental binria. O efeito do tratamento sobre o resultado de
interesse representado por

ou de outra forma, podemos escrever este modelo usando o resultado obser-
vado para cada indivduo,
e tambm assumimos um modelo para o efeito do instrumento sobre o trata-
mento,

a) Mostre que, se temos efeitos heterogneos do instrumento sobre o
tratamento, mas temos um efeito homogneo do tratamento , o estimador
do LATE igual a mesmo que a hiptese de monotonicidade seja violada.
b) Considere o caso heterogneo, derive o vis do estimador do LATE
caso a hiptese de monotonicidade seja violada. Sob quais circunstncias, vio-
laes da hiptese de monotonicidade no invalidam a anlise de um efeito
mdio local do tratamento?
c) Suponha que as hipteses do LATE sejam verdadeiras, mas

mostre que
Qual o signifcado desta hiptese adicional? Interprete este resultado e discuta
como voc iria estimar o efeito mdio local do tratamento neste contexto.
4) Um programa criado pelo governo para promover o consumo de frutas e
vegetais entre os alunos na 5 srie do ensino fundamental. Nas escolas que
receberam o programa, os alunos foram convidados a participar de aulas que
explicavam cada tipo de alimento e nas quais eles podiam experimentar as
frutas e vegetais. Alm disso, estes alunos tambm faziam excurses para mer-
cados e feiras na tentativa de conhecer e experimentar um nmero grande de
frutas e verduras. As aulas e as excurses eram atividades extracurriculares, e os
pais tinham que autorizar os alunos a participar das mesmas. Dentro do estado,
metade das escolas foi selecionada para o grupo de controle, enquanto a outra
metade foi selecionada para o grupo de tratamento. Esta seleo foi realizada
de forma aleatria. O governo gostaria de avaliar o efeito do programa sobre a
sade das crianas. Para isso, ele possui uma base de dados que contm algu-
mas caractersticas socioeconmicas dos alunos, se eles estavam em uma es-
cola tratada e se participaram do programa. Alm disso, ele possui informaes
sobre a sade do aluno, como o nmero de vezes que o aluno fcou gripada
nos ltimos 12 meses.
a) Proponha um mtodo para estimar o efeito do programa sobre a
sade dos alunos.
b) Discuta as hipteses necessrias para que o mtodo proposto em
(a) seja vlido.
c) Quais seriam os resultados esperados desta avaliao? Voc acha
que os resultados obtidos para este estado se manteriam se esta poltica fosse
implementada em outros estados?
CAPTULO 7
Regresso Descontnua
O mtodo de regresso descontnua pode ser usado quando a probabilidade
de receber tratamento muda de forma descontnua com uma varivel, que va-
mos chamar de Z. Um dos primeiros trabalhos que usaram regresso descont-
nua foi Thristhlewaite e Cook (1960), que estimou o impacto de um prmio por
mrito no desempenho acadmico dos alunos. Neste estudo, o prmio por m-
rito era dado de acordo com as notas dos alunos. Os alunos que tinham notas
acima de um certo valor recebiam o prmio, enquantos os alunos que tinham
notas abaixo deste ponto de corte no podiam receber o prmio. Os autores
argumentam que os indviduos que esto logo abaixo do ponto de corte so
muito semelhantes aos indivduos logo acima do ponto de corte, exceto pelo
fato de que no receberam o prmio, e seriam um bom grupo de controle.
Neste estudo, a varivel Z, cujo valor determina o recebimento do tratamento,
a nota do aluno.
Uma das vantagens do mtodo de regresso descontnua que ele requer
hipteses mais fracas do que as hipteses usadas pelos mtodos no-expe-
rimentais apresentados at aqui. Ao invs de assumirmos uma hiptese de
independncia, como no captulo 5, iremos assumir que existe uma relao
contnua entre os determinantes do resultado de interesse e a varivel Z, e uma
relao descontnua entre a participao no tratamento e Z. Com esta hipte-
se, qualquer descontinuidade que ocorra na funo que relaciona Y a Z pode
ser atribuda ao salto que ocorre na participao do tratamento em determina-
do valor de Z, e o tamanho deste salto pode ser interpretado como um efeito
mdio local do tratamento. A desvantagem do mtodo de regresso descon-
tnua que ele estima um efeito mdio do tratamento comparando apenas
os indivduos em torno deste ponto de corte. Se estes indivduos forem muito
diferentes do restante dos indivduos na populao de interesse, no podemos
afrmar que este seria o efeito mdio do tratamento para a populao de inte-
resse. Assim, devemos ter cuidado ao tentar extrapolar o efeito mdio local en-
contrado pelo mtodo de regresso descontnua para o restante da populao.
No instrumental de regresso descontnua, o recebimento do tratamento, de-
nominado pela varivel binria T, uma funo de Z. A descontinuidade pode
ser fuzzy ou sharp. No caso sharp, a participao uma funo determinstica
de Z, isto , T = 1 se X c, e T=0 se X < c. No caso fuzzy, ocorre um salto na
probabilidade de participao no ponto em que Z igual a c, mas no neces-
sariamente de 0 para 1, como no caso sharp. Em ambos os casos, ter a descon-
tinuidade na probabilidade de participao em Z igual a c no sufciente para
identifcarmos o efeito mdio local do tratamento.
Se os indivduos tem controle sobre a varivel Z e eles sabem os benefcios
do tratamento, os indivduos abaixo da descontinuidade podem ser sistema-
ticamente diferentes dos indivduos acima da descontinuidade. Por exemplo,
no estudo de Thristhlewaite e Cook (1960), se os estudantes puderem detemi-
nar a sua nota no teste de profcincia de forma perfeita atravs do esforo, os
alunos mais esforados e determinados iro escolher notas acima de c e iro
ganhar o prmio, e estes alunos podem ser sistematicamente diferentes dos
demais pelo menos no que se refere ao esforo. Neste caso, os indviduos no
so comparavis em torno do ponto de corte, e no podemos usar os indivdu-
os abaixo de c como um grupo de controle para os indivduos logo acima de c
que receberam o tratamento. No entanto, suponha um outro cenrio no qual
os alunos, mesmos se esforando mais, no tm garantia de que sua nota ser
maior que c. Neste novo cenrio, parece mais razovel pensar que os alunos
que fcaram logo abaixo do ponto de corte so semelhantes aos que fcaram
acima, exceto que os primeiros tiveram sorte e acertaram uma questo a mais
na prova do que os outros. Mesmo sabendo dos benefcios do tratamento, os
alunos no so capazes de manipular de forma perfeita a sua nota de modo
que ela fque acima de c. Neste caso, temos uma variao exgena no trata-
mento em torno da descontinuidade, e usamos esta variao para estimar o
efeito mdio do tratamento.
Se a variao no status do tratamento em torno do ponto de corte aleatria,
como descrito no caso acima, as caractersticas determinadas antes da realiza-
o de Z devem ter a mesma distribuio no grupo de indivduos com valores
Z acima do ponto de corte e no grupo de indivduos com valores abaixo do
ponto de corte. Como no caso dos mtodos de pareamento, podemos verifcar
se os indivduos em torno do ponto de corte so semelhantes em suas caracte-
rsticas observveis atravs de um teste de comparao de mdias. Se tivermos
evidncias de que na mdia os indivduos situados em torno do ponto de corte
so diferentes, devemos desconfar da validade da estrutura da regresso des-
contnua. Alm disso, podemos representar a estrutura de uma regresso des-
contnua atravs de uma anlise grfca. Por exemplo, uma representao gr-
fca da relao de Y e Z pode ser usada para nos dar uma ideia do tamanho da
descontinuidade, da forma funcional adequada para modelar esta relao, etc.
Voltaremos anlise grfca de uma regresso descontnua ao fnal do captulo.
Antes de descrevermos os casos fuzzy e sharp, iremos defnir o efeito mdio
local do tratamento que identifcado dentro da estrutura de uma regresso
descontnua, usando o arcabouo de resultados potenciais. O efeito mdio lo-
cal no ponto de descontinuidade c pode ser defnido como:

Mas no observamos os resultados potenciais Y (1) e Y (0) para o mesmo
indivduo. Para cada indivduo i, observamos:

Para os indivduos com valores de Z logo acima do ponto de corte:

e de forma anloga para os indivduos logo abaixo do ponto de corte:
Defnimos como o valor que Y aproxima quando Z chega prximo de c
para os indivduos acima do ponto de corte, e como o valor que Y apro-
xima quando Z chega prximo de c para os indivduos abaixo do ponto de
corte. De modo formal, temos

Sob a hiptese de que o resultado de interesse (Y) uma funo contnua de
Z,
A hiptese de continuidade exige que as funes de regresses condicionais
dos resultados do tratamento e do controle em Z sejam contnuas. De maneira
mais formal,
so funes contnuas em z
3
Se em torno do ponto Z=c, o status do tratamento foi determinado de forma
aleatria, temos ignorabilidade local (H2), ou seja:

53
Uma hiptese mais forte que teria como consequncia a continuidade das funes de
regresso seria assumirmos que as funes de distribuies condicionais so contnuas, isto
, F
Y(0)|Z
(y|z) e F
Y(1)|Z
(y|z) e em z para todo y.
53
Sob esta hiptese de ignorabilidade
4
,
Sob as hipteses de ignorabilidade local e continuidade,
E podemos escrever o efeito mdio local de tratamento como
no qual
A hiptese bsica para a identifcao do efeito mdio local do tratamento
que a probabilidade de participao no tratamento uma funo de Z, e no
ponto c esta probabilidade sofre um salto. Esta variao no status de participa-
o em torno de c pode ser interpretada como uma variao aleatria. Alm
disso, o resultado uma funo contnua de Z, de modo que qualquer des-
continuidade em Y em torno de c pode ser atribuda somente ao tratamento.
7.1 Caso Sharp
Neste caso, T uma funo determinstica de Z. Todos os indivduos com um
valor de Z acima de c recebem o tratamento, e todos os indivduos com valo-
res abaixo deste valor no recebem. A probabilidade de receber o tratamento
muda de 0 para 1 ao passar o ponto de corte. Neste caso, sob as hipteses de
continuidade e ignorabilidade local, no existem outros fatores que expliquem
a descontinuidade de Y em c a no ser o recebimento do tratamento, e inter-
pretamos o salto de T no ponto c como o efeito causal do tratamento. Neste
caso, e o efeito mdio local do tratamento :
Neste caso, a hiptese de ignorabilidade naturalmente satisfeita, pois para
54
Note que, como no caso dos mtodos de pareamento, a hiptese de ignorabilidade mais
forte do que a hiptese mnima necessria para identifcar o efeito mdio local do tratamen-
to. As hipteses mais fracas necessrias para identifcao seriam as equaes (6.2) e (6.3).
54
os indivduos com o mesmo valor de Z no existe variao no tratamento. Os
indivduos com valores Z iguais ou acima de c tero T=1; e os indivduos com
valores abaixo de c sempre tero T=0.
O grfco 7.1.1 ilustra a estrutura da regresso descontnua no caso sharp. A
fgura 1 representa a probabilidade de receber tratamento, ilustrando que esta
probabilidade muda de 0 para 1 quando Z igual ao valor do ponto de corte. A
fgura 2 representa as curvas dos resultados potenciais caso o indivduo receba
tratamento (Y(1)) e os resultados potenciais caso o indivduo no receba tra-
tamento (Y(0)). S observamos os pontos da funo de Y(0) para indivduos
com valores de Z abaixo de c, e os pontos da funo de Y(1) para os indivduos
com valores de Z acima de c. Se estas funes so contnuas em Z, podemos
atribuir o salto que acontece no ponto c como o efeito mdio do tratamento
em torno desta descontinuidade.
Grfco 7.1.1: Regresso Descontnua Sharp
Figura 1: Probabilidade Condicional de Receber Tratamento

Figura 2: Expectatica Condicional dos Resultados

Suponha o caso simples em que a relao entre Y e Z uma funo linear,
e queremos identifcar o efeito mdio do tratamento. Podemos representar o
caso sharp de regresso descontnua atravs do sistema de equaes:

no qual 1 uma funo indicadora que assume valor 1, caso o indivduo tenha
o valor de Z acima de c; e 0, caso contrrio. O grfco 7.1.2 ilustra este problema.
O salto na varivel Y no ponto c pode ser interpretado como o efeito causal do
tratamento se todos os outros fatores que afetam Y esto evoluindo de forma
suave em torno de c. De maneira formal, este salto ir representar se

Esta hiptese pode ser entendida como a hiptese de exogeneidade que usa-
mos em uma regresso linear tradicional, sendo vlida somente em torno do
ponto de corte.
Grfco 7.1.2: O Caso Linear

7.2 Caso Fuzzy
Este o caso mais comum nas aplicaes em economia. Neste caso, o trata-
mento determinado parcialmente pela descontinuidade em Z. A probabili-
dade de receber tratamento no muda de 0 para 1 no ponto de corte (c), mas
acontece apenas um salto na probabilidade de receber tratamento no ponto
em que Z=c, ou seja:
Como a probabilidade de receber tratamento tem um salto menor que um, o
salto da expectativa condicional de Y em Z, que acontece no ponto em que Z
igual a c, no pode ser interpretado como efeito mdio do tratamento. Neste
caso, voltamos equao (7.4) e identifcamos o efeito mdio do tratamento
como a razo entre o salto que ocorre em Y e o salto que ocorre em Z no ponto
de corte,
Um exemplo deste caso seria a situao em que o recebimento do prmio de
mrito no depende somente das notas dos alunos no exame de profcincia,
mas tambm de uma entrevista com uma banca examinadora. Neste caso, uma
nota acima de c aumenta a probabilidade de receber o prmio de mrito, mas
alunos que tiraram uma nota abaixo de c podem receber o prmio deste que
faam uma boa entrevista.
Para a identifcao da razo das descontinuidades como um efeito mdio lo-
cal do tratamento, precisamos das hipteses H1 e H2, estabelecidas no incio
deste captulo. O estimador da regresso descontnua no caso Fuzzy pode ser
relacionado com o estimador de varivel instrumental conhecido como LATE,
que foi apresentado no captulo 6
5
. Como sabemos, o LATE identifca a efeito
mdio do tratamento para os indivduos que mudaram o seu status de partici-
pao quando o valor do instrumento passa do ponto c. Para isso, ele precisa
de uma hiptese de monotonicidade, alm da hiptese de independncia.
6

Defna T (z) como o status potencial de tratamento no ponto em que Z=z, para
z em uma pequena vizinhana de c. T (z) igual a 1 se o indivduo i recebe o
tratamento no ponto em que Z=z. A hiptese de monotonicidade pode ser
expressa usando este tratamento potencial:
H3: T (z) uma funo no-decrescente em z.
Dentro do instrumental do LATE, defnimos como compliers os indivduos que
so de fato afetados pelo tratamento, isto , um indivduo i denominado de
complier se:
Os compliers so defnidos como os indivduos que recebem o tratamento se
o valor de Z igual ou acima de c, mas no recebem o tratamento se o valor
de Z est abaixo de c. Considere o exemplo em que os indivduos que recebem
uma nota no teste de profcincia abaixo c so encorajados a fazer aulas de re-
foro escolar no contra-turno. O complier o indivduo que ir participar das
aulas de reforo se a sua nota fcar abaixo de c, e no ir participar se a nota for
igual ou maior que c. A hiptese de monotonicidade elimina o grupo de indiv-
duos que receberia o tratamento se o valor de Z fosse abaixo do ponto de corte
e no receberia caso o valor de Z fosse acima do ponto de corte. Como fzemos
no captulo anterior, usando a hiptese de monotonicidade, podemos decom-
por o efeito mdio do tratamento em torno da descontinuidade no efeito para
os compliers, no efeito para os indivduos que sempre aceitam o tratamento
independente do valor de Z e no efeito para os indivduos que sempre recu-
sam o tratamento independente do valor de Z.
55
Para maiores detalhes sobre o LATE, ver Imbens e Angrist (1994) e Angrist, Imbens e Rubin
(1996).
56
Ver Imbens e Angrist (1994).
55
56

As duas primeiras equaes representam o efeito mdio local do tratamento para
os compliers, a equao (7.2.2c) representa o efeito do tratamento para os indi-
vduos que sempre recebem o tratamento independente do valor de Z e a ltima
equao representa o efeito mdio do tratamento para as pessoas que sempre re-
cusam o tratamento independente do valor de Z. Pela hiptese de continuidade,
e temos que:
O estimador de regresso descontnua para o caso fuzzy identifca o efeito mdio
local do tratamento para os compliers. Da mesma maneira que no caso clssi-
co de varivel instrumental, apresentado no captulo anterior, temos que verifcar
se existe uma relao forte entre o instrumento e a varivel endgena, no caso
da regresso descontnua temos que verifcar se existe uma descontinuidade na
probabilidade de T condicional a Z. O grfco 7.2.1 ilustra o instrumental de uma
regresso descontnua fuzzy. Na primeira fgura temos o salto que acontece na pro-
babilidade de receber tratamento. Notamos que esta probabilidade no salta de 0
para 1 como acontecia no caso sharp. A segunda fgura mostra o salto que aconte-
ce no resultado potencial, e semelhante ao grfco para o caso sharp. A diferena
que no podemos dizer que o tamanho deste salto o efeito causal do tratamen-
to. Neste caso, o efeito mdio local do tratamento dado pela razo entre os saltos
da fgura 1 e da fgura 2.
Grfco7.2.1: Regresso Descontnua Fuzzy
Figura 1: Probabilidade Condicional de Receber Tratamento
Figura 2: Expectativa Condicional dos Resultados

7.3 Estimao
Um maneira simples de implementar o mtodo de regresso descontnua
usar regresses lineares locais separadas para estimar as relaes de um lado
e de outro do ponto de corte
7
. No caso sharp, precisamos estimar apenas a
relao de Y com Z dos dois lados em torno do ponto de corte c. A modelo de
regresso do lado esquerdo do ponto de corte :
e o modelo de regresso do lado direito :
Como as variveis explicativas esto subtradas do valor no ponto de corte, o
valor esperado de cada regresso no ponto de corte dado por O
efeito mdio local do tratamento ser a diferena entre o intercepto das duas
regresses, Uma forma mais direta de estimar o efeito mdio do
tratamento seria usar um modelo de regresso que combina os modelos em
ambos os lados do ponto de corte:
no qual
A vantagem deste modelo que combina os efeitos direita e esquerda do
ponto de corte que o efeito mdio do tratamento e o seu erro padro so
estimados de forma direta em uma nica regresso.
Dado uma vizinhana h, fcil estimar o modelo de regresso representado
pela equao (7.3.3). Mas para estimar esta regresso, precisamos escolher o h.
Se escolhermos um h muito grande, iremos usar um nmero maior de obser-
vaes na estimao, o que aumenta a preciso das estimativas. No entanto,
quando maior o h , maior a chance da especifcao linear no ser a correta
para estimar a relao entre Y e Z e podemos aumentar o vis do efeito mdio
do tratamento. Se a expectativa condicional de Y no uma funo linear em
Z, o modelo linear pode ser uma boa aproximao em uma regio limitada de
Z, mas medida que aumentarmos a regio de valores de Z, o modelo linear
pode se tornar uma aproximao muito ruim. Da mesma forma, quanto menor
o h, maior a chance de a especifcao linear ser uma aproximao adequada
para estimar a relao entre Y e Z naquela vizinhana, mas menor a preciso
57
Nesta seo, apresentamos o mesmo, mais comumente usado para estimar regresso
descontnua. Existem outros mtodos no-paramtricos que podem ser usados, como uma
regresso por Kernel. Para uma reviso de alguns mtodos que podem ser implementados,
ver Imbens e Lemieux (2008) e Lee e Lemieux (2009).
57
das estimativas. O h ideal aquele que balanceia de forma tima este trade of
entre vis e preciso. Existem vrias regras usadas para escolher esta janela, h.
Se o nmero de observaes aumentar, podemos diminuir h, pois teremos um
maior nmero de observaes por intervalo.
Existem dois procedimentos mais comumente usados para escolher esta jane-
la tima
8
. O primeiro seria usar uma janela que leva em considerao alguns
componentes da distribuio conjunta de (Y,Z), como por exemplo, a curvatu-
ra do modelo de regresso. A regra de bolso usada para a escolha de h :

em que o erro padro estimado da regresso, a derivada segunda
do modelo de regresso estimado para captar a relao em Y e Z, e R repre-
senta o intervalo da varivel Z usada para estimar a regresso. Para usar esta
regra de bolso, primeiramente precisamos estimar um modelo de regresso ar-
bitrrio em uma vizinhana em torno do ponto de corte. Por exemplo, suponha
que nesta primeira etapa, estimamos uma regresso quadrtica para estimar
a relao entre Y e X, Neste caso, aps
a estimao da regresso, precisamos calcular (z ) ,
e estimar usando a soma do quadrado dos resduos dividido pelo nmero
de observaes, menos os graus de liberdade. Se usarmos as observaes na
vizinhana, R ser igual a 10.
O segundo procedimento conhecido como validao cruzada (Cross-Vali-
dation)
9
. Para cada observao i, estimamos uma regresso no qual a obser-
vao i deixada de fora e usamos os valores estimamos nesta regresso para
obter o valor predito de Y quando Z igual a z . Como estamos dentro do
instrumental de regresso descontnua, na estimao da regresso considera-
mos somente as observaes em uma vizinhana h de z , isto , z -h Z < z
+h. . Fazemos este exerccio para cada observao, e obtemos um conjunto
de valores preditos para Y. A janela tima ser aquela que minimiza a mdia
dos quadrados das diferenas em cada Y predito e o Y observado. De maneira
formal, para determinado valor de h, calculamos o valor de predito para
, e calculamos o erro quadrtico mdio:
58
Em todos os procedimentos descritos nesta seo, estamos escolhendo uma janela nica
para ambos os lados do ponto de corte. A funo de densidade de Z provavelmente similar
em ambos os lados do ponto de corte, e com uma amostra grande a janela tima para o lado
direito do ponto de corte ser igual janela do lado esquerdo do ponto de corte. No entan-
to, podemos aplicar os procedimentos descritos para as observaes somente direita de
c e para as observaes somente esquerda de c, obtendo janelas timas diferentes para o
lado esquerdo e para o lado direito.
59
Neste captulo, iremos descrever o procedimento proposto por Imbens e Lemieux (2008).
58
59
e o h timo ser aquele que minimiza este critrio da validao cruzada:
Na prtica, calculamos o erro quadrtico mdio do critrio de validao cruza-
da para uma srie de valores fxos de h, e escolhemos o valor de h relacionado
ao menor erro quadrtico mdio.
No caso da regresso descontnua fuzzy, temos que estimar tambm como a
probabilidade de receber tratamento est relacionada com Z. Neste caso, po-
demos usar um modelo de regresso linear que relaciona a varivel T ao vetor
Z. Da mesma maneira que fzemos anteriormente, podemos usar um modelo
para as observaes que esto direita do ponto de corte e um modelo para
as observaes esquerda do ponto de corte:
E neste caso, o efeito mdio do tratamento ser dado pela razo entre a dife-
rena dos interceptos: Podemos usar o mesmo critrio de validao
cruzada para estimar a janela tima no caso em que a varivel dependente T.
Neste caso, usaremos duas janelas diferentes na estimao do efeito mdio de
tratamento na regresso descontnua fuzzy. A primeira janela seria aquela que
minimiza , e a segunda seria aquela que minimiza . Imbens e Le-
mieux (2008) argumentam que na prtica podemos usar a mesma janela para o
numerador e para o denominador. Para minimizar o vis assinttico, podemos
usar a menor janela escolhida por validao cruzada:
Em alguns casos, pode existir um vetor de outras variveis explicativas alm
de Z que esto correlacionadas com a varivel de interesse. A incluso destas
outras variveis no modelo no pode afetar a estimao da descontinuidade,
se todas as hipteses da estrutura de uma regresso descontnua so vlidas.
Se os valores estimados mudarem com a incluso destas variveis adicionais,
podemos desconfar que outros fatores tambm saltam em torno do ponto
de corte e que o salto que ocorre em Y em torno de c no pode ser atribudo
somente ao efeito do tratamento. Se estas demais variveis explicativas forem
correlacionadas com Z, elas podem aumentar a preciso das estimativas ao
diminuir o resduo da regresso.
Alm da estimao, necessrio fazermos testes de hipteses para verifcar se
o efeito mdio do tratamento estaticamente signifcativo. No caso de uma
regresso descontnua sharp, podemos estimar a equao (7.3.3) por mnimos
quadrados ordinrios e usar o erro padro estimado nesta regresso. No caso
de uma regresso descontnua fuzzy, podemos estimar o erro padro de forma
fcil se entendermos este modelo como um caso particular do estimador de
mnimos quadrados ordinrios em dois estgios. Usando a mesma janela para
o modelo que relaciona Y com Z e para o modelo que relaciona T com Z, o
sistema de equao que contm as duas equaes que combinam os modelos
para as observaes direita e esquerda do ponto de corte dado por:
no qual D indica se Z excedeu o valor c, isto , D uma varivel binria igual a
1 se Z maior que c e 0, caso contrrio.
O estimador de MQO em dois estgios para o sistema acima, usando D como
instrumento para T numericamente igual razo que representa o efeito m-
dio do tratamento para o caso fuzzy se usarmos a mesma janela para as duas
equaes do modelo. Neste caso, para fazermos inferncia podemos usar os er-
ros padres estimados pelo mtodo de mnimos quadrados em dois estgios
10
.
7.4 Anlise Grfica
O mtodo de regresso descontnua requer uma anlise grfca. Podemos veri-
fcar vrias hipteses de uma estrutura de regresso descontnua atravs desse
tipo de anlise. Em uma regresso descontnua, o efeito mdio do tratamento
est relacionado ao valor da descontinuidade no valor esperado de Y em certo
ponto. O primeiro grfco a ser feito um histograma que relaciona o valor mdio
de Y com Z. Neste grfco, temos que observar se em torno do ponto de c h evi-
dncia de uma descontinuidade na mdia condicional de Y. Alm disso, devemos
verifcar se no existem outros saltos na expectativa condicional de Y em relao
a Z. Se estes outros saltos existirem e forem grandes quando comparados ao salto
que ocorre em torno do ponto de corte c, podemos desconfar que outros fatores
alm da participao no tratamento esto infuenciando a relao entre Y e Z.
O segundo grfco seria um histograma que relaciona o valor de outras variveis
explicativas X que poderiam estar explicando a relao entre Y e Z. A ideia que
se a descontinuidade de Y em torno do ponto de corte se deve somente ao tra-
tamento, estas demais variveis X devem ter uma relao suave com Z, no apre-
60
Imbens e Lemieux (2008) computam as varincias assintticas para os estimadores e pro-
pem um mtodo para estim-las de forma consistente.
60
sentando saltos em torno deste ponto de corte c.
No caso da regresso descontnua fuzzy, necessrio tambm fazer um grfco
dos valores mdios de T em relao a Z para mostrar que de fato existe um salto
na probabilidade de receber tratamento em torno do ponto de corte, c.
Uma ltima anlise grfca sugerida por McCrary (2008) seria investigar se houve
seleo dos indivduos em torno do ponto de corte olhando para o nmero de
indivduos abaixo e acima deste ponto. Com este propsito, usamos um grf-
co em que dividimos o suporte de Z em intervalos e estimamos o nmero de
observaes em cada intervalo. Com este grfco, podemos avaliar se o nmero
de indivduos muda de forma descontinuidade em torno do ponto de corte. Se
houver uma mudana descontnua do nmero de indivduos em torno do ponto
de corte, podemos desconfar que os indivduos manipularam o valor de Z, o que
invalidaria a regresso descontnua. Por exemplo, no caso em que o prmio de
mrito determinado pela nota em um teste de profcincia, se os indivduos
conseguissem escolher a sua nota no teste, iramos observar um nmero maior
de indivduos acima do ponto de corte do que abaixo do mesmo.
7.5 Comparao da RD com os outros mtodos
Podemos entender a regresso descontnua no caso sharp como uma aplica-
o muito particular da hiptese de seleo nos observveis (H1), usada pelos
mtodos apresentados no captulo 5. No caso da regresso descontnua sharp,
a hiptese de seleo nos observveis trivialmente satisfeita, pois condicional
em Z, o tratamento completamente determinstico. Neste caso, para todos os
indivduos com o valor de Z abaixo de c, T sempre igual a 0, e para os indivduos
com valores de Z acima de c, T sempre igual a 1. Ou seja, condicional em Z, no
h variao no tratamento e a seleo nos observveis sempre satisfeita. No en-
tanto, a segunda hiptese usada pelos mtodos baseados em seleo nos obser-
vveis a de sobreposio da regio de valores de Z tanto no grupo de tratados
como no grupo de controles, Esta hiptese violada no
mtodo de regresso descontnua, pois os indivduos tratados tero valores de Z
acima de c enquanto os indivduos no-tratados tero valor de Z abaixo de c. Para
todos os valores de z, a sempre um ou zero, e nunca est entre 0
e 1. Ao invs de assumirmos a hiptese de sobreposio, impomos continuidade
das funes de expectativa condicional de Y em Z para o grupo de controle e
tratamento. Esta hiptese de continuidade garante que podemos comparar estas
duas funes ao longo de todos os valores de Z. A ideia da regresso descontnua
no caso sharp que os indivduos que possuem valores de Z em torno do ponto
de corte c so semelhantes na mdia, exceto que, por sorte, um indivduo teve
um valor Z acima de c e o outro teve um valor de Z abaixo de c. Logo, podemos
pensar a regresso descontnua como uma forma limite de pareamento, aquele
que acontece em torno de um nico ponto.
Outra forma de interpretar a regresso descontnua sharp como um experi-
mento aleatrio local. A ideia da regresso descontnua que, em torno do pon-
to de corte, o status do tratamento selecionado de forma aleatria. Desta ma-
neira, os indivduos em torno do ponto de corte so semelhantes na mdia em
todas as suas caractersticas, exceto que por sorte um grupo obteve um valor
de Z um pouco maior que c, e o outro grupo um valor um pouco menor. Neste
sentido, dentre todos os mtodos apresentados neste livro, o mtodo de regres-
so descontnua o que mais se aproxima de um experimento real (aleatrio).
Na seo 7.3, mostramos que podemos entender a regresso descontnua fuzzy
dentro do instrumental de varivel instrumental. Neste caso, a probabilidade de
receber tratamento salta no ponto de corte, mas no de 0 para 1 como no caso
sharp. No caso fuzzy, usamos a varivel binria que indica se Z maior que o pon-
to de corte como instrumento para o tratamento, dado que estamos assumindo
que a probabilidade muda em torno de c somente devido ao tratamento, e no
aos demais fatores que podem estar afetando o resultado. Na regresso descon-
tnua fuzzy, a variao na taxa de participao em torno do ponto de corte usa-
da para estimar o efeito mdio do tratamento. Neste caso, a variao do resulta-
do potencial em torno do ponto de corte ocasionada somente pela variao
da taxa de participao induzida por Z quando este passa de valores abaixo de c
para valores logo acima de c e no est relacionada com a variao de nenhum
outro fator observvel ou no observvel.
7.6 Exemplo
Ferraz e Finan (2011) usam o mtodo de regresso descontnua para estimar o
efeito de uma possvel reeleio em corrupo. De acordo com os autores, os
prefeitos que tm incentivo a se reelegerem so, em mdia, menos corruptos
que os prefeitos que no tm a possibilidade de reeleio. Para estimar este efei-
to, eles comparam municpios nos quais o prefeito incumbente ganhou as elei-
es de 2000 com uma margem muito pequena de votos com municpios nos
quais o prefeito incumbente perdeu as eleies por uma quantidade pequena
de votos. Ou seja, eles comparam prefeitos que tentaram a reeleio e tiveram
a votao em torno de 50%. No entanto, um deles fcou com um percentual de
votos um pouco abaixo de 50 e perdeu a eleio; enquanto o outro fcou com um
percentual um pouco acima de 50 e venceu a eleies. A ideia que estes pre-
feitos so na mdia muito parecidos em caractersticas que afetariam corrupo
e a capacidade de reeleio (como preferncias ideolgicas). A nica diferena
que por sorte um obteve um votao um pouco maior que o ponto de corte,
enquanto o outro obteve uma votao um pouco menor. Para estimar o efeito da
reeleio para estes municpios que tiveram prefeitos com percentual de votos
muito prximo a 50%, os autores estimam o seguinte modelo:
em que R mede o nvel de corrupo no municpio i, Z representa a diferena
entre o percentual de votos do prefeito incumbente e o segundo colocado, I
uma varivel binria que igual a 1 se Z 0, e 0, caso contrrio, f(Z ) represen-
ta uma funo contnua e suave da margem de votos, como por exemplo, um
polinmio. Alm disso, X o vetor que contm as caractersticas do municpio,
como por exemplo, coefciente de Gini, populao, etc.; e o vetor W inclui ca-
ractersticas do municpio que afetam o nvel de corrupo, como por exemplo,
nmero de partidos polticos no legislativo, quantidade de recursos repassada
ao municpio, etc.
Usando os dados de auditorias realizadas pelo Tribunal de Contas da Unio (TCU)
em 496 municpios brasileiros, os autores constroem uma medida de corrupo
atravs da classifcao das irregularidades descritas nestes relatrios em trs
categorias: (i) fraudes na contratao ou compra de bens e servios; (ii) super-
faturamento de bens e servios; (iii) desvios de fundos pblicos para pessoas
ou frmas privadas. Baseados nestas irregularidades classifcadas, eles constroem
uma medida de corrupo que seria o total de recursos relativo a essas ativida-
des irregulares expresso como frao do total de recursos auditados. Para obter
as caractersticas dos municpios, os autores usaram os dados fornecidos pelo
Instituto Brasileiro de Geografa e Estatstica (IBGE), Tribunal Superior Eleitoral
(TSE) e Tesouro Nacional.
A tabela 7.6.1 apresenta o principal resultado da regresso descontnua sharp
estimada pelos autores. A coluna (1) desta tabela apresenta o caso para a es-
pecifcao linear, isto, As colunas (2) e (3) usam um polinmio
quadrtico em Z e outro cbico. Os resultados indicam que a reeleio tem um
efeito negativo na corrupo.

Tabela 7.6.1: O Efeito da Reeleio na Corrupo
Varivel Dependente: % de recursos auditados envolvendo corrupo

Fonte: Ferraz e Finan (2011)
Para verifcar se de fato existe uma descontinuidade na medida de corrupo
em torno do ponto de corte da margem de votos, os autores fazem o grfco
da funo da expectativa condicional de R em Z. O grfco 7.6.2 apresenta tal
relao, e comprova a descontinuidade da medida da corrupo em torno do
ponto de corte. Usando o instrumental de regresso descontnua, os autores
atribuem esta descontinuidade ao efeito da reeleio.
Grfco 7.6.2: O Efeito da Reeleio na Corrupo

Fonte: Ferraz e Finan (2011)
Exerccios
1) Suponha que os estados brasileiros mudem a sua poltica educacional e os
alunos para progredirem do ensino fundamental para o ensino mdio so obri-
gados a fazer uma prova estadual de matemtica e portugus. Esta prova a
aplicada a todos os alunos em todas as escolas pblicas estaduais no ltimo
ano do ensino fundamental e para progredir eles devem acertar no mnimo
50% das questes em cada uma das provas. Se o aluno no passar em um dos
exames ou em ambos, ele deve cursar aulas de recuperao no perodo de f-
rias e tentar o exame novamente aps o perodo de recuperao. O objetivo
avaliar se o curso de recuperao est tendo um impacto no desempenho dos
alunos. Para isso, observamos uma base de dados que contm as informaes
de todos os alunos no ltimo ano do ensino fundamental em 2004 e as notas
que eles obtiveram em cada um dos testes. Alm disso, observamos o desem-
penho de todos os alunos em um teste padronizado no ltimo ano do ensino
mdio.
Para avaliar o programa de recuperao, propomos o seguinte modelo:
em que Y representa o desempenho do aluno no teste padronizado ao fnal
do ensino mdio, T uma varivel binria que igual a 1 se o aluno participou
do curso de recuperao, X um vetor de caractersticas socioeconmicas do
indivduo i e o fator no observvel do modelo.
a) Discuta o vis do estimador de mnimos quadrados ordinrio no
modelo acima.
b) Como voc usaria o desenho do programa para estimar o efeito
mdio da poltica de recuperao por uma regresso descontnua. Seria uma
regresso descontnua fuzzy ou sharp?
c) Discuta dentro do contexto da poltica em questo, as hipteses ne-
cessrias para a validade do mtodo de regresso descontnua proposto em
(b).
2) O governo gostaria de saber se uma poltica que expandisse o acesso a pla-
nos de sade teria um efeito positivo na sade dos indivduos, pois os levaria
a irem um maior nmero de vezes ao mdico. Para responder tal pergunta,
usamos como medida de acesso ao servio de sade o nmero de vezes que
o indivduo i foi ao mdico nos ltimos 12 meses. O modelo que gostaramos
de estimar :
em que Y o nmero de vezes que o indivduo i foi ao mdico, C uma
varivel binria que igual a 1 se o indivduo i possui plano de sade, X
um vetor de caractersticas socioeconmicas do indivduo i e o termo no
observvel da equao.
Nos Estados Unidos, ao completar 65 anos, todos os indivduos tm acesso a
um plano de sade completo que pago pelo governo. Card, Dobkin e Maes-
ta (2008) usam a descontinuidade quando o indivduo completa 65 anos para
estimar o efeito do plano de sade no nmero de consultas mdicas. A ideia
que os indivduos com 64 anos so semelhantes aos indivduos com 65 anos,
exceto que o segundo grupo tem plano de sade completo provido pelo go-
verno.
a) Alguns indivduos se aposentam aos 65 anos, e tm uma queda da
renda anual. Como isso poderia causar um vis no estimador de regresso des-
contnua?
Considere o seguinte modelo que relaciona idade com acesso a plano de sa-
de,
em que mi uma varivel binria que assume valor igual a 1 se o indivduo tem
65 anos ou mais, e 0 caso contrrio.
b) Qual a interpretao de ?
c) Suponha que , faa um diagrama que ilustre a rela-
o entre o resultado de interesse (Y ) e idade.
d) Suponha que , faa um diagrama que ilustre a rela-
o entre o resultado de interesse (C ) e idade.
e) As hipteses do arcabouo de regresso descontnua so vlidas
neste exemplo? Discuta cada uma delas.
3) Considere o seguinte modelo
em que Y o resultado de interesse, T uma varivel indicadora de tratamen-
to, Z seria um instrumento que infuencia a participao ou no no programa e
D uma varivel binria igual a 1 se Z maior que c e 0, caso contrrio. Supo-
mos que todas as hipteses no mtodo de regresso descontnua so vlidas.
a) Qual seria o parmetro que captaria o efeito mdio local do trata-
mento dentro do arcabouo de regresso descontnua?
b) Suponha que ao analisar os dados, verifcamos que o salto na pro-
babilidade de receber tratamento em torno de Z igual a c muito pequeno,
sendo prximo de zero. De outra maneira, suponha que prximo de zero.
O que aconteceria com o estimador do efeito mdio local proposto na letra (a)?
c) Voc resolve analisar melhor os dados e percebe que existem in-
meras descontinuidades no grfco que relaciona a probabilidade de receber
tratamento com o instrumento Z. Como voc interpreta esta evidncia? Esta
evidncia invalida o uso de regresso descontnua?
Suponha que, ao analisar os dados, voc percebe que existem inme-
ros saltos no grfco que relaciona o resultado de interesse Y a Z. Como voc
interpreta esta evidncia? Esta evidncia invalida o uso do mtodo de regres-
so descontnua?
4) Devido a um aumento inesperado nos preos dos aluguis, o governo cede
presso popular e resolve criar uma poltica que facilite o acesso casa pr-
pria ao trabalhadores brasileiros. Para isso, o governo estabelece redues nos
juros do crdito para casa prpria. Estas redues nos juros variam com a renda
mensal do trabalho. Nos primeiros anos da poltica, os trabalhadores com ren-
da at R$ 700,00 tm reduo de 2% ao ano, os com renda entre R$ 701,00 e R$
1.500,00 tm reduo de 1% e os com salrio entre R$ 1.501,00 e R$ 3.000,00
tm reduo de 0,5% ao ano. Os demais trabalhadores no tm reduo na
taxa de juros do crdito para compra de imveis.
Suponha que o governo tem uma base de dados com informaes dos traba-
lhadores em anos que antecederam a poltica e depois de sua implementao.
Nesta base de dados, temos informao sobre as caractersticas do trabalhador
como idade, sexo, renda mensal do trabalho, regio de domiclio e se o domi-
clio prprio ou no. Com estes dados, vamos estimar o efeito dessa poltica
de crdito sobre a probabilidade de adquirir um novo domiclio. Com esta base
de dados, trs pesquisadores propem metodologias diferentes para estimar
o efeito de tal poltica. O primeiro pesquisador prope o mtodo de diferenas
em diferenas, o segundo usa o mtodo de variveis instrumentais e o ltimo
se baseia no mtodo de regresso descontnua. Para cada um dos mtodos,
(i) Descreva qual o parmetro de interesse.
(ii) Discuta as hipteses necessrias para identifcar estes parmetros
e interprete estas hipteses no contexto deste exemplo.
(iii) Descreva o processo de estimao de cada um dos mtodos.
(iv) Compare os resultados que seriam obtidos com cada mtodo.
PARTE 3
Anlise de Retorno
Econmico
A parte III desse livro apresenta a anlise do retorno econmico de projetos so-
ciais e polticas pblicas. A avaliao econmica de um projeto composta de
duas etapas, a avaliao de impacto e a avaliao do retorno econmico. Estas
duas etapas so complementares, sendo que a avaliao de retorno econmi-
co realizada a partir dos resultados obtidos na avaliao de impacto.
A avaliao de retorno econmico visa mensurao da viabilidade econ-
mica de um projeto. Em outras palavras, o retorno econmico de um inves-
timento compara o seu custo com o benefcio fnanceiro gerado, de forma a
determinar se o investimento economicamente vivel. Assim, a avaliao de
retorno econmico procura responder, principalmente, as seguintes questes:
se o benefcio gerado pelo projeto maior do que seu custo; se o projeto vi-
vel economicamente; e se existe algum projeto alternativo mais vivel.
Calcular o retorno econmico importante porque, mesmo que um projeto
tenha impacto positivo (estimado por meio da avaliao de impacto), pode
acontecer uma situao em que seu custo seja to alto que inviabilize a repli-
cao. Concluiramos, nesse caso, que o projeto funciona, mas no compensa.
Muitas vezes, existem projetos que exibem um impacto de grande magnitude,
mas quando comparados com seu custo, apresentam-se pouco viveis, ou seja,
tm custo muito alto em relao aos benefcios que geram.
Por analogia, imagine a deciso de comprar um carro. Se olharmos apenas o
lado das benesses do carro como a potncia e o conforto , poderamos, por
exemplo, escolher uma Ferrari. Entretanto, essa escolha no considera um ele-
mento importante da anlise que o custo. Como vivemos em um mundo com
recursos escassos, esse elemento fundamental nas tomadas de decises. E
um dos principais motivos de Ferrari no ser consumida por todos o custo. O
mesmo deveria acontecer com o investimento nos programas sociais. Se anali-
sarmos somente o impacto do programa que equivale s benesses da Ferrari,
muitas vezes estaremos investindo em programas com alto impacto, mas que
apresentam custo to elevado que no seriam viveis economicamente.
A aplicao do conceito de viabilidade econmica em projetos sociais exige
uma viso mais ampla do seu signifcado, pois no trivial pensar o projeto
social da mesma forma que se pensa um investimento econmico. Isso porque
o benefcio advindo do projeto social no auferido somente pelo fnancia-
dor (a partir deste ponto, referido como investidor social). Grande parte dos
benefcios auferida pelas pessoas que foram impactadas pelo projeto. Nesse
sentido, um benefcio privado. Parte dos benefcios recebida ainda por pes-
soas que no participaram do projeto, caracterizando-se como um benefcio
pblico. O benefcio pblico ocorre uma vez que o projeto, ao atingir seus ob-
jetivos e gerar benefcios para os participantes, tambm benefcia uma parte
da sociedade, que ganha (indiretamente) com essas melhorias. Esse fenmeno,
em que o projeto atinge indiretamente tambm os que no participam, de-
nominado de externalidade.
Vamos entender a aplicao dos conceitos mencionados anteriormente, no
caso de avaliao de projetos sociais, por meio de um exemplo: o projeto
Olimpada Brasileira de Matemtica das Escolas Pblicas - OBMEP, avaliado
por BIONDI et al. (2012). A OBMEP tem como um dos principais objetivos me-
lhorar a qualidade da educao pblica, especialmente no ensino de matem-
tica. Para atingir esse fm, desempenha vrias aes, ou seja, incorre em custos.
Apesar dos custos, esse projeto no um investimento fnanceiro no sentido
clssico. O projeto no visa lucros para os fnanciadores, mas se ocorrer aumen-
to da qualidade da educao, o ganho para o indivduo e para a sociedade des-
se aumento pode ser interpretado como retorno social do projeto. O ganho
para o participante (a criana) ser uma melhor formao e mais escolaridade,
que ela levar por toda a vida benefcio privado. As externalidades (benef-
cios pblicos), advindas da maior escolarizao dos participantes, podem ser
vrias, como aumento da produtividade do trabalho, melhora na qualidade
dos servios pblicos, diminuio da subnutrio infantil na gerao dos flhos
desses tratados, entre outros.
Se os custos do projeto social so considerados como investimento, e os seus
benefcios, como receita proveniente desse investimento, para calcularmos o
retorno econmico necessrio dimensionarmos o valor monetrio destes
dois elementos.
CAPTULO 8
O Clculo do Retorno
Econmico
Betnia Peixoto
8.1 Benefcios do Projeto Social em Valores
Monetrios
O benefcio do projeto social ou poltica pblica o valor monetrio do seu im-
pacto. Portanto, necessariamente, a avaliao de impacto antecede a avaliao
de retorno econmico e somente se realiza quando a avaliao de impacto evi-
dencia que o projeto gerou resultados. O que fazemos transformar o impacto
em valor monetrio, de forma a obter o benefcio.
A transformao do impacto estimado em benefcio uma das maiores difcul-
dades da avaliao de retorno econmico. Ela exige a associao de um valor
monetrio a um impacto, muitas vezes, no monetrio. A nica exceo so os
projetos para gerao de renda, em que o indicador de impacto a renda, ou
seja, j estimado em valor monetrio, no exigindo nenhuma transformao.
Para os demais projetos sociais, que no tenham como indicador de impacto a
renda dos participantes, a transformao do impacto em benefcio precisa ser
realizada.
A pergunta que se faz como efetuar essa transformao em projetos sociais
com objetivos to diversos, como, por exemplo, a melhora na qualidade da
educao, na sade, a reduo da criminalidade, entre outros. A resposta no
simples. Para efetuarmos essas transformaes, temos que fazer hipteses que
permitam atribuir um valor monetrio ao impacto. Essas hipteses variam de
projeto para projeto e exigem um profundo conhecimento sobre a temtica
qual se aplica. O avaliador precisa conhecer a literatura a respeito do indicador
de impacto. Ele precisa saber quanto a mudana causada no indicador, pelo pro-
grama, economiza para a sociedade e quanto aumenta o bem-estar, devido
contribuio advinda das mudanas geradas nos benefcirios e nas circunstn-
cias que os envolvem.
Analisemos, por exemplo, um programa para o aumento da escolaridade, no
qual o indicador de impacto a taxa de jovens com ensino superior completo.
A literatura mostra que escolaridade mais alta propicia salrios maiores, menor
probabilidade de acessar programas sociais, menor probabilidade de encarcera-
mento, entre outros efeitos. Na transformao do impacto estimado em benef-
cio (valor monetrio do aumento da taxa de jovens com ensino superior comple-
to), o avaliador tem que considerar: os ganhos salariais devido ao aumento dos
salrios; a probabilidade daqueles jovens tratados acessarem programas sociais
e a mdia dos custos em prover esses programas que seriam acessados caso o
jovem no tivesse aumentado sua escolaridade isso equivale a uma economia
para a sociedade; a probabilidade de os jovens tratados serem presos e o custo
dessas prises que teriam acontecido se a escolaridade no tivesse sido aumen-
tada o valor que a sociedade deixou de gastar, tambm uma economia. No
seria possvel estimar todas essas probabilidades e ganhos se no conhecermos
bastante a literatura para podermos fazer hipteses plausveis sobre todos os
parmetros que sero empregados nessas estimaes.
No caso de projetos na rea de sade, por exemplo, para prevenir a incidncia de
diabetes, a transformao do impacto em benefcio tambm baseada em uma
srie de hipteses. Digamos que o impacto do projeto seja mensurado em ter-
mos da diminuio da taxa de incidncia de diabetes na populao. Uma menor
taxa de incidncia de diabetes leva a: uma diminuio dos gastos com o sistema
de sade para tratamento das doenas derivadas dessa; uma melhora na vida
das pessoas que adquiriram hbitos saudveis por causa do projeto e que fca-
riam doentes caso ele no existisse; economia para a sociedade com os dias de
trabalho que seriam perdidos se as pessoas fcassem doentes; diminuio dos
gastos com previdncia social que teria que ser paga aos doentes e invlidos.
Se o projeto para melhorar a empregabilidade dos jovens, por exemplo, o ava-
liador deve conhecer muito sobre o mercado de trabalho. Ele precisar determi-
nar qual o valor para a sociedade do aumento do nmero de jovens emprega-
dos. O fato de mais jovens entrarem no mercado de trabalho gera ganhos para
os prprios indivduos (em termos de salrio) e para toda a sociedade como: au-
mento da produo porque agora h mais pessoas contribuindo para o produ-
to; diminuio da probabilidade de o jovem que arrumou emprego se envolver
com lcool, drogas e crime, o que, por sua vez, leva a menores gastos com trata-
mentos de toxicmanos e prises; melhora na qualidade do aprendizado dos f-
lhos daqueles que foram empregados, pois tero uma melhor estrutura familiar;
aumento do nvel de atividade econmica medida que boa parte dos salrios
gasta no comrcio, entre outros efeitos.
Dos exemplos apresentados, pode-se concluir que para determinar o valor ga-
nho ou economizado pela sociedade devido ao projeto o avaliador ter que co-
nhecer, profundamente, a literatura sobre o tema. S assim ser capaz de estimar
as vrias facetas afetadas pelo projeto e adotar boas hipteses para a transforma-
o. Ao fnal desse captulo, apresentamos trs exemplos de avaliaes de proje-
tos no Brasil, nas reas de educao, criminalidade e sade.
Outra questo que o avaliador ter que considerar na estimativa do benefcio do
projeto que o impacto, em geral, perdura mais do que um perodo de tempo.
Algumas vezes o benefcio perdura por toda a vida produtiva do indivduo, como
no caso dos projetos de qualifcao profssional; ou por sculos, como o caso de
projetos de reforestamento. Outras vezes, os benefcios so grandes logo aps a
implementao e reduzem-se ao longo do tempo, por exemplo, campanhas de
preveno a doenas epidemiolgicas como a dengue. Existem tambm proje-
tos que s geram efeitos muitos anos aps sua implementao, como aqueles
para o aumento da escolaridade. O que todos esses casos tm em comum que
os benefcios ocorrem em momentos distintos no tempo.
Se os benefcios so recebidos em momentos diferentes, preciso considerar o
tempo no clculo do benefcio total. No se pode, simplesmente, somar os bene-
fcios em cada momento para obter o benefcio total. Isto acontece porque, em
geral, as pessoas atribuem mais valor ao dinheiro no presente do que no futuro.
Afnal, o que voc prefere: ganhar 500 reais hoje ou somente no ano que vem? A
maioria das pessoas prefere hoje. Isso se chama preferncia intertemporal.
Para calcularmos o benefcio monetrio total do projeto, precisamos considerar
o efeito do tempo no seu recebimento. Para isso, montamos o fuxo de caixa do
benefcio e utilizamos a taxa de desconto intertemporal para deduzir do mon-
tante o fato de que o valor s ser recebido no futuro. A taxa de desconto inter-
temporal indica quanto o indivduo valoriza o consumo presente em relao ao
futuro, ou seja, o percentual pelo qual ele est disposto a abrir mo do consu-
mo no presente para s faz-lo no futuro. Para efetuar o desconto intertemporal
aplicamos, ento, os conceitos de valor presente e valor futuro oriundos da
matemtica fnanceira. Esses conceitos so bastante intuitivos:
i. Valor presente (VP) quanto determinado montante de dinheiro a ser
recebido no futuro vale no tempo inicial do investimento;
ii. Valor futuro (VF) quanto determinando montante de dinheiro rece-
bido no tempo inicial valer em momentos posteriores.
A frmula que relaciona estes dois conceitos :
(1)
Onde: n o nmero do perodo
i a taxa de desconto intertemporal
Para obter o benefcio total do projeto, aplicamos diretamente essa frmula, de
forma a considerar o desconto intertemporal na soma dos benefcios ao longo
do tempo.

(2)
Onde o VPTB o valor presente do benefcio total; VB o valor do benefcio
no tempo inicial, se ocorrer de o benefcio ser imediato implementao; e
VFB o valor do benefcio recebido nos n perodos t.
A taxa de desconto intertemporal adequada uma deciso discricionria. Em
geral, os economistas consideram a taxa de desconto intertemporal com sen-
do igual taxa de juros. A intuio para isso que a taxa de juros seria a recom-
pensa fnanceira por deixar de consumir hoje, para consumir amanh. Ela pode
ser interpretada como a taxa sobre quanto os indivduos valorizam o presente
em relao ao futuro. Quanto mais elevada a taxa de desconto intertemporal,
mais as pessoas valorizam o consumo presente. Por outro lado, quanto menor
essa taxa, menos as pessoas valorizam o consumo presente em relao ao fu-
turo.
A taxa de juros considerada como representativa da taxa de desconto intertem-
poral a taxa de juros real. A taxa de juros real igual taxa de juros nominal
menos a infao / defao. A taxa de juros nominal a de face, ou seja, aquela
que paga quando fazemos um investimento. Por exemplo, se em determina-
do ano uma aplicao na poupana rendeu 7,5% (taxa de juros nominal) e a
infao acumulada foi de 6,5%, ento a taxa de juros real foi de 1%. Utilizamos
a taxa de juros real porque o cmputo do montante do benefcio j est isento
da infao / defao, pois quando o calculamos usamos as estimativas com
os valores monetrios referentes ao ano-base (via de regra, em t ). Portanto,
se usssemos a taxa de juros nominal, estaramos descontando a variao do
valor da moeda duas vezes.
No necessariamente precisamos igualar a taxa de desconto intertemporal
taxa de juros. Muitas vezes, os avaliadores adotam taxas de desconto inter-
temporal menores que a taxa de juros corrente. Isso acontece, porque, como
a maioria dos projetos tem impactos de longo prazo, os avaliadores utilizam
uma taxa de juros de longo prazo. A taxa de juros de longo prazo, em geral,
menor que a taxa de juros corrente. Alternativamente, muitos estudos utilizam
a taxa de juros dos Estados Unidos, por se tratar de uma economia mais estvel
que a brasileira. Como a economia brasileira passou nas ltimas dcadas por
profundas mudanas, a sua taxa de juros de longo prazo muito voltil e pode
no ser uma boa estimativa para o futuro.
Para entender melhor os conceitos trabalhados, est disponvel como ltimo
tpico do captulo um exemplo fctcio de avaliao de retorno econmico de
um projeto para qualifcao profssional de jovens.
8.2. Custo do Projeto
Uma vez calculado o benefcio total, a outra dimenso necessria para a ava-
liao de retorno econmico o custo do projeto. O custo considerado nesse
tipo de anlise denominado custo econmico e transcende o custo contbil
por considerar o custo de oportunidade do projeto. Vamos entender cada um
desses conceitos:
Custo econmico = custo contbil + custo de oportunidade
O custo contbil todo dispndio que, via de regra, aparece nos demonstrati-
vos contbeis. todo desembolso monetrio necessrio para o funcionamento
do projeto, por exemplo, pagamento de conta de luz, de pessoal, aquisio
de material, etc. O custo de oportunidade difere do custo contbil por ser um
custo implcito, ou seja, em geral no aparece nos demonstrativos contbeis.
O conceito do custo de oportunidade foi cunhado pela economia para desig-
nar o rendimento que se deixa de obter ao realizar determinada escolha. Em
outras palavras, o ganho que poderia advir da aplicao alternativa de um
determinado recurso. Muitos projetos funcionam com um exguo oramento
prprio, mas utilizam muitos recursos extras da sociedade. Por exemplo, um
programa de fornecimento de sopa para pessoas carentes que utiliza mo de
obra voluntria, que recebe os alimentos de um doador, que utiliza a cozinha
cedida de uma instituio benefcente, entre outros recursos. O custo contbil
provavelmente ser muito baixo e se somente ele fosse computado no clculo
do retorno, esse estaria distorcido. O custo de oportunidade resolve o proble-
ma da distoro do retorno, uma vez que computa quanto valeria: a aplicao
da mo de obra em outra atividade produtiva; os alimentos doados se fossem
aplicados de outra maneira, por exemplo, vendidos; o aluguel da cozinha para
um restaurante. Nesse caso especfco, o custo econmico do projeto tem
como maior parcela o custo de oportunidade. Ao utiliz-lo para o clculo do
retorno econmico, esse no mais estaria distorcido.
Um exemplo clssico de custo de oportunidade no terceiro setor o aluguel
no pago. Muitos projetos sociais funcionam em imveis cedidos por parcei-
ros, pelos quais o aluguel no pago. Como no pagam pelo recurso usado (o
imvel), esse no consta no custo contbil. Porm, para o projeto funcionar ele
ocupa aquele imvel. Nesse sentido, o projeto usa o recurso (o imvel), mesmo
no pagando por ele e, portanto, esse custo precisa ser computado no clculo
do retorno. O custo de oportunidade faz esse cmputo. Se o imvel fosse usa-
do para outro fm, por exemplo, aluguel para ponto comercial, estaria gerando
renda e remunerando o capital investido na sua aquisio. Portanto, o custo
de oportunidade do uso do imvel pelo projeto o aluguel que ele deixou de
render.
Para melhor compreenso, vejamos outro exemplo. Considere o projeto de
curso profssionalizante ministrado no contraturno escolar. O jovem que es-
colheu participar do curso deixou de fazer um estgio pelo qual receberia um
salrio. Mesmo que seja desejado pelos gestores do projeto, o fato de o jovem
assistir as aulas em vez de ir para o estgio remunerado um custo de opor-
tunidade de participao no projeto e precisa ser computado na avaliao de
retorno econmico. Ainda que esse jovem no fzesse o estgio, o tempo que
ele permanece no curso poderia ser usado de forma alternativa para ajudar os
pais nos afazeres domsticos, ou para cuidar dos irmos mais novos. Portanto,
o custo dos afazeres domsticos e do cuidado com os irmos o custo de opor-
tunidade de participar do projeto e precisa ser valorado.
Outro custo de oportunidade, muito comum em projetos sociais, o dispn-
dio de horas de trabalho dos voluntrios. Quando o projeto social funciona
com a colaborao de voluntrios, o custo das horas trabalhadas por eles no
aparece no custo contbil, simplesmente porque no foram pagas. Entretanto,
para o seu funcionamento esse recurso (as horas de trabalho dos voluntrios)
foi utilizado e o cmputo do seu custo deve consider-lo. O uso alternativo
desse recurso seria despender as horas em servio remunerado. Assim, o custo
de oportunidade do trabalho voluntrio quanto esses profssionais estariam
recebendo caso fossem remunerados.
Existem muitos outros exemplos de custo de oportunidade, especfcos para
cada projeto social ou poltica pblica e para descobri-los basta aplicar o con-
ceito na anlise de cada caso. Ao fnal do captulo, apresentamos trs exemplos
de custos econmicos considerados em avaliaes no Brasil.
Calculado o custo de oportunidade e o custo contbil, a soma de ambos resulta
no custo econmico. Assim como acontece com o benefcio, o custo econmi-
co pode ocorrer em diferentes momentos no tempo. Novamente, vale relem-
brar que no podemos somar o valor gasto em cada momento para obtermos
o custo total sem considerar a taxa de desconto intertemporal. Para isso, apli-
camos os conceitos de valor presente e valor futuro da matemtica fnanceira
e obtemos a seguinte relao:

(3)

Onde o VPTC o valor presente do custo total; VC o valor do custo no tem-
po inicial; e VFC o valor do custo incorrido nos n perodos t.
Essa frmula anloga quela aplicada ao clculo do benefcio total do pro-
grama. Assim, toda a discusso em relao taxa de desconto intertemporal
realizada na seo 8.1 continua vlida. Alm disso, no podemos esquecer que
a taxa de desconto intertemporal tem que ser a mesma considerada no clcu-
lo de Valor Presente do Benefcio Total, ou seja, ao escolhermos uma taxa de
desconto intertemporal, essa ser a mesma para todos os clculos do retorno
econmico.
8.3. Medidas do Retorno Econmico
Aps a estimao do custo e do benefcio de um projeto social ou poltica p-
blica, estamos aptos a calcular o seu retorno econmico. O retorno econmico
visa a identifcao da viabilidade econmica do projeto, por meio da compa-
rao do seu custo com o seu benefcio. A viabilidade econmica se refere ao
fato de o projeto gerar um lucro social, ou seja, seu benefcio ser maior que
seu custo para a sociedade.
O clculo do retorno permite descobrir a viabilidade econmica de um projeto
social ou poltica pblica e tambm comparar alternativas de investimentos
em projetos diferentes. A comparao de dois projetos indica que aquele com
maior retorno o mais atrativo como investimento. Entretanto, preciso ter
cuidado com essa comparao.
A comparao de projetos s deve ser realizada se eles forem semelhantes em
seus objetivos e pblico-alvo. Cada rea de investimento social apresenta re-
tornos diferenciados para a sociedade, mas todas precisam de investimento.
A deciso de investimento no passa somente pelo retorno de cada rea, mas
tambm pela vocao de cada instituio fnanciadora. Por exemplo, projetos
de educao bsica costumam gerar retornos elevados para a sociedade pelas
caractersticas inerentes ao seu pblico-alvo o impacto perdura por toda a
vida do participante. Projetos para idosos, em geral, apresentam retornos mais
baixos, tambm por caractersticas inerentes ao pblico-alvo o impacto per-
dura poucos anos. No seria correto usar a comparao do retorno econmi-
co de ambos para decidir em qual investir, pois essas duas reas sociais tm
caractersticas muito diferentes. O ideal seria comparar somente o retorno de
projetos de educao bsica com objetivos semelhantes e comparar somente
o retorno de projetos para idosos e, dentre cada grupo, decidir em qual investir.
Alm disso, o nmero de atendidos e a capacidade de expanso do projeto
tambm devem ser levados em considerao.
Existem vrias formas de calcularmos o retorno e cada uma delas constitui
uma estatstica de retorno econmico. A diferena entre as estatsticas ape-
nas a tica da sua construo, pois todas medem a relao entre o custo e o
benefcio do projeto. Neste livro, apresentamos quatro estatsticas de retorno
econmico: Valor Presente Lquido (VPL), Taxa Interna de Retorno (TIR), Razo
Custo-Benefcio e Razo Custo-Efetividade.
O VPL e a TIR decorrem da aplicao direta de conceitos da matemtica fnan-
ceira. A Razo Custo-Benefcio um conceito aplicado em diversas reas da
economia. Essas estatsticas so muito comuns na anlise de viabilidade eco-
nmica de investimentos do setor privado. Por fm, a Razo Custo-Efetividade
calculada quando no for possvel transformar o impacto encontrado em be-
nefcio, ou seja, quando no for possvel atribuir valor monetrio ao impacto.
Veremos detalhadamente cada uma dessas estatsticas.
8.3.1 Valor Presente Lquido VPL
O valor presente lquido estima o retorno por meio da subtrao do valor pre-
sente do custo total pelo valor presente do benefcio total. A intuio que se
os benefcios so maiores que os custos, ento o projeto vivel economica-
mente. Ou seja, o projeto gera para a sociedade mais valor do que retira dela
em termos do investimento necessrio para sua execuo. Assim, temos:
VPL= Benefcio Custo (4)
Considerando que os benefcios e os custos acontecem em momentos diferen-
tes no tempo, para realizarmos essa subtrao, precisamos que ambos estejam
a valor presente de um mesmo perodo. Considerando o primeiro ano do
investimento, trazemos os valores do benefcio e do custo de cada ano a valor
presente desse perodo, por meio da frmula:

(5)

A anlise do resultado :
Se VPL > 0 retorno positivo, o projeto vivel economicamente, pois seu
benefcio supera o custo.
Se VPL < 0 retorno negativo, o projeto no vivel economicamente, pois
seu custo supera o benefcio gerado.
Se VPL = 0 retorno neutro, valor do benefcio gerado igual ao custo incor-
rido.
8.3.2 Taxa Interna de Retorno - TIR
A taxa interna de retorno a taxa de oportunidade de investir o recurso no
projeto. Ela representa o retorno implcito do investimento. Matematicamente,
a TIR a taxa de desconto intertemporal implcita que iguala o benefcio do
projeto ao seu custo, de forma que o valor presente lquido seja zero. Assim:

(6)

Ou, reagrupando os termos de (6), temos:

Calculadoras fnanceiras ou softwares fazem essa estimao.
A TIR uma taxa anual, ou na unidade de tempo utilizada para construir o fu-
xo de caixa. Para interpretarmos o resultado da TIR, necessria a comparao
com a TIR de outro projeto ou com uma taxa mnima de atratividade - TMA. A
taxa mnima de atratividade a taxa de juros mnima que um investidor pre-
tende obter com o seu investimento. Assim a TMA pode ser a taxa de juros
bsica do mercado, a taxa de remunerao da poupana ou outra taxa que
se considerar a mnima para remunerar um investimento. Assim, so trs os
resultados possveis:
Se a TIR > TMA, o projeto vivel economicamente, pois o retorno gerado
maior que a taxa mnima de atratividade. Ou seja, o projeto tem um retorno
implcito maior do que o mnimo considerado pela sociedade como razovel.
Se a TIR < TMA, o projeto no vivel economicamente, porque seu retorno
menor que a mnima de atratividade. Ou seja, o projeto tem um retorno im-
plcito menor do que o mnimo desejado.
Se a TIR = TMA, o projeto est em uma zona de indiferena de retorno, mas
economicamente vivel. Ou seja, o projeto gera o mnimo desejado pela so-
ciedade.
8.3.3 Razo Custo-Benefcio
A Razo Custo-Benefcio uma das estatsticas de retorno econmico mais uti-
lizadas, devido sua fcil compreenso. No dia a dia, costumamos fazer anli-
ses de custo-benefcio em todas as nossas decises tomadas. Em geral, quando
estamos diante de uma escolha, pensamos nos prs e nos contras que podem
advir da deciso, para somente depois balizarmos nossas aes. Por exemplo,
com relao compra de um automvel: primeiramente analisamos a potn-
cia, o custo de manuteno, o conforto, o design e vrios outros aspectos. De-
pois, verifcamos o custo do automvel. Por fm, relacionamos os benefcios de
cada modelo e comparamos com o custo. Somente depois de todo esse pro-
cesso que decidimos pela compra. Quando se realizam essas comparaes, o
que estamos fazendo de forma intuitiva uma anlise custo-benefcio.
No caso de projetos privados e sociais a anlise no pode ser intuitiva. O que se
faz relacionar o custo e o benefcio do projeto por meio da Razo Custo-Bene-
fcio. Essa razo fornece uma estatstica de quanto o retorno para a sociedade
de cada real investido no projeto. Para o seu clculo basta dividir o benefcio
total pelo custo econmico total
3
. Tanto o benefcio quanto o custo tm que
estar a valor presente de um mesmo perodo de tempo.
Razo Custo-Benefcio = VPTB / VPTC (7)
Onde t indica o tempo n, no qual o benefcio e o custo foram calculados. A in-
terpretao do resultado nos fornece o montante de benefcio que ser gerado
por cada real investido. Por exemplo, se a Razo Custo-Benefcio foi de 1,5, sig-
nifca que a cada real investido o benefcio gerado ser de um real e cinquenta
centavos. Portanto, o projeto vivel economicamente. Por outro lado, se a
Razo Custo-Benefcio for de 0,60, signifca que cada real investido no projeto
valer no futuro apenas sessenta centavos. Ou seja, o dinheiro investido per-
deu valor com o projeto, pois esse no foi capaz de gerar benefcios sufcientes
para compensar os custos.
Se quisermos saber o retorno para a sociedade em termos percentuais, aplica-
mos a seguinte frmula:
Retorno % = (Razo Custo-Benefcio - 1)*100 (8)
Esse resultado nos fornece quanto o investimento no projeto gera no futuro
em termos percentuais. Se a Razo Custo-Benefcio de 1,5, ento o retorno
ser de 50%. Portanto, o projeto apresenta retorno positivo para a sociedade,
sendo vivel economicamente. Com a Razo Custo-Benefcio de 0,6, o retorno
ser de -40%, ou seja, retorno negativo, indicando que o programa no vi-
vel economicamente. O retorno percentual , somente, uma outra maneira de
apresentar o mesmo resultado da razo benefcio-custo. A deciso de como
apresentar os resultados escolha discricionria do avaliador e depender do
seu conhecimento prvio do pblico para o qual se dirige, de modo a determi-
nar qual a forma de mais fcil compreenso.
61
Apesar de a razo ser a diviso do benefcio pelo custo razo benefcio-custo, adotamos
a nomenclatura razo custo-benefcio por ser a denominao difundida nacionalmente. Em
ingls o termo beneft-cost ratio.
61
8.3.4 Razo Custo-Efetividade
A Razo Custo-Efetividade uma alternativa para a comparao dos custos
com os benefcios dos projetos, quando no se deseja, ou quando no pos-
svel, valorar monetariamente o impacto. Essa estatstica dimensiona o impac-
to em relao aos custos, sem a transformao daquele em benefcio. Assim,
utilizamos a Razo Custo-Efetividade quando no possvel encontrar boas
hipteses para transformar o impacto estimado em valor monetrio ou caso
no seja interessante essa transformao.
Alguns projetos tm indicadores de impacto de difcil valorao. Por exemplo,
projetos para a preservao das baleias. O impacto ser medido em termos de
nmero de baleias salvas. Para transformar o impacto em benefcio teramos
que saber quanto vale para a sociedade cada baleia salva. Isso exigiria hip-
teses nada triviais. Outras vezes, por questes ideolgicas, os avaliadores no
querem atribuir valor a alguns indicadores de impacto. No caso de projetos
para preveno de doenas, em que o impacto o nmero de vidas salvas. Para
transformar esse impacto em benefcio preciso valorar a vida. Muitos autores
consideram que o valor da vida quanto a pessoa vai produzir no mercado
de trabalho, ou seja, quanto de salrio receber ao longo da sua vida laboral.
Isso pode parecer lgico para alguns. Entretanto, para outros, pode parecer um
absurdo, pois o valor da vida transcende o seu sentido econmico. Nos dois
exemplos, o avaliador poderia optar por apresentar a Razo Custo-Efetividade.
A Razo Custo-Efetividade calculada pela diviso do impacto estimado (na
avaliao de impacto) pelo custo econmico total:
Razo Custo-Efetividade= impacto estimado / VPTC (9)
Esta estatstica fornece quanta unidade de impacto se obtm por real gasto.
Por exemplo, no caso do projeto para preservao das baleias, a Razo Cus-
to-Efetividade fornece quantas baleias foram salvas para cada real gasto. Se a
Razo Custo-Efetividade de 0,000003, signifca que a cada real investido salva
0,000003 baleias. A fm de tornar o resultado mais intuitivo, podemos multi-
plicar o resultado por 1.000.000. Assim, teramos que, para cada 1.000.000 de
reais investidos no programa, trs baleias so salvas. No exemplo do projeto de
preveno s doenas, a Razo Custo-Efetividade indica quantas vidas foram
salvas para cada real despendido com o programa. Se a Razo Custo-Efetivida-
de de 0,00045 e multiplicarmos esse resultado por 100.000, teremos que cada
cem mil reais investidos no projeto salvam 45 vidas.
Aps calcular a Razo Custo-Efetividade, a pergunta se o valor encontrado
seria alto ou baixo. A resposta s poder ser fornecida pelas outras estatsticas
de retorno econmico. Isso indica que essa estatstica, apesar de considerada
uma estatstica de mensurao de retorno econmico, no permite que seja
avaliada a viabilidade econmica do projeto. Por esse motivo, deve sempre
que possvel ser substituda pelas outras estatsticas apresentadas nesse ca-
ptulo. Mesmo com essa limitao, a estatstica de custo-efetividade muito
usada para comparar projetos. Lembre-se que a comparao deve se restringir
a projetos com o mesmo indicador de impacto, o mesmo pblico-alvo e a mes-
ma fnalidade. Se o gestor tem que decidir entre dois projetos, ele escolher
o que tem maior custo-efetividade, pois com o mesmo custo mais impacto
atingido. No exemplo da baleia, se uma outra metodologia de preservao das
baleias fosse aplicada com Razo Custo-Efetividade de 0,000001, esta no seria
prefervel quela em que a Razo Custo-Efetividade de 0,000003, pois com o
mesmo montante menos baleias so preservadas.
Algum poderia argumentar que para comparar dois projetos poderamos
analisar somente o impacto estimado. Entretanto, a comparao do impacto
estimado poderia levar a concluses errneas, pois pode ocorrer a situao em
que um projeto tenha impacto maior do que o outro, mas por seu custo ser
muito mais elevado, tenha menor Razo Custo-Efetividade.
8.4 Anlise de Sensibilidade
A anlise de sensibilidade a ltima etapa da avaliao econmica. Seu obje-
tivo testar a sensibilidade (variao) dos resultados da avaliao em relao
aos parmetros utilizados. Como a avaliao econmica baseada em mto-
dos estatsticos, que esto sujeitos a erros, e em parmetros escolhidos s ve-
zes de forma discricionria, faz-se necessrio testar se os resultados encontra-
dos sofreriam alterao caso a amostra e os parmetros da avaliao fossem
diferentes. Assim, a anlise de sensibilidade uma tcnica de verifcao de
robustez dos resultados da avaliao. O termo robustez em avaliao empre-
gado no sentido fgurado de fora da avaliao, ou seja, sua confabilidade.
Toda avaliao econmica envolve um conjunto de informaes incertas. A
incerteza se deve s variaes da amostra e ao espectro de plausveis valores
para os parmetros. Por exemplo, podemos calcular o retorno econmico con-
siderando uma taxa de desconto intertemporal de 5%. Entretanto, seria plau-
svel utilizar uma taxa de desconto de 6% ou 4%, entre outros valores. Nesse
caso, na anlise de sensibilidade, refazemos a avaliao de retorno econmico
com essas possveis variaes da taxa de desconto intertemporal, para verifcar
se os resultados no sofrem alterao.
Ento, na prtica, a anlise de sensibilidade implica em refazer a avaliao
econmica alterando os parmetros utilizados e verifcar se as estatsticas de
retorno econmico continuam com o mesmo resultado. Se o resultado man-
tido, dizemos que ele robusto. Isso signifca que, mesmo que nossa estimao
apresentasse um erro, o valor real fosse diferente do estimado, o resultado no
se alteraria.
Existem vrias tcnicas para se realizar a anlise de sensibilidade. Nesse captu-
lo abordaremos uma delas, conhecida como anlise de sensibilidade univaria-
da (univariate sensitivity approach). A anlise fcil de ser realizada e permite
considerar os dois tipos de incertezas da avaliao econmica a causada pe-
las variaes da amostra e pelo espectro de plausveis valores dos parmetros.
Como vimos ao longo desse livro, a avaliao econmica de um projeto social
envolve a estimao de vrios parmetros para os quais utilizamos amostras e
tcnicas estatsticas. Isso acontece, por exemplo, na mensurao do impacto
do projeto, quando os mtodos de regresso so empregados. Ao utilizarmos
amostra para estimar determinado parmetro na populao, incorremos em
erros de estimao devido a caractersticas da amostra analisada. Provavelmen-
te, a seleo de uma amostra diferente levaria a valor diverso do parmetro. A
construo do intervalo de confana procura captar os possveis valores que o
parmetro poderia assumir se amostras diferentes fossem utilizadas, com uma
probabilidade de certeza.
Para considerar a incerteza proveniente de variaes na amostra, em geral, se
considera o menor e o maior valor possvel do parmetro, ou seja, os valores do
limite inferior e superior do intervalo de confana a 95% ou 90% de confana.
Para cada um desses valores, recalculamos as estatsticas de retorno econ-
mico e verifcamos a manuteno dos resultados. Se os resultados tiverem se
mantido, ento dizemos que o retorno robusto. Esse procedimento repeti-
do para cada um dos parmetros estimados com base em amostras.
O procedimento para o teste de sensibilidade em relao s incertezas pro-
veniente dos valores dos parmetros similar ao proveniente da variao na
amostra. A diferena que, nesse caso, no temos os valores dos limites supe-
riores e inferiores com uma probabilidade de certeza, porque os parmetros
foram escolhidos discricionariamente, com base em conhecimento prvio do
avaliador. Assim, a determinao de quais valores esse parmetro poderia as-
sumir tambm ser escolha discricionria e difcil. Uma forma muito utilizada
pelos avaliadores para determinar os menores e maiores valores a anlise dos
valores passados do parmetro.
A taxa de desconto intertemporal um exemplo de parmetro escolhido dis-
cricionariamente pelo avaliador. Como vimos, alguns economistas consideram
essa taxa igual taxa de juros real da economia. Entretanto, existem vrias ta-
xas de juros, por exemplo, a taxa bsica chamada de SELIC, a taxa preferencial
de juros, a taxa de remunerao da poupana, etc. Alm disso, tambm exis-
tem vrios ndices de infao e defao, como ndice de Preos ao Consumi-
dor Amplo (IPCA) e o ndice Geral de Preos (IGP). Assim, surge uma incerteza
quanto preciso do retorno econmico calculado, devido discricionarieda-
de da escolha desse parmetro. Para fazer a anlise de sensibilidade escolhe-
mos o menor e o maior valor da taxa de juros real da economia, de acordo com
a srie histrica das vrias taxas existentes.
O raciocnio anterior, para a taxa de desconto intertemporal, se aplica a qual-
quer outro parmetro considerado na avaliao econmica. Pode-se, por
exemplo, utilizar parmetros (incertos) para a estimao dos custos de opor-
tunidade ou at mesmo dos custos contbeis. Desse modo, faz-se a anlise
de sensibilidade para cada um dos parmetros discricionariamente adotados.
Portanto, existem vrios parmetros que utilizamos na avaliao econmica
que podem e devem ser testados na anlise de sensibilidade a fm de que pos-
samos confrmar a robustez do retorno.
Alm de testar o efeito no retorno econmico de mudanas em cada parme-
tro, mantendo os demais constantes, os avaliadores tambm testam a varia-
o conjunta de dois ou mais parmetros a fm de obterem um espectro ainda
maior de testes e verifcar, de forma mais precisa, a robustez dos resultados.
Cada novo clculo do retorno, supondo valores diferentes dos parmetros,
chamado comumente de cenrios.
Considere x o nmero de parmetros a serem analisados. Cada parmetro ter
o seu limite inferior e limite superior e seu valor original. Assim, temos x vezes 3
elementos a serem combinados menos a combinao original da avaliao. O
total de cenrios dado por:
Total de cenrios = - 1 (10)

Aps montarmos todos os cenrios, calculamos a proporo daqueles que
tiveram resultados opostos ao da avaliao, em que o valor presente lquido
encontrado foi negativo ao invs de positivo, por exemplo. Quanto menor o
percentual de cenrios com resultados contrrios ao da avaliao, mais robusto
o seu resultado ser. Quanto maior o percentual de cenrios com resultados
contrrios ao da avaliao, mais frgeis os resultados estimados.
A fm de evitar que o relatrio da avaliao fque enfadonho, os avaliadores
no costumam reportar o resultado de cada cenrio. Eles apenas descrevem os
parmetros testados, o nmero total de cenrios e o percentual de estimativas
contrrio ao da avaliao.

8.5 Exemplo Fictcio
Neste ponto, fnalizamos a teoria relativa avaliao econmica de projetos
sociais, e em especial, a avaliao de retorno econmico, tema especfco deste
captulo. Para fxar melhor o contedo e servir de roteiro para futuras avalia-
es de retorno econmico, apresentamos a seguir a avaliao econmica de
um projeto fctcio, realando todas as etapas e clculos necessrios estima-
o do retorno do projeto.
Nome do projeto: Trabalha Brasil
Objetivo: inserir jovens no mercado de trabalho.
Pblico alvo: jovens nos dois ltimos anos do ensino mdio.
Aes: curso profssionalizante com durao de dois anos, oferecido no con-
traturno escolar.
Nmero de benefcirios: 150 indivduos.
Indicador de impacto: empregabilidade dos jovens.
Resultado da estimao de impacto um ano aps o fm do projeto: em m-
dia, 10% dos tratados conseguiram emprego por causa do projeto.
8.5.1 Clculo do Benefcio
Transformao do impacto em benefcio:
Dos 150 participantes 10% conseguiram emprego por causa do projeto. Ento,
o projeto conseguiu inserir 15 jovens no mercado de trabalho, que no o aces-
sariam se no tivessem participado do curso profssionalizante.
Para transformar o impacto em benefcio considere as seguintes hipteses:
i. O benefcio de colocar o jovem no mercado de trabalho o salrio que
ele recebe. Esse equivale ao que ele produz para a sociedade;
ii. Na mdia os benefcirios empregados recebem R$ 1.000,00. Esse va-
lor foi calculado com base nas informaes de salrio informadas pelos jovens.
Para calcular o benfco do projeto por um ano multiplicamos o nmero de
jovens que esto empregados por causa do projeto (15) pelo salrio mdio
que recebem por ms (R$ 1.000,00) por 12 meses perfazendo um total de R$
180.000,00 por ano.
Fluxo de caixa e clculo do benefcio total:
Para elaborar o fuxo de caixa considere que:
iii. Se no fosse o projeto, os jovens benefcirios entrariam no mercado
de trabalho, de qualquer forma, cinco anos aps o fm do projeto. Ento, o be-
nefcio perdura durante cinco anos.
iv. A taxa de desconto intertemporal de 5%.
A fgura a seguir ilustra o fuxo de caixa.

Para somar os valores em momentos diferentes no tempo, aplicamos a taxa de
desconto intertemporal e calculamos o Valor Presente Total do Benefcio em :

Portanto, o benefcio total do projeto a Valor Presente em de 742.196 reais.
O clculo do impacto, consequentemente, do benefcio s considerou o be-
nefcio individual. As externalidades advindas do salrio dos jovens inseridos
no mercado de trabalho por causa do projeto no foram computadas. Dessa
forma, sabemos de antemo que esse benefcio est subestimado. O benefcio
real deve ser maior do que o estimado pela avaliao, fazendo com que o seu
retorno tambm seja maior.
8.5.2 Clculo do Custo Econmico:
Para o funcionamento dos cursos, a gesto do projeto despende recursos com
salrio dos professores, material de laboratrio, apostilas e lanches fornecidos
para os alunos tabela 1. Alm dos valores efetivamente pagos, o projeto uti-
liza o laboratrio fornecido por uma empresa parceira que no cobra aluguel,
luz ou gua. Esse valor computado no custo de oportunidade. Tambm os
alunos, ao decidirem alocar seu tempo nas aulas em vez de investi-lo em outras
atividades, incorrem no custo de oportunidade tabela 2. Os valores das tabe-
las se referem aos custos de um ano de funcionamento.
Custo econmico = custo contbil + custo de oportunidade
Custo econmico = 137.000,00 + 220.450,00 = 357.450,00
Assim, o custo do projeto de 357.450,00 reais por ano. Os jovens permane-
cem no projeto por dois anos.
Fluxo de caixa e clculo do custo econmico total:
A fgura a seguir ilustra o fuxo de caixa dos custos do projeto:

Para somar o custo do projeto nos diferentes momentos do tempo, aplicamos
a taxa de desconto intertemporal de 5%, exatamente igual ao clculo do bene-
fcio total. Note que estamos trazendo o custo do projeto a valor presente em
. Portanto, o custo desse perodo j est em valor presente.

Assim, o custo econmico total do projeto em de 697.878,57.
8.5.3 Retorno econmico
Clculo do Valor Presente Lquido
O fuxo de caixa completo do projeto :

Considere a taxa de desconto intertemporal de 5%. O Valor Presente Lquido :

Como j conhecamos o valor presente do benefcio e do custo, o VPL poderia ser
calculado de forma alternativa:
VPTB : 742.196,00
VPTC : 697.878,57
VPL = VPTB VPTC
VPL = 742.196,00 - 697.878,57 = 44.317,43
O resultado signifca que os benefcios do projeto excedem os custos em 44.317,43
reais. Ento, podemos concluir que o projeto apresenta um retorno econmico po-
sitivo para a sociedade, sendo vivel economicamente.
Clculo da Taxa Interna de Retorno
No exemplo do projeto Trabalha Brasil a TIR de 7%. A frmula para seu cl-
culo :

Para obtermos a TIR utilizamos o software Excel
4
, no qual inserimos o fuxo de
caixa, selecionamos as clulas e inserimos a funo TIR, como apresentado na
fgura a seguir:
A interpretao da TIR depende da taxa mnima de atratividade que considerar-
mos. Suponha que a taxa mnima de atratividade seja de 5%. Ento, a TIR de 7% in-
dica que o projeto vivel economicamente, pois tem um retorno implcito maior
do que o mnimo desejado pelo investidor.
Clculo da Razo Custo-Benefcio
Dos clculos anteriores temos que:
VPTB : 742.196,00
VPTC : 697.878,57
Razo Custo - Benefcio =

Razo Custo - Benefcio =
62
possvel obter a TIR com calculadora fnanceira e outros pacotes computacionais. Op-
tamos por apresentar o exemplo utilizando o Excel, por ser um software muito difundido.
62
O resultado indica que para cada real gasto no projeto, o retorno para a socie-
dade ser de 1,06 reais. Lembre-se que esse valor foi calculado considerando
uma taxa de desconto intertemporal de 5%.
No exemplo:
Retorno = (1,06 - 1)*100 = 6,0%
Ou seja, sob uma taxa de desconto intertemporal de 5%, o retorno do projeto
de 6%.
Exemplo 1: Projeto para melhora na qualidade da educao
(BIONDI et al. 2012):
O projeto Olimpada Brasileira de Ma-
temtica das Escolas Pblicas - OBMEP
tem como objetivo a melhora da qualida-
de da educao em matemtica nas es-
colas pblicas brasileiras. A unidade tra-
tada so as escolas pblicas e o indicador
de impacto a nota mdia da escola na
Prova Brasil dos alunos do 9 ano (antiga
8 srie). A avaliao de impacto utilizou
metodologia de diferenas em diferen-
as com dados da Prova Brasil de 2005 e
2007. Os resultados mostram que o proje-
to melhora a nota mdia das escolas par-
ticipantes (foram utilizados vrios mto-
dos no clculo do impacto).
Para transformar o impacto em benefcio,
os autores consideraram as seguintes hi-
pteses:
i. O impacto positivo estimado na
nota mdia dos alunos da 8 srie
vale em valores absolutos para todos
os alunos matriculados nas escolas
participantes do projeto.
ii. A melhora no desempenho dos jo-
vens na 8 srie afetar os salrios fu-
turos dos jovens no mercado de tra-
balho - com elasticidade estimada de
0,3, segundo estudo de Curi e Mene-
zes-Filho (2007, apud BIONDI et al.,
2012)
iii. Os retornos da educao no sal-
rio so constantes no tempo.
Com base nos dados da Pnad 2007, os au-
tores projetaram qual seria o salrio anu-
al correspondente de um jovem com 18
anos de idade e oito anos de estudo. Para
obter o benefcio do projeto multiplica-
ram o impacto na nota em relao aos sa-
lrios futuros, considerando a elasticida-
de pressuposta. Depois, multiplicaram o
impacto do projeto no aluno mdio pelo
nmero de alunos benefciados, assim
obtiveram o benefcio do projeto.
No clculo do custo, o trabalho conside-
ra dois cenrios: apenas com o custo con-
tbil por aluno, que de R$ 2,00; e com
o custo econmico (contbil + oportuni-
dade) calculado com base no custo eco-
nmico de outro projeto similar, a Olim-
pada de Lngua Portuguesa Escrevendo
o Futuro, concurso semelhante OB-
MEP realizado pela Fundao Ita Social
e Cenpec. Para os dois cenrios a taxa de
desconto intertemporal considerada de
5%.
Os autores calculam o VPL total do pro-
jeto, o VPL por aluno e a TIR, diferencian-
do as estatsticas de retorno para escolas
e alunos que s participaram uma vez da
OBEMP, que participaram duas e trs ve-
zes. Alm disso, repetem os clculos con-
siderando os dois cenrios de custo. Em
seguida, calculam a mdia de cada esta-
tstica estimada. Os resultados apontam
para um VPL total mdio de 901 milhes,
um VPL por aluno mdio de 181,70 reais
e uma TIR mdia de 45% ao ano. Assim,
concluem que a OBMEP apresenta uma
taxa de retorno elevada e gera benefcios
salariais futuros aos jovens participantes.
Exemplo 2: Projeto para preveno da violncia
(PEIXOTO, 2010).
O projeto Fica Vivo foi implementado
de forma piloto em uma das favelas mais
violentas de Belo Horizonte, Minas Gerais,
no ano de 2002. O objetivo do projeto
a reduo dos nmeros de homicdios,
por meio de aes que combinam poli-
ciamento ostensivo com aes sociais.
A unidade tratada a favela e o indica-
dor de impacto a taxa de homicdios
por cem mil habitantes. A avaliao de
impacto utilizou a combinao da me-
todologia de pareamento por escore de
propenso com a de diferenas em di-
ferenas e os dados foram provenientes
do Banco de Dados Georeferenciados da
Polcia de Minas Gerais 2000 a 2006 e
o Censo Demogrfco do IBGE 2000. Os
resultados mostram o impacto do projeto
entre 2002 e 2006, que foi de reduo de
15 homicdios.
Para transformar o impacto em benefcio,
a autora considerou as seguintes hipte-
ses:
i. O benefcio de um homicdio evita-
do igual perda social do homic-
dio. Assim, o benefcio do homicdio
evitado a perda que a sociedade
deixou de sofrer porque o homicdio
foi evitado. Essa perda tem vrios fa-
tores, como anos de produo per-
didos, custos judiciais, psicolgicos,
entre outros.
ii. No caso do Brasil, Carvalho et al.
(2007, apud PEIXOTO, 2010) calculam
o valor dos anos de produo perdi-
dos devido ao homicdio. A autora
supe que a proporo dos anos de
produo perdidos devido ao homi-
cdio em relao perda total gerada
para a sociedade igual do Reino
Unido, onde o custo da perda gerada
pelo homicdio foi calculado consi-
derando vrios fatores (DUBOURG E
HAMED, 2005, apud PEIXOTO, 2010).
Para obter o benefcio do projeto, a au-
tora aplicou regra de trs considerando
o valor dos anos de produo perdidos
pela proporo que esse fator represen-
ta na perda total gerada pelo homicdio
no Reino Unido. Assim, calcularam que
a perda total gerada pelo homicdio no
Brasil de 490 mil reais.
A autora considera o custo econmico do
projeto, mas no o subdividiu em custo
contbil e custo de oportunidade e sim
por uma tipologia de custo prpria. Alm
disso, estima o custo do projeto por trs
formas diferentes. Os valores de custo
anuais mdios por benefcirio variam
de 43,17 a 52,43 reais e os custos totais
anuais mdios variam de 1,019 a 1,238
milhes de reais, de acordo com o mto-
do de estimao. Para realizar o fuxo de
caixa do projeto considera a taxa de des-
conto intertemporal igual ao ndice de in-
fao IPCA-IBGE varivel mensalmente.
A razo custo-efetividade de um homi-
cdio evitado pelo projeto e tambm a
razo custo-benefcio calculada para as
trs formas de estimao do custo. A ra-
zo custo-efetividade encontrada varia,
de acordo com o mtodo de clculo do
custo, de 201 a 244 mil reais e a razo cus-
to-benefcio varia de 1,99 a 2,42. Os resul-
tados indicam que o projeto gera retorno
para a sociedade.
Como foram utilizados vrios parmetros
para a estimao dos resultados, a autora
realiza a anlise de sensibilidade varian-
do os diferentes valores dos anos de pro-
duo perdidos, do percentual que este
componente representa na perda total
que o homicdio acarreta para a socieda-
de e do mtodo de rateio. A anlise de
sensibilidade mostra que apenas dois ca-
sos, das 62 combinaes de parmetros
utilizadas, no se mostraram economica-
mente viveis. Para as demais combina-
es de parmetros o projeto apresenta
retorno para a sociedade. Essa anlise in-
dica robustez dos resultados estimados.
Exemplo 3: Projeto de preveno em Sade
(CAMELO JUNIOR et. al., 2011)
Avaliao econmica da triagem neo-
natal da galactosemia, no Estado de So
Paulo. A galactosemia uma da doena
metablica hereditria, que pode ter seus
malefcios prevenidos caso seja detecta-
da precocemente. Se o diagnstico for
tardio, a criana que apresenta a doena
pode precisar de tratamento de urgncia
e intensivo, para infeces generaliza-
das e insufcincia heptica. Alm de a
doena poder evoluir para cirrose, insu-
fcincia heptica, cataratas, hipertenso
intracraniana, edema cerebral, letargia,
hipotonia, retardo mental e morte. Com
o diagnstico precoce, a criana necessi-
ta apenas de acompanhamento mdico
ambulatorial e, se a evoluo do quadro
clnico for favorvel, adquire qualidade
de vida e possibilidade real de produtivi-
dade social futura. Os autores verifcaram
o impacto da incluso do diagnstico
dessa doena no conhecido teste do pe-
zinho, por meio de um estudo piloto no
ano de 2006, em So Paulo.
Os autores consideram como indicador
de impacto a incidncia da doena em
crianas. A base de dados proveniente
do teste realizado em 59.953 recm-nas-
cidos escolhidos aleatoriamente.
Os resultados indicaram que 1:19.984
nascidos vivos teriam o diagnstico pre-
coce caso o teste para galactosemia fos-
se includo no exame do pezinho. Para
transformar o impacto em benefcio, os
autores assumiram as seguintes hipte-
ses:
i. O benefcio de um diagnstico pre-
coce igual diferena entre a perda
social com diagnstico tardio e a per-
da social causada pela doena quan-
do o diagnstico precoce.
ii. O diagnstico tardio gera perda
para a sociedade de: despesa com
terapia intensiva e enfermarias; pro-
cedimentos cirrgicos; tratamento
diettico; seguimento ambulatorial
a longo prazo; e perda de produo
por causa das complicaes geradas
pela doena;
iii. Mesmo com o diagnstico preco-
ce a doena gera perda de: despesa
com seguimento ambulatorial a lon-
go prazo, sem complicaes e com o
tratamento diettico.
iv. O valor da perda de produtivida-
de foi considerado como a perda de
meio dia de trabalho (R$ 21,65), com
base no rendimento mdio mensal
real das pessoas ocupadas no Brasil,
em maro, de 2011
v. R$ 1.298,70.
vi. o paciente trabalharia entre 20 e
65 cinco anos de idade.
Para obter o benefcio do projeto, os
autores subtraram a perda gerada pelo
diagnstico tardio da gerada pelo diag-
nstico precoce, calculando assim o be-
nefcio individual. Em seguida, multipli-
caram o benefcio pelo total de nascidos
vivos com a doena (incidncia da doen-
a multiplicada pelo nmero de nascidos
vivos em So Paulo no ano de 2009).
Os autores consideraram o custo econ-
mico do projeto, mas no o subdividiram
em custo contbil e custo de oportuni-
dade. So computados os custo do pro-
jeto com os kits de deteco da doena,
o retorno das crianas detectadas para
confrmao, bem como o custo do con-
tato para que esse retorno acontea, e a
perda de produtividade do trabalho do
acompanhante. Para realizar o fuxo de
caixa do projeto consideraram a taxa de
desconto intertemporal igual SELIC de
junho de 2009 de 9,25%.
O retorno econmico foi mensurado com
base na razo custo-benefcio da triagem
neonatal da galactosemia, considerando
ainda mais dois nveis de incidncia da
doena dados pelos limites do intervalo
de confana a 95%. A razo custo-bene-
fcio estimada foi de 1,33 e para os inter-
valos de confana foi de 0,44 e 3,54. As-
sim, os resultados mostram que o projeto
gera retorno para a sociedade.
Exerccios
1) A avaliao econmica composta de duas etapas. Cite quais so essas eta-
pas e os seus principais objetivos.
2) Por que no podemos comparar dois programas apenas usando os resulta-
dos da avaliao de impacto?
3) O que o benefcio do projeto e por que devemos transformar o impacto
em benefcio?
4) O que a taxa de desconto intertemporal? E quando ela utilizada na ava-
liao econmica?
5) Quais so os componentes do custo econmico?
6) Se o custo de oportunidade implcito, como possvel calcul-lo? D
exemplos.
7) O que o avaliador pretende captar ao calcular o retorno econmico do pro-
jeto?
8) Cite as estatsticas de retorno econmico vistas nesse captulo.
9) Qual a diferena entre as estatsticas de retorno econmico?
10) O que anlise de sensibilidade e qual a sua fnalidade?
Exerccios Prticos
1) O programa Mulher do Futuro fctcio objetiva aumentar a renda de fa-
mlias chefadas por mulheres. Para isso, oferece cursos profssionalizantes em
diversas reas e ajuda na insero das participantes no mercado de trabalho,
por meio de convnios com empresas. Os cursos duram em mdia seis meses.
A avaliao de impacto do programa foi pensada desde sua concepo. Assim,
realizou-se uma pesquisa com as participantes e no participantes antes da
implementao. Dois anos aps o incio do programa, o grupo de avaliao
voltou a campo e novamente coletou informaes sobre as mulheres. O banco
de dados DDM contm as informaes em dois momentos no tempo esco-
laridade, idade, se o domiclio possui luz eltrica, se a mulher vive com cnjuge
e a renda familiar per capita.
a) Suponha que o experimento foi aleatrio e que possumos dados
do programa em um momento do tempo - aps o programa. Calcule o impacto
na renda per capita.
b) Faa o teste de diferena de mdias entre tratado e controle para as
variveis: escolaridade, idade, luz, cnjuge, no perodo aps o programa.
c) Como o teste de diferena de mdias mostrou que os grupos tra-
tado e de controle no so estatisticamente iguais em todas as caractersticas
observadas, calcule o impacto do programa controlando para as variveis ob-
servveis, ainda supondo os dados em um momento do tempo - aps o pro-
grama. Esse resultado mostrou alguma diferena para o obtido na letra b? Se
sim, explique.
d) Ainda considerando os dados em apenas um momento do tempo,
estime o impacto do programa pelo mtodo pareamento por escore de pro-
penso um para um, vizinho mais prximo, raio e Kernel.
e) Calcule o impacto do programa pelo mtodo de diferenas em dife-
renas. Analise os resultados.
f) Faa uma anlise descritiva e o teste de diferena de mdias das ca-
ractersticas dos participantes e no participantes antes do incio do programa.
O que podemos concluir dos resultados do teste?
g) Calcule o impacto do programa combinando o mtodo de parea-
mento com o de diferenas em diferenas.
Suponha que o resultado da avaliao de impacto mostrou que o programa
aumenta em 277,12 reais, por ms, a renda das participantes.
O custo do projeto expresso como segue:
h) Por que no precisamos transformar o impacto em benefcio? Cal-
cule o benefcio anual do projeto
i) Monte o fuxo de caixa do projeto supondo que a renda a mais ge-
rada pelo programa perdurar durante toda a vida produtiva da mulher e que
as mulheres entram no mercado de trabalho com 20 anos e trabalham por 35
anos.
j) Em , calcule o benefcio total, custo total, VPL, a TIR, a Razo Custo
-Benefcio e a Razo Custo-Efetividade. Suponha uma taxa de desconto inter-
temporal de 5%.
k) Faa uma anlise de sensibilidade considerando:
i. O impacto, que apresenta o intervalo de confana a 95%, variando
de 248,45 a 305,79.
ii. O retorno do projeto recebido por apenas 5 anos.
2) O programa Brasil Melhor fctcio visa melhorar o desempenho escolar
dos alunos do ensino fundamental. Esse programa foi desenvolvido com 245
alunos da Escola Estadual Joo dos Santos. A escola possui ao todo 745 alunos.
O desenho do programa no abrangia a sua avaliao de impacto que foi im-
plementada aps um ano de seu funcionamento. Dessa forma, s foi possvel
obter informaes em um momento no tempo depois do programa imple-
mentado. O banco de dados PSM1 apresenta informaes sobre a nota no
exame de profcincia realizado em toda a escola fundamental, a participao
no programa, o sexo, a cor e os anos de estudos da me do aluno.
a) Calcule o impacto do programa supondo que o experimento foi ale-
atrio. Analise os resultados.
b) Faa o teste de diferena de mdias para as variveis: sexo; cor; anos
de estudos da me. O grupo tratado e controle apresentam diferenas estatis-
ticamente signifcativas nas caractersticas mdias? O que podemos concluir
com este teste?
c) Calcule o impacto do programa supondo que o experimento foi no
aleatrio pelo mtodo de regresso MQO, usando todos os no tratados como
controle. Analise os resultados.
d) Calcule o impacto do programa supondo que o experimento foi no
aleatrio pelo mtodo de pareamento por escore de propenso mtodo um
para um.
e) Faa o teste de diferena de mdias para as variveis: sexo; cor; anos
de estudos da me. Utilize apenas o grupo de controle selecionado pelo parea-
mento. Compare o resultado deste teste de mdias com o realizado na letra b.
O que podemos concluir com esta comparao?
f) Faa o grfco do escore de propenso para os tratados e controles
selecionados pelo mtodo de pareamento. O que podemos concluir com este
grfco?
g) Repita os procedimentos de e a g utilizando as metodologias de
pareamento por escore de propenso mtodo vizinho mais prximo, raio e
mtodo de Kernel.
BIBLIOGRAFIA
ABADIE, A.; DIAMOND, A.; HAINMUELLER, J. Synthetic control methods for com-
parative case studies: estimating the efect of Californias tobacco control pro-
gram. Journal of the American Statistical Association. v. 105, p. 493-505, 2010.
ABADIE, A.; IMBENS, G. Simple and Bias-Corrected Matching Estimator for Ave-
rage Treatment Efect. NBER Working Paper. n. 283, 2002.
ANGRIST, J. Lifetime earnings and the Vietnam era sraft lottery: evidence from
social security administrative records. American Economic Review. v. 80, p. 313-
335, 1990.
ANGRIST, J.; KRUEGER, A. The efect of age at school entry on educational at-
tainment: an application of instrumental variables with moments from two
samples. Journal of the American Statistical Association. v. 418, p. 328-336,
1992.
ANGRIST, J.; PISCHKE J. Mostly harmless econometrics: an empiricists compa-
nion. Nova Jersey: Princeton University Press, 2008. 392 p.
ANGRIST, J. D.; IMBENS G. W. Two-stage least squares estimation of average cau-
sal efects using instrumental variables. Journal of American Statistical Associa-
tion. v. 90, p. 430-442, 1995.
ANGRIST, J. D.; IMBENS, G. W.; RUBIN, D. B. Identifcation of causal efects using
instrumental variables. Journal of the American Statistical Association. v. 91, p.
444-472, 1996.
ANGRIST, J. D.; LAVY, V. Using Maimonides rule to estimate the efect of class
size on scholastic achievement. Quarterly Journal of Economics. v. 114, p. 533-
575, 1999.
ASHENFELTER, O. Estimating the efect of training programs on earnings. Re-
view of Economics and Statistics. v. 60, p. 47-57, 1978.
ASSAF NETO, A. Matemtica Financeira e suas Aplicaes. 11 edio. So Pau-
lo: Atlas, 2009. 296 p.
BANEREE, A.; DUFLO, E. Poor Economics: A Radical Rethinking of the Way to
Fight Global Poverty. Nova York : Public Afairs, 2011. 320 p.
BARROS, R.P.; OLINTO, P.; LUNDE, T.; CARVALHO, M. The impact of access to free
childcare on womens labor market outcomes: evidence from a randomized
trial in low-income neighborhoods of Rio de Janeiro. 2011. No Publicado.
BERTRAND, M.; DUFLO, E.; MULLAINATHAN, S. How should we trust diference
-in-diferences estimates?. Quarterly Journal of Economics. v. 119, p. 249-275,
2004.
BIONDI, R. L.; VASCONCELLOS, L.; MENEZES FILHO, N. Evaluating the impact of
the brazilian public school math olympics on the quality of education. Econo-
mia. Spring, v. 2, n. 2, p. 143-170, 2012.
BLOOM, H. Accounting for no-shows in experimental evaluation designs.
Evaluation Review. v. 8, p. 225-246, 1984.
BLUNDELL, R.; DIAS, M. C. Alternative approaches to evaluation in empirical mi-
croeconomics. Journal of Human Resources. v. 44, p. 565-640, 2009.
BLUNDELL, R.; DIAS, M. C. Evaluation methods for non-experimental data. Fiscal
Studies, v. 21, p. 427-468, 2008.
BOARDMAN, A. E.; GREENBERG, D. H.; VINING, A. R.; WEIMER, D. L. Cost beneft
analysis: concepts and practice. Nova Jersey: Prentice Hall, 2005. 560 p.
BOURGUIGNON, F.; FERREIRA, F. Ex-Ante evaluation of policy reforms using
behavioral models. In: BOURGUIGNON, F.; SILVA, L. P. The Impact of Economic
Policies on Poverty and Income Distribution: Evaluation Techniques and Tools.
Washington: World Bank Publications, 2003. p. 123-141.
BRAIDO, L.; OLINTO, P.; PERRONE, H. Gender bias in intrahousehold allocation:
evidence from an unintentional experiment. Review of Economics and Statisti-
cs. v. 94, p. 552-565, 2012.
BURTLESS, G. The case for randomized feld trials in economic and policy rese-
arch. Journal of Economic Perspectives. v. 9, p. 63-84, 1995.
CAMELO JUNIOR, J. S.; FERNANDES, M. I. M.; JORGE, S. M.; MACIEL, L. M. Z.; SAN-
TOS. J. L. F.; CAMARGO JR, A. S.; PASSADOR, C. S.; CAMELO, S. H. H. Avaliao
econmica em sade: triagem neonatal da galactosemia. Cadernos de Sade
Pblica. v. 27, n. 4, p. 666-676, 2011.
CAMPBELL, H. F.; BROWN, R. P. C. Beneft-cost analysis: fnancial and economic
appraisal using spreadsheets. Cambridge: Cambridge University Press, 2003.
360 p.
CARD, D.; DOBKIN, C.; MAESTAS, N. The impact of nearly universal insurance
coverage on health care utilization and health: evidence from medicare. Ame-
rican Economic Review. v. 98, n. 5, p. 2242-2258, 2008.
CARNEIRO, P.; HECKMAN, J.; VYTLACIL, E. Understanding what instrumental
variables estimate: estimating the average and marginal return to schooling.
2005. No Publicado.
CHAY, K.; GREENSTONE, M. Does air quality matter; evidence from the housing
market. Journal of Political Economy. v. 113, p. 376-424, 2005.
COCHRAN, W. Sampling Techniques. New York: John Wiley& Sons, 1977. 428 p.
COHEN, E.; FRANCO, R. Avaliao de projetos sociais. 9 edio. Petrpolis: Vo-
zes, 2011. 312 p.
CRESPO, A. A. Matemtica Financeira Fcil. 14 edio. So Paulo: Saraiva, 2009.
255 p.
CRUMP, R.; HOTZ, V. J.; IMBENS, G.; MITINIK, O. Dealing with limited overlap in
estimation of average treatment efects. Biometrika. v. 96, n. 3, p. 187-199, 2009.
CRUMP, R.; HOTZ, V. J.; IMBENS, G.; MITINIK, O. Nonparametric tests for treatment
efect heterogeneity. Review of Economics and Statistics. v. 90, n. 3, p.389-405,
2008.
DEHEIJA, R.; WAHBA, S. Propensity score-matching methods for nonexperi-
mental causal studies. Review of Economics and Statistics. v. 84, n. 1, p. 151-
161, 2002.
DEHEJIA, R. Program evaluation as a decision problem. Journal of Econometri-
cs. v. 125, p. 141-173, 2005.
DEHEJIA, R.; WAHBA, S. Casual efects of nonexperimental studies: reevaluating
the evaluation of training programs. Journal of American Statistical Associa-
tion. v.94, p.1053-1062, 1999.
DRUMMOND, M. F.; SCULPHER, M. J.; TORRANCE, G. W.; OBRIEN, B. J.; STOD-
DART, G. L. Methods for the economic evaluation of health care programmes.
Nova York: Oxford University Press, 2005. 379 p.
DUFLO, E. Schooling and labor market consequences of school construction in
Indonesia: evidence from an unusual policy experiment. American Economic
Review. v. 91, n. 4, p. 795-813, 2001.
DUFLO, E.; GLENNERSTER, R.; KREMER, M. Using randomization in development
economics research: A Toolkit. In: T. SCHULTZ; J. STRAUSS. Handbook of Develo-
pment Economics. Oxford: North Holland, 2008. v. 4, p. 3895-3962.
EUROPEAN COMISSION. Guide to cost-beneft analysis of investment projects:
structural funds, cohesion fund and instrument for pre-accession, 2008. Dis-
ponvel em: <http://ec.europa.eu/regional_policy/sources/docgener/guides/
cost/guide2008_en.pdf>. Acesso em: 7 maio 2012.
FERMAN, B.; ASSUNO, J. Does afrmative action enhance or undercut invest-
ment incentives?: evidence from quotas in brazilian universities. 2009. No Pu-
blicado.
FERRAZ, C.; FINAN, F. Electoral accountability and corruption: evidence from
the audit reports of local governments. American Economic Review. v.101, p.
1274-1311, 2011.
FIRPO, S.; FOGUEL, M.; JALES, H. Evaluating the impact of stratifed randomized
experiments with an application to a Brazilian public training program. 2011.
No Publicado.
GRASDAL, A. The performance of sample selection estimators to control for at-
trition bias. Health Economics. v. 10, p. 385-398, 2001.
GUJARATI, D. N. Econometria Bsica. 3 edio. So Paulo: Makron Books, 2000.
860 p.
HAHN, J. On the role of the propensity score in efcient semiparametric esti-
mation of average treatment efects. Econometrica. v. 66, n. 2, p. 315-331, 1998.
HAHN, J.; TODD, P.; VAN DER KLAAUW W. Identifcation and estimation of tre-
atment efects with a regression discontinuity design. Econometrica. v. 69, p.
201-209, 2001.
HECKMAN, J.; LOCHNER, L. e TABER, C. Explaining raising wage inequality: ex-
plorations with a dynamic general equilibrium model of labor earnings with
heterogeneous agents. NBER Working Paper. v. 1, n. 6384, p. 1-58, 1998.
HECKMAN, J. Varieties of selection bias. American Economic Review. v. 80,
p.313-318, 1990.
HECKMAN, J.; LALONDE, R.; SMITH, J. The economics and econometrics of acti-
ve labor market programs. In: ASHENFELTER, O.; CARD, D. Handbook of Labor
Economics. Oxford: North Holland, 1999. v. 3, p.1865-2097.
HECKMAN, J.; HOTZ, J. Alternative methods for evaluating the impact of trai-
ning programs. Journal of the American Statistical Association. v. 84, n. 804, p.
862-874, 1989.
HECKMAN, J.; ROBB, R. Alternative methods for evaluating the impact of in-
terventions. In: HECKMAN, J.; SINGER, B. Longitudinal analysis of labor market
data. Nova York: Cambridge University Press, 1985.
HECKMAN, J.; SMITH, J. Assessing the case for social experiments. Journal of
Economic Perspectives. v. 9, p. 85-110, 1995.
HECKMAN, J.; VYTLACIL, E. Local Instrumental Variables. In: HSIAO, C; MORIMU-
NE, K; POWELL, J. Nonlinear Statistical Modeling: Essays in Honor of Takeshi
Amemiya. Nova York: Cambridge University Press, 2001.
HECKMAN, J.; VYTLACIL, E. Structural equations, treatment efects, and econo-
metric policy evaluation. Econometrica. v. 73, n. 3, p. 669-738, 2006.
HECKMAN, J; ICHIMURA, H.; TODD, P. Matching as an econometric evaluation
estimator: evidence from a job training program. Review of Economic Studies.
v. 64, n 4, p. 605-54, 1997.
HECKMAN, J.; ICHIMURA, H.; TODD, P. Matching as an econometric evaluation
estimator. Review of Economic Studies. v. 65, p. 261-294, 1998.
HECKMAN, J.; SMITH, J. The pre-program earnings dip and the determinants of
participation in a social program: implications for simple program evaluation
strategies. Economic Journal. v. 109, p. 313-348, 1999.
HIRANO, K.; IMBENS, G. Estimation of causal efects using propensity score wei-
ghting: an application to data on right heart catheterization. Health Services &
Outcomes Research Methodology. v. 2, p. 259-278, 2001.
HIRANO, K.; IMBENS, G.; RIDDER, G. Efcient estimation of average treatment
efects using the estimated propensity score. Econometrica. v. 71, n. 4, p. 1161-
1189, 2003.
HIRANO, K.; IMBENS, G.; RUBIN, D.; Zhou, X. Identifcation and estimation of lo-
cal average treatment efects. Biostatistics. v. 1, n. 1, p. 69-88, 2000.
HOFFMANN, R. Estatstica para Economistas. 4 edio. So Paulo: Cengage Le-
arning, 2006. 446 p.
IMBENS, G. Nonparametric estimation of everage treatment efects under exo-
geneity: A review. Review of Economics and Statistics. v. 86, n. 1, p. 1-29, 2004.
IMBENS, G. The role of the propensity score in estimating dose-response func-
tions. Biometrika. v. 87, n 3, p. 706-710, 2000.
IMBENS, G.; ANGRIST, J. Identifcation and estimation of local average treat-
ment efects. Econometrica. v. 61, n. 2, p. 467-476, 1994.
IMBENS, G.; LEMIEUX, T. Regression discontinuity designs: a guide to practice.
Journal of Econometrics. v. 142, n. 2, p. 615-635, 2008.
IMBENS, G.; RUBIN, D. Rubin causal model. In: DURLAUF, S.; BLUME, L. The New
Palgrave Dictionary of Economics. Hampshire: Palgrave Macmillan, 2008, 2
edio. 7344 p.
IMBENS, G.; WOOLDRIDGE, J. Recent developments in the econometrics of pro-
gram evaluation. Journal of Economic Literature. v. 47, n 1, p. 5-86, 2009.
IMBENS, G. Nonparametric estimation of average treatment efects under exo-
geneity: A review. Review of Economics and Statistics. v. 86, n. 1, p. 1-29, 2004.
IPEA e CEDEPLAR. Uma proposta de avaliao do plano nacional de formao
profssional (planfor). 2000. Relatrio Parcial. No Publicado.
LALONDE, R. J. Evaluating the econometric evaluations of training programs
with experimental data. American Economic Review. v. 76, p. 604-620, 1986.
LEE, D. S.; CARD, D. Regression discontinuity inference with specifcation error.
Journal of Econometrics. v. 142, n. 2, p. 655-674, 2008.
LEE, D. S.; MORETTI, E.; BUTLER, M. Do voters afect or elect policies? Evidence
from the U.S. house. Quarterly Journal of Economic. v. 119, p. 807-859, 2004.
LEE, D. S.; LEMIEUX, T. Regression Discontinuity Designs in Economics. NBER
Working Paper. v. 48, n. 14723, p. 281-355, 2009.
MATTOS, E.; MAIA, S.; MARQUES F. Evidncias da relao entre oferta de traba-
lho e programas de transferncia de renda no Brasil: bolsa escola versus bolsa
famlia. Pesquisa e Planejamento Econmico v. 40, p. 1-44, 2010.
MCEWAN, H. M.; LEVIN, P. J. Cost-efectiveness analysis: methods and applica-
tions. Califrnia: Sage Publications, 2001. 308 p.
MCRARY, J. Testing for manipulation of the running variable in the regression
discontinuity design. Journal of Econometrics. v. 142, n. 2, p. 698-714, 2008.
MEYER, B. Natural and quasi-experiments in economics. Journal of Business &
Economic Statistics. v. 13, p. 151-161, 1995.
MIGUEL, E.; KREMER, M. Worms: identifying the impacts on education and he-
alth in the presence of treatment externalities. Econometrica. v. 72, p.159-217,
2004.
PEIXOTO, B. Avaliao econmica do projeto fca Vivo: o caso piloto. In: Minis-
trio do Planejamento, Oramento e Gesto, Secretaria de Oramento Federal.
(Org.). Oramento Pblico: II Prmio SOF de Monografas - Coletnea. Braslia,
2010.
PONCZEK, V.; SOUZA, A. New evidence of the causal efect of family size on
child quality in a developing country. Journal of Human Resources. v. 47, p.
64-106, 2011.
PORTER, J. Estimation in the regression discontinuity model. Department of
Economics. 2003. No Publicado.
ROBINS, J. M.; RITOV, Y. A curse of dimensionality appropriate (coda) asympto-
tic theory for semiparametric models. Statistics in Medicine. v. 16, p.285-319,
1997.
ROCHA, R.; SOARES, R. Evaluating the impact of community-based health in-
terventions: evidence from brazils family health program. Health Economics.
v. 19, p. 126-158, 2010.
ROSENBAUM, P. Observational studies. Nova York: Springer Verlag, 2002. 375p.
ROSENBAUM, P. The role of a second control group in an observational study.
Statistical science. v. 2, n. 3, p. 292316, 1987.
ROSENBAUM, P.; RUBIN, D. The central role of the propensity score in observa-
tional studies for causal efects. Biometrika, v. 70, p. 41-55, 1983.
RUBIN, D. Estimating causal efects to treatments in randomized and nonran-
domised studies. Journal of Educational Psychology. v. 66, p. 688-701, 1974.
RUBIN, D. Assignment to treatment group on the basis of a covariate. Journal of
Educational Statistics. v. 2, n. 1, p. 1-26, 1977.
RUBIN, D. Matching to remove bias in observational studies. Biometrics. v. 29,
p. 159-183, 1973.
RUBIN, D. The use of matched sampling and regression adjustments to remove
bias in observational studies. Biometrics. v. 29, p. 185-203, 1973.
RUBIN, D. Using multivariate matched sampling and regression adjustment to
control bias in observational studies. Journal of American Statistical Associa-
tion. v. 74, p. 318-328, 1979.
THISTLEWAITE, D.; CAMPBELL, D. Regression-discontinuity analysis: an alterna-
tive to the ex-post facto experiment. Journal of Educational Psychology. v. 51,
p.309-317, 1960.
TODD, P.; WOLPIN, K. Ex-Ante Evaluation of Social Programs. PIER Working Pa-
per Penn Institute for Economic Research. n. 06-122, 2006.
TRIOLA, M. F. Introduo Estatstica. 10 edio. Rio de Janeiro: LTC, 2008. 686
p.
VAN DER KLAAUW, W. Estimating the efect of fnancial aid ofers on college en-
rollment: a regressiondiscontinuity approach. International Economic Review.
v. 43, p. 1249-1287, 2002.
VYTLACIL, E. Independence, monotonicity, and latent index models: An equiva-
lence result. Econometrica. v. 70, n. 1, p. 331-341, 2002.
WOOLDRIDGE, J. M. Introduo Econometria: Uma Abordagem Moderna. So
Paulo: Thomson, 2006. 725 p.
BIBLIOGRAFIA COMPLEMENTAR

I. Estatstica
TRIOLA, Mario F. Introduo Estatstica. 10 ed. Rio de Janeiro: LTC, 2008.
Esse manual bastante adotado em cursos de graduao nas cincias hu-
manas. Apresenta uma linguagem fcil, compreensvel para alunos com um
conhecimento menos profundo de lgebra. Alm disso, apresenta sees es-
peciais com profssionais de vrios campos que utilizam a estatstica como fer-
ramenta de trabalho, o que torna a leitura fuida e atraente. Um diferencial a
quantidade de exerccios (mais de 1.500) em varias reas das cincias huma-
nas e seu foco mais centrado na interpretao do que nos clculos. Muitos dos
exerccios usam dados reais, o que os torna mais interessantes para os leitores.
O livro aborda temas mais avanados como correlao, regresso e estatstica
no paramtrica.
HOFFMANN, Rodolfo. Estatstica para Economistas. 4 ed. So Paulo: Thomp-
son, 2006.
Esse livro ensina estatstica bsica para iniciantes. Apesar de o ttulo direcion
-lo para economistas, atende qualquer aluno das cincias humanas interessa-
do em aplicar a estatstica no seu campo de trabalho. Com uma linguagem sim-
ples e objetiva, sem perder o rigor formal, apresenta os aspectos conceituais e
metodolgicos da estatstica. Mais ainda, o livro adentra o tpico de regresso
linear, o que permite ao leitor ter uma introduo ao tema.
II. Econometria
WOOLDRIDGE, Jefrey. M. Introduo Econometria: Uma Abordagem Mo-
derna. So Paulo: Thomson, 2006.
Esse manual de introduo econometria alia a matemtica existente nesse
mtodo de pesquisa emprica econmica com uma ampla interpretao pr-
tica de problemas estudados em vrios campos das cincias humanas. Assim,
mostra que esse instrumental analtico, antes restrito problemtica econmi-
ca, pode ser aplicado em outras cincias para anlise de questes empricas.
Com esse enfoque, o livro combina questes mais tcnicas da econometria
com suas aplicaes prticas, facilitando seu entendimento. A estrutura dos
tpicos apresentados diferente da tradicional, e segue a diviso por tipos de
dados. Essa abordagem moderna muito intuitiva e torna o contedo mais
acessvel ao estudante.
GUJARATI, Damodar N. Econometria Bsica. 3 Ed., Makron Books, 2000.
O manual de econometria bsica adota uma abordagem tradicional do tema.
Primeiramente apresentado o modelo de regresso linear, em seguida so
listadas as hipteses necessrias e os problemas decorrentes da sua no obser-
vao. Por fm, tpicos especiais so discutidos detalhadamente, como regres-
so sobre varivel binria, equaes simultneas e modelo de sries temporais.
Para compreenso do contedo requerido nvel bsico de clculo, lgebra e
estatstica.
III. Matemtica Financeira
CRESPO, Antnio A. Matemtica Financeira Fcil. 14 ed. So Paulo: Saraiva,
2009.
Esse livro uma obra bsica de matemtica fnanceira. Escrito para quem nun-
ca estudou o tema, traz os tpicos iniciais como juros simples e compostos,
descontos, sries de pagamentos e amortizaes. Com muitos exemplos resol-
vidos e exerccios prticos, excelente para um primeiro contato com a mat-
ria, principalmente para aqueles que no so familiarizados com a matemtica.
Entretanto, para quem deseja se aprofundar uma complementao com ou-
tros livros necessria.
ASSAF NETO, Alexandre. Matemtica Financeira e suas Aplicaes. 11 ed.
So Paulo: Atlas, 2009.
Esse manual de matemtica fnanceira utilizado em cursos de graduao e
ps-graduao. Tem uma abordagem ampla do tema, incluindo desde os prin-
cpios bsicos da matemtica fnanceira, como juros simples e compostos, at
tpicos mais avanados, como anlise de ativos fnanceiros. A sequncia dos
contedos intuitiva e inclui os principais produtos fnanceiros existentes no
Brasil. Dessa forma, o leitor aprende os fundamentos tericos da matemtica
fnanceira e suas aplicaes prticas com ativos fnanceiros no pas.
AUTORES

Betnia Peixoto
Graduada em Cincias Econmicas pela FACE/UFMG (2000), mestre em Eco-
nomia pelo CEDEPLAR/UFMG (2003) e doutora em Economia pelo CEDEPLAR/
UFMG (2008). Tem experincia na rea de Economia, com nfase em Economi-
ca dos Programas de Bem-Estar Social e Econometria aplicada, atuando prin-
cipalmente nos seguintes temas: Avaliao Econmica de Polticas Pblicas e
Programas Sociais, Anlise Economtrica Aplicada e Criminalidade.
Possui Ph. D. em Economia pela University of California, Berkeley. Atualmente
professora assistente da Escola de Economia de So Paulo, FGV. Suas reas de
pesquisa so: Econometria, Economia da Educao e Economia do Trabalho.
Lycia Lima
Graduou-se em Economia pela UFMG em 2003. Concluiu o mestrado em De-
velopment Economics pela School of Oriental and African Studies da Univer-
sidade de Londres em 2007. Desde ento, trabalhou como pesquisadora na
rea de monitoramento e avaliao de polticas pblicas no Banco Mundial em
Washington, na Fundao Joo Pinheiro do governo do Estado de Minas Gerais
e na Secretaria de Assuntos Estratgicos da Presidncia da Repblica do Brasil,
tendo conduzido principalmente estudos de avaliao de impacto nas reas
de sade, educao, governana, pobreza rural e primeira infncia.
pesquisador do IPEA desde 1998 e professor auxiliar da PUC/RJ desde 2009.
Tem mestrado pela PUC/RJ e doutorado pela UFF. J publicou diversos estu-
dos e artigos em livros e revistas cientfcas nas reas de avaliao de polticas
sociais, economia do trabalho, desigualdade de renda e pobreza. Recebeu o
Prmio Mario Henrique Simonsen, concedido pela Revista Brasileira de Econo-
mia, em 2000. coordenador da rede internacional de pesquisa Network on
Inequality and Poverty (NIP) no Brasil desde 2009.
Naercio Menezes Filho professor titular (Ctedra IFB) e coordenador do Cen-
tro de Polticas Pblicas do Insper Instituto de Ensino e Pesquisa. Professor as-
sociado da FEA-USP, colunista do Valor Econmico e consultor da Fundao
Ita Social, Naercio PhD em Economia pela University College London.
Graduou-se em Engenharia Eletrnica no Instituto Tecnolgico da Aeronutica
ITA em 1977. Concluiu mestrado em Estatstica pelo Instituto de Matemti-
ca Pura e Aplicada IMPA em 1982 e doutorado em Economia pela Univer-
sidade de Chicago em 1987. Possui ps-doutorado pelo Centro de Pesquisa
em Economia, Universidade de Chicago (1988), e pelo Centro de Crescimento
Econmico, Universidade de Yale (1989). Desde 1979, tem trabalhado como
pesquisador do Instituto de Pesquisa Econmica Aplicada (IPEA), conduzindo
pesquisas nos campos de desigualdade social, educao, pobreza e mercado
de trabalho no Brasil e na Amrica Latina. Atualmente subsecretrio da Secre-
taria de Assuntos Estratgicos da Presidncia da Repblica SAE/PR.

Livro - Avaliação de Projetos Econômicos

Uploaded by

Document Information

Copyright

Available Formats

Share this document

Share or Embed Document

Sharing Options

Did you find this document useful?

Is this content inappropriate?

Copyright:

Available Formats

Livro - Avaliação de Projetos Econômicos

Uploaded by

Copyright:

Available Formats

1 Edio - Brasil - 2012

Dinmica Grca e Editora Ltda.

You might also like