Valor Econômico – 10 de fevereiro de 2010

Pequenos erros em experimentos ajudam a errar menos em grande escala.

Políticas públicas: fracassos também são bem-vindos

Leonardo Monasterio
10/02/2011
Alastair Miller/Bloomberg

Você tomaria um remédio que foi desenvolvido a partir apenas da intuição dos pesquisadores do
laboratório que o vende? Compraria um carro cujos freios nunca passaram por testes rigorosos? Voaria
em um avião cujo desenho foi escolhido com base na opinião pública?

Para evitar essas insanidades, a Ciência desenvolveu métodos próprios para mensurar a eficiência e
eficácia de remédios, freios e desenhos de aviões. Remédios são avaliados em experimentos com
grupos que recebem o tratamento real enquanto outros apenas um placebo. Os freios dos carros são
testados em laboratórios à exaustão e os aviões passam por milhares de horas em túneis de vento.

No tocante à políticas públicas, a realidade é bem distinta. Via de regra, os programas e políticas no
Brasil são introduzidos sem que tenham passado por testes científicos. As políticas são derivadas das
intuições dos políticos e eleitores, muitas vezes bem-intencionados, e, com alguma sorte, ouvem-se os
especialistas. (Infelizmente, como se sabe, é possível encontrar um expert que defenda um programa
qualquer, por mais absurdo que seja.)

Programas-piloto não são suficientes para avaliar os possíveis resultados benéficos da intervenção.
Afinal, é preciso haver uma base de comparação. Um experimento científico requer grupos de controle,
ou seja, indivíduos ou famílias, aleatoriamente escolhidos, que não serão sujeitos ao programa sobre
avaliação. O real efeito do programa está na diferença entre os resultados dos grupos que sofreram a
intervenção e os que não sofreram. Na prática a questão é um pouco mais complicada, mas já existe
conhecimento acumulado para avaliações apropriadas.

No Brasil, se avançou na última década na estimação dos impactos das políticas públicas. Porém, como
os experimentos controlados são raríssimos, os pesquisadores são forçados a buscar evidências
indiretas, usar métodos sofisticados e, por vezes, têm que esperar pelos dados de uma PNAD ou
mesmo do Censo. Nesse ínterim, o dinheiro público é perdido em programas inócuos. Um exame da
literatura empírica ou um experimento rigoroso teriam evitado tal desperdício. Um pouco de avaliação
das políticas públicas é melhor do que nenhuma avaliação.

Em pequena escala, podem-se testar várias combinações de intervenções e escolher aquela mais
eficaz

A pesquisa sobre experimentos em políticas públicas já gerou resultados bastante surpreendentes.

Esther Duflo, uma das estrelas da área, e seus coautores mostraram que o microcrédito não é a panaceia
que seus defensores prometiam (e ainda prometem) para melhorar a vida dos pobres. Em outro estudo,
ela apresentou evidências que bastava um minúsculo incentivo para que triplicassem as chances das
mães indianas vacinassem seus filhos. Existem outras "boas" ideias, como a distribuição de
computadores para alunos, que ainda estão subjudice e aguardam os resultados dos experimentos. Os
exemplos dados estão focados em programas sociais, mas podem ser extrapolados para outras áreas.
Nas políticas regionais, regiões aleatoriamente selecionadas podem ser escolhidas como objeto de
intervenção; na gestão pública, programas de qualificação podem ser feitos com algumas prefeituras e
assim por diante.

E por que experimentos com políticas públicas são tão raros no Brasil? Uma das críticas é que tais
experimentos seriam antiéticos. Afinal, para avaliar, por exemplo, o resultado da introdução de um
inovador método de alfabetização, de computadores na sala de aula ou do aumento da carga horária de
ensino, é necessário deixar turmas inteiras sem esses avanços (por algum tempo). Ora, ainda mais
injusta é a situação atual, em que recursos públicos são gastos em "experimentos" em que todas as
crianças podem ser vítimas. Além disso, se se aceita hoje que a ciência médica forneça placebos para
indivíduos doentes, por que rejeitar experimentos científicos também com políticas públicas?

Na verdade, é outra a razão pela qual alguns gestores públicos são avessos a experimentos. Eles podem
mostrar que aqueles programas tão bem fundamentados, tão queridos pelos especialistas (e mesmo
pelos eleitores) simplesmente não funcionam. Ao invés de temer as possíveis críticas dos adversários,
os políticos deveriam compreender que, com experimentos, eles desperdiçariam menos recursos e
obteriam resultados mais sólidos.

Vale lembrar que não se trata de retornar a um pensamento tecnocrático. Os objetivos e prioridades
sócio-econômicas continuam sendo decididos pelos processos democráticos usuais. Trata-se do oposto
da postura tecnocrática. Esta se baseava na crença de que especialistas iluminados tudo sabem e tudo
podem. As políticas públicas baseadas em evidências são uma confissão de humildade diante de um
mundo complexo em que a única certeza é a dificuldade de antecipar os efeitos concretos das
intervenções (por mais bem- intencionadas que sejam).

Experimentos, por sua própria natureza, geram fracassos. Em pequena escala, podem-se testar várias
combinações de intervenções e escolher aquela mais eficaz. Esses sucessos são cercados de fracassos
relativos. Mas esses pequenos erros dos experimentos com políticas públicas são a maneira de errar
menos em grande escala. A situação atual é ainda pior do que o fracasso reconhecido, uma vez que
nem se pode saber se houve equívocos. Enfim, quanto maior for o conhecimento acumulado sobre o
que não fazer, mais claro será o caminho correto para os gestores públicos bem-intencionados.

Leonardo Monasterio é técnico de Planejamento e Pesquisa do Instituto de Pesquisa Econômica

Aplicada (IPEA)