AVALIAO DE PROGRAMAS SOCIAIS:

DESAFIOS E POTENCIAIS NA CONSTRUO

DE UM SISTEMA DE INFORMAES
Otavio Soares Dulci1
Este artigo tem como objeto a avaliao de polticas, servios e programas sociais.
Apresenta, em primeiro lugar, um panorama analtico do tema e prossegue examinando
a experincia concreta de construo de um rgo gestor de informaes sociais2: a
Secretaria de Avaliao e Gesto de Informaes (SAGI), integrante do Ministrio
do Desenvolvimento Social e Combate Fome (MDS).
Trata-se de assunto de grande interesse para todos os que lidam com polticas pblicas, particularmente na rea social. No entanto, apesar da sua relevncia, no existe,
nesse terreno, um saber consolidado. A avaliao de polticas, como alvo sistemtico,
prtica relativamente recente.
Por certo, visto em seu conjunto, o estudo das polticas pblicas tambm recente.
Mas h diferenas a registrar. A formulao de polticas e a sua implementao so
processos mais bem estudados e disseminados por meio de treinamento acadmico
do que a avaliao. Os estudantes de disciplinas sociais so instrudos em mtodos
e tcnicas de pesquisa que incluem a elaborao de projetos e, com frequncia,
participam de trabalhos de campo. Todavia, a avaliao no costuma fazer parte do
aprendizado acadmico. No futuro isso dever acontecer, quando aumentar a preocupao das autoridades, dos gestores e dos demais setores envolvidos com maneiras de
aperfeioar as polticas atravs do seu acompanhamento. Os novos cursos de Polticas
Pblicas que esto surgindo no Brasil podero servir de arcabouo para esse avano
cognitivo e pedaggico.
Avaliao como problema e soluo
O carter recente e ainda problemtico da prtica da avaliao na rea social sugere,
para comear, um breve retrospecto da sua trajetria. Por a teremos uma compreenso
mais clara da situao descrita.
Iniciativas de avaliao de polticas e programas sociais s tiveram lugar no segundo
quartel do sculo XX, a despeito de uma ou outra tentativa anterior na Europa. At
ento, no se pensava em incluir a meta de avaliao dos custos e dos resultados: se o
objetivo de determinado programa era socialmente vlido, supunha-se que ele daria
certo e pronto. Excees vieram das reas de educao e sade, que foram as fontes
pioneiras de esforos de avaliao de polticas sociais.

Sntese das Pesquisas de Avaliao de Programas Sociais do MDS

Caderno de Estudos 13 ALTERADO E REVISADO 1705.indd 221

Bacharel em Cincias Sociais pela

Universidade Federal de Minas
Gerais (UFMG). Mestre em Cincia
Poltica pela UFMG. Doutor em
Cincia Poltica pelo Instituto Universitrio de Pesquisas do Rio de Janeiro
(IUPERJ). Professor do Programa de
Ps-Graduao em Sociologia da
UFMG e do Programa de Mestrado
em Relaes Internacionais da Pontifcia Universidade Catlica de Minas
Gerais (PUC Minas).

2
Este artigo sintetiza os principais
resultados da consultoria contratada pela SAGI/MDS, no mbito do
projeto PNUD BRA/04/046 Fortalecimento Institucional para a Avaliao e Gesto da Informao do
MDS, para a realizao de estudos
sobre as contribuies das pesquisas
implementadas pela SAGI/MDS no
campo da transferncia de renda e
servios socioassistenciais.

221

12/06/2012 16:05:46

Nos Estados Unidos, como indica Weiss (1998), foi a partir da Grande Depresso
que emergiram programas governamentais de proteo social, tendncia que se
intensificou na dcada de 1960, poca do combate pobreza (War on Poverty), para
depois reflurem com o neoliberalismo da era Reagan. No perodo 1930-1980, acompanhando a implantao de novos programas, cresceu o financiamento pblico de
avaliaes, cobrindo as mais diversas reas, at se estancar com os cortes drsticos do
fim do sculo.
Na Europa, processo similar ocorreu com o desenvolvimento dos Estados de Bem-Estar (Welfare States), sendo que a contribuio britnica foi particularmente relevante
para a construo de mtodos e a elaborao de estudos no campo da avaliao.
Na Amrica Latina, polticas de bem-estar social foram introduzidas na dcada de
1930, como elementos do processo de incluso ligado ao modelo de crescimento
para dentro. Os sistemas de proteo abrangiam tipicamente o acesso previdncia e
a servios de sade e alcanavam apenas uma parcela da populao aquela vinculada
ao mercado de trabalho formal. Em consequncia disso, os sistemas de proteo social
latino-americanos foram marcados, desde o incio, pela segmentao da cobertura dos
servios. Mais para o fim do sculo XX, observou-se certo pioneirismo em inovaes
institucionais que somavam medidas de responsabilidade fiscal com metas de equidade e participao cidad, como a transferncia de renda em espcie e a proposta de
oramento participativo. Iniciativas de avaliao sistemtica das polticas demoraram
a vicejar, mas houve excees notveis. Uma delas o sistema brasileiro de avaliao da ps-graduao, que foi debatido e modelado pela CAPES (Coordenao de
Aperfeioamento de Pessoal de Nvel Superior) ao longo dos anos 1970, entrando
em funcionamento no fim daquela dcada, com resultados bastante expressivos para
o desenvolvimento cientfico e tecnolgico do Pas.
Na esfera internacional, a atuao dos bancos de desenvolvimento e das agncias multilaterais exerceu forte influncia sobre inmeros pases. De fato, o Banco Mundial
e os bancos regionais, como o Banco Interamericano de Desenvolvimento (BID),
lograram construir, ao longo do tempo, sistemas de avaliao de projetos que se transformaram em paradigmas para gestores e tcnicos em toda parte. Mas essa construo
foi gradual, correspondendo evoluo das concepes sobre desenvolvimento,
que inicialmente eram muito estreitas. A primeira verso do Banco Mundial sobre
desenvolvimento associava-o segurana, no melhor estilo da Guerra Fria: financiar
projetos de desenvolvimento dos pases pobres era uma maneira de subtra-los
influncia do comunismo, mantendo-os na rbita do Ocidente capitalista. S mais
tarde, e na esteira da reivindicao dos pases pobres a um tratamento mais equnime
de seus problemas, que o desenvolvimento se converteu em finalidade precpua. E,
nesse passo, a dimenso social do desenvolvimento ganhou espao, para alm da viso
clssica que tende a equiparar desenvolvimento a crescimento econmico.

222

Caderno de Estudos 13 ALTERADO E REVISADO 1705.indd 222

Cadernos de Estudos - Desenvolvimento Social em Debate

12/06/2012 16:05:46

A ateno dos bancos internacionais avaliao percorreu uma sequncia de prioridades que se pode identificar pela leitura de estudo recente sobre o Banco Mundial
(SALLES, 2010). Derivava, antes de tudo, da preveno de riscos: como bancos, queriam saber se suas aplicaes eram seguras. A preocupao primordial era, assim, com
o bom uso dos recursos. Isso levava a produzir informaes para analisar a viabilidade
dos projetos e, portanto, os possveis riscos do financiamento.
Porm, sendo bancos de carter intergovernamental, suas metas iam alm do rendimento financeiro. Os financiamentos que realizavam se destinavam a atingir determinados resultados concretos (econmicos, sociais, infraestruturais etc.). Um projeto se
justificava no s em termos econmicos, mas tambm por seus impactos potenciais
para o pas e a populao visada. Em consequncia, houve uma nfase na avaliao
dos projetos para aferir sua qualidade tcnica e sua capacidade de atender demanda
local o que implicava a aquisio e mesmo a produo de informaes e dados.
Foi assim que o Banco Mundial comeou a organizar seu prprio sistema de informaes, pois antes ele nada tinha acumulado nesse sentido. Trabalhava com consultorias
por projeto, e o conhecimento produzido pelos consultores se restringia a cada projeto
especfico: no havia mecanismo de difuso para os pases beneficiados, nem para as
outras organizaes internacionais (como a Organizao das Naes Unidas, que era
parceira claramente interessada), nem mesmo para os vrios setores do prprio Banco.
Essa uma histria de aprendizado institucional, que bastante instrutiva, pois se
reproduziu em muitas outras situaes atravs do mundo. E ainda se repete, uma vez
que a prtica da avaliao ainda no est plenamente incorporada como componente
intrnseco das polticas pblicas.
H, ainda, algo a acrescentar a esse esboo. No se pode compreender o processo global
de institucionalizao da avaliao sem dar o devido realce a dois fatores. Primeiro,
a construo e disseminao de mtodos apropriados. Segundo, a disponibilidade
de tecnologia propcia aos estudos e nesse sentido, a revoluo da informtica foi
fundamental.
Funes e dimenses da avaliao
So diversas as funes da avaliao. Sua maior utilidade o aproveitamento dos dados para a gesto da poltica social. Ou seja, a retroalimentao do prprio servio ou
programa avaliado. Esse uso justifica o investimento institucional na avaliao, dado
o benefcio que dela cabe esperar para tal fim. Mas, se ampliarmos o foco, obteremos
um quadro mais completo das suas possibilidades.
O propsito principal de uma agenda de avaliao a anlise dos resultados de uma
poltica, um programa ou uma interveno. Para tanto, trs dimenses costumam

Sntese das Pesquisas de Avaliao de Programas Sociais do MDS

Caderno de Estudos 13 ALTERADO E REVISADO 1705.indd 223

223

12/06/2012 16:05:46

ser consideradas: a efetividade, a eficcia e a eficincia daquilo que est sob exame.
Desagregar os resultados nessas trs dimenses permite distinguir aspectos nem
sempre perceptveis a um diagnstico superficial.
A efetividade diz respeito aos efeitos da poltica analisada sobre a realidade que ela
visa a alterar. At que ponto os resultados esperados foram alcanados? Essa dimenso
traduz a relao entre a implementao de um programa e as suas consequncias. Em
termos concretos, o que se quer saber o quanto o programa resolveu a situao, ou
o problema social que motivou todo o trabalho em pauta.
A eficcia de uma poltica ou de um programa especfico a medida de quanto foi feito
com o que se tinha. Traduz, portanto, a relao entre os instrumentos utilizados e os
resultados alcanados. Uma vez que o planejamento abrangeu a definio de metas,
o que se alcanou na aplicao do programa? O que foi produzido para responder s
respectivas demandas no tempo abrangido pelo trabalho?
Enfim, temos a eficincia, que uma dimenso mais fcil de identificar, pois se refere aos
custos e benefcios. Assim, a eficincia no uso dos recursos a capacidade de um rgo
gestor de alcanar seus objetivos de forma econmica, conseguindo mais com menos.
Sob outro ngulo, avaliaes se fazem antes, durante e depois da concretizao de
uma poltica ou de um programa. O ciclo de projetos elaborado e empregado pelo
Banco Mundial abrange uma avaliao prvia da proposta do muturio, na qual se
estudam os seus benefcios para o pas e os riscos de sua execuo, e a avaliao ex-post, quando se examinam todos os aspectos do projeto e sua relao custo-benefcio
(STEPHANOU, 2005). A experincia do Banco Mundial interessante nesse sentiGRSRLVDDYDOLDomRSUpYLDWUDWDGDYLDELOLGDGHHGRVULVFRVGRILQDQFLDPHQWRTXHp
SUiWLFDXVXDOQRVLVWHPDEDQFiULRPDVYDLDOpPHVWHQGHQGRVHjFRQVLGHUDomRGD
demanda e da capacidade do projeto para atend-la. J a avaliao ex-post o momento
em que se analisam os resultados, a efetividade e a eficincia do trabalho executado.
Na linguagem comum, avaliao essa etapa posterior, e, no presente artigo, o termo
empregado para design-la. No entanto, no se ignora o papel da avaliao prvia e
tambm da que se realiza durante a implementao, a qual pode ser uma ferramenta
til para detectar problemas e corrigir a rota em pleno voo.
Dito isso, retomemos o curso de nossa reflexo para focalizar funes e possibilidades adicionais da avaliao (ex-post). A disseminao do conhecimento obtido
para retroalimentar a prpria poltica avaliada foi bem enfatizada, e de mxima
importncia, mas deve-se chamar a ateno para outro aspecto da disseminao:
ela serve reutilizao das informaes para abordar outros contextos. Serve at,
em escala maior, para subsidiar a formulao de novas polticas, o que confere s
avaliaes um papel de grande relevo. Mas isso supe um processo consistente

224

Caderno de Estudos 13 ALTERADO E REVISADO 1705.indd 224

Cadernos de Estudos - Desenvolvimento Social em Debate

12/06/2012 16:05:46

de acumulao e processamento de informaes na respectiva rea de atuao

governamental.
Nesse ponto, chegamos questo do acervo ou da memria de servios e projetos, que muito importante no aparelho estatal, mas nem sempre cuidada como
merece. De fato, a descontinuidade administrativa, a alternncia de dirigentes e
gestores e as variaes de diretrizes entre eles podem ensejar srio desperdcio de
conhecimento, se no se organizar um sistema de acumulao de informaes. A
existncia deste uma primeira garantia de preservao dos dados de avaliao,
mas, para dar certo, requer outros fatores: investimentos em estudos e pesquisas, capacitao das equipes e interesse dos gestores na utilizao sistemtica das
informaes.
No plano institucional, no se pode deixar de apontar o papel da avaliao no fortalecimento poltico de um programa. Gaetani (1997), abordando a falta de comunicao
entre as reas de governo, assinala o prejuzo que esta acarreta rea social e preconiza
uma estratgia de politizao das polticas sociais que deve envolver trs movimentos:
parametrizao (adoo de indicadores e parmetros de custo, desempenho, cobertura
etc.), publicizao (elevao do patamar de informaes disponveis) e precificao.
Sobre este ltimo movimento, afirma:
H que se traduzir as demandas em custos. Mas preciso tambm colocar preos nas
solues e, principalmente, nas consequncias de sua ausncia. A noo de custo de
oportunidade vital para a instrumentalizao da capacidade negociadora dos gestores
das polticas sociais. Os conflitos que travam se processam na arena das anlises de
custo-benefcio e da avaliao social de projetos. O dimensionamento dos problemas e
de suas (ausncias de) solues, bem como a comparao com os (grandes e pequenos)
nmeros das demais polticas pblicas essencial para fortalecer politicamente a rea
social, tanto no mbito do governo como da sociedade. (GAETANI, 1997: 21-22).

Com efeito, bons dados de avaliao permitem a comparao com os nmeros das
outras polticas, num cenrio de disputa por recursos oramentrios. Com frequncia,
as reivindicaes da rea social se apresentam nesse cenrio justificadas pela relevncia
social de suas polticas e pela finalidade de assegurar direitos maioria da populao.
Mas, se sustentadas por evidncias de resultados efetivos e de eficincia nos gastos,
ganharo peso maior na partilha sempre complicada do dinheiro pblico.
O contexto da avaliao
Quando se fala em estratgias ou agendas de avaliao, pensa-se geralmente no
processo de avaliao, o que inclui a dimenso tcnica e se desdobra em toda a problemtica discutida at aqui acerca da apropriao dos resultados para realimentar as
polticas. Mas tais estratgias ou agendas tm outra face: a do contexto da avaliao.
Chelimsky (2009) chama a ateno para sua importncia, argumentando que o sucesso

Sntese das Pesquisas de Avaliao de Programas Sociais do MDS

Caderno de Estudos 13 ALTERADO E REVISADO 1705.indd 225

225

12/06/2012 16:05:46

da avaliao no campo governamental depende tanto do contexto poltico no qual

se realiza a avaliao quanto dos mritos do processo de avaliao como tal.
No contexto poltico, segundo a autora, observam-se presses de trs nveis sobre
as unidades de avaliao no campo governamental: h o que designa por cross-branch
politics, referente arena de disputa entre o Executivo e o Legislativo em segundo
lugar, o clima burocrtico dentro da agncia um ministrio, por exemplo que
abriga a unidade de avaliao (clima que pode ser mais corporativo do que propenso
transparncia) e, por fim, a cultura profissional dominante da agncia, que pode
entrar em conflito com a cultura de avaliao seja por falta de familiaridade com o
processo, seja por diferenas tericas e prticas, seja por rivalidade ou ressentimento,
o que mais frequente.
O terceiro aspecto o que nos interessa mais de perto. Diz respeito a culturas profissionais, que eventualmente se projetam em culturas organizacionais bem marcantes.
Na administrao pblica, so inmeros os exemplos, seja na rea econmica ou na
social. Nesta, o sistema de sade reflete bem os valores e orientaes da corporao
mdica, e o mesmo se passa no terreno da educao com o professorado, principalmente na rede pblica.
Em que medida elas opem barreiras avaliao? Corporaes fortes tendem a se
pautar pela autorreferncia e, mesmo que no resistam frontalmente avaliao,
tendem a no assimilar sua finalidade poltica e gerencial.
Tomemos um exemplo conhecido. As vicissitudes da poltica de avaliao das universidades pblicas brasileiras tm expressado a dificuldade da corporao docente
em aceitar critrios de avaliao de suas unidades e programas, para no dizer do
desempenho individual de seus membros. No passado, tal resistncia era justificada
pela defesa da autonomia da instituio em face de governos autoritrios e hostis
liberdade acadmica. Porm, em contexto democrtico, esse argumento se enfraquece,
e em seu lugar consolida-se a crtica difusa avaliao como instrumento da busca
de resultados, ou como veculo de uma ideologia produtivista, principalmente se
associada ao financiamento de programas e remunerao pessoal dos docentes.
No entanto, no estamos diante de realidades estticas. A cultura um componente da vida social que se caracteriza pela estabilidade, mas no pela imutabilidade.
Nesse sentido, as culturas organizacionais so adaptativas. Retomando o exemplo
da universidade, o sistema de avaliao da ps-graduao coordenado pela CAPES
se institucionalizou o suficiente para que seus propsitos tenham sido amplamente
compartilhados pela comunidade acadmica, ainda que sempre haja alguma polmica
no tocante a critrios e hierarquias de classificao. Outras iniciativas de avaliao
acadmica como as direcionadas para os cursos de graduao devero tambm se
enraizar com o tempo.

226

Caderno de Estudos 13 ALTERADO E REVISADO 1705.indd 226

Cadernos de Estudos - Desenvolvimento Social em Debate

12/06/2012 16:05:46

A assistncia social fornece uma boa ilustrao do quadro esboado. Trata-se de um

campo profissional pautado pela defesa de um sistema efetivo de proteo social (no
%UDVLOR6LVWHPDQLFRGH$VVLVWrQFLD6RFLDO68$6HGDJDUDQWLDGRVGLUHLWRV
que lhe correspondem. Isso no significa que a informao para avaliar a gesto e os
resultados substantivos da poltica socioassistencial seja ignorada. Contudo, a prioridade, pelo menos na fase de construo do sistema, se volta para a garantia do direito
proteo. Essa prioridade condiz com a cultura dos profissionais atuantes na rea da
assistncia, e com seus esforos (vale dizer, sua mobilizao histrica) para consolid-la
como poltica pblica, superando a filantropia e o assistencialismo. Dito isso, talvez
se possa esperar que, na medida em que a meta da universalizao seja alcanada e o
direito proteo se consolide na sociedade brasileira, as atenes se voltem cada vez
mais para o aperfeioamento do sistema com base em anlises de seu funcionamento
e do impacto de seus servios e programas para o desenvolvimento social do Pas.
Pois essa funo tambm valorizada pelas diretrizes do SUAS, inclusive ao salientar
a relevncia dos avanos na tecnologia da informao como oportunidades a serem
aproveitadas na poltica social (MDS-SNAS, 2005: 14).
Esses exemplos, extrados do cenrio brasileiro, servem para indicar tanto a natureza
dos obstculos avaliao quanto a expectativa de sua gradual superao em virtude
de novas prioridades na agenda e novas geraes de profissionais.
O processo de avaliao, luz de uma anlise contextual, exige um esforo de ajustamento entre as unidades de avaliao e as unidades de gesto. As duas partes devem
interagir, buscando se entender e colaborar (ou seja, trabalhar juntas) e esse um
desafio concreto diante do fator cultural aludido. Fator que caracteriza no s as
unidades de gesto, mas tambm as de avaliao.
Para tanto, ao lado das diversidades culturais, preciso acrescentar outro elemento
contextual de grande relevncia: a pluralidade dos usurios das avaliaes.
A quem se destinam as avaliaes? Os destinatrios preferenciais so os dirigentes, os
que esto no comando do rgo responsvel pelo programa avaliado. No caso de um
Ministrio, eles constituem a cpula da pasta e, um escalo abaixo, a chefia da respectiva
secretaria. Estes so, de fato, os principais decisores. Ao lado, claro, dos patrocinadores
e financiadores de projetos. No entanto, se as avaliaes exercem a funo estratgica
de retroalimentar programas, importncia equivalente se atribui disseminao de
VHXVUHVXOWDGRVSDUDDVHTXLSHVWpFQLFDV(KiDLQGDSDUWHVLQWHUHVVDGDVstakeholders
que seriam destinatrias indiretas: as famlias ou indivduos beneficirios dos servios
sociais; os gestores e mantenedores de entidades de proteo social, tanto pblicas
quanto privadas; os membros de conselhos de acompanhamento da execuo local dos
servios e programas; os ativistas de organizaes voltadas para a promoo de direitos
e polticas sociais. O rol de interessados amplo, aspecto bem destacado na literatura
pertinente (ROSSI, FREEMAN, LIPSEY, 1999, p. 54; WEISS, 1998, p. 41-44).

Sntese das Pesquisas de Avaliao de Programas Sociais do MDS

Caderno de Estudos 13 ALTERADO E REVISADO 1705.indd 227

227

12/06/2012 16:05:46

Cabe acrescentar que h diversos outros destinatrios potenciais, que, de algum

modo, podem ser englobados na categoria de stakeholders. Entre eles, destacam-se os
pesquisadores de instituies governamentais e acadmicas; chefias e equipes tcnicas
de outros rgos governamentais; chefias e equipes tcnicas de estados e municpios;
quadros do Poder Legislativo, do Poder Judicirio, do Ministrio Pblico, de Tribunais
de Contas e de outros rgos de acompanhamento e controle e dirigentes e tcnicos
de organizaes internacionais. No se pode esquecer, ainda, do possvel interesse
dos meios de comunicao, de rgos da sociedade civil, assim como de inmeros
cidados atentos aos problemas sociais.
O campo da poltica social muito povoado, comentou certa vez uma autoridade da
rea. Referia-se no s a todos os setores acima arrolados, mas ainda aos interesses
polticos que o atravessam, sem contar os interesses de instituies privadas de vrios
tipos, com ou sem fins lucrativos. Por isso, e pelas prprias dificuldades dos problemas
a equacionar, o ambiente da implementao dos servios e programas sociais cheio
de incertezas e turbulncias. A multiplicidade de atores envolvidos na gesto de um
projeto amplia os nveis e as instncias de deciso, tornando complexo o processo
decisrio e exigindo maior coordenao das aes. (CARNEIRO, 2004, p. 72). No
Brasil, pas de organizao federativa, essa caracterstica se evidencia pelo arranjo
da gesto compartilhada, que exige coordenao entre os entes da Federao e seus
respectivos ramos administrativos.
A tessitura dessa rede difcil, mas necessria. Eis uma forte razo para ampliar o
escopo da disseminao de dados e anlises sobre os programas sociais. A avaliao
deve se orientar para servir aos diferentes atores governamentais ou no de cuja
deciso depende o xito do programa ou poltica. (COSTA, 2007, p. 210). Esta
uma diretriz mais democrtica e tambm mais produtiva. Se as informaes e anlises
no so suficientemente compartilhadas, como esperar coeso das equipes tcnicas e
operacionais em torno dos objetivos em foco?
Isso implica, naturalmente, um fluxo de divulgao dos resultados por meio de formas
adequadas de comunicao para atingir pblicos distintos. H usurios de perfil mais
tcnico, e outros de perfil mais poltico. H especialistas, que utilizaro os dados em
publicaes acadmicas, e h leigos, como o pblico das comunidades estudadas. Portanto, os resultados dos estudos devem ser divulgados sob vrias formas. O produto
principal o relatrio, mas ele alcana um pblico-alvo restrito. Depositar os dados
em acervos de acesso pblico medida relevante. Mas, alm disso, h formatos mais
comunicativos, como snteses acessveis dos resultados, com a finalidade alcanar todo
o pblico potencialmente interessado no assunto, mas que talvez no tenha tempo
ou disposio de estudar relatrios tcnicos especializados.

228

Caderno de Estudos 13 ALTERADO E REVISADO 1705.indd 228

Cadernos de Estudos - Desenvolvimento Social em Debate

12/06/2012 16:05:46

A construo de um sistema de avaliao: a experincia da SAGI

Levando em conta os fatores contextuais de que tratamos, podemos sintetizar a
construo de um sistema til de avaliao e informaes sociais em dois desafios.
Criar capacidade de avaliao o primeiro desafio. Trata-se de organizar o sistema com equipe interessada e competente, atenta fronteira cientfica e tcnica dos
estudos sociais, sobretudo quanto aos seus componentes metodolgicos. Isso implica
investimento financeiro, poltico e intelectual.
O segundo desafio disseminar os resultados das avaliaes e criar condies
para o seu aproveitamento nos programas sociais. Fazem-se avaliaes, mas como
so usadas? O seu aproveitamento muitas vezes dificultado pela precariedade dos
processos de deciso. Como observa Costa (2007, p. 213), boa parte das decises
se tomam sem muita clareza. So respostas atomizadas a problemas especficos.
E para que a avaliao seja incorporada ao processo de gesto, a maneira como se
tomam decises no cotidiano das polticas de assistncia social tem que se tornar
mais estruturada, criando-se espaos e momentos de reflexo sobre os resultados
das avaliaes e adotando-se um planejamento estratgico das aes nos diferentes
nveis de implementao.
Esses desafios ficaro mais claros ao examinarmos, em seguida, como eles tm sido
enfrentados no decorrer de uma experincia concreta: a da Secretaria de Avaliao e
Gesto da Informao (SAGI) do Ministrio do Desenvolvimento Social e Combate
Fome.
Quando este Ministrio foi criado, no incio de 2004, ele foi incumbido de incorporar
rgos distintos, que vinham funcionando separadamente. Assim se estruturaram no
mbito do MDS a Secretaria Nacional de Assistncia Social; a Secretaria Nacional
de Renda da Cidadania; a Secretaria Nacional de Segurana Alimentar e a Secretaria
de Articulao Institucional e Parcerias.
Tratava-se, em princpio, da articulao de programas sociais em um conjunto mais
coeso do que no formato anterior, e tambm mais forte, em virtude da visibilidade
do novo Ministrio e da sinergia que se poderia extrair da interao entre as Secretarias e seus programas. Mesmo que tais avanos no se concretizassem de imediato,
poder-se-ia esperar que eles fossem acontecendo medida que o MDS se enraizasse
e amadurecesse.
Na organizao do Ministrio, uma iniciativa de grande importncia foi a de implantar,
ao lado das secretarias gestoras de programas sociais, outra secretaria, encarregada da
avaliao e coleta de informaes. Assim surgiu a SAGI, que, por suas caractersticas
institucionais, representou um esforo singular no servio pblico federal. No era

Sntese das Pesquisas de Avaliao de Programas Sociais do MDS

Caderno de Estudos 13 ALTERADO E REVISADO 1705.indd 229

229

12/06/2012 16:05:47

o primeiro rgo de avaliao em mbito ministerial, mas era o primeiro a ocupar

posio hierrquica equivalente de secretarias finalsticas. Como escreveram trs
dos responsveis pela sua criao:
O fato de o sistema ter sido construdo praticamente do zero tambm teve aspectos
favorveis. Alm de a SAGI representar uma inovao no cenrio governamental, estava dando um passo frente ao instituir, de forma sistmica, um conjunto de prticas
que at ento, quando eram realizadas, o eram de forma fragmentada. (VAITSMAN,
RODRIGUES e PAES-SOUSA, 2006: 17-18).

Isso foi, sem dvida, um avano. Contudo, o cenrio em que a SAGI deveria operar era bem complexo, dada a fisionomia do novo Ministrio. Este, com efeito, se
constituiu pela reunio de rgos distintos, alguns dos quais j vinham funcionando
separadamente. Outros, como a SAGI, nasceram com a criao do Ministrio.
As trajetrias desses segmentos eram bastante peculiares. A rea da assistncia social,
por exemplo, remonta, no cenrio federal, dcada de 1940, com a Legio Brasileira
de Assistncia (LBA). A rea da segurana alimentar, por sua vez, emergiu em fins
do sculo XX por meio das campanhas contra a fome e a misria, configurando-se
como segmento governamental relevante com o programa Fome Zero. A poltica de
transferncia condicional de renda, expressa pelo Programa Bolsa Famlia, originou-se em parte das experincias municipais da Bolsa Escola, ideia que em 2001 foi
incorporada em um programa federal; mas resultava tambm de reivindicaes e
propostas anteriores que visavam a estabelecer no Pas um sistema universal de renda
mnima; sem esquecer as recomendaes de rgos internacionais sobre diretrizes de
combate pobreza com foco nas famlias, que tm exercido sua parcela de influncia
na formulao das polticas sociais brasileiras.
Nessas circunstncias, o desafio que estava implcito na formao do Ministrio era
articular setores com identidades to peculiares em uma organizao capaz de estruturar e fortalecer a poltica de desenvolvimento social.
Decorridos seis anos de existncia do MDS, a articulao entre seus setores componentes avanou medida que se ampliava o conhecimento mtuo e que as oportunidades de colaborao surgiam, muitas vezes por exigncia da prpria dinmica da
implementao das polticas sociais. Afinal, a meta da intersetorialidade se aplicaria
tambm neste caso, dada a configurao plural do Ministrio.
No entanto, a despeito desse avano, nossa coleta de informaes para o presente
estudo (que abrangeu entrevistas, visitas, leituras e participao em reunies de vrios
tipos) resultou na percepo de que coexistem no MDS diversas culturas organizacionais. E essa uma observao importante para situarmos o papel que a SAGI vem
desempenhando no suporte s polticas de desenvolvimento social.

230

Caderno de Estudos 13 ALTERADO E REVISADO 1705.indd 230

Cadernos de Estudos - Desenvolvimento Social em Debate

12/06/2012 16:05:47

Consideremos, por exemplo, a Secretaria Nacional de Renda de Cidadania (SENARC),

encarregada do Programa Bolsa Famlia. Trata-se de uma equipe comandada por
gestores profissionais, com perspectiva essencialmente tcnica, embora fortemente
comprometidos com a questo social. Eles se orientam pela ideia de gesto de resultados,
impelidos inclusive pelas dificuldades (oramentrias, jurdicas, institucionais etc.) que
enfrentaram para expandir e consolidar o Programa Bolsa Famlia.
O insulamento burocrtico uma caracterstica marcante desse segmento do MDS.
Essa blindagem dificulta a interao com a unidade de avaliao e a absoro de
informaes com potencial mais estruturante, o que exige abertura para reflexo e
anlise por parte da equipe.
Um caso quase oposto o da Secretaria Nacional de Assistncia Social (SNAS),
composta em grande medida por profissionais do Servio Social e secundariamente
das Cincias Sociais. O que caracteriza o rgo uma perspectiva politicamente ativa,
engajada na defesa de direitos sociais. Essa nfase no direito relevante e se explica pela
trajetria dos profissionais da rea, em luta rdua pela superao do clientelismo e da
filantropia historicamente associados assistncia social. Seu esforo se concentrou na
institucionalizao do direito assistncia como poltica de Estado, por meio da Lei Orgnica da Assistncia Social (LOAS) e do Sistema nico de Assistncia Social (SUAS).
O critrio do direito assistncia tem sido uma prioridade que prevalece sobre
consideraes mais prticas, o que tende a negligenciar fundamentaes de outra
natureza (que no as da esfera do direito) proporcionadas pelas pesquisas. Verifica-se
tambm certa relutncia de muitos profissionais da rea socioassistencial em face da
metodologia utilizada nas pesquisas de avaliao, sobretudo a da vertente quantitativa.
Os dois fatores mencionados dificultam a absoro de informaes e contribuies
dos estudos de avaliao.
Estamos diante, portanto, de dois ambientes organizacionais muito diferentes. A
SENARC, um ambiente tcnico, possui uma equipe que conhece e compreende bem
os mtodos de avaliao; as barreiras ao aproveitamento das pesquisas se relacionam
com o insulamento do rgo. A SNAS, um ambiente politizado, possui uma equipe que
no prioriza os mtodos de avaliao; a as barreiras ao aproveitamento das pesquisas
se relacionam com uma escala de valores em que o sistema de informaes visto,
fundamentalmente, como instrumento para assegurar o exerccio dos direitos de
cidadania, bem como para concretizar o controle da comunidade sobre os servios sociais.
Confinamos nossas observaes a estas duas Secretarias do MDS, mas provvel
que o mesmo esquema de anlise seja aplicvel s demais. Por certo, ele se aplica
prpria SAGI, que possui tambm sua cultura especfica: um rgo que se destaca
pela orientao acadmica e pelo compromisso com a gesto de informaes sociais
(notadamente no que se refere a avaliaes de polticas). A criao da SAGI repre-

Sntese das Pesquisas de Avaliao de Programas Sociais do MDS

Caderno de Estudos 13 ALTERADO E REVISADO 1705.indd 231

231

12/06/2012 16:05:47

sentou, como j indicamos, uma iniciativa pioneira um rgo com o mesmo status
hierrquico das secretarias finalsticas do MDS. Essa condio valoriza o seu papel aos
olhos da equipe tcnica que a compe; pode ser mesmo um fator de coeso interna.
E mais, fortalece sua posio diante das demais secretarias, com as quais deve manter
interlocuo regular.
Passando agora ao problema da disseminao e aproveitamento dos trabalhos de
avaliao, a coexistncia de culturas diversas dentro do Ministrio tem colocado para
a SAGI o desafio de se encaixar nesse cenrio complexo para cumprir seus objetivos
estratgicos. O que ela fez para tal e como o fez?
Quanto a isso, h vrios aspectos a considerar. Podemos comear pela questo dos
usurios da informao produzida. Ou, dizendo de outra forma, pela questo da
clientela a ser atendida.
Quais eram os clientes internos? Eram, em princpio, as secretarias-fim do MDS, que
careciam de dados para implantar e aprimorar seus programas. Mas, raciocinando em
plano mais concreto, podem-se incluir nessa categoria todos os destinatrios diretos
e indiretos que arrolamos em trecho anterior deste artigo. Ou seja, os mltiplos
stakeholders da povoada rea social.
Assim, uma tarefa primordial era obter uma viso razoavelmente ntida dos seus
clientes, ou seja, daqueles a quem os seus estudos deveriam servir, identificando
suas necessidades e demandas. Era de fato um desafio, pois, se a SAGI estava a se
organizar institucionalmente, o mesmo acontecia com seus clientes internos. Ningum tinha uma agenda consistente de propostas de avaliao. Na verdade, no havia
sequer clareza sobre o que significava avaliao. Por isso, uma iniciativa preliminar da
equipe foi elaborar o seu marco conceitual abrangendo as definies de avaliao,
de monitoramento e das diversas modalidades de pesquisa sobre polticas pblicas
para orientar a gesto de informaes no MDS. (VAITSMAN, RODRIGUES e
PAES-SOUSA, 2006, p. 21-25).
A elaborao do marco conceitual serviu para estabelecer as diferentes modalidades
de pesquisa que fariam parte da agenda de avaliao. O leque do que se produziu ao
longo do tempo efetivamente diversificado: levantamentos censitrios, estudos de
monitoramento, pesquisas de avaliao de impacto de programas ou servios, pesquisas de avaliao da implementao dos mesmos, pesquisas de opinio de usurios,
pesquisas de opinio do pblico em geral, e outras mais. So tipos de estudos que
respondem a distintas necessidades, algumas pontuais e imediatas, outras de longo
alcance e sentido estratgico.
Tamanha variedade foi possvel porque as pesquisas so quase sempre contratadas;
no so feitas diretamente pela SAGI. Executar essa tarefa no seria vivel, em face

232

Caderno de Estudos 13 ALTERADO E REVISADO 1705.indd 232

Cadernos de Estudos - Desenvolvimento Social em Debate

12/06/2012 16:05:47

dos limites de sua capacidade de ao e do escopo dos objetivos a alcanar. Alm disso,
houve vantagens evidentes nessa opo:
Como contratante de estudos, obteve-se pelo menos trs tipos de ganho: de escala,
tendo sido possvel contratar um grande nmero de pesquisas em tempo relativamente
curto; de diversidade, pois se definiu como estratgia de avaliao a contratao de
estudos de diferentes tipos, desenhos, abordagens e mtodos; de qualidade, uma vez
que foi possvel selecionar as instituies mais adequadas para a realizao de cada tipo
de estudo. (VAITSMAN, RODRIGUES e PAES-SOUSA, 2006, p. 43).

Numa viso sinttica, os projetos coordenados pela SAGI miram dois grandes alvos:
por um lado, os resultados das polticas e programas e, por outro, a gesto ou o funcionamento dos programas, que pode inclusive afetar os resultados.
Ambos os alvos podem ser atingidos por estudos de caso e por estudos comparativos
(entre tempos ou entre espaos distintos). Anlises de impacto de programas se fazem
mediante comparao temporal, identificando a situao antes e depois da execuo
do programa. A tcnica do painel a modalidade clssica para essa finalidade, e foi
empregada no principal projeto de avaliao do Programa Bolsa Famlia, que j conta
com duas rodadas de levantamento de campo. Outra vertente de anlise comparativa
se refere comparao entre regies, que bem importante no caso do Brasil e de
outros pases internamente heterogneos.
Ao lado disso, ainda no terreno dos tipos de pesquisas de avaliaes, deve-se mencionar
a questo da escala das pesquisas, principalmente no tocante ao seu efeito institucional.
Nesse ponto, observa-se certa diferena de abordagem entre os setores do Ministrio
com relao natureza das pesquisas que devem ser feitas. E isso se patenteou claramente nos anos iniciais. Os tcnicos que implantavam o Programa Bolsa Famlia
esperavam contar com estudos rpidos (rapid assessment), de cunho instrumental. O
mesmo esperavam os tcnicos da assistncia social, com referncia sua respectiva
rea. Para a SAGI, isso era importante, mas no era tudo. Estudos mais robustos, com
slido embasamento acadmico, seriam tambm essenciais.
De fato, ambas as modalidades tm relevncia, mas servem a prioridades diferentes.
Ao longo do tempo, a percepo dos tcnicos sobre os vrios tipos de avaliao ganhou
maior amplitude. o que se evidenciou na SENARC, pelo reconhecimento crescente
do papel que pesquisas de maior escopo podem exercer na sustentao do Programa
Bolsa Famlia. Contudo, sua preferncia por estudos rpidos e prticos permanece. E
no por acaso: tais estudos so especialmente teis para os gestores porque lhes oferecem dados para intervir imediatamente no funcionamento de um servio ou programa,
permitindo correes oportunas e eficazes. Na prtica, esses trabalhos preenchem
lacunas resultantes da precariedade ou inexistncia de sistemas de monitoramento.

Sntese das Pesquisas de Avaliao de Programas Sociais do MDS

Caderno de Estudos 13 ALTERADO E REVISADO 1705.indd 233

233

12/06/2012 16:05:47

Pesquisas de maior escala (notadamente as avaliaes de impacto) talvez tenham

menor efeito interno, porque costumam ser demoradas. No entanto, essas pesquisas
que do elementos para repercusso externa, fortalecendo as polticas sociais. O
fortalecimento se d em vrios nveis:
a) pela legitimao acadmica proporcionada por estudos que utilizam os dados
de impacto, os quais repercutem na opinio pblica e no meio poltico, inclusive
no prprio governo;
b) pela sustentao ou proteo dos programas, ancorada em informaes slidas,
diante das auditorias e fiscalizaes oficiais;
c) pela demonstrao dos resultados dos programas e servios sociais, de modo a
justificar a sua continuidade e mesmo sua expanso na disputa pelas respectivas
dotaes oramentrias nos planos plurianuais.
De todo modo, elas no deixam de produzir efeito na dinmica interna, ao repercutirem de modo favorvel sobre a moral das equipes tcnicas e na medida em que
confirmam empiricamente as intuies dos gestores.
A breve referncia que fizemos ao tempo demandado para realizao dos estudos de
impacto, com reflexos no grau de aproveitamento de seus resultados, conduz nossa
anlise para o problema do timing e fluxo das pesquisas em face da implementao dos
programas sociais. Esta afetada por temporalidades diversas, inescapveis e difceis
de conciliar. H o tempo tcnico, o tempo administrativo e o tempo poltico.
O tempo tcnico, no caso, o da durao das pesquisas, que, sendo diferentes em
finalidade e abrangncia, demandam prazos tambm diferentes para serem realizadas
e concludas. O tempo administrativo o que transcorre nos processos burocrticos e
gerenciais que viabilizam a efetivao dos estudos. E o tempo poltico o da deciso
governamental sobre polticas, programas e servios, assim como sobre os meios de
concretiz-los.
O tempo administrativo se impe, por exemplo, atravs das regras de licitao e contratao, que envolvem prazos e requisitos legais nem sempre ajustveis s urgncias
dos gestores de polticas pblicas. Mas, mesmo fora da esfera legal, obstculos de
ordem gerencial podem afetar a realizao de pesquisas (e assim a sua apropriao).
O tempo tcnico, por sua vez, no unvoco. Temos o tempo dos pesquisadores,
mas tambm o dos gestores que vo eventualmente utilizar os seus dados. E aqui,
sem dvida, h lacunas e distncias entre os dois segmentos.
Como equacionar esses tempos dspares? O controle sobre o tempo poltico no
factvel. Seria desejvel que as autoridades governamentais atendessem o quanto poss-

234

Caderno de Estudos 13 ALTERADO E REVISADO 1705.indd 234

Cadernos de Estudos - Desenvolvimento Social em Debate

12/06/2012 16:05:47

vel racionalidade tcnica, mas isso no significa preconizar um modelo tecnocrtico

de gesto, que seria funesto nos marcos da democracia. O que se deve procurar um
bom assessoramento tcnico aos responsveis pela deciso poltica.
A margem de controle sobre o tempo administrativo limitada, pois as normas legais
so rgidas, mas a dinmica gerencial sempre pode ser melhorada. Exemplo dessa
possibilidade dado pelos notveis esforos que o MDS, por meio da SENARC,
realizou para reconstruir e aperfeioar o Cadastro nico.
E quanto ao tempo tcnico? Aqui, sim, h espao para avanar. Um objetivo estratgico, para esse avano, seria firmar uma relao bem prxima entre o rgo encarregado da avaliao (no caso, a SAGI), o rgo que cuida do programa avaliado e as
instituies de pesquisa contratadas para coleta e anlise dos dados. A colaborao
entre os trs lados deve se processar em todas as etapas: no desenho da pesquisa, no
trabalho de campo, na anlise e na disseminao dos resultados.
Convm, ainda, acrescentar um comentrio de cunho mais geral no tocante agenda
de pesquisas: o envolvimento das partes diretamente interessadas constitui aspecto
importante para o sucesso do trabalho. Se a relao entre o rgo de avaliao e as
instituies de pesquisa deve ser prxima, no negligenciemos os outros stakeholders.
Por certo, cada pesquisa tem seu escopo, mas, se tratamos aqui de estudos sobre programas sociais, o envolvimento de atores sociais de vrios tipos pode fazer diferena
em muitas situaes.
Exemplo notvel nesse sentido pode ser extrado da prpria trajetria da SAGI: o Primeiro Censo e Pesquisa Nacional sobre a Populao em Situao de Rua (CUNHA,
RODRIGUES, 2009). A pesquisa foi realizada por um instituto de pesquisa de opinio,
mas em estreito contacto com o MDS e contando ainda com outros colaboradores
estratgicos, notadamente ex-moradores de rua. Tal sinergia foi muito importante para
superar os obstculos tcnicos e logsticos inerentes investigao de um segmento
mvel e fugidio como esse. Claro que representou uma experincia muito particular,
mas, exatamente pela extrema dificuldade desse projeto, a conduo compartilhada
se revelou elemento-chave para o bom trabalho desempenhado.
Concluso
Este artigo fez uma apresentao da problemtica da avaliao de programas sociais,
com destaque para seus aspectos contextuais e institucionais. Em seguida, analisou a
experincia da SAGI, iniciativa relevante de construo de um sistema de avaliaes
e informaes sociais. O exame dessa experincia permitiu evidenciar certas questes relativas ao aproveitamento das avaliaes nas polticas sociais que haviam sido
indicadas na primeira parte do texto.

Sntese das Pesquisas de Avaliao de Programas Sociais do MDS

Caderno de Estudos 13 ALTERADO E REVISADO 1705.indd 235

235

12/06/2012 16:05:47

Ao concluir, devemos salientar a relevncia do tema. Ele se situa na perspectiva de

consolidao de um projeto estratgico (o de uma secretaria de avaliao e gesto da
informao no MDS) ao longo do tempo. Esse processo caminha paralelamente s
trajetrias das outras secretarias e departamentos, que tambm vo se consolidando
e superando urgncias, com a possibilidade de se abrirem mais interlocuo e aos
dados de avaliao.
A realizao de estudos de avaliao, e, de modo geral, a construo de bons dados
mediante pesquisas de vrios tipos, devem ser vistas como elementos de afirmao
das polticas sociais. Se, num primeiro momento, houve estranhamento ou receio
de avaliaes por parte dos gestores, a experincia tem mostrado que as pesquisas
constituem recursos valiosos para o fortalecimento dos programas sociais e para a
eventual correo de problemas.
Referncias bibliogrficas
CARNEIRO, Carla Bronzo Ladeira (2004). Interveno com foco nos resultados: elementos
para o desenho e avaliao de projetos sociais. In CARNEIRO, Carla Bronzo Ladeira e
COSTA, Bruno Lazzarotti Diniz (org.). Gesto social: o que h de novo? Belo
Horizonte: Fundao Joo Pinheiro.
CHELIMSKY, Eleanor (2009). Integrating evaluation units into the political environment
of government: the role of evaluation policy. New directions for evaluation, 123. Wiley
InterScience (www.interscience.wiley.com)
COSTA, Bruno Lazarotti Diniz (2007). A avaliao nas polticas de assistncia social:
desafios para sua consolidao e para sua relevncia. In FAHEL, Murilo e NEVES, Jorge
Alexandre Barbosa (org.). Gesto e avaliao de polticas sociais no Brasil. Belo
Horizonte: Editora PUC Minas.
CUNHA, Jnia Valeria Quiroga da e RODRIGUES, Monica, org. (2009). Rua:
aprendendo a contar Pesquisa Nacional sobre a Populao em Situao
de Rua. Braslia: MDS.
GAETANI, Francisco (1997). Gesto e avaliao de polticas e programas sociais:
subsdios para discusso. Belo Horizonte: Fundao Joo Pinheiro, Escola de Governo
de Minas Gerais. Cadernos de Textos, 3.
MDS SNAS/Secretaria Nacional de Assistncia Social (2005). Poltica Nacional
de Assistncia Social PNAS/2004 e Norma Operacional Bsica NOB/
SUAS. Braslia: MDS.

236

Caderno de Estudos 13 ALTERADO E REVISADO 1705.indd 236

Cadernos de Estudos - Desenvolvimento Social em Debate

12/06/2012 16:05:47

ROSSI, Peter; FREEMAN, Howard e LIPSEY, Mark (1999). Evaluation: a systematic approach. Thousand Oaks: SAGE Publications. 6 edio.
SALLES, Fernanda Cimini (2010). O campo da cooperao internacional para
o desenvolvimento e o papel do Banco Mundial. Dissertao (mestrado) em
Relaes Internacionais. Belo Horizonte: PUC Minas.
STEPHANOU, Michelle C. (2005). Anlise comparativa das metodologias de avaliao
das agncias de fomento internacionais BID e BIRD em financiamentos de projetos sociais no
Brasil. Civitas (Revista de Cincias Sociais), Porto Alegre, 5 (1).
VAITSMAN, Jeni; RODRIGUES, Roberto W. S. e PAES-SOUSA, Rmulo (2006).
O sistema de avaliao e monitoramento das polticas e programas sociais:
a experincia do Ministrio do Desenvolvimento Social e Combate Fome
do Brasil. Braslia: UNESCO.
WEISS, Carol H. (1998). Evaluation: methods for studying programs and policies. Upper Saddle River: Prentice Hall. 2a edio.

Sntese das Pesquisas de Avaliao de Programas Sociais do MDS

Caderno de Estudos 13 ALTERADO E REVISADO 1705.indd 237

237

12/06/2012 16:05:47