ARTIGO Avanando na eficincia de polticas pblicas: a avaliao de programas governamentais nos Estados Unidos

Moving forward in the public policies efficiency: the evaluation of governmental programs in the US

Mrcio Fernandes PEREIRA1

Resumo: O objetivo do artigo realizar uma reviso conceitual da tradio de avaliao de programas governamentais estadunidense. Ser dada nfase aos modos de utilizao das diferentes tcnicas avaliativas para a verificao dos graus de eficincia dos programas implementados. Inicialmente, ser feita uma descrio histrica do desenvolvimento da tradio avaliativa nos Estados Unidos. A segunda seo est devotada aos aspectos conceituais relativos avaliao de programas. A terceira seo caracteriza o Modelo Lgico e de Teoria do Programa, estruturas analticas de auxlio atividade avaliativa. A quarta seo apresenta distintos atores sociais que podem relacionar-se ao longo da existncia de um programa. Finalmente, o trabalho concludo com a indicao dos limites que envolvem o uso das estratgias avaliativas em programas governamentais. Palavras chave: Poltica. Polticas pblicas. Avaliao de programas. Abstract: This article aims to realize a conceptual revision about the tradition of the governmental programs evaluation in the United States. Emphasis will be placed on the ways of use the different evaluative techniques for the verification of degrees of efficiency of the implemented programs. Initially, will be presented a historical description about the development of the evaluative tradition in the United States. The second part is devoted to the conceptual issues related to program evaluations. The third section characterizes the Logical Model and the Program Theory, analytical frameworks to assist the evaluation activity. The fourth part presents different social actors who can interact during a program existence. Finally, the work is concluded with the indication of the limits that involve the use of evaluative strategies in governmental programs. Keywords: Policy. Public policies. Program evaluation.

Graduado em Cincia Poltica pela Universidade de Braslia (UnB) e Mestre em Histria Econmica Contempornea (com especializao em Relaes Internacionais) no mbito da Universidade de Coimbra (UC). Pesquisador visitante na Universidade de Salamanca, Espanha. E-mail: <marciofernandes_p@yahoo.com.br>.
1

72
Argumentum, Vitria (ES), v. 4, n.1, p. 72-90, jan./jun. 2012

Mrcio Fernandes PEREIRA

Introduo A avaliao formal de programas governamentais uma atividade relativamente recente. Os acontecimentos mais significativos para o seu desenvolvimento no so anteriores ao sculo XX. Por consequncia, no incomum observar entre gestores pblicos de pases como o Brasil certo desconhecimento quanto a processos sistemticos de mensurao da eficincia de aes governamentais. Em mbito nacional, a maior parte das tarefas de acompanhamento da gesto de programas tem se mantido sob a responsabilidade dos tribunais de contas ou de controladorias instaladas em mbito estadual ou federal, voltadas essencialmente para a fiscalizao legal, contbil e oramentria das aes governamentais. Nestas atividades, a preocupao relativa ao nvel de satisfao da populao atendida assim como a definio de diferentes graus de sucesso das aes dos governos fica secundarizada em funo das responsabilidades constitucionais que tais rgos detm. Em adio, a tradio avaliativa ainda no encontrou espao suficientemente adequado em ministrios voltados gesto de polticas pblicas de maior impacto social. Este quadro geralmente aponta para a ineficincia na gesto de programas, o desperdcio de recursos, a demora na execuo de etapas previstas e mesmo para o desconhecimento do grau mais preciso de sucesso do programa que esta a ser gerenciado.

O objetivo deste artigo realizar uma breve reviso conceitual da tradio estadunidense de avaliao de programas governamentais. Para tanto, a experincia avaliativa ser analisada por meio de um conjunto de trabalhos que, em nossa viso, so capazes de delinear o quadro geral da prtica avaliativa nos Estados Unidos, pas onde tal prtica adquiriu elevados nveis de reconhecimento institucional. Assim, o texto se voltar exposio dos princpios avaliativos formulados nos estudos de Carol Weiss (1998) e de Worthen, Sanders e Fitzpatrick (2004). Como contribuio produo daqueles autores, tambm ser levada em considerao a obra das pesquisadoras brasileiras Magdala Raupp e Adriana Reichle (2003). O artigo est dividido em quatro sees. Inicialmente, ser feita uma breve descrio do processo histrico que envolveu o desenvolvimento da tradio avaliativa nos Estados Unidos, dando-se ateno s influncias do Mtodo ZOPP neste processo. Em seguida, ser dada ateno aos aspectos tericos e conceituais relativos atividade de avaliao de programas. A terceira seo, por sua vez, est destinada descrio da ideia de Modelo Lgico e de Teoria do Programa, estruturas analticas que auxiliam na identificao das cadeias de causalidade que relacionam as aes dos programas com os objetivos que se deseja alcanar. A quarta seo apresenta uma relao de importantes atores sociais que geralmente interagem entre si ao longo da existncia de um programa governamental. Por fim, as 73

Argumentum, Vitria (ES), v. 4, n.1, p. 72-90, jan./jun. 2012

Avanando na eficincia de polticas pblicas: a avaliao de programas governamentais

consideraes finais salientam os aspectos positivos referentes ao desenvolvimento da tradio avaliativa no setor pblico, alm de indicar limitaes desta ferramenta. 1 Histria da avaliao de programas nos Estados Unidos A avaliao formal de programas2 tem uma histria que se relaciona, em seus primeiros momentos, s polticas de educao implementadas em pases como o Reino Unido e os Estados Unidos. Neste sentido, os sistemas de inspees gerais das escolas inglesas do sculo XIX poderiam ser considerados processos precursores da moderna avaliao. Resultantes de crescentes insatisfaes relacionadas aos programas
Nesta etapa, interessante definir sucintamente o significado da expresso programas para que se compreenda o que se quer dizer quando o termo for usado ao longo deste tpico. No mbito da tradio avaliativa estadunidense, os programas podem ser entendidos como um conjunto de elementos organizacionais que, atuando em conjunto, voltar-se-iam para o alcance de metas estabelecidas pelo Governo em relao a uma dada rea de sua atuao. Como indicado ao longo de nossa introduo, tais elementos estariam representados, operacionalmente, sob a forma dos recursos, do pessoal gestor e da prpria estrutura administrativa necessria s atividades do programa. Por consequncia, a avaliao se relacionaria anlise das operaes e/ou dos resultados de um programa ou poltica, definindo-se critrios de sucesso ou fracasso como meio de contribuir para o aprimoramento da ao governamental. Nesta atividade, buscarse-ia manter o rigor investigativo valorizando-se a organizao conceitual, a clareza no desenvolvimento de hipteses explicativas e uma maior ateno quanto dinmica social que envolveria o programa. Cf. Weiss (1998).
2

educacionais daquele perodo, as aes de inspeo eram realizadas por meio de comisses governamentais que ouviam depoimentos e utilizavam mtodos informais para verificar a qualidade de ensino (WATCHTMAN, 1978). Tentativas de se estimar o desempenho de alunos com o objetivo de avaliar a qualidade do ensino tambm foram realizadas nos Estados Unidos ao longo do sculo XIX. Tal tendncia manteve-se nas primeiras dcadas do sculo XX, com o rpido surgimento de tcnicas de mensurao e de testes padronizados baseados nas normas dos programas de educao norte-americanos.
Durante este perodo, os educadores consideravam as mensuraes e a avaliao quase sinnimos, sendo esta ltima em geral vista como um teste final para avaliar o desempenho de um aluno e atribuir-lhe notas. Embora o conceito mais amplo de avaliao tal como o conhecemos hoje fosse embrionrio, instrumentos de mensurao teis para os avaliadores estavam proliferando rapidamente [...]. Publicadas formalmente, avaliaes de programas escolares ou currculos viriam a aparecer nos vinte anos seguintes. Uma exceo notvel foi o ambicioso Eight Year Study, que marcou poca ao apresentar um novo modelo de avaliao educacional com sua metodologia sofisticada e sua ligao entre as medidas dos resultados e os resultados desejados da aprendizagem. (WORTHEN; SANDERS; FITZPATRICK, 2004, p. 63).

O projeto avaliativo ligado ao Eight Year Study, implementado a partir de 1933, voltou-se para o acompanhamento dos resultados do programa em diferentes escolas de nvel mdio (WEISS, 1998). Como resultado do New Deal, este perodo tambm foi marcado pelo 74

Argumentum, Vitria (ES), v. 4, n.1, p. 72-90, jan./jun. 2012

Mrcio Fernandes PEREIRA

surgimento de unidades de pesquisa diretamente ligadas a programas implementados pelo governo estadunidense, fomentando a prtica da pesquisa social no mbito dos rgos pblicos daquele pas. O conjunto destes programas exigiu estratgias de superviso voltadas para reas alm da educao. Foram criados rgos governamentais para acompanhar programas nacionais de assistncia social, previdncia, sade, gerao de emprego, desenvolvimento urbano. O perodo entre as dcadas de 1940 e 1960, nos Estados Unidos, foi caracterizado pela expanso da pesquisa social voltada superviso de programas. So deste perodo as primeiras referncias a tais trabalhos como pesquisas de avaliao, reconhecidas como atividades de investigao voltadas melhoria de programas governamentais (ROSSI & FREEMAN, 1993). Porm, tais procedimentos ainda se baseavam em metodologias tradicionais no mbito da pesquisa social. O processo de construo de estratgias avaliativas preocupadas com metas explcitas e mensurveis iria desenvolver-se no decorrer das dcadas seguintes. A definio mais consistente da rea que hoje se reconhece como avaliao de programas foi desenvolvida ao longo das dcadas de 1960 e 1970. Neste perodo, tiveram papel fundamental para tal processo o planejamento da Great Society3 e, mais especificamente, a
Great Society foi o nome dado a um conjunto de medidas anunciadas em 1964, durante a presidncia de Lyndon Johnson (1963-1969), e que objetivava expandir oportunidades de
3

aprovao da Lei do Ensino Fundamental e Mdio (LEFM) de 19654. Diante da necessidade de especialistas em avaliao, o Congresso americano teria aprovado, no final da dcada de 1960, um importante volume de recursos para avaliaes de programas em diferentes setores. Profissionais de reas ligadas auditoria, gesto administrativa e planejamento foram procurados. Paralelamente, iniciou-se a publicao regular de trabalhos tericos e metodolgicos ligados avaliao de programas. O governo federal estimulou o surgimento de programas de psgraduao na rea de avaliao5 e
emprego e garantir o crescimento em diferentes setores da economia norte-americana, canalizando recursos para programas em reas como educao, habitao, gerao de emprego e sade. 4 A LEFM previa grandes volumes de financiamento federal para o setor educacional. Tal aporte gerou amplas discusses no Congresso americano, que condicionou sua aprovao previso de um igualmente extenso processo avaliativo do projeto. Desta forma, todos os beneficirios do programa teriam que responder a questionrios destinados a aferir os resultados dos novos gastos federais. No entanto, a falta de pessoal preparado para executar estas atividades teria se refletido nos pssimos resultados indicados pelo estudo. A concepo tradicional da pesquisa experimental estaria aqum das complexidades do programa. Havia grande dificuldade em identificar as influncias que poderiam ser atribudas aos diferentes componentes da LEFM, bem como separar os efeitos do programa daqueles relacionados a outras atividades realizadas nas escolas. A partir desta experincia, havia ficado clara a necessidade de se construir novas abordagens, estratgias e mtodos de avaliao (WORTHEN; SANDERS; FITZPATRICK, 2004). 5 Segundo Worthen, Sanders e Fitzpatrick (2004, p. 80), em 1971, mais de 100 universidades norte-

75
Argumentum, Vitria (ES), v. 4, n.1, p. 72-90, jan./jun. 2012

Avanando na eficincia de polticas pblicas: a avaliao de programas governamentais

distintos modelos avaliativos foram desenvolvidos. Aos finais da dcada de 1960, como resultado das experincias adquiridas na gesto de aes dentro do pas e do fomento a aes de cooperao exterior, seria desenvolvida a abordagem de Marco Lgico (Logical Framework ou, simplesmente, logFRAME) no mbito da Agncia Estadunidense para o Desenvolvimento Internacional (USAID). Fazendo parte de uma noo geral que j tomava forma na gesto de programas nos Estados Unidos, a abordagem de logFRAME buscava representar as aes programticas sob a forma de matrizessntese em que as diferentes etapas da interveno eram correlacionadas com atividades intermedirias a serem executadas para a realizao da meta final, bem como com os impactos esperados pelo projeto (WORLD BANK, 1996). A abordagem dos logFRAME acabaria por influenciar outra tradio avaliativa, a alem, tambm em formao. Em princpios da dcada de 1980, baseandose nas noes de Marco Lgico, a Sociedade Alem de Cooperao Tcnica (GTZ) desenvolveria em parceria com o Ministrio alemo de Cooperao para o Desenvolvimento Econmico aspectos prprios de seu mtodo de Planejamento de Projetos Orientado por Objetivos (Zielorientierte Projektplanung, de sigla
americanas possuam programas de psgraduao voltados para a qualificao de avaliadores. Todavia, tal nmero manteve uma tendncia decrescente ao longo do tempo: em 1986, tais cursos restringiam-se a 44 universidades dos Estados Unidos e, em 1993, o nmero se reduziu para 38.

ZOPP). O valor do mtodo ZOPP estaria relacionado sua capacidade em adicionar s matrizes de tipo logFRAME diagramas que expusessem os problemas a serem atacados, relacionando-os a objetivos e a possveis atores sociais envolvidos em sua dinmica de implementao e funcionamento (BROSE, 1993). Considerando no apenas a etapa de gerenciamento do programa, mas tambm as fases de desenho e de implementao do projeto, o mtodo ZOPP rapidamente tomaria a forma de uma estratgia participativa e interdisciplinar para o desenvolvimento de programas, levando em conta a viso de distintos pblicos e a realizao de aes por meio de equipes. Ao longo das dcadas seguintes, o ZOPP faria o caminho de volta, influenciando no apenas o processo de desenho e de avaliao de programas nos Estados Unidos, mas tambm aqueles executados em distintas agncias internacionais e pases em desenvolvimento. Assim, da relao entre os logFRAME e os mtodos orientados por objetivos, derivariam os desenhos de Teoria do Programa e os Modelos Lgicos mais recentemente utilizados nas atividades avaliativas. Atualmente, a avaliao de programas ainda um campo em formao que se relaciona com diferentes disciplinas daquilo que se convencionou chamar de Humanidades. Por envolver processos ligados a estudos de estrutura organizacional e gerencial, por vezes relaciona-se com disciplinas como a administrao. Por outro lado, ao se preocupar com aspectos ligados ao melhor uso possvel de recursos 76

Argumentum, Vitria (ES), v. 4, n.1, p. 72-90, jan./jun. 2012

Mrcio Fernandes PEREIRA

escassos, e por envolver a corriqueira interveno do setor pblico sobre mercados e processos produtivos, a avaliao no deixa de interagir com a economia. Por muitas vezes abarcar a anlise de programas ligados a fenmenos sociais profundos, como a criminalidade, a estabilidade e funo dos arranjos familiares e o emprego, tal campo tem se relacionado constantemente com a sociologia e a antropologia. Seu contato com a cincia poltica no seria menos comum, uma vez que o estudo de programas governamentais vincula-se a importantes ncleos de poder, podendo muitas vezes afetar distintos interesses. 2 Aspectos tericos da avaliao de programas 2.1 Conceito de avaliao, seus objetivos e definio de programa O desenvolvimento de prticas avaliativas nos Estados Unidos deu origem a uma srie de conceitos com relao natureza dos programas e de suas partes constituintes. Seguindo tal tradio avaliativa, Weiss (1998) conceitua a avaliao como uma anlise sistemtica da operao e/ou dos resultados do programa, comparados a um conjunto de critrios explcitos ou implcitos. Seu objetivo seria contribuir para o aprimoramento do programa ou poltica. Tal anlise poderia voltar-se ao entendimento do modo como o programa tem sido conduzido, verificando-se, por exemplo, a correta aplicao de recursos ou o alcance de metas intermedirias. Neste sentido, a

avaliao se voltaria aos aspectos de processo que envolvem os programas. De outro modo, a avaliao poderia estar preocupada com os resultados finais e os efeitos do programa sobre seus beneficirios. Desta forma, o foco da anlise estaria relacionado aos resultados da interveno governamental. O julgamento do mrito ou do valor de um programa depende da definio de critrios operacionais previamente estabelecidos. Estes critrios podem ser originrios das prprias expectativas dos gestores do programa, ao definirem oficialmente metas a serem atingidas. Tais critrios seriam, por conseqncia, explcitos. De outro modo, no incomum a ausncia de definies claras quanto aos fins esperados pela ao governamental. Neste caso, caberia ao avaliador buscar o maior conhecimento possvel sobre as atividades que envolvem o programa analisado. Este tipo de informao pode ser importante para a identificao de possveis critrios implcitos contidos na dinmica organizacional. Mesmo as metas oficiais podem ser alteradas ao longo do tempo em virtude dos aspectos prticos que envolvem a interveno dos agentes pblicos. De outra forma, podem ser identificados elementos de julgamento provenientes de setores no pertencentes equipe do programa. Como salientam as abordagens ZOPP, as expectativas de financiadores, tomadores de deciso ou mesmo da populao beneficiria podem acabar tornando-se critrios de avaliao. No h unanimidade quanto ao que os avaliadores pensam ser o objetivo 77

Argumentum, Vitria (ES), v. 4, n.1, p. 72-90, jan./jun. 2012

Avanando na eficincia de polticas pblicas: a avaliao de programas governamentais

intrnseco da avaliao. Para Weiss (1998), a atividade tem o objetivo de contribuir para o aprimoramento do programa ou, mais especificamente, colaborar para a melhoria de sua qualidade no que diz respeito capacidade de atingir as metas para as quais ele foi criado. Worthen; Sanders; Fitzpatrick (2004), por sua vez, buscam estabelecer distino entre aquilo que eles chamam de objetivo e papis da avaliao. Para eles, o objetivo bsico da avaliao seria produzir julgamentos de valor quanto aos programas a serem estudados. Tendo estabelecido suas consideraes a respeito do programa, a avaliao poderia ser utilizada para diversos fins (por exemplo, ajudar gestores a tomarem decises e definirem metas a serem atingidas, ou garantir a melhor alocao possvel de recursos de uma ao para outra). Esses seriam seus papis. Concordando com Scriven e Donaldson (2002), os autores salientam que "[...] a meta da avaliao dar respostas a perguntas avaliatrias significativas que so apresentadas, ao passo que os papis da avaliao se referem s maneiras pelas quais essas respostas so usadas" (WORTHEN SANDERS; FITZPATRICK, 2004, p. 39). A atividade de avaliao que Weiss (1998) se prope a apresentar tem como objeto principal os prprios programas. Porm, como a autora salienta, estes no so os nicos elementos passveis de estudo. Weiss faz distino entre poltica, programa, projetos e componentes, todos passveis de avaliao. Poltica (policy) seria a posio oficial de um governo quanto a um conjunto de objetivos a

serem perseguidos em uma rea especfica. Desta forma, faria sentido se falar em poltica ambiental, poltica de emprego ou poltica agrcola de um governo, tendo cada uma destas reas um conjunto especfico de programas. A despeito de no haver uma definio consensual quanto ao significado do termo programa, sua designao geralmente diz respeito a um conjunto de pessoas, organizaes e recursos mobilizados de maneira deliberada e contnua para alcanar um objetivo prdeterminado. Tambm comum dividirse as aes de um programa em dois elementos principais atividades e projetos. Os projetos seriam tarefas especficas dentro de um programa, com carter de investimento, planejadas para serem executadas com incio, meio e fim, no importando a sua abrangncia. As atividades seriam tarefas rotineiras dentro do programa, tendo apenas carter de manuteno do mesmo, sendo executadas de maneira contnua e regular (ROYSE, 1992). A tradio avaliativa alem reforou a noo de que os programas podem ser avaliados em suas distintas fases de existncia. Raupp e Reichle (2003) dividem-nos em quatro fases: diagnstico das necessidades, desenho (formulao), implantao e gerenciamento de atividades. A fase de diagnstico estaria ligada identificao dos problemas a serem resolvidos no mbito da dinmica social. A etapa de desenho seria aquela relacionada formulao do programa no que diz respeito sua estrutura organizacional, atividades e aes, bem como sua margem de atuao e 78

Argumentum, Vitria (ES), v. 4, n.1, p. 72-90, jan./jun. 2012

Mrcio Fernandes PEREIRA

recursos. A fase de implantao se relacionaria com a colocao em operao dos elementos organizados no decorrer da etapa do desenho. Por fim, o gerenciamento se vincularia ao processo de administrao do programa ao longo de sua existncia. Porm, um programa no necessariamente desenvolvido para ter incio, meio e fim. No incomum a existncia de programas de carter continuado, desenvolvidos sem a previso formal de seu trmino. Isso no significa que eles no possam passar por sucessivas modificaes. O fato que poucos programas so to bem feitos a ponto de no necessitarem de alteraes no decorrer de sua operao. Por outro lado, a extino de um programa governamental um processo difcil do ponto de vista poltico. Uma vez iniciados, os programas passam a ter vida prpria. Suas aes desenvolvem clientelas que usufruem dos servios do programa e que dificilmente teriam o interesse em v-lo desaparecer. A eliminao de certos programas, principalmente os de grande abrangncia, geralmente tem um alto custo poltico para os tomadores de deciso. Desta forma, alteraes na rbita dos programas podem ser mais comuns que extines, indicando os riscos de se ignorar a dinmica social em torno de um programa ao se tentar compreender a manuteno de aes aparentemente ineficientes. 2.2. Tipos de avaliao

Inicialmente formulada por Scriven (1967), a distino entre avaliaes formativa e somativa est relacionada s intenes do avaliador ao realizar o estudo. Neste aspecto, a avaliao formativa seria feita para disponibilizar informaes equipe gestora do programa, responsvel por aprimor-lo ou torn-lo mais eficiente. Este tipo de avaliao estaria ligado a decises quanto ao desenvolvimento do programa, como sua modificao ou reviso. De outro modo, a avaliao somativa seria realizada para oferecer aos tomadores de deciso julgamentos de valor ou mrito quanto existncia do programa. Tal avaliao estaria vinculada a decises sobre a continuao do programa, seu encerramento, sua ampliao ou adoo. Deve-se tomar cuidado para no se confundir avaliaes formativas ou somativas com avaliaes de processo ou de resultado. De fato, as avaliaes de processo examinam o que tem acontecido no decorrer da implantao e da operao do programa, enfatizando aspectos como envolvimento dos participantes, tarefas executadas, desempenho dos agentes estatais, etc. Avaliaes de resultado, por sua vez, focalizam os impactos da ao do programa sobre os beneficirios. Todavia, no se deve perder de vista que o carter formativo ou somativo relaciona-se s intenes do avaliador e natureza da deciso a ser tomada. De outra forma, "[...] processo e resultado no tm nada que ver com o papel do avaliador, mas antes se relacionam com a fase em 79

Argumentum, Vitria (ES), v. 4, n.1, p. 72-90, jan./jun. 2012

Avanando na eficincia de polticas pblicas: a avaliao de programas governamentais

que o programa est sendo estudado" (WEISS, 1998, p. 32, traduo nossa). As avaliaes formativas tendem a ser feitas nas fases iniciais da operao de um programa, enquanto que as avaliaes somativas so executadas em seus estgios finais. Mas tal observao no restritiva. Decises quanto continuidade ou encerramento do programa podem ser tomadas em suas

fases iniciais, diante de problemas inesperados, e exigncias de aprimoramento quanto a algum aspecto da interveno governamental podem ser necessrias nas suas ltimas etapas. Porm, como reconhecem Worthen Sanders; Fitzpatrick (2004), a tendncia para se realizar avaliaes formativas ou somativas muda ao longo da vida de um programa:

Figura 1 Relao entre a avaliao formativa e a somativa durante a vida de um programa

nfase relativa

Avaliao formativa

Avaliao somativa

Vida do programa
Fonte: Worthenet al.(2004, p. 49).

Outras distines podem ser feitas quanto tipologia dos estudos de avaliao. Raupp e Reichle (2003) fazem meno a mais duas atividades avaliativas: a avaliao diagnstica e o monitoramento. A avaliao diagnstica seria realizada antes do desenho de um programa. Seu objetivo seria identificar um possvel problema, indicando sua natureza e provveis causas, ajudando na formulao de um programa futuro. Tal avaliao representa a tentativa de se formular um programa de acordo com a dinmica social e poltica sobre a qual ele

atuaria. O monitoramento, por sua vez, seria uma atividade rotineira no mbito de funcionamento do programa. Sua execuo estaria voltada a verificar se tarefas planejadas foram realmente executadas. O monitoramento faria uso de registros administrativos para acompanhar a alocao de recursos humanos, materiais e financeiros, bem como para observar a correta obedincia ao cronograma previsto. 2.3. Desenhos avaliativos

80
Argumentum, Vitria (ES), v. 4, n.1, p. 72-90, jan./jun. 2012

Mrcio Fernandes PEREIRA

O desenho da avaliao designa o conjunto de procedimentos previamente definidos que sero utilizados para se verificar o mrito do programa. De certa forma, o desenho indica "[...] quais pessoas ou unidades sero estudadas e como elas sero selecionadas, quais tipos de comparaes sero feitas e o tempo de durao da investigao" (WEISS, 1998, p. 180, traduo nossa). Exigncias como definio de variveis, indicao da populao a ser estudada, perodo de realizao da pesquisa, intervalo temporal considerado, capacidade de extenso das concluses fazem parte do planejamento do desenho avaliativo. A lgica da avaliao est ligada a dois elementos: a) a comparao da situao dos participantes do programa antes e depois de receberem os benefcios da interveno, com o objetivo de verificar se houve diferena de ganhos com base em indicadores pr-definidos; b) a comparao dos participantes do programa com um grupo equivalente de pessoas que no participaram do programa, com o objetivo de verificar se os ganhos dos beneficirios excederam aqueles recebidos pelos no-beneficirios, em um dado perodo, com base em indicadores pr-definidos (WEISS, 1998). Quanto ao segundo aspecto, preferencialmente opta-se pela seleo de um grupo de controle. O grupo de controle seria selecionado dentro da mesma populao de origem dos participantes do programa, com a exceo da amostra ser composta por indivduos que no foram beneficirios da ao governamental. Para tanto,

pode-se fazer uso de tcnicas de amostragem aleatria a avaliao teria assim um carter experimental. Os grupos sofreriam as mesmas influncias externas, desenvolver-se-iam durante o mesmo intervalo de tempo e seriam submetidos aos mesmos testes. A diferena entre ambos se restringiria ao fato de um grupo ter sido exposto ao programa enquanto o outro, no. Porm, quando a seleo aleatria no possvel, opta-se por um processo de escolha dos no-participantes com base em critrios mais ou menos arbitrrios, buscando-se certa comparabilidade entre beneficirios e no-beneficirios. Neste caso, a avaliao seria denominada como quase-experimental. Nestas avaliaes, a busca por um grupo de comparao termo utilizado para designar grupos selecionados por procedimentos noaleatrios feita aps a definio dos critrios bsicos que compem o conjunto de participantes do programa. Os desenhos quase-experimentais possuem limitaes claras quanto possibilidade de generalizao de resultados. Sua funo servir de abordagem inicial de um aspecto do programa, dando contribuio limitada ao estudo de seu funcionamento e eficincia. A realizao de processos avaliativos com base em dois grupos comparveis nem sempre possvel. Quando isso acontece, pode-se optar por procedimentos que Weiss chama de desenhos de grupo nico (one-group designs). Neste tipo de desenho, apenas os participantes so considerados. Tais 81

Argumentum, Vitria (ES), v. 4, n.1, p. 72-90, jan./jun. 2012

Avanando na eficincia de polticas pblicas: a avaliao de programas governamentais

desenhos so divididos em duas categorias: somente depois (after only) e antes e depois (before and after). Abordagens somente depois so realizadas quando a avaliao executada depois do programa j ter sido implantado. Desta forma, a anlise feita por meio do auxlio de registros administrativos do programa, relatrios de monitoramento das tarefas realizadas, entrevistas com atores importantes para a execuo do programa. Pode-se tambm realizar a comparao da situao dos participantes inseridos posteriormente no programa com aqueles beneficirios mais antigos. Neste tipo de avaliao, a existncia de documentao ligada ao programa especialmente importante. As avaliaes antes e depois so caracterizadas pela presena do avaliador antes mesmo da implantao do programa, quando sequer existem registros administrativos de suas tarefas. A ideia seria acompanhar os beneficirios desde o momento em que eles entram no programa at a sua sada. Tal procedimento exige a considerao de limitaes. Enquanto o programa est em operao, uma srie de acontecimentos no diretamente vinculados e ele podem afetar a vida dos beneficirios. Uma dada situao social sempre produto de uma interao muito grande de variveis, cada uma delas mais ou menos importantes para o resultado final. Assim, cabe ao avaliador levar em conta o contexto sobre o qual o programa atuou. A utilidade destas avaliaes seria antes de tudo formativa, garantindo uma verificao preliminar quanto aos impactos de um programa.

Para fins somativos, procedimentos mais rigorosos de avaliao experimental devem ser considerados. Desenhos de grupo nico tambm poderiam ser elaborados com maior extenso temporal, buscando coletar dados muito antes e muito depois da finalizao dos programas, ou mesmo em diferentes etapas de seu gerenciamento. Tal orientao visa determinar a possibilidade de autosustentao do programa, sua capacidade de manuteno dos resultados benficos de suas aes ao longo do tempo, mesmo aps o fim de suas atividades. Estudos seriais tambm poderiam indicar se "medidas imediatamente antes e aps o programa so uma continuao de padres anteriores ou se elas marcam mudanas decisivas" (WEISS, 1998, p. 197, traduo nossa). Outros procedimentos poderiam ser utilizados para substituir a incapacidade de comparao dos desenhos de grupo nico. Pode-se, por exemplo, adotar abordagens de reao a doses (dose-response designs). Nelas, o avaliador compararia participantes que receberam grandes quantidades de bens ou servios prestados pelo programa com aqueles que receberam menores quantidades. O objetivo seria identificar se maiores quantidades do benefcio prestado gerariam melhores resultados quanto aos critrios definidos pelo programa. 3 Teoria do programa e modelo lgico A atividade avaliativa requer um conhecimento consistente quanto aos 82

Argumentum, Vitria (ES), v. 4, n.1, p. 72-90, jan./jun. 2012

Mrcio Fernandes PEREIRA

mecanismos e lgica de funcionamento do programa. Como visto, tal preocupao sempre esteve presente nos processos de desenvolvimento de tcnicas avaliativas, tomando formas amplamente reconhecidas por meio das abordagens logFRAME e ZOPP. Como um conjunto de recursos, pessoas e organizaes, os programas podem envolver relaes complexas, de difcil compreenso quanto a execuo e funcionamento. Para facilitar o entendimento da lgica que orienta as aes de um determinado programa, Weiss (1998) sugere o desenvolvimento das Teorias do Programa. Herdeira das abordagens logFRAME, a Teoria do Programa representa a conexo lgica referente aos impactos causados pela interveno sob anlise. Ela refletiria a percepo dos

formuladores, gestores e mesmo de outros interessados quanto ao conjunto e natureza das aes que, combinadas, gerariam um resultado desejado. A expectativa quanto a tal reao geralmente representada sob a forma de um diagrama de causalidade em que diferentes variveis influenciam umas s outras, gerando determinado resultado ao final da interao. Para facilitar seu entendimento, Weiss (1998) exemplifica a construo do diagrama com base em um programa hipottico de aumento salarial voltado a professores. De acordo com o exemplo, a justificativa para o aumento se relacionaria ao impacto de tal medida na melhoria do desempenho escolar dos alunos. A autora apresenta diferentes possibilidades quanto reao dos beneficirios diante do impacto do programa:

83
Argumentum, Vitria (ES), v. 4, n.1, p. 72-90, jan./jun. 2012

Avanando na eficincia de polticas pblicas: a avaliao de programas governamentais

Figura 2 Alguns mecanismos por meio dos quais a melhoria do desempenho escolar dos alunos pode ser ligada ao aumento de salrio dos professores

Aumento de salrio dos professores

Moral dos professores iaumenta

Clima em sala de aula melhora

Professores abandonam segundo emprego e dedicam toda sua energia ao ensino

Profissionais melhor preparados so atrados para a docncia

Professores dedicamse maisiao ensino e destinam mais iesforos s atividades iescolares

A relao entre professores e alunos melhora

Professores tm mais tempo para preparar as aulas

As escolas recebem professores melhores

Estudantes entendem mais facilmente o contedo das aulas

Estudantes buscam manter uma melhor relao com seus professores

Professores buscam empregar uma maior variedade de estratgias pedaggicas

Professores mais competentes ensinam melhor

Estudantes dedicam-se mais ao estudo

O ensino torna-se mais eficiente

Melhor desempenho escolar dos estudantes

Fonte: Weiss(1998, p. 56, traduo nossa).

A autora salienta que a Teoria do Programa no precisa necessariamente indicar impresses corretas quanto s relaes de causalidade. Como mencionado, ela reflete as percepes de gestores e formuladores com relao s respostas sociais diante dos estmulos gerados pelo programa. A Teoria do

Programa tem propsitos orientadores em relao verificao de falhas da teoria e falhas de implantao6. Assim, a Teoria
As falhas da teoria indicam as razes pelas quais um programa no obteve o sucesso esperado, pela no efetivao das expectativas de causa e efeito contidas na sua Teoria do Programa. As falhas de implantao, por sua vez, tambm indicam as razes de fracasso do programa,
6

84
Argumentum, Vitria (ES), v. 4, n.1, p. 72-90, jan./jun. 2012

Mrcio Fernandes PEREIRA

do Programa pode indicar a natureza da complexidade da interveno governamental, sugerir pontos de risco quanto ao alcance de resultados e orientar aes avaliativas. A Teoria do Programa pode ser auxiliada em sua funo pelo Modelo Lgico. O Modelo Lgico um diagrama que caracteriza o conjunto de atividades e resultados que pautam o programa no que diz respeito aos seus diferentes recursos. Trata-se de um modelo esquemtico claramente influenciado pela proposta ZOPP e que descreve os componentes essenciais do programa, indicando as suas conexes com os resultados esperados. O Modelo Lgico comumente caracterizado por quatro conjuntos de elementos: insumos, atividades, produtos e resultados. Os insumos dizem respeito aos recursos aplicados durante a realizao do programa. As atividades indicam aquilo que o programa realizaria ao fazer uso dos insumos, com o intuito de cumprir com seus objetivos. Os produtos representam os elementos finais, acabados, derivados da execuo das diversas atividades programticas. Os resultados, por sua vez, representam os benefcios ou mudanas gerados pelo programa, normalmente em funo da conjuno desta cadeia de elementos. O Modelo Lgico tambm pode levar em considerao o contexto social no qual se insere o programa. O diagrama de um

Modelo Lgico qualquer pode representado da seguinte maneira:

ser

apontando antes para os problemas ligados no realizao de atividades ou no execuo de recursos que, por algum motivo, no puderam ser acionados no tempo correto. Cf. Weiss (1998).

85
Argumentum, Vitria (ES), v. 4, n.1, p. 72-90, jan./jun. 2012

Avanando na eficincia de polticas pblicas: a avaliao de programas governamentais

Figura 3 Componentes de um Modelo Lgico Bsico

INSUMOS Investimentos ou recursos (ex.: tempo, pessoal, voluntrios, recursos financeiros, materiais). FATORES INFLUENCIADORES O ambiente no qual aplicado o programa (ex.: poltica, outras iniciativas, fatores socioeconmicos, rotatividade de pessoal, normas e condies sociais, histrico do programa, fase de desenvolvimento) e que pode afetar seu xito, positiva ou negativamente.

ATIVIDADES Eventos ou aes (ex.: workshops, desenvolvimento de plano de aulas, treinamento, marketing social, eventos especiais, defesa de direitos).

PRODUTOS Produtos diretos do programa (ex.: nmero de pessoas alcanadas ou sesses realizadas).

RESULTADOS INICIAIS Efeitos do programa a curto prazo (ex.: mudanas no grau de conhecimento, nas atitudes, habilidades, nvel de conscientizao .

RESULTADOS INTERMEDIRIOS Resultados a mdio prazo (ex.: mudanas comportamentais, normativas ou nas polticas).

OBJETIVO Misso ou finalidade do programa

RESULTADOS A LONGO PRAZO Impacto final (ex.: mudanas sociais ou ambientais)

Fonte: UnitedStates(2002, p. 17).

A relao entre a Teoria do Programa e o Modelo Lgico possibilita a identificao das atividades programticas que podem estar relacionadas a produtos ou a resultados especficos, valorizando a relao de causalidade entre eles. Desta maneira, os avanos progressivos do programa podem ser comparados s previses em relao aos diferentes impactos esperados pela interveno governamental. Porm, tambm este carter esquemtico, segundo alguns autores (GASPER, 1999), um elemento de

fraqueza destas abordagens. Anlises de longo prazo ou que envolvam a implantao simultnea de aes de mesmo desenho em regies de geografia e populao fortemente distintas geralmente acusam a fragilidade analtica de Teorias do Programa e de Modelos Lgicos. Usados de forma isolada, tais instrumentos podem sujeitar-se a uma notvel rigidez incapaz de captar todas as informaes derivadas da relao entre populaes beneficirias, ambiente e instrumentos 86

Argumentum, Vitria (ES), v. 4, n.1, p. 72-90, jan./jun. 2012

Mrcio Fernandes PEREIRA

programticos. Em adio, a forte dependncia s noes de matriz lgica to comum s abordagens logFRAME e ZOPP podem enviesar concluses e desconsiderar sutilezas que s podem ser percebidas mediante abordagens qualitativas de forte preocupao simblica. No se pode esquecer de que os ambientes sobre os quais atuam os programas governamentais tambm so espaos de interao social, de relaes de poder e de dinmica valorativa profunda nos quais tambm esto inseridos os avaliadores e seus instrumentos de anlise. 4 Atores envolvidos com o programa e dinmica social Pela prpria natureza de sua dinmica, os programas governamentais constituem sistemas polticos7 caracterizados pela interao de diferentes atores sociais. A correlao entre recursos e estruturas organizacionais, somadas a interesses particulares, faz dos programas um espao de interao entre distintas foras polticas (BEHRING & BOSCHETTI, 2006). Neste sentido, a literatura ligada
Por sistema poltico, entende-se "[...] qualquer conjunto de instituies, grupos ou processos polticos que tm certo grau de interdependncia recproca" (URBANI, 2000, p. 1163). O ponto originrio de sistema poltico seria a noo de que o homem est preso a uma multiplicidade de interaes, por meio das quais condiciona os demais e por eles condicionado, formando um complexo de relaes. Assim, qualquer agrupamento poderia ser analisado sob um duplo aspecto: como um conjunto de indivduos e como uma "rede de relaes". Para mais detalhes, Cf. Urbani (2000).
7

avaliao normalmente designa sob o termo de stakeholders os grupos de indivduos que, de alguma forma, so interessados ou afetados pelas aes de um programa ou pelos resultados de sua avaliao (WEISS, 1984; WORTHEN SANDERS; FITZPATRICK, 2004). O termo tambm inclui aquelas pessoas que formulam, implementam, gerenciam ou tomam decises quanto interveno governamental em questo. De modo operacional, os stakeholders podem ser divididos entre implementadores, parceiros, participantes e tomadores de deciso (UNITED STATES, 2002, p. 11). Os implementadores so aquelas pessoas envolvidas nas operaes do programa. Podem ser divididos entre formuladores quando fazem parte da equipe de criao do programa ou gestores quando integram a equipe de gesto do programa. Tal distino importante, pois nem sempre o grupo de pessoas responsvel pela criao do programa ir constituir a equipe designada para oper-lo. Os parceiros integram aqueles atores que apiam ativamente ou se interessam pelas aes realizadas pelo programa. Podem ser identificados sob a forma de rgos auxiliares sua execuo ou grupos organizados, de carter pblico ou privado, interessados em sua continuidade. Em contraponto aos parceiros, tambm no incomum a identificao de atores que se opem execuo do programa. Os participantes ou beneficirios , por sua vez, integram aquelas pessoas atendidas ou afetadas pelas aes 87

Argumentum, Vitria (ES), v. 4, n.1, p. 72-90, jan./jun. 2012

Avanando na eficincia de polticas pblicas: a avaliao de programas governamentais

avaliadas. Sua influncia sobre o funcionamento dos programas governamentais pode ser notvel e as percepes de tais grupos quanto natureza da interveno pode indicar aspectos avaliativos importantes. Por fim, os tomadores de deciso, como a designao indica, compem aqueles que tm poder para tomar decises quanto continuidade, alterao ou ampliao do programa. Geralmente, so compostos por autoridades polticas ou administrativas de destaque. interessante notar que tal classificao estabelece uma distino entre tomadores de deciso e implementadores. De fato, nem sempre tais funes esto integradas na rbita de um mesmo grupo, fazendo com que, muitas vezes, aqueles responsveis pelo gerenciamento do programa tenham pouca liberdade quanto a alteraes formais em sua lgica de funcionamento. Mais uma vez, a diversidade de atores sociais envolvidos nas atividades de execuo de um programa atenta para a necessria ateno dinmica social relativa s aes governamentais. Consideraes finais A ausncia de estratgias avaliativas nas etapas de formulao e de gerenciamento de programas acaba por contribuir para a implementao de aes governamentais carentes de uma clara conscincia quanto ao grau de sucesso das medidas adotadas. O resultado o estmulo formao de programas incrementais, que sofrem sucessivas alteraes improvisadas ao longo de sua existncia, tornando-os

estruturas cada vez mais complexas e custosas. Ao longo deste processo, o programa exige maiores gastos, sendo incapacitado de atingir o seu mximo potencial. Procedimentos incrementais tendem a prolongar medidas que deveriam ter curta durao, a atrasar obras que antes possuam prazo certo e a aumentar previses oramentrias para a execuo de empreendimentos. Tais problemas no constituem novidade no Brasil e a falta de eficincia na gesto de polticas pblicas elemento importante para a compreenso desta dificuldade em avanar na capacidade de cumprimento de metas. A despeito das crticas que se possa fazer s tcnicas de avaliao internacionalmente utilizadas, o fortalecimento da tradio avaliativa no pas certamente contribuiria para um aumento na capacidade governamental de corrigir erros e alcanar objetivos. De qualquer modo, deve-se salientar o contexto social em relao ao qual as avaliaes tendem a ser feitas e, assim, no se esperar mais do que aquilo que elas podem oferecer ao gestor de polticas pblicas. Um elemento que no pode ser desconsiderado nos estudos de avaliao diz respeito ao fato das avaliaes de programas desenvolverem-se em um contexto poltico. Decises decorrentes do exerccio poltico podem no coincidir com uma anlise mais formal de custobenefcio. Polticos profissionais podem, por exemplo, estar interessados principalmente em programas que beneficiem grupos eleitorais especficos, capazes de apoi-los ao longo dos diferentes ciclos eletivos. Desta forma, o 88

Argumentum, Vitria (ES), v. 4, n.1, p. 72-90, jan./jun. 2012

Mrcio Fernandes PEREIRA

interesse pelo programa poderia manterse independentemente dele causar ou no impacto real sobre problemas sociais a serem mitigados. Como mencionado, raramente os programas so mantidos exatamente da mesma forma como foram criados. Eles esto mudando constantemente. Esta mudana pode ser um efeito direto de processos avaliativos, mas frequentemente resultado de alteraes no ambiente social. Quando um programa entra em operao, mesmo os seus objetivos reais podem mudar. Tais modificaes podem ser positivas, garantindo a adaptao do programa s condies reais do ambiente em que ele est sendo gerenciado. Porm, diversos interesses polticos podem antes estar preocupados com a manuteno do oramento de certos programas do que com as melhorias das aes da interveno governamental. De fato, as organizaes governamentais e seus programas podem servir a mltiplos grupos e interesses, cada um deles com diferentes expectativas com relao aos impactos das intervenes pblicas. Mesmo a atividade de avaliao pode ser influenciada por limitaes empricas. Por exemplo, uma vez que os objetivos de um programa foram identificados e expressos de forma clara, o prximo passo seria desenvolver um meio para medir a extenso em que tais metas foram alcanadas. Porm, a mensurao de resultados pode ser difcil no setor pblico. Um problema fundamental a ausncia de tcnicas pr-existentes de julgamento do valor daquilo que foi

efetivamente realizado. Outros fatores inibem uma adequada mensurao do desempenho governamental. Um deles o lapso de tempo para que os impactos do programa sejam perceptveis. Alguns programas geram efeitos somente aps anos de implantao, outros tm resultados quase imediatos, mas por pouco tempo. A mensurao dos efeitos de um programa tambm pode ser afetada pela confuso entre o seu processo de implantao e a prpria histria das tentativas anteriores de resoluo do problema. O ato de avaliao naturalmente limitado e pode no conseguir captar todas as faces dos programas governamentais. Por tais motivos, conhecer e compreender o processo de desenvolvimento dos problemas para os quais o programa foi formulado uma etapa importante da avaliao, contribuindo para um uso mais maduro desta ferramenta capaz de aumentar a eficincia de polticas pblicas. Referncias BEHRING, E.; BOSCHETTI, I.. Poltica social: fundamentos e histria. So Paulo: Cortez, 2006. BROSE, M.. Introduo Moderao e ao Mtodo ZOPP. Recife: Deutsche Gesellschaft fr Technische Zusammenarbeit: GTZ, 1993. GASPER, D. Problems in the Logical Framework Approach and Challenges for Project Cycle Planning. The Courier Review, n. 173, 1999. 89

Argumentum, Vitria (ES), v. 4, n.1, p. 72-90, jan./jun. 2012

Avanando na eficincia de polticas pblicas: a avaliao de programas governamentais

RAUPP, M.; REICHLE, A. Avaliao: ferramentas para melhores projetos. Santa Cruz do Sul: EDUNISC, 2003. ROSSI, P. H.; FREEMAN, H. E. Evaluation: a systemathic approach. Newbury Park: Sage, 1993. ROYSE, D. Program Evaluation. Chicago: Nelson-Hall, 1992. SCRIVEN, M. The Methodology of evaluation. In: STAKE, R. E. (Ed.). Curriculum Evaluation - American Educational Research Association Monograph Series on Evaluation, No. 1. pp. 39-83. Chicago: Rand McNally, 1967. SCRIVEN, M.; DONALDSON, S. Evaluating Social Programs and Problems: visions for the new millennium. Mahwah: Lawrence Erlbaum Publishers, 2002. SCRIVEN, M. Meta-Evaluation Revisited. Journal of MultiDisciplinary Evaluation, v. 6, n. 11, Jan. 2009. UNITED STATES. Department of Health and Human Services. Physical activity evaluation handbook. Atlanta: Centers for Disease Control and Prevention, 2002. URBANI, G. Sistema poltico. In: BOBBIO, N.; MATTEUCI, N.; PASQUINO, G. (Orgs.). Dicionrio de poltica. Braslia: EdUnb, 2000. v.2. WATCHMAN, E. L. Evaluation as a story: the narrative quality of educational evaluation. In: AMERICAN EDUCATIONAL RESEARCH

ASSOCIATION, March, 1978. Toronto. Annals of the American Educational Research Association, Toronto, 1978, March. WEISS, C. H. Using Social Research in Public Policy Making. Lexington: Lexington Books, 1977. WEISS, C. H. Toward the future of stakeholder approaches in evaluation. In: CONNER, D.; ALTMAN, G.; JACKSON, C. (Eds.). Evaluation Studies Review Annual, Vol. 9, Beverly Hills: Sage, 1984. WEISS, C. H. Evaluation: methods for studying programs and policies. New Jersey: Prentice Hall, 1998. WORLD BANK. The World Bank Participation Source-Book. Washington D.C.: Environmentally Sustainable Development-World Bank, 1996. WORTHEN, B.; SANDERS, J.; FITZPATRICK, J.. Avaliao de Programas: concepes e prticas. So Paulo: Gente, 2004.

90
Argumentum, Vitria (ES), v. 4, n.1, p. 72-90, jan./jun. 2012