RSP

Revista do Servio Pblico

Ano 51 Nmero 4 Out-Dez 2000

RSP

Em direo s melhores prticas de avaliao Marjukka Ala-Harja e Sigurdur Helgason

A administrao com foco no usurio-cidado: realizaes no governo federal brasileiro nos ltimos 5 anos Marianne Nassuno Jos Mendes Ribeiro

Parceria na execuo de atividades do governo federal: o Programa Ano 2000 Maria Mrcia Leporace

La gestin del talento en la nueva economia Sabin Azua

Las cartas de servicios y los premios a la calidad en la administracin general del Estado espaol Amador Elena Crdoba

ENAP

RSP

RSP
Revista do Servio Pblico
Ano 51 Nmero 4 Out-Dez 2000

ENAP Escola Nacional de Administrao Pblica

Conselho editorial Regina Silvia Pacheco presidente Vera Lcia Petrucci Maurcio Muniz Barretto de Carvalho Isabella Madeira Marconini
Colaboradores (pareceristas ativos): Antonio Augusto Junho Anastasia; Caio Mrcio Marini Ferreira; Carlos Manuel Pedroso Neves Cristo; Carlos Roberto Pio da Costa Filho; Eli Diniz; Fernando Abrucio; Jos Geraldo Piquet Carneiro; Jos Carlos Vaz; Jos Lus Pagnusat; Jos Mendes; Lvia Barbosa; Marcel Burzstyn; Marco Antonio de Castilhos Acco; Marco Aurlio Nogueira; Marcus Andr Melo; Maria das Graas Rua; Moema Miranda de Siqueira; Paulo Calmon; Paulo Modesto; Pedro Cesar Lima de Farias; Srgio Azevedo; Tnia Fischer; Teresa Cristina Silva Cotta; Zairo Cheibub. Editora Vera Lcia Petrucci Coordenao editorial Rodrigo Luiz Rodrigues Galletti Reviso Cleidiana Cardoso N. Ferreira Galber Jos Oliveira Maciel Projeto grfico Francisco Incio Homem de Melo Editorao eletrnica Maria Marta da Rocha Vasconcelos Fundao Escola Nacional de Administrao Pblica ENAP SAIS rea 2-A 70610-900 Braslia DF Telefone: (0 XX61) 445 7096 / 445 7102 Telefax: (0 XX61) 445 7178 ENAP, 2000 Tiragem: 1.500 exemplares Assinatura anual: R$ 40,00 (quatro nmeros) Exemplar avulso: R$ 12,00

RSP

Revista do Servio Pblico/Fundao Escola Nacional de Administrao Pblica v.1, n.1 (nov. 1937) Ano 51, n.4 (Out-Dez/2000). Braslia: ENAP, 1937. trimestral ISSN:0034/9240 De 1937 a 1974, periodicidade irregular, editada pelo DASP e publicada no Rio de Janeiro at 1959. Interrompida de 1975 a 1981. Publicada trimestralmente de 1981 a 1988. Periodicidade quadrimestral em 1989. Interrompida de 1989 a 1993. 1. Administrao pblica - Peridicos. I. Escola Nacional de Administrao Pblica. CDD: 350.005

Sumrio

RSP Revista do Servio Pblico Ano 51 Nmero 4 Out-Dez 2000

Em direo s melhores prticas de avaliao Marjukka Ala-Harja e Sigurdur Helgason A administrao com foco no usurio-cidado: realizaes no governo federal brasileiro nos ltimos 5 anos Marianne Nassuno Parcerias na execuo de atividades do governo federal: o Programa Ano 2000 Maria Mrcia Leporace La gestin del talento en la nueva economa Sabin Azua Las cartas de servicios y los premios a la calidad en la administracin general del Estado espanl Amador Elena Crdoba

05

61

99

131

139

Em direo s melhores prticas de avaliao1

RSP Revista do Servio Pblico Ano 51 Nmero 4 Out-Dez 2000

Marjukka Ala-Harja & Sigurdur Helgason

Introduo
A nfase nos resultados constitui elemento central das recentes reformas do setor pblico em pases-membros da Organizao para Cooperao e o Desenvolvimento Econmico (OCDE). A avaliao uma ferramenta que visa oferecer informaes quanto aos resultados obtidos por organizaes e programas. Este artigo se refere principalmente avaliao de programas, embora muitas das questes discutidas sejam de igual importncia para outros tipos de avaliao, como por exemplo, a avaliao do desempenho organizacional, as avaliaes gerenciais e as auditorias de desempenho.
Marjukka Ala-Harja Ministro da Fazenda da Finlndia. Sigurdur Helgason membro do Servio de Gesto Pblica da OCDE. Traduzido por Ewandro Magalhes Jr.

Definio de avaliao de programa

A avaliao de programa pode ser definida como uma anlise sistemtica de aspectos importantes de um programa e seu valor, visando fornecer resultados confiveis e utilizveis. A avaliao de programa deve ser vista como mecanismo de melhoria no processo de tomada de deciso, a fim de garantir melhores informaes aos governantes, sobre as quais eles possam fundamentar suas decises e melhor prestar contas sobre as polticas e os programas pblicos. No se destina a resolver ou substituir juzos subjetivos envolvidos na tomada de deciso, mas permite um certo conhecimento dos resultados de um dado programa informao que pode ser utilizada para melhorar a concepo de um programa e sua implementao.

No delineamento das prioridades para reformas do setor pblico, o Comit de Gesto Pblica da OCDE elegeu como indicador de bom funcionamento para o setor pblico a avaliao contnua da eficcia das polticas implementadas. H indcios de que o interesse na avaliao como ferramenta de gerenciamento esteja aumentando. Em relao a esforos anteriores de avaliao, h atualmente expectativas mais realistas e uma aceitao mais ampla de metodologias menos rigorosas, que levam a um maior entendimento quanto ao uso dessa ferramenta por parte das organizaes. H tambm nfase nas avaliaes mais sistemticas, mais orientadas para os resultados e com ligaes explcitas ao processo oramentrio. O uso apropriado dos resultados das avaliaes no constitui tarefa fcil. Historicamente, as avaliaes representam um universo de muitas promessas que no chegam a se realizar. Alguns enxergam a avaliao como um novo modismo que cria muita burocracia e gera poucos resultados. Outros a vem como algo essencialmente terico, de pouca aplicao prtica e incapaz de gerar resultados com relao s polticas de maior alcance, tendo seu efeito limitado a questes marginais. H, ainda, quem receie que possam levar a um controle excessivo, ou aqueles que simplesmente no querem se responsabilizar. Por ltimo, podem-se levantar questes a respeito do valor da avaliao em um ambiente onde o desempenho continuamente mensurado e tomado como base contratual. Esses argumentos podem ser contestados. A avaliao pode preencher uma importante lacuna quando utilizada apropriadamente e devidamente integrada a um arcabouo geral de gesto de desempenho. Pode aumentar a eficincia e a eficcia do setor pblico e, por conseguinte, fortalecer a base para as atividades da iniciativa pblica. As qualidades da avaliao de programas podem complementar e desenvolver esforos de mensurao, monitoramento e auditoria de desempenho. O estabelecimento de expectativas realistas em relao a problemas de avaliao, bem como o uso destas de forma pragmtica e objetiva, pode permitir aos governos melhorar em seu desempenho, sua responsabilidade e capacidade para prestar contas. Os exemplos apresentados neste artigo do alguma orientao nesse sentido. O presente artigo discute a avaliao de programas na gesto pblica e aborda de maneira mais detalhada os meios pelos quais seu uso pode ser aperfeioado no setor pblico. A primeira parte deste estudo est centrada na definio de avaliao. A segunda parte apresenta questes a serem consideradas no que se refere ao uso da avaliao.

RSP

Definindo avaliao
Conceito A avaliao no convence, persuade; no demonstra, argumenta; razovel, no absoluta; aceita por muitos, sem ser imposta a ningum. (House, 1980: 73). No h consenso quanto ao que seja avaliao. O conceito admite mltiplas definies, algumas delas contraditrias. Isso se explica pela variedade de disciplinas (economia, formulao de polticas e procedimentos administrativos, estatstica, sociologia, psicologia etc.), instituies e executores, alm da gama de questes, necessidades e clientes abrangidos no universo das avaliaes. medida que crescem em popularidade, as avaliaes passam a ser reconhecidas sob diferentes formas de feedback e consulta. Um sem-nmero de termos passa a ser utilizado (revises, acompanhamento, monitoramento, auditoria, escrutnio, avaliao) como referncia a atividades avaliativas. Alguns especialistas mostram-se preocupados com as possibilidades de que o conceito venha a perder sua significao por completo. Ademais h outros mecanismos de feedback, alm da avaliao, e que tambm podem ser usados no processo de aperfeioamento de tomada de deciso. Nem todo mecanismo de feedback se constitui em uma avaliao, embora muitos deles dividam com esta algumas caractersticas comuns. A diferena entre a avaliao e outros mecanismos de feedback pode ser vista no Quadro 1. A diferena na nfase dada por cada mecanismo apresentada no Quadro 2. As dimenses refletem as diferentes abordagens de avaliao. Em geral, h uma relao entre abordagem e tcnicas de avaliao aplicadas. As diferenas geralmente esto associadas ao processo ou propsito especificado para a avaliao. Ao enfatizar diferentes aspectos, as avaliaes podem ser classificadas em vrios tipos. Na prtica, esses tipos de avaliao geralmente so combinados, conforme pode ser demonstrado no caso das avaliaes somativas e formativas. Avaliaes somativas Conduzidas, freqentemente, quando o programa j est implementado h algum tempo (avaliao ex post) para o estudo de sua eficcia e o julgamento de seu valor geral. Essas avaliaes so tipicamente utilizadas como meio de assistir a alocao de recursos ou na promoo de mais responsabilidade. Os clientes geralmente so externos, tais como polticos

RSP

e outros agentes de deciso. A objetividade e a confiabilidade geral das constataes so consideradas importantes. Essas avaliaes geralmente so conduzidas por avaliadores externos. As questes quanto ao resultado ou relevncia geral do programa devem ser abordadas. Avaliaes formativas Geralmente adotadas durante a implementao de um programa (avaliao intermediria) como meio de se adquirir mais conhecimento quanto a um processo de aprendizagem para o qual se deseja contribuir. O propsito o de apoiar e melhorar a gesto, a implementao e o desenvolvimento do programa. Os avaliadores, assim como os clientes, geralmente so internos, e, freqentemente, os gerentes do programa em questo (auto-avaliao). A objetividade das constataes geralmente no se coloca como preocupao central: mais nfase dada aplicabilidade direta dos resultados. Devem lidar com questes operacionais de monitoramento dos eventos e, em certo grau, tambm com aspectos relacionados ao impacto.

RSP

Avaliao de programa
As avaliaes podem analisar organizaes, funes, procedimentos, polticas, projetos etc. Este artigo se concentra na anlise de programas pblicos e trata da avaliao desses programas. Por programa entende-se, geralmente, um conjunto de atividades organizadas para realizao dentro de cronograma e oramento especficos do que se dispe para a implementao de polticas, ou seja, para a criao de condies que permitam o alcance de metas polticas desejveis. O termo pode comportar atividades relativamente menos abrangentes ou programas de amplo escopo. Contudo, deve-se salientar que o conceito de programa pode variar de um pas para outro, chegando mesmo a no ser usado em muitos deles. Como acontece com o termo avaliao, isoladamente tomado, tambm h mais de uma definio do que seja avaliao de programa. De modo mais simples, o termo compreende a avaliao dos resultados de um programa em relao aos objetivos propostos. H quem sugira que o termo avaliao de programa abrange qualquer estgio do ciclo de vida de um programa. Somando-se avaliao ex post, o termo inclui a avaliao ex ante e a avaliao intermediria (bastante comum na prtica). O primeiro tipo de avaliao prospectiva geralmente referido como anlise ou avaliao de polticas. Se por um lado a anlise de polticas explora as opes disponveis e seus provveis efeitos, a avaliao estuda os efeitos reais e busca um juzo de valor das polticas em si. Contudo, os conceitos so inter-relacionados e os processos de avaliao interativos.

Quadro 1: Diferena entre avaliao e outros mecanismos de feedback

Estudos cientficos Auditoria tradicional As avaliaes se centram no uso prtico da informao. As avaliaes analisam os gastos pblicos a partir de pontos de vista mais amplos, questionando, at mesmo, a propriedade dos objetivos do programa, bem como a eficcia e eficincia de sua satisfao (a distino entre auditoria e avaliao geralmente no clara). As avaliaes geralmente so conduzidas como parte de um esforo nico e buscam reunir informaes aprofundadas sobre o programa em questo, embora a existncia de sistemas regulares e eficientes de monitoramento seja necessria como base para o desenvolvimento de avaliaes bem-sucedidas. As avaliaes procuram ir alm: buscam encontrar explicaes para os resultados observveis e entender a lgica da interveno pblica (contudo, sistemas de mensurao de desempenho, se eficientes, podem caracterizar, sobretudo nos Estados Unidos, uma forma de avaliao). As avaliaes esto centradas na anlise ex post. Essa anlise das polticas s vezes definida como uma avaliao prvia, para o estudo de polticas possveis no futuro.

RSP

Monitoramento

Mensurao de desempenho

Anlise das polticas

Exemplos de definio de avaliao de programa

As questes-chave na avaliao de programas so a tentativa de determinar os efeitos do programa ao longo de um dado perodo de tempo, bem como a extenso em que tais resultados foram de fato derivados do programa em questo. (Hatry, 1980). A avaliao de programa a aplicao de mtodos de pesquisa cientfica para a avaliao do projeto do programa, sua implementao e eficcia. (Chelimsky, 1985). A avaliao de programa a anlise sistemtica de um programa, ou de parte dele, visando, primeiramente, assistir os gerentes e outros agentes de deciso na determinao da propriedade, eficincia e eficcia de um programa e, em segunda instncia, determinar casos que justifiquem a necessidade de novos programas ou a extenso de um programa existente.

Em terceiro lugar, visa decidir quanto manuteno dos nveis correntes de investimento de recursos, seu aumento, reduo ou suspenso. (Doing Evaluations, A Practical Guide. Ministrio da Fazenda da Austrlia, 1994). Uma avaliao de programa solicitada por uma organizao com o propsito de determinar a eficincia de funcionamento de um programa e concluir por seu aperfeioamento ou suspenso. (Mayne, 1994). As avaliaes devem conter, normalmente, elementos analticos, sistemticos, confiveis, especficos e customizados (Evaluating EU Expenditure Programmes. A Guide. Comisso Europia, 1997). A despeito de tantas definies, h algumas caractersticas comuns a todas as avaliaes de programa: constituem anlises sistemticas e de aspectos importantes de um programa e de seu valor, de modo a fornecer concluses confiveis e utilizveis. A falta de um consenso quanto ao conceito de avaliao pode causar confuses, mas tambm pode ser encarada como um ponto de partida frutfero e de grande praticidade na reflexo dos diversos paradigmas implcitos nas cincias sociais. Contudo, no mbito do presente artigo, a escolha quanto a uma definio mais ou menos abrangente no apresenta limitao particularmente relevante. O objetivo identificar as boas prticas que possam se aplicar a diferentes definies.

RSP

Objetivos
O objetivo da avaliao no buscar a verdade absoluta, mas oferecer entendimento e uma viso justificada dos programas de implementao de polticas. A avaliao no substitui o processo de tomada de deciso poltica, mas permite que as decises sejam tomadas de maneira mais consciente. Gerenciar normalmente implica um ciclo de planejamento/preparao, dotao oramentria, implementao e avaliao. A avaliao o elo que fecha o crculo e completa o circuito de feedback. Uma poltica ou programa que tenham sido avaliados podem ser melhorados, expandidos ou substitudos. As principais metas da avaliao podem ser caracterizadas como sendo a melhoria do processo de tomada de deciso, a alocao apropriada de recursos e a responsabilidade. Melhorar a tomada de deciso A avaliao oferece informaes sobre o impacto das polticas. Pode ser vista como a passagem de mecanismos formais de controle a controle efetivo; de controle de transaes a controle estratgico; de

10

gerenciamento de insumos a gerenciamento de resultados. Ela auxilia os formuladores de polticas no julgamento do valor dos programas pblicos, concorrendo para sua melhoria ou questionamento e, ainda, para o projeto de programas futuros. A avaliao tambm contribui para o processo de aprendizagem das pessoas envolvidas no gerenciamento e implementao desses programas, ao permitir maior entendimento do trabalho que se conduz e ajudando nessa conduo. Alm disso, outros interesses (como por exemplo, cientficos) podem ser satisfeitos medida que se compreende melhor o funcionamento da sociedade. Auxiliar na alocao de recursos A maior parte dos pases-membros da OCDE enfrentam restries oramentrias. A avaliao pode ajudar os formuladores de polticas e os responsveis pelo oramento a melhor distribuir os recursos e a fazer melhor uso dos fundos disponveis. A avaliao ajuda a identificar os meios mais eficientes e eficazes de se alcanar os resultados desejados e de manipular os gastos, de modo a facilitar o desenvolvimento de novas reas de prioridade e a contribuir para a descoberta do nvel adequado de financiamento para programas e, at mesmo, para a priorizao de cortes oramentrios que sejam necessrios. A avaliao sempre esteve intimamente ligada s inovaes do processo oramentrio, por exemplo na Sucia e na Austrlia. Aumentar responsabilidade A avaliao pode contribuir para o aumento da responsabilidade das polticas pblicas, aspecto que vem adquirindo importncia cada vez maior para os pases-membros da OCDE. Isso se deve maior autonomia administrativa oportunizada pelas grandes reformas gerenciais e preocupao, entre cidados de alguns pases, a respeito da legitimidade do setor pblico. A avaliao pode melhorar a transparncia e a responsabilidade para o parlamento e o pblico em geral ao tornar mais claro o impacto das atividades governamentais. Da, pode-se fortalecer a legitimidade dos programas que se encontram em andamento e garantir a sustentabilidade dos resultados. A avaliao tambm pode ajudar os cidados a tomarem conhecimento do que est sendo feito com seu dinheiro e considerar alternativas s polticas implementadas. Alm disso, h alguns fatores que tornam a avaliao especialmente oportuna.

RSP

11

Fatores que determinam o timing de uma avaliao

Reformas do setor pblico, gerenciamento estratgico A avaliao uma das ferramentas enfatizadas em processos recentes de reforma do setor pblico. Geralmente apresentada no contexto do desenvolvimento da mensurao de desempenho e gerenciamento estratgico. Argumenta-se que a avaliao de desempenho, especialmente a auto-avaliao, deveria se tornar uma parte normal da administrao pblica. H tambm uma necessidade crescente de avaliar as reformas do setor pblico nos pases da OCDE, a fim de explorar seu potencial, desenvolv-lo adicionalmente, sustentar os resultados alcanados e fortalecer o apoio pblico. Requisitos institucionais As instituies que financiam ou co-financiam os programas pblicos geralmente requerem que os solicitantes dos financiamentos se submetam a avaliaes regulares, por vezes conduzidas por essas prprias instituies de fomento (o Banco Mundial e a Structural Funds da Unio Europia). O mesmo se d quando os governos aumentam a institucionalizao de suas atividades de avaliao e passam a requerer aos ministrios e rgos a avaliao de seus resultados. As organizaes encaram a avaliao de vrias maneiras e utilizam-na para diferentes propsitos. Diferentes objetivos levam a diferentes abordagens de avaliao. Ainda assim, em um nvel mais geral, a meta da avaliao pode ser definida como a de fomentar a aprendizagem organizacional. Exemplos de objetivos explcitos das avaliaes

RSP

As avaliaes oferecem informaes confiveis, oportunas

e objetivas, bem como concluses e recomendaes teis para maior eficincia na alocao de recursos, melhorias e aumento de responsabilidade em relao aos programas. (Austrlia). (...) produzem informaes suficientes, apropriadas e confiveis, que permitem Unio Europia decidir quanto continuao, alterao, inalterao ou suspenso de seu programa de gastos, auxiliando, ademais, a determinar a propriedade de eventuais aumentos ou cortes nas apropriaes oramentrias. (Comisso Europia DG XIX, Lista de Verificao de Avaliao).

12

 A avaliao vista como elemento agregador de valor, na medida

em que se centra naquilo que realmente funciona, no que no funciona e nas inovaes que permitem o estabelecimento de metas governamentais de melhor relao custo-benefcio. (Canad, In Search of Results: Performance Management Practices). Quadro 2: nfase da avaliao
Timing A avaliao ex ante, concomitante/intermediria, ex post ou uma combinao dessas opes. Anlise em relao aos objetivos do programa ou que envolva tambm a propriedade dos objetivos. Avaliao de efeitos intencionais e, em alguns casos, no-intencionais. Julgamento do sucesso ou fracasso de um programa at mesmo recomendando melhorias ou alternativas ou mera apresentao das constataes, deixando as concluses a cargo daqueles a quem incumbem as decises. Apreciao por especialistas em avaliao e mediante a aplicao de procedimentos tcnico-cientficos para garantir a objetividade dos resultados, ou mediante parceria na qual os objetivos e mtodos e at mesmo as constataes e as recomendaes sejam negociados com os interessados, a fim de maximizar o uso das constataes e garantir participao democrtica. Como meio de adquirir mais conhecimento em relao a um programa ou para decidir quanto a seu valor. Mecanismo auxiliar para o refinamento de um programa ou o questionamento de sua lgica, podendo mesmo sugerir mudanas fundamentais.

RSP

Flexibilidade de estrutura

Julgamento ou apresentao

Conhecimento ou negociao

Uso

Desenvolvimento
Em alguns pases da OCDE a avaliao desempenha um papel formal no processo de tomada de deciso. Em outros, somente agora desponta a reflexo sobre a possibilidade de sistematizao das atividades de avaliao. 13

Pases como os Estados Unidos, a Sucia e o Canad tm uma longa tradio de avaliao e um slido sistema de avaliaes institucionalizadas. A Austrlia e os Pases Baixos tambm tm sistemas de avaliao bastantes sofisticados. A maturidade das prticas de avaliao tambm varia segundo o setor em questo. A avaliao tradicionalmente desenvolvida, em diversos pases, nas reas de aes de desenvolvimento, polticas de mercado trabalhistas, sade e educao. Fases histricas As atividades de avaliao em administraes nacionais se desenvolveram em diversas fases. A maturidade pode ser caracterizada pela extenso da experincia, a regularidade das atividades e o grau de institucionalizao. Trs estgios de desenvolvimento j foram identificados (Derlien, 1990). Embora algumas avaliaes de programas pblicos tenham sido conduzidas antes mesmo da primeira fase, por exemplo, na Sucia. A primeira etapa de avaliaes, nos anos 60 e 70, esteve amplamente ligada aos governos scio-liberais engajados em programas, visando a soluo de problemas sociais. Os processos de planejamento e programao foram introduzidos para melhorar a formulao de polticas. Condies fiscais favorveis e melhor condio e oferta de conhecimento de cincias sociais contriburam nesse esforo. O foco esteve direcionado na melhoria dos programas, e os gerentes de programas tinham interesse em usar a avaliao como mecanismo de feedback. A segunda etapa, nos anos 80, embora menos evidente e mais lenta, foi estimulada por governos predominantemente conservadores, na tentativa de lidar com programas pblicos em face de limitaes fiscais. A avaliao era encarada como ferramenta til na reconsiderao da justificativa de polticas e na racionalizao da alocao de recursos oramentrios. O Ministrio da Fazenda e os rgos de auditoria se empenhavam no desenvolvimento das avaliaes. Desde ento, a avaliao tem-se tornado objeto de preocupao dos rgos legislativos. Problemas relacionados legitimidade do setor pblico e a necessidade de fortalecer a responsabilidade do governo clamam por novos e mais sofisticados mecanismos de controle, como por exemplo a avaliao. Os resultados preliminares de um estudo de abrangncia nacional ainda em curso (Gray, 1997) sugerem que os avanos da nova administrao pblica tm muitas implicaes sobre a funo e a prtica da avaliao: a avaliao substituda (novos mercados internos surgem como avaliadores intrnsecos), complementada (a regulamentao de monoplios privatizados est criando uma enorme demanda por avaliaes) e aplicada a novas questes (novas ferramentas de avaliao, como por exemplo os contratos internos).

RSP

14

Uma tradio de avaliao firmemente estabelecida se inclina agora, tambm, a encarar a necessidade de avaliar as avaliaes. Esse esforo de meta-avaliao encontra-se provavelmente mais avanado nos EUA, onde a quantidade de avaliaes torna possvel chegar a algumas concluses gerais. Contudo, as meta-avaliaes ainda so relativamente raras, e muito ainda se desconhece, por exemplo, a respeito do uso da avaliao. Avaliao e auditoria Para esclarecer o papel da avaliao e seu desenvolvimento corrente, conveniente estudar sua relao com a auditoria tradicional. A avaliao e a auditoria esto historicamente separadas enquanto funes a cargo de instituies isoladas. As culturas profissionais dos avaliadores e auditores diferem de diversas maneiras, por exemplo em termos de recrutamento e socializao. Os objetivos so diferentes: as auditorias so tradicionalmente usadas para garantir regularidade financeira e responsabilidade quanto ao uso dos recursos, ao passo que a avaliao visa promover a economia, eficincia e eficcia. A auditoria tem uma longa tradio como atividade parlamentar de superviso em muitos pases. Isso refora a satisfao legal e a necessidade de prestao de contas das organizaes pblicas. Tradicionalmente, a auditoria procura evidncias de que as regras estabelecidas, os regulamentos, os procedimentos e objetivos foram cumpridos. A autonomia das instituies de auditoria lhes permite apresentar pareceres e opinies de grande credibilidade. A avaliao, diferentemente da auditoria, no logrou estabelecer-se como atividade regular, institucionalizada, de conceituao clara e objetivos convergentes. A avaliao continua sendo, no geral, mais participativa e menos independente que a auditoria, e incorpora uma viso mais aberta, que abrange todos os interessados. A avaliao usada mais como uma ferramenta para o gerenciamento do programa do que para o estabelecimento de responsabilidade pblica. A despeito das diferenas bvias entre a auditoria tradicional e a avaliao, uma questo que sempre vem tona diz respeito necessidade ou no de aproximar essas funes diferentes, ou em que medida tal convergncia j no estaria acontecendo. As linhas divisrias comearam a se tornar menos ntidas: a auditoria estendeu seu escopo para questes como desempenho, e as auditorias financeiras tradicionais vm sendo suplementadas, agora, com auditorias de desempenho. As auditorias de desempenho, conduzidas, por exemplo, na Sucia, no Reino Unido (auditorias de valor monetrio) e nos Pases Baixos, constituem avaliaes semelhantes s avaliaes de programas. Os mtodos e critrios aplicados

RSP

15

so muito similares. As redes comuns, tais como a European Evaluation Society (EES), tambm indicam a convergncia entre essas duas culturas profissionais. Contudo, tambm h sinais de contradio. A convergncia entre avaliao e auditoria se restringe mltipla e contestada identidade da avaliao, sua cultura de base social e a resistncia poltica a avaliaes adicionais por parte das instituies de auditoria. A auditoria financeira bem poder se tornar mais tpica, com mais nfase na terceirizao e em inovaes como a contabilidade por regime de competncia. Tem-se sugerido que as instituies de auditoria no devem buscar se tornar, primariamente, unidades de avaliao ou consultoria gerencial, mas, antes, esclarecer suas funes e responsabilidades atuais como guardies independentes da probidade, da legalidade e da eficincia nos gastos pblicos (Pollitt e Summa, 1997). Avaliao institucionalizada2 Alguns exemplos de prticas de avaliao so apresentados, a seguir, para ilustrar o desenvolvimento da avaliao. Sucia As primeiras avaliaes foram realizadas na dcada de 50, ou mesmo antes, por comisses pblicas encarregadas da formulao de polticas e tomada de deciso. O sistema de comisso combinava a viso dos interessados e introduzia resultados de pesquisa no processo de tomada de deciso. A partir de 1960 a avaliao comeou a ser encarada como uma atividade capaz de oferecer informaes em base contnua aos tomadores de deciso. rgos de pesquisa especializados e outras agncias semelhantes comearam a ser fundados, tendo a avaliao como foco de suas atividades. No incio dos anos 80, surgiu a necessidade de melhorar o sistema de tomada de deciso pela sistematizao das atividades avaliativas e sua ligao de modo mais firme ao processo oramentrio. O sistema de avaliao associado ao novo processo oramentrio passou por diversos ajustes pragmticos desde sua implementao. No momento, os relatrios anuais dos rgos so a principal fonte de informao submetida aos ministrios. Avaliaes aprofundadas das atividades dos rgos pblicos (antes realizadas a cada trs anos) so conduzidas, hoje, apenas mediante requerimento especial de um ministro. Austrlia A avaliao se tornou parte integrante do processo de reforma da administrao pblica australiana em meados da dcada de 80, quando

RSP

16

foi lanada a estratgia de avaliao do governo. A avaliao tem sido sistematicamente integrada gesto e ao planejamento das organizaes e programas. Todos os programas pblicos, ou pelo menos suas partes mais importantes, so submetidos a avaliao a cada trs ou cinco anos. Todas as principais propostas de polticas incluem, tambm, uma estratgia de avaliao, e os ministros so freqentemente solicitados a apresentar um plano anual de avaliao. Os resultados dessas avaliaes tambm devem ser levados ao conhecimento pblico. Recentemente, foi feita uma reavaliao desses requisitos obrigatrios. provvel que a abordagem centrada em requisitos d lugar a um arcabouo integrado de gesto de desempenho que venha a abranger a avaliao e o monitoramento do rendimento com base em boas prticas e princpios. Essa evoluo reconhece o fato de a avaliao ter se tornado mais comum e amplamente disseminada, e tem por objetivo integrar diretamente a atividade de gesto de desempenho estratgia e ao planejamento dos ministrios. Tambm vem em reconhecimento de que est sendo dada mais ateno qualidade, ao uso e eficcia das avaliaes. A responsabilidade pelo planejamento, a execuo e o uso das avaliaes esto nas mos de rgos e instituies isoladas. O Ministrio da Fazenda o coordenador da estratgia de avaliao, oferecendo treinamento, motivao, orientao e controle de qualidade, alm de participar eventualmente em avaliaes pr-selecionadas. A Auditoria-Geral pode rever a operao de uma atividade avaliativa. Pases Baixos O Tribunal de Contas recomendou, no incio da dcada de 90, que os ministros prestassem mais ateno ao programa de avaliao. O governo estabeleceu uma estratgia em trs etapas: primeiramente, houve uma emenda nos regulamentos que estabelecem as responsabilidades dos ministros no que tange avaliao; segundo, foram preparados os relatrios anuais para acompanhar os oramentos ministeriais e para oferecer informaes sobre atividades avaliativas presentes e futuras, seus resultados e sua utilizao; e em terceiro lugar, foi realizado o gerenciamento e a coordenao da avaliao em nvel ministerial. O governo tambm salientou que a avaliao deveria no ser apenas externa, mas tambm interna, tanto em nvel ex ante, como em nveis ex post e intermedirio. Posteriormente, o governo utilizou medidas e responsabilidades de avaliao. As diretorias de poltica dos ministrios so responsveis pelas suas prprias avaliaes: a abordagem adotada no gerenciamento dessas atividades pode ser tanto centralizada quanto descentralizada. As diretorias oramentrias internas so responsveis pela coordenao, promoo e certificao do uso de avaliaes, devendo garantir a disponibilidade de

RSP

17

recomendaes, orientao e conhecimento de pesquisa. Realizam programas de avaliao para projetos isolados, encorajam a avaliao peridica das polticas e monitoram a qualidade da avaliao e seu uso. Os ministros formam o nvel de responsabilidade de ltima instncia no que se refere avaliao. Outras diretorias oferecem auxlio sob a forma de conhecimento especial (alm de pessoal, mtodos de organizao e informaes sobre legislao). O Ministrio da Fazenda tem as mesmas responsabilidades da diretoria oramentria interna no que se refere promoo e coordenao. O Tribunal de Contas examina a eficincia da gesto e a organizao das avaliaes e divulga os resultados em relatrios peridicos. Canad A avaliao faz parte da gesto dos ministrios desde 1977. As atividades de avaliao esto solidamente institucionalizadas. Os ministrios devem garantir a avaliao de seus programas. A poltica atual de avaliao requer que os ministrios conduzam auditorias internas de acordo com padres estipulados em reas de significncia ou risco. Devem, tambm, conduzir avaliaes de polticas e programas-chave, segundo padres estabelecidos; determinar prticas de monitoramento de desempenho, incluindo padres de servios que se orientem ao cliente, a fim de garantir que os ministrios e seus gerentes tenham a sua disposio informaes sobre aspectos-chave relacionados ao desempenho de programas; conduzir outros tipos de revises sobre polticas, regulamentos, programas e aspectos operacionais, pesquisas junto a clientes e estudos especiais; e utilizar auditorias internas, avaliaes, monitoramento de desempenho e outros procedimentos de avaliao de modo complementar e coordenado. As avaliaes geralmente so conduzidas por unidades especializadas. A Secretaria do Tesouro responsvel pelo estabelecimento, coordenao e monitoramento das polticas de avaliao. A Auditoria-Geral tem a funo principal de, na avaliao de desempenho do setor pblico, manifestar-se com relatrios quanto adequao com que se conduzem as responsabilidades de avaliao. Finlndia Na Finlndia, como na Sucia, existe uma tradio quanto ao estabelecimento de comisses para a formulao de decises polticas. Atualmente, o uso de procedimentos de avaliao est bem estabelecido em alguns setores (aes de desenvolvimento e educao superior), embora, no geral, as avaliaes sejam conduzidas de forma ad hoc. Contudo, de acordo com pesquisas recentes, parece haver muito interesse

RSP

18

na avaliao da administrao. Para obter informaes mais sistemticas e aprofundadas sobre as recentes reformas do setor pblico, um grande programa de avaliao composto de 12 estudos individuais foi realizado entre 1995 e 1997. Outro propsito desse projeto era o de encontrar meios de fortalecer uma cultura de avaliao na administrao. Cursos de formao foram organizados, e um manual foi compilado. Os ministrios so encorajados a divulgarem seus programas de avaliao, e o resultado destes, em seus relatrios anuais. Estados Unidos Os Estados Unidos tm uma importante e antiga tradio de avaliao. O governo federal, assim como alguns governos estaduais e municipais, mantm suas unidades de avaliao. Em nvel federal, essas unidades geralmente esto contidas em departamentos especficos. O General Accounting Office (GAO), que assiste o Congresso em suas funes de superviso do Poder Executivo, visando maior eficcia e responsabilidade na administrao, realiza um grande nmero de procedimentos de auditoria de desempenho e avaliaes de programas. Os rgos responsveis pela implementao de programas tambm conduzem, eles prprios, a avaliao de seus programas. Os rgos do governo devem incluir em seu planejamento estratgico uma descrio das avaliaes de programa utilizadas, bem como o cronograma de avaliaes futuras. Alm disso, o Congresso freqentemente introduz dispositivos legais requerendo a realizao de avaliaes individuais de larga escala. Comisso Europia A Comisso Europia tem, h algum tempo, prticas institucionalizadas de avaliao em certas reas centrais de polticas comunitrias, que incluem aes de desenvolvimento, pesquisa e poltica tecnolgica, alm de programas financiados por meio dos chamados Structural Funds (Fundos Estruturais). No contexto das iniciativas do Sound and Efficient Management SEM 2000 (Gerenciamento Eficaz e Saudvel), estabeleceu-se a organizao de avaliaes sistemticas, oportunas e rigorosas dos gastos da Unio Europia, em um esforo que abrange todas as polticas comunitrias. Definiu-se que os servios operacionais so responsveis por garantir a avaliao de seus prprios programas. No processo, um funcionrio, setor ou unidade precisa ser designado como agente responsvel. Cada servio precisa traar seu prprio plano de avaliao anual. O primeiro deles foi apresentado ao final de 1996. Esses planos so compilados, consignados pela Comisso e distribudos sob a forma de um Programa Anual de Avaliao. Os relatrios de avaliao, produzidos pelos servios

RSP

19

operacionais da Comisso, servem de base para o Balano Anual de Avaliao, que submetido Comisso juntamente com o Programa Anual de Avaliao ao final de janeiro de cada ano. Alm disso, os servios operacionais devem submeter um relatrio de avaliao ex ante cada vez que se cogite a tomada de uma ao que implique gastos oramentrios. Esses servios devem, ainda, garantir que na preparao de novos programas haja a devida previso de avaliaes como parte do processo. Recomenda-se que as aes financiadas por recursos do oramento sejam objeto de avaliao a cada seis anos. Somando-se ao trabalho avaliativo desenvolvido pelos servios operacionais, outros departamentos, como o DG XIX (Oramento) e o DG XX (Controle Financeiro) tambm desempenham tarefas de apoio s atividades de avaliao. Como suporte adicional ao desenvolvimento de uma cultura de avaliao, foi estabelecida uma rede de avaliadores e compilado um manual com normas para a garantia da qualidade (Comisso Europia, 1997). Alm disso, esto sendo idealizados seminrios de treinamento, projetos de demonstrao e a criao de um help desk.

RSP

Gesto de desempenho e avaliao

Muitos governos introduziram abordagens abrangentes para a gesto de desempenho dos rgos governamentais. A avaliao um instrumento claramente orientado avaliao de desempenho, e deveria, por isso mesmo, ser vista como parte de um arcabouo mais amplo da gesto de desempenho. Contudo, as relaes entre a avaliao e a gesto de desempenho nem sempre so claras. Avaliao e gesto de desempenho

A avaliao foi bem estabelecida em muitos governos previamente introduo de procedimentos de gesto de desempenho, e as novas abordagens no incluem necessariamente a avaliao. Novas abordagens de gesto de desempenho foram desenvolvidas, em parte, como resposta s deficincias percebidas na avaliao, como por exemplo os limitados resultados obtidos nas avaliaes em comparao com o volume de recursos investidos. Diferentes organizaes podem estar envolvidas em trabalho especfico de avaliao ou de gesto de desempenho. A gesto de desempenho envolve a reforma dos processos centrais de gerenciamento, sendo, portanto, de responsabilidade dos gerentes em cada organizao, ao passo que a avaliao vista como um mtodo especializado, freqentemente aplicado por especialistas ou unidades de avaliao externas.

20

A falta em considerar ou esclarecer as relaes entre avaliao e gesto de desempenho pode levar ao desperdcio, duplicidade de esforos, sinalizao conflitante acerca das metas e resultados e, por fim, a um aumento das tenses entre as organizaes e grupos profissionais. A maioria dos governos v a avaliao como parte de uma estrutura mais ampla da gesto de desempenho, mas o nvel de integrao entre essas duas disciplinas ir depender do papel desempenhado pela avaliao. Abordagens integrao entre avaliao e gesto de desempenho H trs abordagens principais: A avaliao vista como uma funo distinta e independente da gesto de desempenho, com regras prprias e claras. A avaliao vista como uma funo distinta, porm integrada gesto de desempenho. A avaliao no vista como funo distinta, mas sim integrada com instrumentos diferentes de gesto de desempenho. A primeira abordagem v a avaliao como funo relativamente independente da gesto de desempenho, mesmo que dependa da mensurao de desempenho e de outras informaes produzidas por meio de procedimentos de gesto de desempenho. A perspectiva bsica a de que a gesto de desempenho como qualquer outro processo de gerenciamento desenvolvido no mbito de uma organizao que deve se submeter a avaliao. Uma avaliao excessiva entre avaliao e gesto de desempenho poderia minar a capacidade da avaliao de analisar a qualidade da gesto do desempenho, limitando a possibilidade de se fazerem sugestes teis visando a sua melhoria. A integrao tambm lesaria a necessria independncia que deve ser conferida avaliao. A segunda abordagem coloca menos nfase sobre a independncia, mas considera a avaliao como um dos muitos instrumentos utilizados em uma estrutura mais ampla de gesto de desempenho. A avaliao pode ser superior a outros instrumentos em muitos aspectos. Permite um estudo mais aprofundado do desempenho do que a prpria gesto de desempenho. Pode cobrir perodos mais longos e incorporar fatores cuja avaliao difcil ou custosa, como por exemplo a avaliao de impacto ou resultados. Alm disso, torna-se possvel analisar as causas e efeitos em maior detalhe, trazendo a discusso do desempenho para um contexto mais apropriado. A avaliao pode ser usada para dar uma imagem mais abrangente do desempenho de um programa ou organizao, em contrapartida viso fragmentada que se obtm a partir de outras abordagens. Nessa abordagem, a avaliao organizada como funo separada para garantir a especializao e utilizada de modo seletivo e peridico para a produo de informaes-chave que no podem ser disponibilizadas

RSP

21

em outros processos. O custo da realizao de avaliaes implica a necessidade de limit-las aos programas e organizaes mais importantes. A terceira abordagem enfatiza os benefcios da incorporao de mtodos avaliativos em instrumentos isolados da gesto de desempenho. H muitos exemplos disso. Informaes relativas ao desempenho podem ser analisadas, interpretadas e avaliadas. Estudos de padres de referncia (benchmarking) geralmente envolvem avaliao considervel de fatores que explicam diferenas no desempenho; a avaliao um dos elementoschave do gerenciamento estratgico (por exemplo, avaliando fatores-chave do ambiente, as anlises SWOT); os contratos de desempenho so avaliados periodicamente; e o gerenciamento da qualidade geralmente envolve autoavaliao. A perspectiva bsica aqui a de que a avaliao deve ser uma atividade permanente, integrada a processos-chave de gerenciamento. As trs abordagens discutidas aqui no so mutuamente excludentes, ou seja, um governo pode utilizar mais de uma concomitantemente. A segunda abordagem vem crescendo em popularidade. A despeito dessa tendncia, algum grau de capacidade de avaliao independente vem sendo preservada, notadamente na realizao de auditorias. H uma conscientizao crescente a respeito dos benefcios da incorporao de mtodos avaliativos a processos gerenciais relevantes. Contudo, a maior parte dos governos percebe isso como uma suplementao, e no como a substituio de avaliaes mais especializadas.

RSP

Questes metodolgicas
Embora este artigo se concentre no uso da avaliao, conveniente explorar de maneira superficial algumas das grandes abordagens metodolgicas e problemas relacionados avaliao. Uma vez que a metodologia e o uso da avaliao esto interligados, essas questes surgiro novamente no decorrer da discusso. Abordagens avaliao H vrias abordagens sobre avaliao que partem de premissas acerca da natureza do conhecimento avaliativo, da possibilidade de criao de conhecimento confivel e quanto ao melhor uso legtimo dos resultados. Alm disso, h tambm, freqentemente, alguma relao entre a abordagem e os instrumentos e tcnicas escolhidas para avaliao. As quatro abordagens bsicas e mtodos de avaliao geralmente relacionados aqui so apresentados no Quadro 3 (Pollitt, 1996):

22

Quadro 3: Abordagens e mtodos

RSP

Avaliao
experimental

Incorpora idias positivistas de aplicao da metodologia de cincias naturais engenharia de programas pblicos. Em projetos experimentais, grupos aleatoriamente selecionados aparentemente similares foram comparados aps a aplicao de um programa a um deles. A atribuio do efeito observado ao programa depende da premissa de que no h nenhuma outra causa concorrente para o resultado. Centra-se, acima de tudo, na utilidade dos resultados da avaliao. A avaliao deve se orientar pelos objetivos e prticas de trabalho dos tomadores de deciso. A exeqibilidade poltica, o timing e o custo so aspectos importantes. Projetos semi-experimentais (em que se busca eliminar explicaes alternativas para os resultados por outros meios que no a seleo aleatria), estudos de casos e vrios mtodos descritivos so geralmente utilizados como ferramentas de avaliao. Geralmente conduzida de maneira ligeiramente isolada da avaliao geral. As ferramentas incluem anlises de custo-benefcio e avaliaes de custoeficincia. Introduzem informaes quanto ao custo dos programas como um dos critrios de avaliao. Rejeita tanto a avaliao experimental quanto a econmica, alegando que a sociedade se constri socialmente e est em constante mudana por fora da interao dos indivduos. Assim, a avaliao no pode oferecer respostas corretas e objetivas, mas meramente agir como elemento facilitador para a produo de consenso entre os interessados. Os mtodos aplicados, tais como etnografia, observao de participantes, estudos de caso etc., tm por objetivo descrever e esclarecer os valores e premis sas dos interessados e dar apoio negociao desses aspectos no processo avaliativo.

Avaliao
pragmtica

Avaliao
econmica

Avaliao
naturalista

No h um mtodo ideal de conduo de uma avaliao. So muitas as abordagens e metodologias abrangendo um leque de fatores de sucesso. O papel da avaliao diferente em cada um dos processos de tomada de deciso e aprendizagem (por exemplo, a avaliao econmica e experimental usada para decises oramentrias e a avaliao naturalista usada para melhoria de programas e projetos). A questo relevante

23

aqui a necessidade de adequar a avaliao ao elemento que se deseja avaliar, s informaes desejadas, aos recursos disponveis e ao uso pretendido para os resultados. Problemas metodolgicos Os problemas metodolgicos so intrnsecos a todas as abordagens sobre avaliao. Problemas relacionados causalidade, por exemplo, so comuns a todas as cincias sociais, uma evidncia conclusiva das relaes de causa e efeito dificilmente possvel e raramente pode ser estabelecida, uma vez que o controle de todas as variveis relevante. A avaliao experimental geralmente lenta e dispendiosa, chegando mesmo a ser impossvel de se aplicar na prtica. Mesmo que se utilize o formato de avaliao experimental, a generalizao para condies alm daquelas contidas no experimento costuma envolver algum grau de incerteza. Contudo, em muitas avaliaes, como no caso da anlise da implementao ou gesto de um programa, o estabelecimento de uma firme relao causal no o principal objetivo. A escolha de critrios para avaliao pode ser problemtica em face do simples fato de que os objetivos dos programas pblicos costumam ser mltiplos, vagos, ocultos, mutantes e, at mesmo, conflitantes. Outra dificuldade decidir se o foco deve estar apenas sobre a forma de alcance dos objetivos oficiais ou se se deve adotar uma viso mais ampla, partindo para o estudo de todos os efeitos do programa. A ltima opo oferece um quadro mais abrangente do resultado do programa, mas freqentemente mais complexa e demorada. O estabelecimento de um perodo de tempo apropriado para a avaliao do programa outro aspecto difcil e crtico, na medida em que os resultados mais relevantes dependem de algum tempo de maturao. Contudo, a utilidade das informaes pode ser reduzida se o programa avaliado for alterado antes que a avaliao tenha sido concluda e seus resultados aplicados. A escolha entre diferentes mtodos de avaliao tambm problemtica. Vrios mecanismos de coleta e anlise de dados podem ser adotados, cada um gerando uma perspectiva diferente do programa avaliado. Existe, por exemplo, uma discusso considervel sobre as vantagens e desvantagens do uso de mtodos quantitativos e qualitativos de avaliao. Geralmente difcil identificar o resultado dos programas. Conforme salientado anteriormente, pode haver vrias razes (que no o programa) para explicar, no todo ou em parte, os resultados gerados. Assim, pode ser difcil determinar que evidncia seria suficiente para traar concluses vlidas e confiveis a respeito dos resultados. A capacidade de obter evidncia geralmente se v limitada pelo volume de recursos disponveis.

RSP

24

Outro problema com impacto sobre as concluses saber se os resultados da avaliao podem ser generalizados a outras instncias, locais ou sujeitos. Isso de particular relevncia quando se espera que a avaliao venha contribuir para futuras decises sobre o estabelecimento de polticas. Os problemas metodolgicos da avaliao (cobertos aqui apenas em parte) podem ser abordados quando do reconhecimento de limitaes e tratamento apropriado dos problemas. Isso requer conhecimento e habilidades especficas que podem ser desenvolvidas por meio de treinamento ou pela contratao de especialistas externos para a conduo das avaliaes. Alm disso, a combinao de diferentes mtodos geralmente mais frutfera do que a reduo dos problemas metodolgicos de avaliao. Finalmente, mecanismos apropriados de controle de qualidade (ver discusso posterior sobre a garantia da qualidade tcnica) podem ser estabelecidos para orientar o processo de avaliao. Mesmo que a avaliao no possa oferecer respostas definitivas, poder aduzir informaes teis para a discusso a respeito do desempenho. E alguma informao sobre o que acontece melhor do que nenhuma.

RSP

Gerenciamento para melhor uso das avaliaes

Uma outra grande questo, alm dos problemas metodolgicos, o uso apropriado das avaliaes. A avaliao no visa conhecimento como um fim em si mesmo, mas como um meio para a ao. importante que o material de avaliao seja usado em processos de tomada de deciso. Caso contrrio, a administrao logo perder o interesse, e a avaliao se tornar um exerccio intil. J se declarou que para que a avaliao tenha impacto sobre a tomada de deciso preciso que haja tanto uma oferta de qualidade quanto uma demanda sincera e entusistica (Mayne, 1994; Mayne, Divorski, Lemaire, 1998; Boyle, 1997). Este captulo discutir o desenvolvimento desses dois aspectos do mercado de avaliao: como criar oportunidades para o uso das avaliaes. difcil definir o que constitui o uso da avaliao. A definio do uso de uma avaliao deve fazer distino entre uso pelo programa e uso organizacional. O primeiro se refere a estudos individuais de avaliao, e o segundo tem a ver com o efeito cumulativo (aprendizagem) derivado de uma srie de avaliaes em uma organizao. O uso em programas pode ser posteriormente dividido em uso instrumental, em que a avaliao d suporte a ao especfica (confirmao, modificao ou trmino), e o uso conceitual, em que no se toma nenhuma ao imediata, mas no qual os resultados so considerados e a informao acumulada para uso posterior (Mayne, 1994).

25

Uso da avaliao de programas

RSP

Grandes mudanas nas polticas; Melhoria dos programas (aprendizado organizacional); Melhor alocao oramentria; e Suporte ao estabelecimento de responsabilidades.
Em todos os casos, no fcil demonstrar a utilizao dos resultados de avaliao. Os usurios potenciais precisam ser identificados, assim como o perodo de utilizao pretendido. A utilizao pode envolver melhorias concretas, mas tambm menos concretas, tais como melhor compreenso do programa, aprendizado organizacional ou estabelecimento de responsabilidades. Tambm possvel distinguir entre o uso da avaliao e seu impacto. A questo saber que impacto se quer para caracterizar o uso real dos resultados das avaliaes. A experincia sugere que a avaliao mais utilizada para a melhoria de programas existentes do que em suporte a mudanas fundamentais em polticas e em padres de alocao de recursos. Esse foi o caso na Sucia embora deva-se salientar que as grandes mudanas de polticas podem ser apoiadas por informaes de avaliaes cumulativas, colhidas ao longo de muitos anos. Alm disso, muitas avaliaes individuais podem no sugerir qualquer mudana substancial aos programas. Todos esses fatores fazem da anlise do uso das avaliaes uma questo complexa. Embora no haja muitos estudos sistemticos em prtica, alguns exemplos so apresentados posteriormente. Uma vez que a avaliao praticada em um contexto poltico, o problema da determinao do uso jamais ser completamente resolvido. A avaliao apenas uma fonte de informaes e compete com diversos outros fatores que tm influncia sobre a tomada de deciso. praticamente impossvel descobrir a extenso exata em que os resultados tenham influenciado as decises. As avaliaes podem ter maior impacto sobre polticas de baixa prioridade poltica, ou em relao quelas sobre as quais h grande consenso. Alm do mais, os polticos enfatizam suas boas intenes quando esto se decidindo por uma determinada interveno pblica, mas nem sempre estaro interessados em estudar seus efeitos. Por trs da relutncia em solicitar avaliaes e em discutir seus resultados pode estar o receio de que algumas deficincias venham a ser expostas. Os polticos talvez nem sempre desejem formular suas metas com preciso, o que torna a avaliao mais difcil. O fato que as decises continuaro a ser tomadas independentemente da qualidade do material considerado a cada processo decisrio. Com isso, possvel fomentar o uso de avaliaes por meio de consultas abertas junto aos tomadores de deciso. 26

Uma cultura orientada para a gesto de desempenho, que valoriza a avaliao, no surge da noite para o dia. Contudo, alguns passos concretos podem ser dados para dar mais importncia avaliao e popularizar seu uso pela administrao, pelos agentes de deciso e pelo pblico em geral. A seo que se segue destaca algumas das prticas capazes de maximizar o uso e o valor da avaliao. Contudo, deve-se salientar que conforme o contexto um tipo diferente de meio de popularizao do uso das avaliaes ir se aplicar. As primeiras trs questes focam sua ateno na criao de uma demanda efetiva e de um ambiente propcio conduo de avaliaes de programas. As trs questes seguintes se concentram no desenvolvimento de um arcabouo efetivo para a conduo da avaliao em si mesma. As nove questes apontadas no quadro a seguir focalizam aspectos prticos do processo de avaliao, ou seja, sobre como gerenci-lo, de modo a promover o uso de seus resultados. A questo final trata da formao de pessoal e suporte, fatores vitais na criao de uma cultura de avaliao para a administrao. Quadro 4: Questes para a melhoria das prticas de avaliao
Questo no 1 Questo no 2 Questo no 3 Questo no 4 Questo no 5 Questo no 6 Questo no 7 Questo no 8 Questo no 9 Questo no 10 Questo no 11 Questo no 12 Questo no 13 Questo no 14 Questo no 15 Questo no 16

RSP

Obtendo apoio dos dirigentes Gerando demanda efetiva Estabelecendo expectativas realistas Sistematizando as atividades de avaliao Articulando a avaliao com o processo oramentrio Escolhendo o avaliador certo Planejando as avaliaes Acertando o timing das avaliaes Satisfazendo as necessidades dos usurios Garantindo a relevncia Envolvendo os interessados Garantindo qualidade metodolgica Emitindo juzos e recomendaes Divulgando os resultados Monitorando ou acompanhando Reconhecendo as necessidades de pessoal para
treinamento e suporte

Questo no 1: Obtendo apoio dos dirigentes

importante que os dirigentes e polticos entendam o valor da avaliao e tenham expectativas realistas a respeito de seu uso. Isso pode ser expresso por meio da adoo de uma estratgia formal de avaliao

27

para o governo. O papel do Ministrio da Fazenda, e de outros rgos do governo central, geralmente crucial para garantir apoio e credibilidade. Os dirigentes devem se envolver no processo de avaliao, oferecendo contribuies, conforme a necessidade. Quando o objetivo principal o de melhorar a implementao de um programa existente, o apoio aos dirigentes do programa essencial. Pases Baixos No incio da dcada de 90, o governo estabeleceu uma estratgia que estipulava as funes de avaliao e as estratgias de sua promoo. Alm disso, definia as iniciativas e recomendaes necessrias no processo. Embora algumas diretorias de polticas sejam responsveis pela organizao das avaliaes, os ministros so os agentes responsveis, em ltima instncia. O Ministrio da Fazenda e as diretorias oramentrias internas so responsveis pela coordenao, promoo e popularizao do uso, devendo ainda se certificar do provimento de orientaes e informaes especializadas, conforme a necessidade.

RSP

Questo no 2: Gerando demanda efetiva

Tem-se sugerido que uma das razes para o uso inadequado da avaliao de programas a tendncia do mercado de sempre se orientar pela oferta. A demanda genrica por avaliaes precisa ser fortalecida, gerada e claramente articulada para que a avaliao tenha algum uso prtico e leve melhorias aos programas (Mayne, Divorski, Lemaire, 1998). Os clientes precisam detalhar seu interesse especfico na avaliao. Muitos incentivos podem ser usados para fomentar a demanda. Eles so apresentados a seguir, divididos em trs categorias: penalizao, prmio e conscientizao (Boyle, 1997; Toulemonde, 1998). Incentivos a) Penalizao A penalizao pode ser usada para garantir que as avaliaes sejam devidamente realizadas e que sejam feitas as perguntas corretas. Isso pode ser feito tornando as avaliaes obrigatrias ou delegando-se a um avaliador externo o direito de conduzi-las. A qualidade das avalia es tambm pode ser controlada por mecanismos especficos, por exemplo, por grupos gestores ou de reviso (Frana, Canad). s vezes, um aumento na concorrncia entre unidades do governo as encoraja a dar maior publicidade s informaes derivadas de avaliaes conduzidas sobre suas atividades.

28

b) Prmio Os prmios so usados para desenvolver a demanda. Isso pode ser feito por meio da alocao de recursos para avaliao e, tambm, dando-se reconhecimento aos esforos de avaliao (divulgao, prmios, promoes, melhorias no contedo do trabalho, pagamento por mrito). O trabalho extra causado pelas avaliaes pode ser contrabalanado pela reduo dos controles sobre contribuies e processos. c) Conscientizao A conscientizao pode ser feita para destacar o papel da avaliao e promover uma cultura que valorize seu uso em processos de tomada de deciso. Essa mensagem pode ser transmitida por meio de conferncias, cursos de treinamento, visitas, informativos e jornais, redes de colegas, premiaes etc. O importante agir sobre os resultados das avaliaes, como forma de demonstrar que so realmente importantes.

RSP

Questo no 3: Estabelecendo expectativas realistas

Expectativas irreais, em relao ao timing e ao escopo das concluses de uma avaliao por exemplo, podem levar a grandes desiluses. Isso ocorreu em muitos pases que faziam suas primeiras experincias de avaliao. Foi o caso da Sucia, por exemplo, nos anos 60 e 70. A introduo do oramento programado e das avaliaes esbarrou em dificuldades exatamente em funo das expectativas irreais e da falta de interesse suficiente para dar apoio aos ministrios. O reconhecimento das limitaes inerentes s avaliaes um aspecto muito importante. Os polticos que alocam recursos para avaliaes sempre esperam que os resultados sejam usados para a melhoria dos processos de tomada de deciso de maneira absolutamente oportuna. Os avaliadores, por sua vez, podem salientar o valor a longo prazo e cumulativo dos resultados das avaliaes, que por vezes s aparece, contudo, ao cabo de vrios anos. Os formuladores de poltica se voltam sempre para os avaliadores em busca de informaes que estes sempre dizem no poder fornecer. Mas mesmo assim, os avaliadores continuam a realizar mais e mais avaliaes. Essas diferenas entre oferta e procura podem levar falta de confiana e ao desapontamento, a menos que ambas as partes sejam capazes de estabelecer com clareza suas expectativas e estabelecer o que a avaliao tem a oferecer, realisticamente. Os usurios potenciais precisam estar cientes das provveis limitaes da avaliao e ter a capacidade de criar demanda efetiva que possa ser realisticamente satisfeita. O objetivo da avaliao gerar informaes teis e reduzir a incerteza

29

em relao s polticas que se examinam, mas no tem como oferecer respostas corretas ou substituir o julgamento subjetivo nas tomadas de deciso. Alm do mais, o tipo de informao produzida por meio das avaliaes sempre ir depender da escolha do avaliador. O solicitante de uma avaliao deve agir como um consumidor educado e crtico, com capacidade para se livrar dos avaliadores incompetentes que se apresentam com vises excessivamente otimistas acerca do projeto.

RSP

Questo no 4: Sistematizando as atividades de avaliao

Costuma-se argumentar com freqncia que um certo nvel de institucionalizao precisa ser dado para que as avaliaes possam desempenhar um papel genuno no gerenciamento das organizaes governamentais. A institucionalizao se dedica a criar condies para a oferta de avaliaes de alta qualidade, a utilizao dos resultados das avaliaes e a promoo de aprendizado organizacional. Um aspecto importante a integrao estratgica dos esforos de avaliao ao arcabouo geral da gesto de desempenho. Vrias atividades de reviso e controle precisam ser estabelecidas em um sistema lgico, coerente, a fim de evitar duplicao de esforos e excessiva prestao de contas. O grau de sistematizao, apresentado no Quadro 5, pode variar consideravelmente: Quadro 5: Grau de sistematizao
Informal Sistemtica Obrigatrias e regulares Centralizada Externa Ao Poder Legislativo do governo Aumentar a responsabilidade Iniciada e conduzida centralmente Grande

Exigncias para a conduo de avaliaes

Voluntrias e flexveis Descentralizada Interna Ao Poder Executivo do governo Melhorar a tomada e implementao das decises Iniciada e conduzida localmente Pequena

Responsabilidade para
a conduo de avaliaes

Posio do avaliador Subordinao Foco das avaliaes

Iniciao Abertura

30

O modo pelo qual se organizam as avaliaes afeta seu papel no processo de tomada de deciso. A integrao das avaliaes com os diferentes processos de formulao de poltica e tomada de deciso um aspecto fundamental para a garantia de seu uso. preciso avaliar o valor agregado e os custos de avaliao comparativamente, por exemplo, as mensuraes de desempenho em curso. Alguns governos alocam recursos para fins de avaliao (por exemplo, a avaliao dos programas de gastos da Unio Europia normalmente financiada com recursos do oramento dos programas, do qual apenas uma pequena parte alocada para atividades avaliativas) ou criam fundos especiais para o financiamento de projetos de avaliao. Austrlia A tenso entre flexibilidade e controle na sistematizao das avaliaes foi resolvida recentemente pela institucionalizao do processo, ao passo em que se deixa a cargo dos ministrios isolados a deciso quanto ao modo de se realizar o trabalho. O Ministrio das Finanas pode participar de grandes avaliaes pr-selecionadas e ajudar a garantir o controle de qualidade.

RSP

Questo no 5: Articulando a avaliao com o processo oramentrio

Para que a avaliao seja eficiente, preciso que seja parte integrante do projeto de formulao e implementao de polticas. Articulaes formais e sistemticas ao processo oramentrio so muito importantes. Contudo, um comparativo entre as prticas gerenciais de sete pases concluiu que em nenhum deles havia a integrao apropriada de oramento, auditoria e avaliao (Gray e Jenkins, 1993). As expectativas em relao ao uso dos resultados das avaliaes no processo de alocao oramentria precisam ser realistas. O processo oramentrio implica diversas escolhas polticas, dentre as quais a avaliao apenas um dos fatores a considerar. til desenvolver um relacionamento construtivo entre o avaliador e a organizao que se avalia. H quem considere que a articulao da avaliao com o processo de alocao de recursos possa diminuir a confiana entre as partes e, conseqentemente, a qualidade da avaliao. As avaliaes orientadas por mecanismos de controle, visando a grande economia, nas quais os resultados so usados apenas como base para cortes oramentrios, sempre constituiro resistncia. O envolvimento de gerentes e pessoal da organizao avaliada pode melhorar o equilbrio dos resultados e criar mais confiana.

31

Um sem-nmero de pases (dentre os quais a Austrlia e a Sucia), alm da Comisso Europia, fizeram tentativas para melhorar essa articulao com o processo oramentrio. Austrlia Na Austrlia, a avaliao foi associada ao processo oramentrio. O oramento dos programas, que inclui a avaliao dos mesmos, oferece a estrutura bsica para a tomada de deciso. A avaliao tem sido o principal meio de realocao dos novos recursos, tendo por base a eficcia dos programas. Uma reviso do uso das avaliaes na formulao do oramento de 1994/1995 demonstrou que os resultados das avaliaes influenciavam 77% das novas polticas propostas, bem como 65% das opes visando a economia de recursos. Segundo se constatou, a avaliao teve influncia sobre as deliberaes do primeiro escalo do governo em 68% das propostas consideradas. Trata-se de um aumento significativo comparativamente a oramentos anteriores, o que em parte reflete o fato de que um grande pacote de propostas, o chamado pacote Working Nation, amplamente apoiado em resultados de avaliaes, abrangia grande componente de novas propostas de polticas previstas no oramento. A posio australiana a de que as avaliaes devem ser conduzidas pelos prprios gerentes dos programas, mas que o processo como um todo deve ser orientado, progressivamente, de forma integrada gesto de desempenho baseada em bons princpios, que deve ser coordenada por aqueles a quem incumbe a alocao dos recursos. O Departamento de Finanas desempenha um papel fundamental na coordenao e orientao das avaliaes conduzidas pelos diversos departamentos e rgos do governo, chegando mesmo a participar de algumas avaliaes isoladas. Sucia Ao final da dcada de 80, um novo processo oramentrio foi institucionalizado na Sucia. Um dos objetivos era fazer das avaliaes prvias ad hoc um componente formal dos processos de tomada de deciso. Alm da produo de um informativo anual com os resultados, os rgos eram solicitados a conduzir revises aprofundadas de suas atividades a cada trs anos. O objetivo era o de facilitar discusses sobre resultados de polticas e de promover uma base mais slida para as decises executivas mais importantes. O sistema de avaliao foi recentemente revisado para incorporar mais flexibilidade. O documento principal utilizado na dotao oramentria um relatrio anual que detalha informaes de produo. Revises aprofundadas s so conduzidas mediante a solicitao formal por parte

RSP

32

de um ministrio. O material para avaliao prvia do processo oramentrio melhorou substancialmente. Contudo, no existe nenhuma informao sistemtica sobre o uso das avaliaes. A impresso geral de que a informao apresentada nos relatrios anuais dos rgos geralmente usada para fins de controle pelos ministrios e, tambm, para o refinamento de algumas polticas. Comisso Europia Uma poltica de avaliao sistemtica de programas foi adotada em 1996. As avaliaes ficam a cargo dos departamentos operacionais, ao passo que as Diretorias-Gerais para oramento e controle financeiro do suporte ao controle de qualidade das avaliaes. Uma ligao importante entre oramento e avaliao se d por meio da exigncia de que todas as propostas de programa sejam acompanhadas de um demonstrativo financeiro que estabelea um plano avaliativo para o programa. As propostas de novos programas precisam ter por base uma avaliao ex ante, e as propostas para renovao dos programas tambm precisam estar apoiadas em avaliaes. Em resumo, sem avaliao no h alocao.

RSP

Questo no 6: Escolhendo o avaliador certo

A organizao das atividades avaliativas reflete o papel que os governos desejam que a avaliao desempenhe. Os arranjos institucionais influenciam o que se pode esperar de uma avaliao. Tem impacto sobre o foco da avaliao sua ligao ao processo de tomada de deciso e outros, de natureza geral. A questo envolve diversos aspectos. Em primeiro lugar, possvel dar a um ou mais rgos governamentais a funo formal de conduzir ou solicitar avaliaes. Em segundo, o governo pode promover o desenvolvimento da capacidade avaliativa, tanto dentro quanto fora dos rgos dotados de alada formal para a conduo das avaliaes. O terceiro aspecto a escolha do avaliador certo para cada avaliao. comum delegar a um rgo do governo autoridade para a conduo ou solicitao de avaliaes. Assim tambm, como comum investir nas Secretarias de Auditoria da capacidade formal para a realizao de avaliaes ou auditorias. H exemplos das exigncias envolvidas no estabelecimento de unidades de avaliao dentro dos ministrios. Isso pode ser feito em toda a administrao ou em ministrios individualmente. H, tambm, alguns exemplos de unidades semi-independentes de avaliao, com autoridade geral ou setorial para a conduo das avaliaes.

33

O desenvolvimento da capacidade avaliativa no precisa se limitar queles rgos investidos de autoridade formal para a realizao das avaliaes. Muitos governos consideram este um aspecto importante para a reunio de uma gama de avaliadores (tanto internos como externos). A escolha do avaliador um fator importante na eficcia das avaliaes. essencial analisar o objetivo de cada avaliao. Por exemplo, uma avaliao interna provavelmente se ater a questes relevantes e far sugestes prticas de recomendaes, mas seria pouco realista esperar que oferecesse informaes crticas e relevasse questes relacionadas propriedade ou no de se continuar um dado programa. Os escritrios de auditoria independentes podem abordar questes mais fundamentais rela tivas aos resultados, mas a quantidade de questes, resultados e recomendaes que se lhes apresenta no ser necessariamente relevante do ponto de vista poltico. Os avaliadores semi-independentes podero combinar essas duas perspectivas. A avaliao pode ser conduzida por um sem-nmero de agentes, dos quais poucos tero autoridade formal para sua realizao. As avaliaes podem ser realizadas internamente pela administrao, externamente, por organizaes independentes, ou, como geralmente acontece, por um combinado de agentes diferentes. O grau de liberdade em rotular esses agentes como avaliadores internos ou externos ir depender da perspectiva adotada. Toda avaliao, com exceo da auto-avaliao, externa ao programa avaliado, e as unidades de avaliao nos ministrios so internas ao ministrio, mas externas ao programa. Os escritrios de auditoria, geralmente, so completamente independentes etc. O Quadro 6 mostra rgos aos quais o governo poderia estender autoridade formal para a conduo das avaliaes. Ele tambm indica quais desses agentes podem ser vistos como internos, externos ou independentes. Dependendo da perspectiva, pode haver a superposio de mais de uma categoria. Quando a avaliao conduzida pela organizao avaliada, a anlise contribui para a coleta de informaes fundamentais para a organizao em questo. Os avaliadores internos conhecem o programa e as questes que abordam. Alm disso, tm livre acesso s informaes correntemente produzidas na organizao, e detm, ainda, muita informao informalmente. Os dados podem ser coletados de maneira fcil e relativamente barata. A auto-avaliao permite aprender mais com as experincias e facilita o uso prtico dos resultados. Alm disso, as exigncias geralmente so menos rigorosas, pois questes complexas em relao relevncia e ao resultado do programa geralmente no so objeto de avaliao. Os problemas de avaliao interna tm a ver mais com o tempo e as habilidades exigidas equipe de avaliadores, a limitada faixa de questes a serem cobertas, a possvel falta de objetividade e, conseqentemente, a falta de credibilidade dos resultados. Isso pode resultar em um uso limitado

RSP

34

das avaliaes fora da organizao. Contudo, no , necessariamente, um problema se a avaliao se dirigir, principalmente, melhoria da implementao, e no tanto avaliao da relevncia geral de um programa. Quadro 6: Posies dos avaliadores e sua relao com o programa avaliado
Relao com o programa avaliado Interna Avaliador Posio do avaliador Dentro da administrao

RSP

Organizao avaliada Unidades de avaliao

especial junto aos ministrios rgos centrais da gerncia Comisses

Consultores gerenciais
Externa

Instituies acadmi
cas ou de pesquisa Grupos comunitrios de consumidores etc.

Fora da administrao

Independente

Escritrios nacionais
de auditoria

Canad Os departamentos e rgos so responsveis pela avaliao dos programas. As avaliaes geralmente so conduzidas por unidades especializadas em avaliao corporativa. Essas unidades por vezes so alvo de crticas, por no revisarem adequadamente a lgica dos programas em curso. Em 1996, uma grande reviso do programa foi realizada, sob a direo dos ministrios, por meio de um comit especial estabelecido para esse fim. Essas avaliaes amplas requerem uma clara liderana poltica. Sucia Os rgos do governo so solicitados a avaliar e apresentar um relatrio de desempenho e resultados. Um estudo conduzido por um grupo de Especialistas em Finanas Pblicas, em 1996, descobriu que a qualidade da auto-avaliao realizada pelos rgos pblicos era, de maneira geral, bastante baixa. As concluses derivadas dessas avaliaes geralmente no estavam apoiadas em evidncias materiais, por exemplo. Havia necessidade de criar mecanismos de controle de qualidade.

35

A avaliao conduzida por rgos centrais capaz de abordar questes que abrangem todo o governo e programas que cobrem diversos setores, estudando mais profundamente o impacto de diferentes programas e, possivelmente, revisando de forma mais rigorosa a relevncia atual dos programas em curso. Alm disso, a autoridade do avaliador e o acesso a processos-chave de tomada de deciso podem realar o uso das avaliaes. A confiabilidade em relao aos resultados e a natureza mais poltica das questes abordadas geralmente suscitam interesse fora da organizao avaliada, o que facilita o uso da avaliao em processos de tomada de deciso. Problemas podem surgir em funo da distncia existente entre o programa que se avalia e o rgo central, o qual se v limitado em seu acesso direto s informaes dadas s restries de tempo, recursos etc. Os avaliadores dos rgos centrais podem desempenhar papis conflitantes (oferecendo aconselhamento a ministrios e rgos individualmente, bem como ao Ministrio da Fazenda). A credibilidade pode estar em risco, a menos que o avaliador seja capaz de definir com clareza seu papel em relao a avaliaes individuais e fazer distines entre informao objetiva e julgamentos subjetivos que possam sofrer influncia do propsito da organizao (por exemplo, valor por dinheiro). Alm disso, os gerentes de programas precisam estar prontos a aceitar os resultados das avaliaes externas e as recomendaes, que podem no ser facilmente implementveis. Os gerentes de programas, ou os rgos centrais, geralmente agem como coordenadores das avaliaes conduzidas por avaliadores externos (instituies de pesquisa e consultores, por exemplo). Essa funo de coordenao envolve a seleo do avaliador, o processo de contratao, a seleo de programas para avaliao e a assistncia aos avaliadores para a conduo da avaliao. Frana O Comit Interministerial de Avaliao quem decide quanto ao nmero de avaliaes conduzidas em resposta a solicitaes do primeiro escalo, rgos do governo em geral e o Escritrio de Auditoria. Um conselho independente faz recomendaes ao comit quanto metodologia e a qualidade das avaliaes. As avaliaes so financiadas pelo Fundo Nacional de Desenvolvimento de Avaliaes. Pases Baixos Os diretrios oramentrios internos e o Ministrio da Fazenda so responsveis pela coordenao, promoo e determinao do uso de avaliaes, devendo garantir que a orientao, o aconselhamento e o conhecimento de pesquisa sejam disponibilizados conforme a necessidade.

RSP

36

Austrlia O Departamento de Finanas tem o papel central de assistir os ministros e os rgos para que se familiarizem com as avaliaes, a fim de que desenvolvam planos e atividades avaliativas, conhecimento e material de referncia, treinamento de equipes e o registro das avaliaes concludas. Alm disso, participa em algumas avaliaes com ministrios individuais. Quando a avaliao conduzida por avaliadores externos, a autonomia e habilidade destes geralmente melhora o leque de questes abordadas e a confiabilidade dos resultados. Isso, por sua vez, amplia o pblico interessado na avaliao que se conduz. Por outro lado, os avaliadores externos podem ter um entendimento menor da substncia e da cultura administrativa e poltica da organizao avaliada. Alm disso, alguns avaliadores podem tender a produzir avaliaes um tanto padronizadas ou a apresentar apenas os resultados que agradem o cliente. As instituies acadmicas tendem a produzir estudos demasiadamente tericos. H quem sugira que o sucesso de uma avaliao depende de seu ancoramento a diversos plos (Mayne, Divorski, Lemaire, 1998). S assim possvel satisfazer a diferentes demandas e produzir a informao para uma multiplicidade de mercados. H sempre o risco de concorrncia improdutiva e fragmentao das avaliaes, mas o uso de diferentes fornecedores de avaliao ir ampliar o leque de questes e perspectivas abrangidas nas avaliaes, aumentando, assim, as possibilidades para o uso de seus resultados. Ao diversificar o fornecimento, possvel combinar os benefcios e minimizar as limitaes de avaliadores. Isso tambm pode ser feito pela criao de corpos semi-independentes de avaliao. Uma vez que o desenvolvimento da capacidade avaliativa em diferentes organizaes uma tarefa um tanto desafiadora, pode ser conveniente, nos estgios iniciais, estabelecer atividades de avaliao em que haja alguma evidncia de demanda potencial, e, preferivelmente, em reas que disponham dos recursos necessrios. Alguns estudiosos tm sugerido que pode ser vlido centralizar a capacidade de avaliao em certo grau, no incio, deixando-se a expanso para outros centros para um momento posterior em que as habilidades e os demais recursos necessrios j tenham se avolumado (Boyle, 1997). Diversos estudos e experincias sugerem que as organizaes governamentais parecem ser mais receptivas a informao produzida internamente, ao passo que a avaliao externa geralmente vista como uma ameaa (Rist, 1994). Contudo, a necessidade de aceitao e implementao das avaliaes precisa ser contrabalanada por mecanismos apropriados de controle, visando a maior credibilidade das avaliaes internas. Isso pode ser alcanado pelo aumento da transparncia e da divulgao, estabelecendo-se grupos de referncia externos e conduzindo-se revises.

RSP

37

A extenso e localizao de ocorrncias de meta-avaliao, ou a avaliao de avaliaes, tambm so aspectos relevantes. Por exemplo, pode ser vantajoso promover avaliao interna que seja posteriormente revisada por rgos externos.

RSP

Questo no 7: Planejando as avaliaes

A boa preparao das avaliaes um fator preponderante para seu xito. conveniente dedicar algum tempo e esforo seleo do tpico e determinao do escopo e dos objetivos, planejando o processo avaliativo com cautela e escolhendo-se os critrios que sero utilizados. O planejamento cuidadoso torna mais fcil o gerenciamento das avaliaes e contribui para a qualidade de seus resultados. Contudo, o planejamento no pode se tornar demasiadamente rgido. Um certo grau de flexibilidade permite que as avaliaes sejam ajustadas a mudanas de necessidades e circunstncias. O requerente, geralmente aps consultar os usurios da avaliao, deve assumir a responsabilidade final pelas escolhas relacionadas ao planejamento da avaliao. Ateno especial deve ser dada definio de objetivos, questes, critrios e informaes disponveis, bem como aos mtodos de coleta e anlise de dados. O cronograma, o oramento, a lista de avaliadores e a organizao geral da avaliao tambm precisam ser detalhados. Os meios pelos quais os resultados sero apresentados, utilizados e monitorados tambm precisam ser considerados. O planejamento tambm envolve a identificao dos usurios, dos resultados e recomendaes da avaliao, devendo-se definir a responsabilidade dos diferentes atores e o modo como devero ser informados e motivados. O uso dos resultados da avaliao tambm precisa ser considerado, em uma anlise que inclua passos concretos a serem tomados para a implementao das recomendaes. Um planejamento cuidadoso das avaliaes fortalece o compromisso de agir a partir dos resultados e pode ajudar a garantir a tomada de aes posteriores. A definio dos usurios da avaliao na fase do planejamento influencia, e muito, o projeto do procedimento avaliativo. As necessidades de informao dos usurios precisam ser abordadas, bem como o interesse daqueles que estaro sendo avaliados, a fim de garantir seu envolvimento e cooperao. No planejamento de avaliaes isoladas, pode ser til compilar e publicar planos de avaliao de escopo mais amplo, que abranjam diversos setores e departamentos do governo (como os Planos de Avaliao de Carteira, na Austrlia, ou o Programa Anual de Avaliaes da Comisso Europia). Esses planos visam informar os interessados a respeito das

38

matrias que estaro sendo estudadas, detalhando at mesmo o escopo e o objetivo desses estudos. Contribuem, tambm, para a coordenao e implementao da avaliao.

RSP

Questo no 8: Acertando o timing das avaliaes

Para que seja til, a avaliao deve se encaixar nos ciclos de formulao de polticas e tomadas de deciso. A tempestividade um grande problema nas avaliaes. As avaliaes precisam ser planejadas com vistas gerao de informaes que sejam teis quando da tomada de deciso. Contudo, o timing exato pode ser difcil de se alcanar, porque o processo de tomada de deciso um tanto imprevisvel, e as polticas geralmente so revisadas antes que seus resultados possam ser apreciados. Diferentes usurios de uma mesma avaliao freqentemente tm, cada qual, seus prprios cronogramas. A avaliao pode envolver surpresas, e melhor planejar com antecedncia do que decepcionar-se com os resultados. O timing tambm importante do ponto de vista do programa avaliado. essencial no tentar conduzir avaliaes ex post antes de o programa ter atingido um certo grau de maturidade. Contudo, a boa avaliao pode ser melhor apoiada por um sistema eficiente de monitoramento, que se estabelea uma vez que o programa tenha sido iniciado. Tambm importante, durante a avaliao, permitir o transcurso de tempo suficiente para a anlise do material. O requerente precisa monitorar o cronograma de avaliao cuidadosamente, a fim de agir tempestivamente caso surja algum problema.

Questo no 9: Satisfazendo as necessidades do usurio

As avaliaes precisam ser focadas para o uso por um determinado pblico, cujas necessidades devem ser satisfeitas. O estado, a confiabilidade e as conexes dos usurios tm impacto sobre a credibilidade, e, por conseguinte, sobre o uso da avaliao. Uma vez que a avaliao essencialmente orientada a processos de formulao de polticas e tomada de deciso, importante se familiarizar com o modo de pensar e agir dos usurios. Entender o processo de interao poltica to importante quanto a capacidade de conduzir anlises adequadas. necessrio um dilogo entre as culturas dos usurios e dos avaliadores. Os diferentes processos de tomada de deciso, e a variedade de usurios das avaliaes, tambm podem exigir uma diversificao das atividades de avaliao (na Sucia h diversos fornecedores de avaliaes para grupos diferentes de tomadores de deciso).

39

Contudo, a avaliao pode desempenhar papis que vo alm do servio direto a usurios especficos. A avaliao tambm precisa reconhecer outras responsabilidades. Comportamento eticamente inaceitvel, m interpretao ou mau uso dos resultados de avaliaes em nome do cliente no podem ser tolerados.

RSP

Questo no 10: Garantindo a relevncia

importante observar os possveis benefcios da avaliao de um programa em particular, e em que grau informaes confiveis podem ser obtidas a partir dos resultados. As avaliaes devem abordar temas ou estudar programas que sejam significativos a questes oramentrias, polticas, gerenciais ou estratgicas. Isso especialmente importante nos estgios iniciais das avaliaes conduzidas no mbito do governo, na medida em que mesmo algumas poucas avaliaes de alto-perfil podem ter impacto considervel sobre a cultura de avaliao. Para que a avaliao seja justificvel, o programa avaliado tambm precisa ser razoavelmente estvel. As solicitaes de avaliao precisam ser feitas de forma sincera: deve haver pelo menos uma possibilidade de uso concreto dos resultados obtidos. muito difcil avaliar questes de grande interesse poltico, como por exemplo questes relacionadas ao resultado e relevncia gerais de uma dada poltica. s vezes, as questes de menor importncia so abordadas devido ausncia de interao entre o avaliador e os usurios. A escolha cuidadosa do avaliador e a possibilidade de criao de um grupo de referncia iro facilitar essa interao. O requerente de uma avaliao deve se certificar de dedicar o tempo necessrio definio dos termos de referncia para a avaliao e ao suporte a amplas discusses de seus termos, previamente ao incio da avaliao. Um certo grau de flexibilidade necessrio para manter a relevncia por meio do processo de avaliao. Isso pode ser necessrio para se ajustar uma avaliao a mudanas nos programas avaliados ou a mudanas na demanda por informaes. A relevncia das questes particulares pode se alterar na medida em que a avaliao caminha. Por isso mesmo, os contratos de avaliao no devem ser demasiadamente rgidos. O avaliador deve manter uma postura ativa, e no confinar a avaliao a questes originalmente delineadas se outras perspectivas se apresentarem como relevantes. Entretanto, um certo equilbrio necessrio, na medida em que as avaliaes com excessivo grau de flexibilidade correm o risco de serem capturadas pelo avaliador.

40

Frana Segundo alguns comentaristas, os estudos de avaliao solicitados por intermdio do Conselho Cientfico para Avaliaes geralmente se limitam a tpicos de importncia relativamente menor. A relutncia da burocracia em abordar questes politicamente importantes, bem como a tentativa de evitar conflitos em alguns crculos polticos, evidenciam a relevncia da avaliao (Boyle, 1997; Toulemonde, 1998). Alm disso, a lacuna cultural existente entre os acadmicos que conduzem as avaliaes e os polticos que recebem a informao limita o uso dos resultados das avaliaes.

RSP

Questo no 11: Envolvendo os interessados

Os interessados so todos aqueles que tm alguma inteno em relao s avaliaes, em funo da importncia que antecipem quanto aos resultados ou ao processo em si, para aplicao posterior em suas funes ou aes. Os interessados podem ser formuladores de polticas (parlamentares, ministros e outros executivos), o departamento de oramento, os gerentes de programa, os funcionrios pblicos que cuidam de sua implementao, o grupo-alvo do programa ou outros grupos de interesse que possam ser atingidos pelos programas. Existem diferentes vises quanto abordagem participativa nas avaliaes. De qualquer modo, necessria uma estratgia para a devida gesto dos interessados. A definio dos interessados e seu envolvimento na avaliao geralmente aumentam o compromisso e disposio destes em utilizar os resultados da avaliao. As diferentes perspectivas colhidas dos diferentes interessados podem enriquecer muito o processo avaliativo. Entretanto, o envolvimento dos interessados pode implicar deficincias. Pode haver dificuldade no gerenciamento e no equilbrio dos diversos interesses envolvidos. Alguns interessados ( includos os gerentes e o pessoal encarregado do programa avaliado) podem apresentar-se relutantes a participar e a disponibilizar informaes, especialmente se imaginarem que os resultados das avaliaes podem ser crticos quanto ao seu desempenho. O gerenciamento das relaes com os interessados pode ser mais dispendioso e demorado do que a abordagem no-participativa. Alm disso, o envolvimento dos interessados pode afetar negativamente a credibilidade da avaliao. A despeito dessas dificuldades, uma parceria entre os interessados geralmente til. Do contrrio, a avaliao corre o risco de se tornar um procedimento burocrtico, formal, conduzido por profissionais com poucas ligaes aos potenciais usurios.

41

A parceria pode ser estabelecida entre todas as partes: requerentes, avaliadores, avaliados, usurios potenciais e outros grupos de interesse. O envolvimento dos interessados tambm pode ser formalizado como parte da avaliao, por meio da criao de grupos gestores ou comits de aconselhamento. O escopo da cooperao pode variar, por exemplo, de acordo com a fase do processo avaliativo. A parceria na definio dos termos de referncia geralmente considerada benfica na maximizao do uso da avaliao. Alguns estudiosos argumentam que os interessados tambm deveriam decidir quanto metodologia a aplicar, bem como se envolver nas anlises e na interpretao dos resultados. Os avaliadores precisam buscar uma interao justa e confidencial com as partes envolvidas. Precisam estar cientes do necessrio equilbrio de interesses que deve haver durante o processo de avaliao. Um grupo interessado pode precisar de maior ateno que outros usurios dos servios ou o prprio grupo-alvo do programa avaliado. Isso naturalmente complica a avaliao, uma vez que os resultados do programa tm que ser revisados no apenas em relao aos seus objetivos, mas tambm no que diz respeito s necessidades dos clientes. s vezes chega-se a sugerir que os avaliadores ajam no sentido de salvaguardar a perspectiva de eventuais grupos minoritrios envolvidos na avaliao. Sucia O sistema de comisses tem desempenhado um papel central na preparao de decises polticas neste sculo. Embora a importncia relativa do sistema tenha se reduzido em anos recentes, cerca de 200 comisses continuam trabalhando anualmente. Essas comisses combinam a viso dos interessados, ao reunir representantes de partidos polticos, meios acadmicos, sindicatos, associaes patronais, organizaes de defesa do consumidor, grupos de interesse ambiental etc. Alm disso, os relatrios produzidos pelas comisses so encaminhados a um grande nmero de outras partes interessadas em mbito pblico e privado para considerao e reviso. Dessa forma o conhecimento disponvel na sociedade pode ser combinado de modo a melhor servir s anlises e preparao de decises polticas.

RSP

Questo no 12: Garantindo qualidade metodolgica

A qualidade metodolgica da avaliao abrange aspectos como os critrios relevantes, a necessidade de evidncias adequadas e, por conseguinte, de resultados claros e confiveis. A propriedade da metodologia

42

aplicada pode ter amplo efeito sobre a credibilidade e o uso da avaliao. Esse aspecto requer especial ateno, uma vez que o mercado para avaliaes do setor privado cresce rapidamente em muitos pases. At certo ponto, pode haver uma soluo de compromisso entre o rigor e a utilidade da avaliao. As avaliaes dominadas por mtodos complicados de pesquisa no costumam chegar a nenhuma concluso, e, a menos que sejam testadas, podero no ser aquelas dignas de maior ateno por parte dos formuladores de poltica. Alm disso, integrar o uso de mtodos cientficos, de um lado, e solues pragmticas para questes polticas, de outro, pode ser algo bastante desafiador. Aspectos como custo e tempo geralmente limitam o escopo para uso dos melhores mtodos, pois estes podem se revelar onerosos e demorados, alm do que seria realista. Em resumo, as consideraes pragmticas precisam ser contrabalanadas a outras de natureza epistemolgica. preciso selecionar mtodos, na medida do possvel, na fase do planejamento das avaliaes. Isso inclui os mtodos para coleta de dados, o uso de mtodos qualitativos e quantitativos, amostragem, causalidade, explicaes alternativas e lgica de argumentao. As concluses de uma avaliao deveriam se basear nos resultados obtidos a partir dos dados, e as recomendaes deveriam ter por base as concluses. Os avaliadores precisam ser claros acerca das premissas, incertezas e outras licitaes metodolgicas da avaliao. Na extenso possvel, os fatos devem ser separados de opinies e premissas. Os processos de controle de qualidade podem variar. desnecessrio dizer que o conhecimento tcnico de alta qualidade e outros recursos contribuem para uma avaliao de qualidade. A abertura e a transparncia do processo avaliativo permitem aos revisores externos fazer um escrutnio da qualidade. A divulgao das avaliaes pode ser, em si mesma, um mecanismo de controle de qualidade, pois dada mais ateno qualidade das avaliaes cujos resultados so publicados. Podem ser criadas listas de verificao para se estabelecer padres de qualidade para as avaliaes (por exemplo, a lista de verificao da Comisso Europia DG XIX); padres ticos para avaliaes tambm vm sendo adotados (por exemplo, pelas Sociedades Americanas e Australasianas de Avaliao), com o objetivo de aumentar a qualidade das avaliaes. O estabelecimento de grupos gestores ou grupos externos totalmente independentes (por exemplo, o Conselho Cientfico de Avaliaes, na Frana) pode ser til na tentativa de orientar ou revisar a qualidade das avaliaes. Como alternativa, o Escritrio de Auditorias pode ficar com a responsabilidade ou autoridade de revisar as avaliaes, se assim desejar (como faz, por exemplo, o Escritrio Nacional de Auditorias da Sucia). As revises so especialmente importantes para o aumento da credibilidade e qualidade das avaliaes internas.

RSP

43

Questo no 13: Emitindo juzos e recomendaes

H algumas diferenas de opinio com relao ao valor da emisso de juzos e recomendaes a partir das avaliaes. Alguns consideram que os julgamentos devem ser deixados como responsabilidade exclusiva dos requerentes ou usurios da avaliao. Argumenta-se que quanto mais genricas as concluses de uma avaliao, mais fcil o seu uso para esclarecimento de diferentes problemas e o fomento de discusses e de um processo de aprendizagem. Por outro lado, pode-se sugerir que os julgamentos e recomendaes atraem ateno, provocam e orientam discusses, alm de sinalizarem decises e aes que devam ser tomadas. Os tomadores de deciso geralmente dispem de tempo limitado e podem estar sobrecarregados de informaes. Os resultados e recomendaes mais claros, que delineiam alternativas de ao, tm maior probabilidade de atrair ateno e predispor aes subseqentes. Alm disso, os mecanismos construtivos de sugesto de melhorias, antes de se limitarem aos pontos dbeis de um programa, podem limitar a resistncia e contribuir para um consenso quanto s mudanas necessrias. De qualquer modo, necessrio deixar claro o critrio contra o qual se fazem julgamentos e recomendaes. As recomendaes podem ser contrabalanadas pela sugesto de solues alternativas, contrariando a tendncia de se focar apenas uma soluo possvel. Tambm pode ser til apresentar um plano de implementao que tenha por base as recomendaes da avaliao.

RSP

Questo no 14: Divulgando os resultados

Muitas avaliaes no surtem qualquer efeito, pois nenhuma ateno dada divulgao de seus resultados. essencial que esses resultados sejam apresentados de modo eficaz e oportuno. As polticas de divulgao variam, obviamente, mas a credibilidade e o uso da avaliao geralmente so aumentados quando se garante transparncia e abertura. Na Austrlia, os resultados das avaliaes devem ser divulgados publicamente. Na Sucia, o pblico sempre teve acesso a toda documentao do governo, includos os relatrios de avaliao. Os resultados das avaliaes, em especial aqueles com concluses negativas ou crticas, costumam encerrar grande sensibilidade poltica. Deve ser evitada controvrsia desnecessria, o que se consegue dando aos avaliados alguma informao preliminar sobre os resultados, antes de sua publicao.

44

A abertura geralmente um aspecto positivo. Contudo, dependendo da situao especfica, a transparncia pode ter aspectos negativos sobre o uso das avaliaes. A divulgao pode encorajar a implementao das recomendaes da avaliao ao criar presso externa, mas pode tambm aumentar a resistncia entre as partes que foram objeto de crtica, reduzindo a disposio destas em cooperar e agir de modo correto. Esses efeitos podem ser limitados evitando-se o uso de tom acusatrio e pela promoo de uma cultura de aprendizagem. Ao invs de se concentrar nas deficincias, a avaliao deve enfatizar, em seu relatrio, o que vem sendo feito para superar os problemas identificados. Contudo, pode haver casos em que a divulgao e a exposio na mdia a partir de certo estgio se tornem nocivas. Conforme discutido anteriormente, o timing da divulgao dos relatrios de uma avaliao importante para a conciliao com os cronogramas de tomadas de deciso. Geralmente, conveniente disponibilizar alguns resultados preliminarmente. A deciso quanto a divulgar ou no as recomendaes e concluses deve ser tomada nesse estgio. A experincia sugere que as avaliaes que encerrem temas de grande implicao poltica geralmente so melhor recebidas aps o transcurso das eleies, quando o novo governo j se apresenta mais disposto a aceitar crticas e recomendaes. A publicao de um relatrio formal o meio mais comum de se apresentar resultados de uma avaliao. importante que o relatrio seja claro, abrangente e amplamente distribudo. A estrutura e argumentao de um relatrio de avaliao devem ser inteligveis. Um sumrio executivo pode ser til, dada a improbabilidade de que todos os interessados venham a ler o relatrio na ntegra. Em alguns casos, pode ser vlida a publicao de verses resumidas do relatrio para diversos grupos de interessados. A mera distribuio do relatrio geralmente no basta. Explicaes e marketing adicionais tambm so necessrios para se estabelecer um dilogo quanto aos resultados da avaliao. Encontros com diversos interessados podem ser organizados para se apresentarem e interpretarem os resultados, bem como para encorajar a implementao das recomendaes. Ateno especial deve ser dada aos principais tomadores de decises. Seminrios, oficinas e grupos de discusses podem ser organizados.

RSP

Questo no 15: Monitorando ou acompanhando

O monitoramento do impacto da avaliao estimula o seu uso, orienta o processo de implementao e pode contribuir para a melhoria das prticas

45

de avaliao no futuro. O acompanhamento tambm importante na identificao de possveis necessidades adicionais de avaliao. O acompanhamento pode ser facilitado por uma estrutura institucional que revise o uso de todas as avaliaes em curso, ou que estabelea exigncias de acompanhamento subseqente a cada avaliao. importante garantir tempo suficiente para a implementao antes de se tirarem quaisquer concluses sobre o uso ou impacto da avaliao. Sanes pelo no uso dos resultados de uma avaliao, ou por no se seguirem as recomendaes feitas, geralmente ficam circunscritas ao mbito da divulgao e persuaso. Contudo, a simples conscientizao pblica quanto ao fato pode no criar a presso necessria para a implementao de mudanas nos programas. A implementao dos resultados e recomendaes de uma avaliao geralmente requer suporte e servios de consultoria. Isso pode ser facilitado por meio da assistncia tcnica e financeira.

RSP

Questo no 16: Reconhecendo as necessidades de pessoal para treinamento e suporte

O sucesso de uma avaliao requer avaliadores treinados, solicitantes bem informados e usurios conscientes. Em muitos pases, a educao bsica dos funcionrios pblicos no inclui habilidades especficas de avaliao. Sendo assim, o treinamento importante, especialmente quando a avaliao ainda est sendo introduzida e desenvolvida. So necessrias habilidades metodolgicas, polticas, gerenciais e de comunicao. Os solicitantes e usurios de uma avaliao precisam melhorar seu nvel de conhecimento sobre as avaliaes, a fim de serem capazes de articular questes relevantes, desenvolver os objetivos de avalia o, gerenciar projetos e selecionar avaliadores. Precisam, tambm, entender as limitaes da avaliao, bem como seu potencial para melhoria dos processos de tomada de deciso. Somando-se s habilidades de avaliao tcnica, importante haver uma cultura de permanente reviso das atividades pblicas. Os avaliadores externos precisaro aprender a compreender o contexto gerencial e poltico em que as avaliaes se desenvolvem. Treinamento e suporte podem ser organizados

Pela criao de redes dentro das organizaes, o governo como

um todo e os avaliadores e auditores de diferentes campos (redes de colaboradores como, por exemplo, a rede da Comisso Europia, ou as 46

associaes mais formais como a Sociedade Europia de Avaliao, a Sociedade Australasiana de Avaliao, a Associao Americana de Avaliao, a Sociedade Britnica de Avaliao etc.); Pela publicao de manuais, histrias de sucesso, informativos, jornais etc.; Pela organizao de seminrios, oficinas, cursos de treinamento, visitas etc.; Pelo estabelecimento de projetos de demonstrao; e Pelo estabelecimento de um help desk, ou servio similar, na administrao.

RSP

Concluses
Consideraes pragmticas e epistemolgicas precisam ser conciliadas na avaliao. essencial que haja um encontro entre a capacidade de bem avaliar e a disposio de utilizar os resultados. S assim se poder lograr que as avaliaes de programa tenham impacto sobre a tomada de decises (Mayne, Divorski, Lemaire, 1998; Boyle, 1997). Esses prrequisitos so interdependentes, de modo que melhorias em um levam a avanos tambm nos demais. algo que requer vontade poltica e trabalho sistemtico. H que se reconhecer que o uso das informaes da avaliao se aplica a todo o ciclo de poltica, e no apenas a instncias subseqentes implementao do programa ou de reviso peridica de uma poltica. A questo crucial saber como os governos podem organizar suas atividades de avaliao de modo a tirar plena vantagem do que a avaliao tem a oferecer. Embora o aprendizado organizacional geralmente no seja uma atividade sistemtica, a avaliao pode prestar grandes contribuies no processo. desnecessrio estabelecer arcabouos demasiadamente rgidos para o uso das avaliaes. A mesma variao que se verifica nos objetivos e mtodos de avaliao refletida no uso de seus resultados. Um dos grandes impactos das avaliaes nas organizaes costuma ser descrito como um impacto de longo prazo sobre o gerenciamento organizacional embora se devam buscar, tambm, melhorias diretas nos programas. A avaliao pode no ser apropriada para o fomento de todas as decises. s vezes, a avaliao demasiadamente custosa ou demorada, o que inviabiliza o seu uso. Por vezes, tambm, no h opes de ao disponveis, ou h pouca vontade poltica para a realizao de mudanas, e, ocasionalmente, a deciso tomada em outras bases, antes mesmo de conhecidos os resultados de uma avaliao. A avaliao pode ser mal utilizada ou conduzida apenas legitimao de decises polticas j

47

tomadas. Resultados inconvenientes, ou de grande delicadeza poltica, s vezes so suprimidos ou usados seletivamente. Embora o envolvimento dos usurios seja uma parte importante da avaliao, h sempre o risco de que a avaliao seja capturada pelo cliente. A despeito dessas limitaes, a pr-condio essencial para o maior uso dos resultados das avaliaes o compromisso e a perseverana daqueles que crem no uso desses resultados para a melhoria dos processos de formulao de polticas. preciso continuar produzindo avaliaes de boa qualidade, trabalhando junto aos usurios e fazendo as adaptaes necessrias ao ambiente sempre cambiante do setor pblico.

RSP

Exemplos de uso dos resultados de avaliao

Alguns exemplos do uso concreto de avaliaes e sugestes para estratgias eficientes de avaliao so apresentados a seguir. O grau do uso efetivo dos resultados das avaliaes pode ser interpretado de duas maneiras: pode-se experimentar algum desapontamento pelo fato de nem todos os resultados das avaliaes serem usados ou, ao contrrio, alguma satisfao pelo fato de a maior parte das avaliaes terminarem, de fato, por influenciar os processos de tomada de deciso. Esta ltima viso provavelmente a mais razovel. Sucia Embora ainda no tenham sido conduzidos estudos abrangentes sobre o uso das avaliaes, alguns comentrios podem ser feitos. Das avaliaes, 90% so usados como material de referncia prvia, e utilizados, principalmente, para ajustes de polticas, mais do que para uma reavaliao fundamental das atividades. Pode haver efeitos de aprendizagem a longo prazo, mas a inteno de se introduzir questes mais fundamentais no processo oramentrio ainda no foi concretizada. Contudo, a qualidade do material de referncia prvia para fins oramentrios aumentou. Os relatrios anuais dos rgos incluem muitos dados operacionais e servem, primariamente, gerncia interna e s funes de controle dos ministrios. O Parlamento continua sendo o ator mais mal informado sobre as avaliaes (Furubo e Sandahl, 1993). Canad A poltica e a infra-estrutura de avaliao foram desenvolvidas no curso de duas dcadas. H registro de restries financeiras e de outra ordem, mas o uso contnuo das avaliaes um grande indicador de sua

48

utilidade. Um grande nmero de avaliaes levou realocao de recursos, e pelo menos a algum uso do vasto universo de avaliaes conduzidas. Uma combinao de planos departamentais e comits de avaliao torna difcil perd-las de vista. Estudos sugerem que cerca de 20% das avaliaes levaram significativa reforma ou suspenso de programas; 40% delas levaram modificao nos programas; 30% oportunizaram um melhor entendimento dos programas; e cerca de 10% resultaram na confirmao de programas. Em 1993, um estudo conduzido pelo Escritrio do Auditor-Geral descobriu que os gerentes de avaliao davam a mxima importncia a esforos visando a resoluo de questes operacionais e a melhoria de programas pela administrao. Prioridade bem menor era dada ao questionamento dos programas visando a melhoria da alocao de recursos ou a avaliao de grandes programas em extenso que permitisse melhorar a delegao de responsabilidade ao Parlamento (Mayne, 1994). Pases Baixos Em um estudo conduzido pela Corte de Auditoria para explorar o escopo, as prticas e o uso das avaliaes, mais de 80% dos funcionrios entrevistados declararam que algum uso direto dos resultados das avaliaes havia sido feito. Quando algumas das avaliaes foram examinadas mais detidamente, 20, de um total de 42 estudos, haviam sido utilizados explicitamente. Como se v, h de fato uma evidncia concreta de uso. Apenas poucas avaliaes levaram a mudanas significativas (Leeuw e Rozendal, 1994). Austrlia O Departamento de Finanas tem o papel central de assistir os ministros e os rgos para que se familiarizem com as avaliaes, a fim de que desenvolvam planos e atividades avaliativas, conhecimento e material de referncia, treinamento de equipes e o registro das avaliaes concludas. Alm disso, participa em algumas avaliaes com os ministrios individualmente.

RSP

49

Sugestes de uma estratgia eficaz de avaliao

Irlanda A Irlanda est prestes a iniciar a sistematizao de suas atividades de avaliao. De acordo com Boyle (1997), lies de outros pases sugerem que um leque de avaliadores necessrio (o recurso a corpos semiindependentes de avaliao da administrao pode constituir um bom modelo). As prioridades da avaliao precisam ser estabelecidas: revises abrangentes conduzidas a cada trs anos podem constituir uma exigncia demasiadamente grande na fase inicial. A perspectiva do usurio precisa estar envolvida, sempre que possvel. O treinamento e o suporte de desenvolvimento tambm so necessrios para avaliadores e usurios, tanto em relao aos recursos de hardware quanto de software. A estimulao de demanda efetiva prmios, penalizaes e conscientizao, alocao de recursos, especificao de questes por parte daqueles que solicitam as avaliaes tambm necessria. Finalmente, precisam ser estabelecidas articulaes entre o oramento, a gerncia estratgica e a avaliao. Estados Unidos Richard Sonnichsen desenvolveu um modelo de escritrio interno de avaliaes que tem sido eficiente para maior uso dos resultados. O modelo tem por base a pesquisa conduzida em cinco escritrios internos de avaliao, em nvel federal e, tambm, na experincia pessoal de Sonnichsen. As condies organizacionais necessrias ao trabalho de um escritrio interno de avaliaes so: recursos suficientes, independncia, subordinao a um funcionrio snior da organizao, concordncia quanto a metas e polticas entre o escritrio e a organizao, autoridade suficiente para o chefe do escritrio de avaliao dentro da organizao, avaliadores organizacionalmente experientes e sua aceitao na organizao como profissionais independentes, objetivos e confiabilidade. Os fatores do processo incluem um papel bem definido e a divulgao da agenda do escritrio, auto-iniciao de avaliaes, habilidade na confeco de relatrios escritos e disseminao de resultados de avaliaes por toda a organizao, recomendaes de emisso, aplicao do procedimento de acompanhamento e desempenho, por parte da equipe de avaliao, do papel fiscalizador quanto divulgao dos resultados e recomendaes. Todos esses elementos oferecem uma combinao adequada de condies organizacionais, habilidades avaliativas e atitudes gerenciais que so necessrias para o sucesso de uma avaliao (Sonnichsen, 1994).

RSP

50

Austrlia A experincia australiana, at o momento, aponta a necessidade de alguns fatores crticos para uma avaliao de sucesso: diversas reformas do setor pblico que enfatizem resultados finais; exigncias de avaliao formal endossadas pelo primeiro escalo (que deve ser traduzida, com o passar do tempo, em uma abordagem de gesto de desempenho apoiada em boas prticas e orientada por princpios); apoio de diversos ministrios-chave; clara delegao de autoridade ao Departamento de Finanas para fins de avaliao; apoio do alto escalo dos ministrios; consenso e motivao quanto propriedade e necessidade de atividades de avaliao; redes de avaliadores; unidades centrais de avaliao nos ministrios; planejamento, coordenao e garantia de qualidade; e bons sistemas de informao sobre desempenho (Mackay, 1996).

RSP

Notas

Texto traduzido sob a responsabilidade da ENAP Escola Nacional de Administrao Pblica, das edies originais em ingls e francs publicadas sob os ttulos Improving Evaluation Practices. Best Practice Guidelines for Evaluation and Background Paper e Vers de Meilleurs Pratiques de lvaluation. Guide des Meilleurs Pratiques Suivre pour lvaluation et Document de Rfrence (Copyright OECD, 1999). A OECD no se responsabiliza pela qualidade da traduo em portugus, bem como por sua coerncia com o texto original. O relatrio original juntamente com outros informativos sobre o trabalho do PUMA, no que diz respeito gesto de desempenho e avaliao, esto disponveis na Internet: (www.oecd.org/puma). O grupo de referncia sobre avaliao composto por: Sylvie Trosa Departamento de Finanas (Austrlia); John Mayne Gabinete do Auditor-Geral (Canad); Rolf Sandahl Escritrio Nacional de Auditorias (Sucia); Harry P. Hatry The Urban Institute (Estados Unidos) e Hilkka Summa (Comisso Europia).

51

Anexo

RSP

Guia das melhores prticas a serem seguidas para avaliao

As melhores prticas para avaliao esto apresentadas, a seguir, em trs sees: Obtendo o mximo das avaliaes Esta seo define as avaliaes, seus objetivos, principais agentes, benefcios e custos: Definio e objetivos; Identificao dos principais participantes; e Avaliao de benefcios e custos. Organizando o arcabouo da avaliao Esta seo examina as prticas em relao a melhor organizao e utilizao das avaliaes pelo setor pblico: Fomento cultura de avaliao; Gesto estratgica das atividades de avaliao; e Incentivo credibilidade. Desenvolvendo avaliaes eficazes Esta seo examina prticas e prioridades para a gesto de avaliaes individuais: Assegurar a relao com os processos de tomada de deciso; Escolha do avaliador certo; e Envolvimento dos interessados e ampla divulgao dos resultados.

Obtendo o mximo das avaliaes

Definio e objetivos

As avaliaes so processos de anlise dos resultados das polticas pblicas, organizaes e programas que enfatizem a confiabilidade e a utilidade das informaes. Destinam-se a colher melhores informaes e reduzir as incertezas. Contudo, mesmo mediante a aplicao dos mais rigorosos mtodos, as avaliaes sempre estaro sujeitas a algum grau de

52

julgamento subjetivo. Pode-se fazer uma distino entre avaliaes ex ante (ou reviso de polticas) e avaliaes ex post. Muitas prticas discutidas neste documento se aplicam igualmente a ambas, mesmo que seus objetivos sejam diferentes. Os principais objetivos das avaliaes so melhorar o processo de tomada de deciso, a alocao de recursos e a prestao de contas. Tais metas podem ser alcanadas por meio de informao ao pblico, aos principais agentes de deciso e do encorajamento de processos j instalados de aprendizado organizacional. As avaliaes devem ser parte de um arcabouo mais amplo de gesto de desempenho. Podem complement-lo ou melhor-lo, mas nunca substitu-lo. Identificao dos principais participantes

RSP

As avaliaes bem-sucedidas tm por base a cooperao entre

os participantes-chave (avaliadores, usurios e interessados) sob a liderana de um requerente. Os requerentes so organizaes que solicitam as avaliaes. Eles planejam a avaliao, acompanham o andamento de sua aplicao, recebem os relatrios de avaliao e decidem quanto s aes a serem adotadas. Podem ser ministrios ou rgos do governo central (como o Ministrio da Fazenda ou organizaes independentes de auditoria e avaliao). Em alguns casos, o requerente pode ser o prprio avaliador. Os avaliadores so indivduos ou organizaes que coletam e analisam os dados para, ento, emitir julgamento sobre o valor do elemento. Os usurios de uma avaliao podem ser os decisores, os formuladores de poltica, o departamento de oramento, os auditores, os gerentes e o corpo tcnico de um programa ou poltica, os usurios de servios etc. Os interessados so os indivduos ou organizaes que detm interesse na poltica ou programa em anlise, bem como no resultado da avaliao que se conduz. Os interessados e os usurios geralmente so os mesmos agentes. Avaliao de benefcios e custos

Os benefcios das avaliaes devem superar os custos e

limitaes envolvidos. Esses custos e benefcios podem variar em funo de uma cuidadosa gesto das avaliaes e pela escolha de avaliadores e mtodos de avaliao apropriados. O principal mrito das avaliaes permitir um estudo aprofundado do desempenho e uma avaliao independente da eficcia de

53

outros instrumentos de gesto de desempenho. Os maiores benefcios potenciais esto associados aos programas e polticas de maior alcance. Por outro lado, a experincia demonstra que o custo e o tempo envolvidos nas avaliaes geralmente so grandes demais quando se considera sua utilidade e real eficcia. H tambm o risco de que as avaliaes sejam usadas como meio de retardar o processo de tomada de deciso e justificar a inatividade.

RSP

Organizando o arcabouo da avaliao

Fomento cultura de avaliao

O suporte s avaliaes se reflete na disposio dos polticos, gestores de polticas e rgos do governo central (Ministrio da Fazenda, por exemplo) em fazer uso efetivo das recomendaes produzidas em decorrncia das avaliaes. A demanda por avaliaes precisa ser gerada, especificada e articulada por interessados em nvel interno e externo. As avaliaes para as quais no se pode traar um vnculo de posse a uma parte interessada dificilmente surtiro efeito. Barreiras institucionais s avaliaes, tais como resistncia interna, podem ser reduzidas por meio de consultas prvias que visem construo da confiana mtua. O governo pode apoiar o desenvolvimento de uma cultura de avaliao que encoraje a inovao e a constante adaptao a um ambiente em mutao. A mensagem bsica deve ser a de que para se manterem relevantes, as organizaes precisam continuar aprendendo a partir dos resultados que obtm de seus trabalhos. Capacitao e dilogo profissional, avaliadores competentes, requerentes bem informados e usurios entusiastas prestam, todos, grande contribuio ao desenvolvimento de uma cultura de avaliao.
Gesto estratgica das atividades de avaliao

As modalidades de realizao das avaliaes devem corresponder s necessidades e prioridades das diferentes reas de atuao dos poderes pblicos. Pode ser apropriado sistematizar e institucionalizar avaliaes em reas-chave onde os custos de coleta de dados so mais altos e a informao limitada. Contudo, uma abordagem mais flexvel produzir freqentemente melhores resultados, ao mesmo tempo em que impede que as avaliaes se tornem meros procedimentos burocrticos. Ateno especial deve ser dada s atividades de avaliao conduzidas para um conjunto de organizaes.

54

 Os rgos do governo central desempenham um importante papel

no gerenciamento do processo de avaliao. Contudo, as avaliaes em si podem ser descentralizadas a diferentes agentes, em todos os nveis de governo. O desenvolvimento de habilidades avaliativas em diferentes organizaes garante a necessria amplitude de mtodos e perspectivas de avaliao (por exemplo, a partir da experincia dos avaliadores internos e externos), bem como o desenvolvimento da avaliao de conformidade com o conjunto nico de questes relacionadas aos objetivos, ao foco, credibilidade e ao uso especfico. Fundos especiais para o financiamento das avaliaes podem servir como incentivo importante para a avaliao de polticas pblicas. Contudo, tambm podem servir de encorajamento ao uso de avaliaes em detrimento de abordagens de gesto de desempenho por vezes mais apropriadas. Incentivo credibilidade

RSP

A falta de credibilidade mina a utilizao que se faz dos resultados de uma avaliao. Os fatores que influenciam a credibilidade incluem a competncia e a credibilidade do avaliador; a confiana mtua existente entre o avaliador e os elementos avaliados; a existncia de consultas e o envolvimento prvio entre os interessados; alm do estabelecimento de processos de divulgao dos resultados. Os padres profissionais e ticos, e a qualidade metodolgica da avaliao (compreendendo questes de relevncia, como critrio, adequao dos dados, evidncia, credibilidade e clareza dos resultados) tambm tm ao determinante sobre a credibilidade de uma avaliao. O controle de qualidade, associado a um dilogo franco e aberto, pode aumentar a credibilidade ao expor e corrigir potenciais deficincias das avaliaes.

Desenvolvendo avaliaes eficazes

Garantia de ligao com os processos de tomada de deciso

Informaes referentes s avaliaes podem ser um fator

importante na formulao de polticas, visando a melhoria da qualidade das intervenes e da alocao oramentria em suporte a prioridades e poupanas. As avaliaes mais relevantes se dirigem a questes significativas, por razes polticas, oramentrias, gerenciais e outras de natureza estratgica. Os objetivos da avaliao determinam o local, a metodologia e o uso de uma avaliao. O uso proposto de uma avaliao deve estar

55

claramente definido. As avaliaes devem ser projetadas conforme as caractersticas de uma determinada poltica, e os mtodos de avaliao devem corresponder aos objetivos da mesma, levando em conta limitaes como custos e limite de tempo. O desenvolvimento das avaliaes de polticas desde a fase inicial, e a clara definio de seus objetivos, expandem a utilidade da avaliao e facilitam o planejamento. O planejamento melhora o gerenciamento e a qualidade da avaliao. O requerente responsvel pelo planejamento das avaliaes e pela definio de seus objetivos, critrios, mtodos e coleta de dados. A tempestividade importante, mas o ciclo de tomada de deciso geralmente imprevisvel e as decises quase sempre so tomadas antes que as avaliaes tenham sido concludas. Escolha do avaliador certo

RSP

A auto-avaliao de uma organizao apropriada quando os principais objetivos so o aprendizado organizacional e a melhoria da capacidade de implementao. Contudo, o tempo e as habilidades disponveis ao corpo tcnico responsvel podem ser insuficientes. Alm disso, a amplitude das questes abordadas pode ser limitada, e a credibilidade dos resultados pode ser questionada. A avaliao pelos rgos do governo central apropriada quando o objetivo melhorar as prioridades de alocao oramentria. Tambm til nos casos em que o avaliador tem ligaes diretas com os processos de tomada de deciso. A avaliao pelos avaliadores externos (organismos de pesquisa e consultores de gerenciamento, por exemplo) apropriada quando o objetivo oferecer novas perspectivas sobre polticas pblicas ou diante de necessidades e habilidades especiais de avaliao. Contudo, esses avaliadores podem ter uma compreenso limitada da essncia e da cultura da poltica ou organizao sob exame, restringindo-se a avaliaes tericas. A avaliao independente apropriada quando os objetivos so maior prestao de contas e transparncia. Contudo, os gestores de polticas, ou os administradores em geral, podem mostrar-se relutantes em aceitar os resultados e recomendaes. As auditorias de desempenho costumam ser semelhantes s avaliaes. Nas caractersticas-chave incluem-se a autonomia do auditor e a nfase sobre a responsabilidade na prestao de contas, e no sobre a melhoria do desempenho.
Envolvimento dos interessados e ampla divulgao dos resultados

Os interessados, incluindo o corpo tcnico, podem ser designados para compor comisses de avaliao ou envolvidos por meio de grupos

56

de gestores ou de aconselhamento. Os mtodos de avaliao participativa podem ser usados para criar consenso e sentimento de propriedade em relao a um processo de mudana. O dilogo com os usurios e o corpo tcnico melhora a compreenso e a capacidade de satisfazer s suas necessidades e prioridades. A participao precisa ser gerenciada em funo das limitaes de custo e tempo, bem como em relao aos riscos envolvidos nesse processo. A ampla apresentao dos resultados de uma avaliao aumenta a credibilidade e estimula a tomada de deciso com base nos resultados. A disponibilizao pblica dos relatrios e os encontros so teis para apresentar e estimular o dilogo sobre os resultados. Os julgamentos e as recomendaes oferecidas com base em critrios claros atraem a ateno e promovem a tomada subseqente de deciso. O julgamento deve-se centrar na resoluo de problemas, e no na busca de culpados.

RSP

Referncias bibliogrficas

BOYLE, Richard. (1997), Evaluating Public Expenditure Programmes. A Role for Programme Review, Discussion Paper Number 1, Committee for Public Management Research, Institute of Public Administration, Dublin. CHELIMSKY, Eleanor. (ed.) (1985), Program Evaluation: Patterns and Directions, American Society for Public Administration. Washington D.C. COMMONWEALTH OF AUSTRALIA. (1994), Doing Evaluations. A practical guide, Department of Finance, Australian Government Publishing Service, Canberra. DENTE, Bruno. (1997), The Policy of Public Policy Evaluation; a Paper presented in Colloque international GAPP CNRS-ENS, Cachan, France. DERLIEN, Hans-Ulrich. (1990), Genesis and Structure of Evaluation Efforts in Comparative Perspective, in Rist, Ray (ed.) Program Evaluation and the Management of Government. Transaction Publishers, New Brunswick, London. DUTCH M INISTRY OF FINANCE. (1996), Quality Criteria, Responsibilities and Dissemination of Information on Policy Evaluation in Central Government Departments in the Netherlands, AVT95/FZ39626. EUROPEAN COMMISSION DG XIX. (1996), Assessing the Quality of Evaluation Reports, DG XIX, Assessment Checklist. . (1996), Evaluation, concrete steps towards best practice across the Commission. Communication to the Commission by Mr Liikanen and Mrs Gradin in Agreement with the President, Internal Document, adopted by the Commission on 8 May 1996. . (1997), Evaluating EU Expenditure Programmes. A Guide. ex post and Intermediate Evaluation, DG XIX. FURUBO , Jan-Erik; SANDAHL , Rolf (1993), Does the Results Matter? The Role of Stakeholders,Expertise and Executors in the Production of Result-Based Data. Swedish National Audit Bureau, The Financial Management Department.

57

. (1994), Learning from Evaluations: the Swedish Experience in Leeuw Frans L., Rist Ray C. and Sonnichsen Richard C. (eds.) Can Governments learn? Comparative Perspectives on Evaluation and Organisational Learning. Transaction Publishers, New Brunswick, London. GRAY, Andrew; JENKINS, Bill; SEGSWORTH, Bob. (1993), Budgeting, Auditing and Evaluation, Functions and Integration in Seven Governments. Transaction Publishers, New Brunswick, London. GRAY, Andrew. (1997), Evaluation, New Public Management and Democracy, a Paper presented in the European Evaluation Society Conference, Stockholm. GRAY, Andrew; JENKINS, Bill. (1993), Horses to the Water: Budgeting, Auditing, and Evaluation in Seven Governments, in GRAY, A. JENKINS B. and SEGSWORTH B., in Budgeting, Auditing, and Evaluation. Functions and Integration in Seven Countries, Transaction Publishers, New Brunswick, London. HATRY, Harry P. (1980), Pitfalls of Evaluation in Giandomenico Majone and Edward S. Quade (eds.), in Pitfalls of Analysis, International Series on Applied Systems Analysis, 8, John Wiley & Sons. Chichester/New York/Brisbane/Toronto. HOLKERI , Katju; SUMMA, Hilkka. (1996), Evaluation of Public Management Reforms in Finland: From ad hoc Studies to a Programmatic Approach, OECD, PUMA/PAC(96)5. HOUSE , Ernest R. (1980), Evaluating with validity, Jossey Bass, Beverly Hills. LEEUW, Frans L., RIST , Ray C., SONNINCHSEN, Richard C. (eds.) (1994), Can Governments learn? Comparative Perspectives on Evaluation and Organisational Learning, Transaction Publishers, New Brunswick, London. LEEUW, Frans L.; ROZENDAL, Piet, J. (1994), Policy Evaluation and the Netherlandss Government: Scope, Utilisation, and Organisational Learning, in LEEUW, Frans L., RIST , Ray C., SONNINCHSEN, Richard C. (eds.), Can Governments learn? Comparative Perspectives on Evaluation and Organisational Learning, Transaction Publishers., New Brunswick, London. M ACKAY, Keith. (1996), The Institutional Framework for Evaluation in the Australian Government, Paper delivered to a World Bank seminar on Australias program and policy evaluation framework on institutionalising the process, Washington DC, 30 April 1996. M AYNE, John; DIVORSKI, Stan; LEMAIRE, Donald. (1998), Locating Evaluation: Anchoring Evaluation in the Executive or the Legislature, or Both or Elsewhere?, in BOYLE, R. & LEMAIRE, D. (eds.) (1998), Building Evaluation Capacity: Lessons from Practice, Transaction Publishers. M AYNE, John. (1994), Utilising Evaluation in Organisations: The Balancing Act, in LEEUW Frans L., RIST , Ray C., SONNICHSEN, Richard C. (eds.) (1994), Can Governments learn? ComparativePerspectives on Evaluation and Organisational Learning. London: Transaction Publishers, New Brunswick. OECD . (1995), Governance in Transition. Public Management Reforms in OECD Countries, Conclusions of the Public Management Committee. . (1997), In Search of Result Performance Management Practices, Paris. . (1996), Performance Auditing and the Modernisation of Government, Paris. . (1996), Performance Management in Government Contemporary Illustrations, PUMA, Occasional Papers, No 9,. Paris. POLLITT, Christopher. (1996), Approaches to Evaluation, Speaking notes for the Presentation to Key Evaluation Officials Within the European Commission, 28th October 1996, Brunel University, Uxbridge.

RSP

58

POLLITT, Christopher; SUMMA, Hilkka. (1997), Performance Auditing: Travellers Tales, in CHELIMSKY, Eleanor; SHADISH , William R. (eds.), Evaluation for the 21st Century. A Handbook, Sage, London. RIST , Ray C. (ed.) (1990), Program Evaluation and the Management of Governmen, London: Transaction Publishers, New Brunswick. . (1994), The Preconditions for Learning: Lessons from the Public Sector, in LEEUW, Frans L., RIST , Ray C. and SONNICHSEN, Richard C. (eds.), Can Governments learn? Comparative perspectives on Evaluation and Organisational Learning, London: Transaction Publishers, New Brunswick. SONNONCHSEN, Richard C. (1994), Effective Internal Evaluation: An Approach to Organisational Learning, in LEEUW, Frans L., RIST , Ray C., SONNICHSEN, Richard C. (eds.), Can Governments learn? Comparative perspectives on Evaluation and Organisational Learning,.Transaction Publishers, London: New Brunswick. T OULEMONDE, J. (1998), Constraints, Incentives, Culture-Building as Instruments for the Development of Evaluation Eemand, in BOYLE, R. and LEMAIRE, D (eds.), Building Evaluation Capacity: Lessons from Practice, Transaction Publishers.

RSP

59

Resumo Resumen Abstract

RSP Revista do Servio Pblico Ano 51 Nmero 4 Out-Dez 2000

Em direo s melhores prticas de avaliao

Marjukka Ala-Harja e Sigurdur Helgason A nfase nos resultados constitui elemento central das recentes reformas do setor pblico em pases-membros da Organizao para Cooperao e Desenvolvimento Econmico (OCDE). A avaliao importante em um ambiente que se conduz pelos resultados, pois permite determinar aspectos como eficincia, eficcia e desempenho das polticas pblicas, tornando-se, assim, uma dimenso crtica dos esforos de melhoria das polticas e de inovao. Em essncia, a avaliao contribui para uma gesto pblica responsvel. Como parte do seu trabalho sobre Gesto de Desempenho, o Servio de Gesto Pblica da OCDE estudou a situao da avaliao nos pases-membros, a fim de identificar as questes e prticas mais relevantes para o melhor uso dos procedimentos de avaliao. O objetivo desse trabalho identificar as principais questes e prticas que os pases-membros da OCDE devem considerar em seus esforos de melhorar o uso da avaliao. Tem seu foco sobre o gerenciamento das atividades avaliativas do governo e das avaliaes individuais, em detrimento de questes metodolgicas.

En direccin a las mejores prcticas de evaluacin

Marjukka Ala-Harja y Sigurdur Helgason El nfasis sobre resultados constituye elemento central de las recientes reformas del sector pblico en pases miembros de la Organizacin de Cooperacin y de Desarrollo Econmico (OCDE). La evaluacin es importante en un ambiente que se conduce por resultados, pues permite determinar aspectos como eficiencia, eficacia y rendimiento de las polticas pblicas, resultando as, en una dimensin crtica de los esfuerzos de mejora de las polticas y de innovacin. En esencia, contribuye para una governanza responsable. Como parte de su trabajo sobre Gestin de Rendimiento, el Servicio de Administracin Pblica estudi la cuestin de evaluacin en los pases miembros, a fin de identificar las cuestiones y prcticas ms relevantes para mejor uso de los procedimientos evaluados. El objetivo de las Directrices es identificar las principales cuestiones y prcticas que los pases miembros de la OCDE deben considerar en sus esfuerzos para mejorar el uso de la evaluacin. Tienen su foco sobre el gerenciamiento de las actividades evaluadas del govierno y el gerenciamiento de evaluaciones individuales, en perjuicio de las cuestiones metodolgicas.

Marjukka Ala-Harja Ministro da Fazenda da Finlndia. Sigurdur Helgason membro do Servio de Gesto Pblica da OCDE.

Improving evaluation practices

Marjukka Ala-Harja and Sigurdur Helgason A focus on results is a central element in recent public sector reforms in OECD countries. Evaluation is important in a results-oriented environment because it provides feedback on the efficiency, effectiveness and performance of public policies and can be critical to policy improvement and innovation. In essence, it contributes to accountable governance. As a part of its work on Performance Management, the Public Management Service has studied evaluation in Member countries in order to identify key issues and practices to improve the use of evaluation. The aim of the Guidelines is to identify key issues and practices that OECD member countries should consider when seeking to improve the use of evaluation. They focus on management of evaluation activities in government and management of individual evaluations rather than on methodological questions.

60