Professional Documents
Culture Documents
RESUMO - Neste texto promove-se uma discusso sobre avaliao qualitativa de projetos e programas sociais e de sade e suas vrias formas
de abordagem, mas sem separar essa atividade tcnica, acadmica e social do contexto das investigaes avaliativas. Por isso, o artigo d nfase
questo histrica da prtica de avaliar; aos conceitos principais de avaliao; s tipologias; s fases e a seu sentido social, pragmtico e tico.
Do ponto de vista da avaliao qualitativa se discutem as bases tericas, as modalidades e as questes de validade, especificamente levando-se
em conta a triangulao de perspectivas e a incluso de todos os atores no processo. Aprofunda-se a proposta do chamado RAP (Rapid
Assessment to Projects). A concluso do texto leva a considerar a importncia de incluir os diversos atores com suas crenas e expectativas no
processo avaliativo para que ele se constitua num ato de aprendizagem para todos os envolvidos.
Palavras-chave: Avaliao em sade; avaliao de programas sociais; avaliao; avaliao qualitativa; pesquisa avaliativa.
ABSTRACT - This text promotes a discussion on the "qualitative evaluation" of social and health and social programs and projects and their
various approaches, but without separating this technical, academic and social activity from the context of the evaluative research.
This article emphasizes the historical questions of the practice of assessment, the main concepts of evaluation, the types, the stages and
its social, pragmatic and ethical sense. From the standpoint of qualitative assessment, the theoretical foundations, the modalities and the issues
of validity are discussed, specifically considering the triangulation of perspectives and the inclusion of all stakeholders in the process.
The proposal called the RAP (Rapid Assessment to Projects) goes deeper. The conclusion of the text leads to the consideration of the
importance of including diverse actors, with their own beliefs and expectations, in the evaluation process so that it becomes
an act of learning for all involved..
Keywords: Evaluation in health; evaluation of social programs, qualitative evaluation, evaluative research
1. INTRODUO
A prtica avaliativa tem sido introduzida em
O hbito de avaliar instituies, programas e projetos
diferentes ambientes e de vrias formas, ora como
com mtodos e tcnicas cientficas relativamente
uma ao externa que analisa determinada
recente no mundo e no Brasil. Tornou-se freqente
interveno ou problema, ora como etapa do
aps a Segunda Guerra Mundial nos pases centrais
planejamento e da gesto das instituies, de
do capitalismo, acompanhando os macios
programas e projetos e no seu sentido mais nobre,
investimentos em polticas pblicas de bem estar
acompanhando concomitantemente as aes
social.
voltadas a mudanas desde o seu primeiro desenho.
com essa insero na realidade que a 3
Segundo Scriven , a avaliao deve ser
avaliao passou, nos ltimos 60 anos, a fazer parte
considerada, na atualidade, no apenas como uma
da pauta de investimentos tericos e prticos, ao lado
tcnica, mas como uma transdisciplina, ou seja, um
das metodologias e modelos de pesquisas sociais,
campo de estudo prprio que ao mesmo tempo
visando maior eficincia na aplicao de recursos e
oferece instrumentos de reflexo para outras reas
efetividade nas aes institucionais, sociais e
1,2.
econmicas Autor correspondente
Maria Ceclia de Souza Minayo
Pesquisadora titular da Fundao Oswaldo Cruz
Centro Latino Americano de Estudos sobre Violncia e Sade Jorge Careli
Av. Brasil, 4036 sala 700 - Manguinhos
CEP:21040-361 Rio de Janeiro-RJ
Tel.: (21) 2290.4893 - Fax: (21) 3882.9151
ceclia@claves.fiocruz.br
Artigo encaminhado 17/02/2011
Aceito para publicao em 28/04/2011
Sau. & Transf. Soc., ISSN 2178-7085, Florianpolis, v.1, n.3, p.02-11, 2011.
3
Sau. & Transf. Soc., ISSN 2178-7085, Florianpolis, v.1, n.3, p.02-11, 2011.
4
de determinados parmetros que j esto hoje Do ponto de vista tcnico, preciso que a
11
universalmente consolidados cientificamente . organizao de uma avaliao leve em conta o
desenvolvimento terico j consolidado
Do ponto de vista da sua utilidade prtica,
universalmente nessa rea, para que todo o
uma boa avaliao visa a reduzir incertezas, a
instrumental utilizado seja qualitativamente
melhorar a efetividade das aes e a propiciar a
adequado aos objetivos propostos.
tomada de decises relevantes por meio de lies
1,12,13
aprendidas no processo . Uma avaliao deve Do ponto de vista tico, a avaliao de
permitir identificar pontos fracos e fortes e destacar o intervenes e de investimentos se dirige para
que mais produtivo visando a: (1) oferecer mudanas que precisam ser construdas no cho da
respostas aos beneficirios, instituio, sociedade realidade social: a populao brasileira anseia por
e ao governo atendendo ao ator social que a diminuir as desigualdades e ver erradicados o
encomendou - sobre o uso dos recursos empregados; mandonismo e o autoritarismo poltico, institucional e
(2) orientar os investidores sobre as melhores acadmico. A competente anlise de um projeto,
aplicaes de seus recursos visando ao programa ou conjunto de programas deve tornar
desenvolvimento de pessoas, instituies e setores; mais evidente para as instituies e a sociedade a
(3) responder aos interesses das instituies, de seus aplicao de seus recursos, evitando ou denunciando
gestores e de seus tcnicos; (4) buscar sempre uma desperdcios. Essa orientao tanto mais eficaz
1
melhor adequao das estratgias e das prticas . quanto mais o conceito e a prtica avaliativa forem
Quanto a sua utilidade, uma avaliao costuma ser cientificamente compreensivos e fundamentados e
enquadrada em trs tipos: a diagnstica, que passarem a fazer parte do cotidiano das instituies.
proporciona informaes acerca da situao; a
formativa que visa a socializar o entendimento dos
problemas existentes para possveis solues; e a 2. CONCEITOS QUE FUNDAMENTAM AVALIAES
somativa cujo propsito oferecer uma viso geral QUALITATIVAS E QUANTITATIVAS
do processo de interveno ou de soluo de um
Tipologias de avaliao - O desenvolvimento do
problema, considerando as etapas em seu conjunto.
campo da avaliao trouxe o aprimoramento de
Essa ltima uma modalidade bastante utilizada na
alguns termos prprios que devem fazer parte das
rea de educao.
abordagens quantitativas ou qualitativas. So eles:
importante enaltecer tanto o sentido como eficincia, eficcia, efetividade e, mais
a orientao prtica social, pois, como lembra Penna contemporaneamente, sustentabilidade. Esses
11
Firme , nem toda avaliao produtiva: avaliar termos permeiam a linguagem de todas as estratgias
pode ser um empreendimento de sucesso, mas e instrumentos de avaliao.
tambm de fracasso; pode conduzir a resultados
O conceito de eficincia oriundo da noo
significativos ou a respostas sem sentido; pode
11:p.1 de otimizao dos recursos disponveis: ou seja, obter
defender ou ameaar , dependendo de seus
a custo mnimo possvel o mximo de benefcio. A
propsitos e da postura tica com que feita. Ou
avaliao de eficincia vem transbordando cada vez
seja, podem existir avaliaes tendenciosas, mal
mais seu nicho econmico, incluindo estratgias e
elaboradas e superficiais que poucos resultados
instrumentos para analisar custos sociais, polticos e
trazem para a aprendizagem das instituies. Essas
ambientais alguns deles intangveis - provocados
correm o risco de prejudic-las quando as inferncias
por projetos de interveno institucional, de polticas
no so contextualizadas e compreensivas. Deve-se
pblicas ou do setor privado nas comunidades e no
ressaltar, no entanto, que mesmo uma avaliao bem
meio ambiente. Muitas agncias, atualmente,
realizada e cercada de cuidados, sozinha, no
incluem na avaliao de eficincia, pesquisas
consegue solucionar os problemas da prtica, pois
qualitativas ou quantitativas de satisfao da
solucion-los uma tarefa da administrao e de
populao atingida pelos projetos, com o intuito de
outros responsveis operacionais.
saber se sua aplicao est sendo social, poltica e
Para ser vivel, uma avaliao deve ter ambientalmente eficiente.
condies de realizao do ponto de vista financeiro,
A avaliao de eficcia consiste na anlise do
tcnico, e gerencial. Toda avaliao precisa de
cumprimento das metas traadas por um
oramento compatvel com o nvel de profundidade
determinado projeto. o tipo mais simples, comum e
que seu propsito e o objeto estudado requer.
difundido de anlise de determinada interveno,
geralmente realizada pelos prprios rgos
Sau. & Transf. Soc., ISSN 2178-7085, Florianpolis, v.1, n.3, p.02-11, 2011.
5
encarregados de execuo da proposta. Enquadram- conceito em construo - por isso, alvo de muitas
se aqui os dados apresentados nos relatrios anuais controvrsias - ele representa a idia de que o avano
das entidades e as estatsticas que elas produzem de uma dada sociedade medido no somente por
com o intuito de demonstrar que "cumpriram as sua capacidade de gerar riqueza (dimenso
expectativas", no que se refere ao volume e econmica), mas tambm pelas condies de diviso
quantidade do produto esperado. O critrio de da riqueza gerada (dimenso social), da preservao e
sucesso mais comumente usado o da eficcia conservao do meio ambiente (dimenso
objetiva, isto , a constatao de que as metas ambiental), quanto ao conhecimento e inovao
atingidas so iguais, superiores ou inferiores s metas (dimenso conhecimento) e do investimento nas
propostas. Os estudos de eficcia geralmente so instituies e pessoas para promov-lo (dimenso
15
metrificados, ou seja, se apresentam com dados institucional) . A avaliao de sustentabilidade vem
quantitativos, ilustrados com grficos, figuras e sendo incorporada anlise de projetos e aprimorada
tabelas. Mas tambm podem incluir anlises de terica e tecnicamente. E, o termo sustentabilidade
14
eficcia subjetiva que constituem abordagens tornou-se um aposto imprescindvel s propostas de
qualitativas que corroboram ou criticam a consecuo desenvolvimento.
das metas a que custo social e emocional para os que
Especificidade do monitoramento - O
trabalham na instituio ou para os que so os seus
monitoramento pode ser interpretado como uma
destinatrios.
etapa da avaliao e, ao mesmo tempo, tem o sentido
A avaliao de efetividade mais profunda especfico de acompanhar a eficincia do processo de
que a avaliao de eficcia. Ela capta os efeitos de um implantao e implementao de uma proposta de
projeto ou programa e tem por finalidade aferir as interveno, mas tambm, a eficcia de seus
mudanas quantitativas e qualitativas promovidas resultados. O monitoramento da implantao e da
pela interveno. Considera o antes e o depois da implementao constitui um olhar mais constante e
execuo de uma proposta ou compara os resultados prximo sobre a realizao da ao proposta, por
obtidos com outra situao em condies meio de indicadores que permitam sugerir
semelhantes, sobre a qual no houve interveno. As adequaes durante o processo e dar cincia aos
avaliaes de efetividade tm vrios pressupostos, financiadores, implementadores e beneficirios sobre
porm o mais bsico de que a ocorrncia de o andamento das intervenes. Geralmente, esse
mudanas no suficiente para referendar acompanhamento registrado em relatrios curtos e
concluses a respeito do xito de uma proposta: diretos contendo: (a) anlise da situao; (b) dados
necessrio demonstrar que elas no ocorreriam (total sobre os investimentos feitos; (c) identificao dos
ou parcialmente) sem a existncia da interveno em problemas e da busca de solues; (d) garantia de
pauta. Geralmente, as anlises de efetividade so que as atividades previstas estejam sendo executadas
5
realizadas por meio de estudos de impacto que corretamente ou sobre o porqu da proposta no
captam os efeitos e as alteraes efetivas de uma estar sendo bem sucedida; (e) anlise crtica voltada
interveno em relao aos objetivos estabelecidos, para apreciar se o projeto em execuo vem sendo o
empiricamente: (a) se os resultados esperados foram mais apropriado para a resoluo do problema em
alcanados; b) que resultados no esperados questo.
ocorreram; e se os resultados so positivos,
O monitoramento da eficcia, que ocorre ao
negativos, ou at perversos no mdio ou longo prazo
final do projeto, apresenta informaes sobre as
frente ao problema que se quis enfrentar. A avaliao
metas alcanadas e se elas correspondem ou
qualitativa costuma ser largamente utilizada nos
divergem do que havia sido proposto no incio do
estudos de efetividade, para que o destinatrio final
projeto. O relatrio desse monitoramento constitui
(usurio, cliente e outros) se pronuncie sobre os
um dos elementos importantes para o processo de
resultados de uma interveno ou de mudanas.
avaliao como um todo, mas particularmente para
A avaliao da sustentabilidade se os estudos de impacto que vierem a ser feitos,
fundamenta na construo de indicadores para tambm depois do projeto concludo.
analisar padres sustentveis de desenvolvimento
Ciclo de Avaliao - Uma avaliao completa
quanto a aspectos tcnicos, ambientais, econmicos e
aquela que incorpora um ciclo inteiro de anlise de
sociais. Fundamenta-se no termo desenvolvimento
determinada interveno ou ao, iniciando-se antes
sustentvel que substitui o conceito de progresso
que uma interveno ocorra (ex-ante), passando pelo
como sinnimo de crescimento apenas econmico.
acompanhamento do processo de implantao e
Embora desenvolvimento sustentvel ainda seja um
implementao (monitoramento) e pela anlise dos
Sau. & Transf. Soc., ISSN 2178-7085, Florianpolis, v.1, n.3, p.02-11, 2011.
6
efeitos e resultados (monitoramento e avaliao ex- Dentre suas vantagens, ainda possvel citar
post). No entanto, uma avaliao pode privilegiar o fato de que (1) o quadro lgico permite colocar foco
apenas um momento da realizao de uma poltica nos resultados; (2) facilita o monitoramento de
pblica, interveno ou ao institucional. Por alcance das metas e o uso prudente dos recursos; (3)
exemplo, pode-se avaliar: (a) apenas o processo de facilita a elaborao de relatrios e documentos
implantao de uma proposta; (b) somente sua baseados nos resultados alcanados e nas lies
implementao; (c) um problema institucional aprendidas. Mas o modelo, como todo modelo
especfico que requer anlise; (d) ou somente os tambm alvo de muitas crticas, sobretudo pelo seu
16
resultados de uma ao. Em todos os casos carter esttico, positivista e simplificado .
importante ter em mente todas as etapas do
Etapa de avaliao e o monitoramento da
processo e, no caso de avaliao institucional, o
implantao e da implementao - corresponde
estudo da origem, da histria e do contexto em que
anlise do processo de realizao das atividades
ela atua fundamental, sobretudo quando se trata de
previstas no momento ex-ante, por meio de
uma entidade consolidada em que ser impossvel
indicadores e acompanhamento das metas
reconstituir o ex-ante.
estabelecidas. O objetivo concreto dessa etapa
O estudo da etapa ex-ante muito promover ajustes e correes para que o projeto
recomendado quando se pretende obter produza os resultados previstos.
conhecimento sobre o impacto de determinada
A avaliao da implantao uma atividade
interveno ou mudana, para tornar possvel a
importante para assegurar a eficincia inicial que
comparao do estado inicial com as metas atingidas
corresponde ao ajuste entre as necessidades de
ao final. Para a preparao dessa etapa, um
recursos (humanos, materiais e de poder) e o comeo
instrumento que vem sendo muito utilizado hoje o
16 das atividades de interveno no tempo e na medida
chamado quadro lgico . Esse se constitui num
certa. A anlise da implementao corresponde ao
dispositivo que visa organizao racional de uma
acompanhamento do desenvolvimento da proposta
proposta de interveno, tanto para sua
de interveno por meio de indicadores e,
apresentao como para seu acompanhamento e
eventualmente, por meio de avaliaes extensas,
avaliao. Esse instrumento, desenvolvido nos anos
inclusive, avaliao qualitativa realizada com os
1960 nos Estados Unidos, passou a ser utilizado pela
17 realizadores da proposta e com os clientes ou
maioria das agncias internacionais para delinear o
usurios que so seu alvo, levando em conta os
momento inicial de seus emprstimos e
pontos crticos para correo de rumos durante o
investimentos a fim de compar-lo com os efeitos
processo.
gerados.
Em geral so objeto de avaliao da
Na elaborao do quadro lgico se
implantao e da implementao os seguintes
estabelecem o ponto de partida ou a linha de base,
elementos: (a) as estruturas necessrias para que o
assim como as metas e indicadores que devero ser
projeto ocorra sem atropelos: obteno de
acompanhados durante o processo e avaliados ao
informaes sobre recursos fsicos, humanos,
final de determinada interveno. Na sua
materiais, formas de organizao e de funcionamento
organizao, esse instrumento possui uma lgica
(normas e procedimentos), especificao de
vertical que clarifica a razo pela qual o projeto foi
equipamentos e tecnologias disponveis; (b) os
concebido e como ser executado (objetivo superior,
processos e movimentos de encaminhamento das
objetivo do projeto, resultados esperados e
atividades pelos diferentes atores com suas funes
atividades). E uma lgica horizontal que explica como
especficas e nveis hierrquicos, para garantir que as
os resultados do projeto sero expressos de forma
operaes de interveno tenham sucesso; (c) os
clara, realista e verificvel (indicadores, meios de
resultados e efeitos parciais: esperados ou no
verificao e fatores externos). Embora no fornea
esperados de acordo com as metas estabelecidas (d)
resposta a todas as perguntas, o uso do quadro lgico
a participao e as percepes dos diferentes atores
permite clarificar as seguintes questes: (1) Por que o
que influenciam os processos e os resultados, seja no
projeto deve ser realizado; (2) Qual o seu propsito
sentido positivo ou negativo.
e quais as mudanas a serem alcanadas; (3) Como se
pretende produzir melhorias; (4) Quais so as As avaliaes de processo trabalham,
condies externas que influenciam o alcance dos sobretudo, com indicadores de eficincia, no entanto,
resultados e dos seus efeitos; (5) Como possvel muitas instituies como o caso do Banco
18
identificar o alcance das melhorias e mudanas. Mundial , promovem avaliao de impacto mesmo
Sau. & Transf. Soc., ISSN 2178-7085, Florianpolis, v.1, n.3, p.02-11, 2011.
7
Sau. & Transf. Soc., ISSN 2178-7085, Florianpolis, v.1, n.3, p.02-11, 2011.
8
Sau. & Transf. Soc., ISSN 2178-7085, Florianpolis, v.1, n.3, p.02-11, 2011.
9
Sau. & Transf. Soc., ISSN 2178-7085, Florianpolis, v.1, n.3, p.02-11, 2011.
10
Sau. & Transf. Soc., ISSN 2178-7085, Florianpolis, v.1, n.3, p.02-11, 2011.
11
21. Zucker LG. Institutional theories of organization. Annual 47. Samaja J. La Combinacin de Mtodos: Pasos para una
Review of Sociology 1987; 13, 443-464. Comprensin Dialectica del Trabajo Interdisciplinario.
22. Zucker LG. The role of institutionalization in cultural Educacin Medico-Social 1992; 26 (1), 4-34.
persistence. In: Powell WW, Dimaggio PJ. (editors). The new 48. Minayo MCS, Cruz Neto O. Triangulacin de mtodos en da
institutionalism in organizational analysis. Chicago: The evaluacin de programas y servicios de salud. 65-80. In:
University of Chicago Press;1991. p.83-107. Bronfman M, Castro R. (org). Salud, cambio social y poltica:
23. Giddens A. The constitution of society. Berckeley: University of perspectivas desde Amrica Latina. Mxico: Edamex; 1999.
California Press; 1984. p.65-80.
24. Demo P. Avaliao qualitativa. So Paulo: Editora Cortez; 1999. 49. Minayo MCS, Sanches O. Quantitativo-Qualitativo; oposio ou
25. Silva LMV, Formigli VLA. Avaliao em sade: limites e complementaridade? Cad Sade Pblica 1993; 9 (supl.1), 239-
perspectivas. Cad Sade Pblica 1994; 10 (2), 80-91. 262.
26. Trotter R, Needle RH, Goosby E, Bates C, Singer M. A 50. Minayo MCS, Souza E, Assis SG, Cruz Neto O, Deslandes SF,
methodological model por rapid assessment, responses and Silva CMPF. Avaliao dos Centros de Orientao e Apoio
evaluation: the RARE program in public health. Field Methods Sorolgico/CTA/COAS da Regio Nordeste. Cad Sade Pblica
2001; 13(2),137-139. 1999;15(1),355-367.
27. Scrimshaw S, Hurtado E. Rapid Assessment Procedures for
Nutrition and Primary Health Care: anthropological approaches
to improving program effectiveness. Tokio: The United Nations
University; 1987.
28. Patton MQ. How to use qualitative methods in evaluation.
Newbury Park: Sage Publications; 1987.
29. Minayo MCS. Abordagem Antropolgica para Avaliao de
Polticas Sociais. Rev Saude Publica 1991; 25 (3),233-238.
30. Minayo MCS, DElia JC, Svitone E. Programa Agentes de Sade
do Cear: Estudo de Caso. Fortaleza: UNICEF; 1990.
31. Atkinson S. 1993. Anthropology in research on the quality of
health services. Cad Saude Publica 1993;9(2),283-299.
32. Nuto SS, Nations MK.. Avaliao qualitativa dos servios com
processo de construo de cidadania. Ao Coletiva 1999;
2,25-29.
33. Heaver R. Participative rural appraisal: potential applications to
family planning, health and nutrition programs. Washington
DC: Technical Department Asia Region World; 1991.
34. Stohlgren TJ, Chong GW, Kalkhan MA, Shell LD. Rapid
assessment of plant diversity patterns: a methodology for
landscape. Environment monitoring and assessment 1997; 4
(1), 25-43.
35. International Epidemiological Association. Rapid epidemiologic
assessment. Official Journal or the International
Epidemiological Association 1989;18 (supl.2).
36. Malilay J, Flanders WD, Brogan DA. Mtodo modificado de
mostreo por conglomerados para evaluacin rpida de
necesidades despus de un desastre. Revista Pan Americana de
Salud Pblica 1997; 2(1),7-12.
37. Lee T, Price T. Indicators and research methods for rapid
assessment of a tuberculosis control program: case study of a
rural area of South Africa. Tubercle Lung Diseases 1995;
76(5),441-449.
38. World Health Organization. Rapid evaluation method:
guidelines for maternal and child health, family planning and
other health services. Geneva: WHO; 1993.
39. Denzin NK, Lincoln YS. Handbook of qualitative research.
Thousand Oaks: Sage Publications; 1994.
40. Denzin NK. The research act. Chicago: Aldine Publishing
Company, 1979.
41. Bebe J. Basic concepts and techniques of rapid appraisal.
Human Organization 1995; 54: 42-51.
42. Brando CR. Repensando a pesquisa qualitativa. So Paulo:
Editora Brasiliense; 1985.
43. Gajardo M. Pesquisa participante na Amrica Latina. So Paulo:
Editora Brasiliense; 1987.
44. Habermas J. Teora de la Accin Comunicativa. I, II. Madrid:
Taurus Editorial;1987.
45. Kant I. Crtica Razo Pura. Coleo os Pensadores. So Paulo:
Editora Abril;1980.
46. Jick TD. Mixing Quantitative and Qualitative Methods:
triangulation and action. Administrative Science Quarterly
1979; 24, 602-611.
Sau. & Transf. Soc., ISSN 2178-7085, Florianpolis, v.1, n.3, p.02-11, 2011.