Conceitos e Métodos para A Avaliação de Programas Sociais e Políticas Públicas

Serapioni, Mauro Conceitos e mtodos para a avaliao de programas sociais e polticas pblicas
Sociologia, Revista da Faculdade de Letras da Universidade do Porto, Vol. XXXI, 2016, pg. 59-80
Mauro Serapioni - Conceitos e mtodos para a avaliao de programas sociais e polticas pblicas
Sociologia. Revista da Faculdade de Letras da Universidade do Porto, Vol. XXXI, 2016, pp. ???
Conceitos e mtodos para a avaliao de programas sociais e

polticas pblicas
Mauro Serapioni
Centro de Estudos Sociais
Resumo
A avaliao de polticas pblicas difundiu-se nos anos de 1960 e passa hoje por um processo de
rpida disseminao, diversificao terico-metodolgica e controvrsias entre as diversas
perspetivas epistemolgicas. Este artigo analisa as questes-chave que deveriam nortear as
avaliaes, apresenta as principais abordagens avaliativas desenvolvidas nos ltimos 50 anos
(positivista experimental, pragmatista da qualidade e construtivista) e os modelos que resultaram da
contaminao entre elas. Na concluso apresentam-se alguns pontos de tenso persistentes nas
discusses sobre avaliao.
Palavras-chave: Avaliao, Polticas pblicas, Pluralidade metodolgica
Concepts and methods for the assessment of social programs and public policies
Abstracts
The evaluation of public policies has spread in the 1960s and it is going through a process of rapid
dissemination, methodological diversification and disputes between different epistemological
perspectives. The present article analyses key issues that should guide the evaluation exercises, it
presents three evaluation approaches developed in the last 50 years (the experimental positivist, the
pragmatist of quality and the constructivist) and the models resulting from their mutual influence. In
the conclusion some persistent points of tension in the discussions about evaluation are presented.
Keywords: Evaluation, Public policies, Methodological plurality.
59
Serapioni, Mauro ConceitosMauro
e mtodos para-aConceitos
Serapioni avaliaoe de programas
mtodos para asociais e polticas
avaliao pblicas
de programas sociais e polticas pblicas
Concepts et mthodes pour la valuation des programmes sociaux y politiques publiques

Concepts et mthodes pour la valuation des programmes sociaux y politiques publiques
Resum
Lvaluation des politiques publiques est rpandue dans les annes 1960 et il passe par un processus
Resum
de diffusiondesrapide,
Lvaluation de publiques
politiques diversification mthodologique
est rpandue et 1960
dans les annes de conflits
et il passeentre
par unles diffrentes
processus
perspectives
de diffusion pistmologiques. Cet article
rapide, de diversification analyse les et
mthodologique questions cls entre
de conflits qui devraient guider les
les diffrentes
valuations etpistmologiques.
perspectives prsente trois approches de analyse
Cet article l'valuation dveloppcls
les questions au cours des 50 dernires
qui devraient guider lesannes
(positiviste et
valuations exprimentale,
prsente trois pragmatique
approches de de la qualitdvelopp
l'valuation et constructiviste)
au cours deset les modles rsultant
50 dernires annes de
(positiviste exprimentale,
leur influence rciproque. pragmatique
En conclusionde la
sontqualit et constructiviste)
prsents et les
quelques points demodles
tension rsultant de dans
persistants
leur influence rciproque.
les discussions En conclusion sont prsents quelques points de tension persistants dans
sur l'valuation
les discussions sur l'valuation
Mots-cls: valuation, Politiques publiques, Pluralit mthodologique.
Mots-cls: valuation, Politiques publiques, Pluralit mthodologique.
Conceptos y mtodos para la evaluacin de los programas sociales y polticas pblicas

Conceptos y mtodos para la evaluacin de los programas sociales y polticas pblicas
Resumen
Resumen
La evaluacin de las polticas pblicas se desarroll en la dcada de 1960, encontrndose
La evaluacin de las polticas pblicas se desarroll en la dcada de 1960, encontrndose
actualmente en
actualmente enununproceso
procesodededifusin
difusinrpida,
rpida,
de de diversificacin
diversificacin metodolgica
metodolgica y deydisputas
de disputas
entre entre
diferentes perspectivas epistemolgicas. Este artculo analiza las cuestiones clave
diferentes perspectivas epistemolgicas. Este artculo analiza las cuestiones clave que deberan que deberan
guiar las evaluaciones; posteriormente presenta los tres enfoques de evaluacin
guiar las evaluaciones; posteriormente presenta los tres enfoques de evaluacin que se han que se han
desarrollado en
desarrollado en los
los ltimos
ltimos5050aosaos(positivista
(positivistaexperimental,
experimental, pragmatista
pragmatista de lade calidad
la calidad
y y
constructivista), as
constructivista), ascomo
comolos losmodelos
modelosresultantes.
resultantes.
ComoComo conclusin
conclusin se presentan
se presentan los puntos
los puntos de de
tensin existentes
tensin existentesen eneleldebate
debatesobre
sobre
la la evaluacin.
evaluacin.
Palabras clave:
Palabras clave:Evaluacin,
Evaluacin,Polticas
Polticas pblicas,
pblicas, Pluralidad
Pluralidad metodolgica.
metodolgica.
1.
1. Introduo
Introduo
O
O interesse
interessepela
pelainvestigao
investigaoemem
polticas pblicas,
polticas rearea
pblicas, tambm designada
tambm policypolicy
comocomo
designada
science, comeou na dcada de 1950, nos Estados Unidos da Amrica (EUA) e, a partir dos
science, comeou na dcada de 1950, nos Estados Unidos da Amrica (EUA) e, a partir dos
anos de 1970, difundiu-se tambm pela Europa, em particular na Alemanha e nos pases
anos de 1970, difundiu-se tambm pela Europa, em particular na Alemanha e nos pases
escandinavos. Nesse perodo, a principal preocupao recaiu na definio do conceito de
escandinavos. Nesse Mauro
perodo, a -principal
Serapioni preocupao
Conceitos e mtodos recaiu
para a avaliao na definio
de programas do conceito
sociais e polticas pblicas de
polticas pblicas eSociologia.
na anlise dosdadistintos
Revista Faculdadeatores intervenientes
de Letras nesses
da Universidade do Porto,processos, estatais
Vol. XXXI, 2016, pp. ???e no
polticas pblicas e na anlise dos distintos atores intervenientes nesses processos, estatais e no
estatais (Faria, 2005). Atualmente, num contexto de crescentes incertezas e complexidade das
estatais (Faria, 2005). Atualmente, num contexto de crescentes incertezas e complexidade das
questes que se colocam neste mbito, muitas abordagens e teorizaes tentam compreender as
questes que se colocam neste mbito, muitas abordagens e teorizaes tentam compreender as
diversas formas e processos de formao e de gesto das polticas pblicas (Trevisan e van
Bellen, 2008). Nesse sentido, para melhor analisar a ao poltica, vrios autores tm recorrido
analogia do ciclo poltico (policy cycle), o qual pode ser dividido em diferentes fases, tais como:
i) insero de um tema na agenda poltica, ii) fase de formulao da poltica, iii) tomada de
deciso, iv) implementao e v) avaliao e controle dos efeitos das polticas pblicas (Garcia,
2014; Howlett et al. 2009; Frey, 2000). No mbito deste artigo reala-se a importncia da ltima
fase do ciclo poltico, ou seja, a avaliao dos programas e aes implementadas, no sentido de
60
avaliar o alcance dos objetivos definidos e seus impactos efetivos.
A prtica da avaliao de programas e polticas pblicas comeou a difundir-se nos anos
1960 do sculo passado e hoje passa por um processo de rpida disseminao e diversificao
diversas formas e processos de formao e de gesto das polticas pblicas (Trevisan e van
Bellen, 2008). Nesse sentido, para melhor analisar a ao poltica, vrios autores tm recorrido
analogia do ciclo Serapioni,
poltico (policy cycle), oequal
Mauro Conceitos pode
mtodos paraser dividido
a avaliao deem diferentes
programas sociaisfases, taispblicas
e polticas como:
i) insero de um tema na agenda poltica, ii) fase de formulao da poltica, iii) tomada de
deciso, iv) implementao e v) avaliao e controle dos efeitos das polticas pblicas (Garcia,
2014; Howlett et al. 2009; Frey, 2000). No mbito deste artigo reala-se a importncia da ltima
fase do ciclo poltico, ou seja, a avaliao dos programas e aes implementadas, no sentido de
avaliar o alcance dos objetivos definidos e seus impactos efetivos.
A prtica da avaliao de programas e polticas pblicas comeou a difundir-se nos anos
1960 do sculo passado e hoje passa por um processo de rpida disseminao e diversificao
terica e metodolgica. Entre as vrias razes de afirmao da avaliao nos pases ocidentais
cabe assinalar as seguintes: i) progressiva eroso das bases tradicionais de legitimao dos
poderes pblicos; ii) crescente exigncia, por parte dos cidados, de transparncia e participao
na definio e apreciao da qualidade dos servios prestados; iii) crise fiscal do Estado, que
requer uma maior capacidade de alocar recursos de forma otimizada, tanto do ponto de vista da
sua eficincia como da sua efetividade; iv) presso da Unio Europeia para a avaliao dos
recursos comunitrios destinados a reas importantes de atividade, tais como trabalho, formao
profissional, desenvolvimento local, polticas agrcolas, etc.; v) crescente complexidade social
que torna sempre mais difcil dominar os fatores relevantes para o sucesso de uma interveno e
para a previso de resultados positivos.
Hoje em dia existe uma multiplicidade de abordagens avaliativas e diversas
controvrsias entre estudiosos que se baseiam em diferentes perspetivas concetuais e
epistemolgicas. Alguns autores, por exemplo, questionam-se se a avaliao pode ser
considerada um setor da cincia ou se se trata apenas de uma aplicao da metodologia da
investigao (Cohen e Franco, 1994). Entretanto, h um consenso sobre o fato de que a
avaliao utiliza a metodologia da investigao como um meio para determinar em que medida
as polticas, os programas e os projetos sociais alcanam os seus objetivos. Porm, a avaliao
no se restringe somente aos
Sociologia. mtodos
Revista e instrumentos
da Faculdade para conduzir
de Letras da Universidade com
do Porto, Vol.sucesso umpp.processo
XXXI, 2016, ???
de avaliao; ela desenvolveu tambm uma prpria teoria, quer sobre os aspetos a serem
avaliados, quer sobre como obter conhecimentos vlidos de tais aspetos (vretveit, 1998).
Este artigo, aps discutir os principais conceitos e definies de avaliao formulados
por alguns dos mais reconhecidos estudiosos e depois de apresentar um histrico da avaliao,
analisa trs questes-chave que deveriam nortear as avaliaes das polticas pblicas. Em
seguida, so ilustradas as trs abordagens de avaliao desenvolvidas nos ltimos 50 anos
(positivista-experimental, pragmatista da qualidade e construtivista) e os modelos que
resultaram da contaminao entre elas.
2. Conceitos e definies
A avaliao uma disciplina ainda jovem, embora se relacione com uma prtica
muito antiga que atingiu considerveis nveis de formalizao j nas dinastias imperiais da
61
China, Egipto e Japo, h mais de mil anos (Scriven, 1991; Hartz, 2009). Entretanto, como
disciplina e campo de estudos, ou seja, como rea de produo de conhecimento - e no
simplesmente como atividade espontnea e no sistematizada - ela surge somente na
metade dos anos 60. Scriven (1991: 9-10) tem enfatizado o status paradoxal da avaliao,
seguida, so ilustradas as trs abordagens de avaliao desenvolvidas nos ltimos 50 anos
(positivista-experimental, pragmatista da qualidade e construtivista) e os modelos que
resultaram da contaminao entre elas.
2. Conceitos e definies
A avaliao uma disciplina ainda jovem, embora se relacione com uma prtica
muito antiga que atingiu considerveis nveis de formalizao j nas dinastias imperiais da
China, Egipto e Japo, h mais de mil anos (Scriven, 1991; Hartz, 2009). Entretanto, como
disciplina e campo de estudos, ou seja, como rea de produo de conhecimento - e no
simplesmente como atividade espontnea e no sistematizada - ela surge somente na
metade dos anos 60. Scriven (1991: 9-10) tem enfatizado o status paradoxal da avaliao,
que apesar de ser considerada o mais importante ingrediente de todas as atividades
prticas e intelectuais (), no tem sido tratada seriamente por qualquer disciplina
acadmica at o ultimo tero do sculo XX. Somente a partir do ltimo quarto do sculo,
acrescenta Scriven (1991:11), a avaliao tem sido objeto de interesse e ateno em vrios
campos, embora com discusses que ainda no chegam a uma profundidade suficiente
para relacionar os diferentes campos e transform-los numa disciplina. Neste sentido, h
um amplo consenso entre os especialistas deste campo sobre o facto de que a avaliao
uma rea ainda em construo concetual e metodolgica, que precisa consolidar-se no
plano epistemolgico, terico e metodolgico (Novaes, 2000)..
Analisando as diversas definies encontradas na literatura internacional, referentes
avaliao de programas e polticas sociais e educacionais, podemos observar um consenso
entre os maiores Sociologia.
estudiosos sobre
Revista algunsde Letras
da Faculdade aspetos que fundamentam
da Universidade o processo
do Porto, Vol. XXXI, de
2016, pp. ???
avaliao. Pelo menos trs elementos aproximam a maioria das definies apresentadas: a)
a avaliao surge no sentido de formular juzos sobre o valor ou mrito de uma interveno
que visa modificar a realidade social das comunidades; b) colocada nfase na
sistematicidade e rigorosidade dos procedimentos de recolha de dados que suportam o
julgamento do mrito e valor das aes; c) confere-se destaque avaliao como
ferramenta indispensvel para a tomada de decises, j que oferece aos gestores todas as
informaes necessrias para aprimorar o processo de planeamento e de gesto dos
programas, servios e polticas.
3. Breve histrico da avaliao
Como j foi apontado, a avaliao no sentido de julgar o valor das aes com o
propsito de melhor-las to antiga quanto a conscincia humana. Porm, a avaliao tal
como a conhecemos hoje comeou a desenvolver-se com a revoluo cientfica registada
62
nos sculos XVI e XVII, na qual estabeleceu uma distino entre factos e valores. A cincia
era assim responsvel por recolher e utilizar factos e no por julgar valores. A diviso do
ato de recolha de informao do ato de julgar essa informao representou a base do
desenvolvimento da avaliao entendida como atividade sistemtica. Porm, a avaliao s
3. Breve histrico da avaliao
Como j foi apontado, a avaliao no sentido de julgar o valor das aes com o
propsito de melhor-las to antiga quanto a conscincia humana. Porm, a avaliao tal
como a conhecemos hoje comeou a desenvolver-se com a revoluo cientfica registada
nos sculos XVI e XVII, na qual estabeleceu uma distino entre factos e valores. A cincia
era assim responsvel por recolher e utilizar factos e no por julgar valores. A diviso do
ato de recolha de informao do ato de julgar essa informao representou a base do
desenvolvimento da avaliao entendida como atividade sistemtica. Porm, a avaliao s
se tornou uma atividade especializada logo aps a Segunda Guerra Mundial.
Sucessivamente, alguns avaliadores tm desafiado a separao entre o ato de recolher fatos,
tradicionalmente da responsabilidade dos avaliadores, e o ato de avaliar (de formular
juzos), uma funo dos que solicitaram/contrataram o estudo (users ou utilizadores dos
resultados da avaliao). Como observa vretveit (1998), hoje em dia h uma interao
entre esses dois atores distintos.
A avaliao de programas sociais, embora iniciada nos EUA, no incio do sculo
XX, entre a primeira e a segunda guerra mundial, no campo da educao, somente a partir
dos anos 60 foi desenvolvida em larga escala no mbito do processo de reforma da Great
Society e da luta contra a pobreza lanada pelos governos de Kennedy e Johnson (Moro,
2009). De facto, neste perodo,
Sociologia. Revistaos governosde dos
da Faculdade LetrasEUA investiram
da Universidade enormes
do Porto, recursos
Vol. XXXI, para
2016, pp. ???
combater o desemprego, a delinquncia, a degradao das reas urbanas e para oferecer

servios pblicos na rea da sade e da educao. As expectativas acerca das mudanas
sociais provocadas por tais programas levaram o governo a financiar uma srie de estudos
avaliativos para verificar a efetividade do investimento e, ao mesmo tempo, para introduzir
uma mais eficiente distribuio dos recursos. No mesmo perodo, outros pases, tais como
Canad, Sucia e Alemanha do Oeste, compartilharam estas primeiras experincias de
anlise e de avaliao.
Neste prisma, desenvolveu-se tambm a avaliao das polticas pblicas, em
particular no campo da sade e da assistncia social, com a colaborao dos cientistas
sociais e de outras unidades acadmicas. Nesta primeira fase, os avaliadores adotaram
abordagens experimentais ou quase-experimentais para aferir os resultados das polticas e
dos programas implementados. Naqueles anos, Campbell e Stanley (1966), pioneiros da
avaliao de programas sociais, propuseram estudos avaliativos sobre as inovaes geradas
por tais programas utilizando mtodos quase-experimentais que adotavam princpios e
condies experimentais sem a randomizao e o controle. Entretanto, a partir de 1970, a
perspetiva construtivista entrou em conflito com a perspetiva positivista-experimental,
propondo a anlise qualitativa e o envolvimento dos atores. Nesse contexto, Stake (1980)
props a avaliao responsvel (responsive) e Guba e Lincoln (1989) a avaliao
naturalstica (naturalistic). Patton (1986) tentou domar este conflito metodolgico, o qual
63
definiu, alis, como drago metodolgico, propondo o paradigma da escolha (paradigme
of choice) como estratgia de intermediao entre as duas perspetivas conflituantes.
Sucessivamente, durante os anos de 1980 e 1990, outros autores tentaram resolver esta
oposio metodolgica introduzindo abordagens multimtodos (Greene e Caracelli, 1997).
por tais programas utilizando mtodos quase-experimentais que adotavam princpios e
condies experimentais sem a randomizao e o controle. Entretanto, a partir de 1970, a
perspetiva construtivista entrou em conflito com a perspetiva positivista-experimental,
propondo a anlise
Sociologia, Revista qualitativa
da Faculdade e oUniversidade
de Letras da envolvimento
do Porto, dos atores.
Vol. XXXI, 2016,Nesse contexto, Stake (1980)
pg. 59-80
props a avaliao responsvel (responsive) e Guba e Lincoln (1989) a avaliao

naturalstica (naturalistic). Patton (1986) tentou domar este conflito metodolgico, o qual
definiu, alis, como drago metodolgico, propondo o paradigma da escolha (paradigme
of choice) como estratgia de intermediao entre as duas perspetivas conflituantes.
Sucessivamente, durante os anos de 1980 e 1990, outros autores tentaram resolver esta
oposio metodolgica introduzindo abordagens multimtodos (Greene e Caracelli, 1997).
No incio dos anos 1980, a crise petrolfera e a sucessiva grande crise econmica
dos pases ocidentais reduziu a expanso das polticas pblicas, colocando em primeiro
plano a necessidade de dar prioridade reduo do dfice pblico. Neste contexto, emergiu
uma mudana no papel do estado, teorizada pela New Public Management e aplicada em
Austrlia, Nova Zelanda e alguns pases europeus, cuja responsabilidade no era mais a de
executar, mas a de liderar e orientar. Assim, mudou a finalidade da avaliao que, a partir
daquele momento,Sociologia.
se tornou umda Faculdade
Revista instrumento para
de Letras racionalizar
da Universidade a despesa
do Porto, pblica
Vol. XXXI, 2016, pp.dos
???
Estados e para nortear os governos e os ministrios na conteno dos gastos (Moro, 2009).
De facto, o aumento da presso sobre os escassos recursos destinados aos programas sociais
tem estimulado um crescente interesse pela avaliao econmica e pelas diferentes tcnicas
que permitem aferir a eficincia dos programas e servios sociais. Neste mbito, os
economistas desenvolveram mtodos para a anlise de custos e benefcios dos programas
pblicos. Assim, o nmero e o tipo de atividades de avaliao e monitoramento
aumentaram consideravelmente durante os anos de 1980, por forma a responder a
diferentes propsitos: i) respaldar as exigncias dos governos no controlo dos gastos; ii)
incrementar a responsabilidades dos gestores (accountabiliy) e iii) obter maiores
informaes sobre o impacto das novas tecnologias (vretveit, 1998). Porm, as
abordagens dos economistas revelaram-se insuficientes para dar conta da complexidade das
dimenses no econmicas da avaliao de programas e servios sociais (sade, educao,
assistncia social, etc.).
Nos anos de 1990, a avaliao difundiu-se em todos os pases da Europa como
resultado do impulso fundamental e da presso exercida pela Unio Europeia (Fundos
Estruturais e Fundos de Desenvolvimento Regional), que implicaram uma grande
mobilizao de recursos financeiros e humanos e exigiram o monitoramento e a avaliao
dos seus resultados.
Nesse perodo, cresceu tambm a preocupao pelos aspetos metodolgicos da
avaliao e a sensibilidade para promover uma perspetiva de avaliao interdisciplinar. As
abordagens qualitativas comearam assim a ocupar um espao mais relevante e tornaram-se
mtodos imprescindveis para a avaliao de polticas pblicas e servios sociais, de sade
e de educao. Neste prisma, o pluralismo metodolgico baseado numa conceo integrada
e64multidisciplinar assumiu crescente importncia entre os estudiosos e os avaliadores
profissionais.
dos seus resultados.
Nesse perodo, cresceu tambm a preocupao pelos aspetos metodolgicos da
avaliao e a sensibilidade para promover uma perspetiva de avaliao interdisciplinar. As
abordagens qualitativas comearam assim a ocupar um espao mais relevante e tornaram-se
mtodos imprescindveis para a avaliao de polticas pblicas e servios sociais, de sade
e de educao. Neste prisma, o pluralismo metodolgico baseado numa conceo integrada
e multidisciplinar assumiu crescente importncia entre os estudiosos e os avaliadores
profissionais.
4. Pressupostos tericos e metodolgicos da avaliao
A avaliaoSociologia.
uma reaRevistade
da conhecimento
Faculdade de Letrasainda jovem, do
da Universidade o que
Porto,justifica
Vol. XXXI,uma
2016,maior
pp. ???
existncia de descoincidncias e desacordos entre as abordagens dos diferentes estudiosos e

avaliadores. No entanto, apesar da discordncia e dos desentendimentos entre as diferentes
escolas e perspetivas sobre a avaliao, nos ltimos anos, a reflexo conceitual e
metodolgica tende a convergir sobre alguns denominadores comuns fundamentados em
abordagens mais pragmticas e menos ideolgicas. Analisando a literatura cientfica mais
relevante sobre esta matria (Glasser, 1972; Cronbach, 1996; Guba e Lincoln, 1989;
Scriven, 1991; Cohen e Franco, 1994; Aguilar e Ander Egg, 1995; Stake, 1996; Madaus et
al., 1996; Stufflebeam, 1996; Patton, 1997; Chelimsky e Shadish, 1997; vretveit, 1998;
Weiss, 1998; Rossi et al., 1999; Hartz, 1999; Novaes, 2000; Bezzi, 2003), identificam-se
trs questes-chave que permeiam as diversas definies sobre a avaliao: 1) ateno
conferida s questes metodolgicas; 2) preocupao com a finalidade e utilidade da
avaliao e com a necessidade de aumentar o seu valor de uso no mbito dos processos de
tomada de decises; 3) reconhecimento do pluralismo de valores e da importncia de
incluir diversas perspetivas e grupos de interesses no processo avaliativo. A seguir,
identificam-se e analisam-se os trs pressupostos que deveriam nortear as avaliaes de
programas e polticas pblicas.
Em relao tnica nas questes metodolgicas, a avaliao caracteriza-se como
um campo que utiliza uma ampla gama de ferramentas das cincias sociais (tanto
quantitativas como qualitativas) para analisar programas sociais. Nesse sentido, utiliza os
mesmos mtodos e tcnicas geralmente adotadas pela investigao social e apresenta a
mesma rigorosidade e debilidade. Porm, como apontam vrios autores, a avaliao
mais problemtica que a investigao social, pois no pretende somente compreender a
ao social, visando, tambm, formular um juzo (Glasser, 1972). Para Bezzi (2003: 29),
alis, a avaliao um conjunto de atividades que permite expressar um juzo
argumentado sobre polticas e programas e a argumentao representa o alicerce sobre o
qual preciso construir um processo de avaliao sistemtico, profissional e no-
improvisado ou informal. Argumentar significa, portanto, apresentar todos os elementos a
65
partir dos quais se formulam os juzos, assim como os procedimentos metodolgicos
atravs dos quais aqueles elementos foram analisados e interpretados. Nesse sentido, a
pesquisa avaliativa torna-se o corao da avaliao.
Ainda em relao questo metodolgica, cabe assinalar que a tradicional
mais problemtica que a investigao social, pois no pretende somente compreender a
ao social, visando, tambm, formular um juzo (Glasser, 1972). Para Bezzi (2003: 29),
alis, a avaliao um conjunto de atividades que permite expressar um juzo
argumentado sobre
Sociologia, Revista da polticas
Faculdade e da
de Letras programas
UniversidadeedoaPorto,
argumentao representa
Vol. XXXI, 2016, pg. 59-80 o alicerce sobre o
qual preciso construir um processo de avaliao sistemtico, profissional e no-
improvisado ou informal. Argumentar significa, portanto, apresentar todos os elementos a
partir dos quais se formulam os juzos, assim como os procedimentos metodolgicos
atravs dos quais aqueles elementos foram analisados e interpretados. Nesse sentido, a
pesquisa avaliativa Sociologia.
torna-se Revista
o corao da avaliao.
da Faculdade de Letras da Universidade do Porto, Vol. XXXI, 2016, pp. ???
Ainda em relao questo metodolgica, cabe assinalar que a tradicional

polarizao entre as diversas abordagens e mtodos de aproximao da realidade
(construtivismo versus realismo, estrutura versus sujeito e qualitativo versus quantitativo)
tem vindo a assumir posies e tons menos radicais (Minayo e Sanches, 1993; Patton,
1999; Serapioni, 2000; Hartz, 2008). Hoje em dia, a literatura sobre mtodos de
investigao e de avaliao j no mais caracterizada pela aspereza e pelo estridente
conflito entre as duas perspetivas de anlise, tal como aconteceu no passado. No mbito da
sociologia, por exemplo, regista-se um crescente reconhecimento de que a distino entre
qualitativo e quantitativo veio gerar uma rutura desnecessria. Para Santos (2003: 26), a
sociologia preocupa-se em demasia com discusses tericas estreis como, por exemplo, a
relao entre estrutura e ao ou entre a anlise macro e a anlise micro. Para o autor, a
verdadeira distino e relao fundamental a fazer era entre ao conformista e ao
rebelde. Tambm o socilogo italiano Ardig (1988: 288) pe em primeiro plano o
ambivalente ponto de vista do observador cientfico ao privilegiar, quer o sistema em
prejuzo da pessoa, quer a pessoa sem se preocupar com os aspetos sistmicos. portanto
criticvel, observa o autor, tanto a interpretao da vida social baseada exclusivamente nas
categorias relativas ao mundo da vida como a anlise funcionalista que enfatiza somente o
sistema social ignorando os limites do processo de objetivao (Ardig, 1988: 288).
Nesta mesma linha, so igualmente esclarecedoras as afirmaes de Beck (2000: 326):
() no se deve jurar lealdade a qualquer determinado ponto de vista ou perspetiva
terica. A deciso de adotar uma abordagem realista ou construtivista, tem para mim mais
um aspeto pragmtico, o facto de escolher os meios adequados para atingir o objetivo
pretendido.
Gradualmente, foi emergindo o consenso de que o grande desafio combinar, de
forma apropriada, os mtodos, as perguntas e as questes empricas e no defender uma
nica abordagem metodolgica para todos os problemas. Nesse prisma, Patton prope um
paradigma que ele define como paradigm of choice que deve dispor de um amplo
repertrio de mtodos e de tcnicas a serem utilizadas na variedade dos problemas. Esse
paradigma, acrescenta o autor, reconhece que diferentes mtodos so apropriados para
diversas situaes e propsitos de avaliao (Patton, 1997: 297). H, portanto, um consenso
sobre a importncia de adotar uma pluralidade metodolgica para responder s diversas
questes colocadas pelos processos de avaliao e pelas necessidades dos diferentes atores
66
Sociologia.
Serapioni, Revista
Mauro da Faculdade
Conceitos de Letras
e mtodos para da Universidade
a avaliao do Porto,sociais
de programas Vol. XXXI, 2016,pblicas
e polticas pp. ???
(construtivismo versus realismo, estrutura versus sujeito e qualitativo versus quantitativo)

tem vindo a assumir posies e tons menos radicais (Minayo e Sanches, 1993; Patton,
1999; Serapioni, 2000; Hartz, 2008). Hoje em dia, a literatura sobre mtodos de
investigao e de avaliao j no mais caracterizada pela aspereza e pelo estridente
conflito entre as duas perspetivas de anlise, tal como aconteceu no passado. No mbito da
sociologia, por exemplo, regista-se um crescente reconhecimento de que a distino entre
qualitativo e quantitativo veio gerar uma rutura desnecessria. Para Santos (2003: 26), a
sociologia preocupa-se em demasia com discusses tericas estreis como, por exemplo, a
relao entre estrutura e ao ou entre a anlise macro e a anlise micro. Para o autor, a
verdadeira distino e relao fundamental a fazer era entre ao conformista e ao
rebelde. Tambm o socilogo italiano Ardig (1988: 288) pe em primeiro plano o
ambivalente ponto de vista do observador cientfico ao privilegiar, quer o sistema em
prejuzo da pessoa, quer a pessoa sem se preocupar com os aspetos sistmicos. portanto
criticvel, observa o autor, tanto a interpretao da vida social baseada exclusivamente nas
categorias relativas ao mundo da vida como a anlise funcionalista que enfatiza somente o
sistema social ignorando os limites do processo de objetivao (Ardig, 1988: 288).
Nesta mesma linha, so igualmente esclarecedoras as afirmaes de Beck (2000: 326):
() no se deve jurar lealdade a qualquer determinado ponto de vista ou perspetiva
terica. A deciso de adotar uma abordagem realista ou construtivista, tem para mim mais
um aspeto pragmtico, o facto de escolher os meios adequados para atingir o objetivo
pretendido.
Gradualmente, foi emergindo o consenso de que o grande desafio combinar, de
forma apropriada, os mtodos, as perguntas e as questes empricas e no defender uma
nica abordagem metodolgica para todos os problemas. Nesse prisma, Patton prope um
paradigma que ele define como paradigm of choice que deve dispor de um amplo
repertrio de mtodos e de tcnicas a serem utilizadas na variedade dos problemas. Esse
paradigma, acrescenta o autor, reconhece que diferentes mtodos so apropriados para
diversas situaes eSociologia.
propsitos deda
Revista avaliao
Faculdade (Patton, 1997:
de Letras da 297). do
Universidade H, portanto,
Porto, um2016,
Vol. XXXI, consenso
pp. ???
sobre a importncia de adotar uma pluralidade metodolgica para responder s diversas

questes colocadas pelos processos de avaliao e pelas necessidades dos diferentes atores
neles envolvidos.
No que diz respeito preocupao pela utilidade dos resultados, as diferentes
definies analisadas enfatizam que a avaliao no deve ser considerada como uma
atividade separada do processo de tomada de decises. Nesse sentido, Stufflebeam
(1996:118) afirma que o mais importante propsito da avaliao no provar, mas
melhorar (is not to prove but to improve). Trata-se de uma ferramenta para aprimorar 67
os
programas com vista a responder s necessidades dos beneficirios. Ela nasce num contexto
especfico o contexto decisional ou gerencial que justifica e explica a necessidade de
um processo cognitivo (a avaliao) voltado para a reduo da complexidade (Bezzi,
neles envolvidos.
No que diz respeito preocupao pela utilidade dos resultados, as diferentes
definies analisadas
Sociologia, Revista da Faculdadeenfatizam que a avaliao
de Letras da Universidade no
do Porto, Vol. XXXI,deve ser 59-80
2016, pg. considerada como uma
atividade separada do processo de tomada de decises. Nesse sentido, Stufflebeam
(1996:118) afirma que o mais importante propsito da avaliao no provar, mas
melhorar (is not to prove but to improve). Trata-se de uma ferramenta para aprimorar os
programas com vista a responder s necessidades dos beneficirios. Ela nasce num contexto
especfico o contexto decisional ou gerencial que justifica e explica a necessidade de
um processo cognitivo (a avaliao) voltado para a reduo da complexidade (Bezzi,
2003) e da incerteza (Weiss, 1998). Como afirmam Aguilar e Ander-Egg (1995:132), no
se avalia por interesses acadmicos ou por curiosidade intelectual, mas a partir de um claro
sentido utilitrio e prtico. A pesquisa avaliativa deve ser efetuada para que seus resultados
e recomendaes sejam realmente aplicados. Entretanto, todas as experincias de avaliao
realizadas nos EUA, a partir dos de 1960, demonstraram uma escassa capacidade de
influncia sobre as decises e os programas sociais do governo. Essa constatao levou
Patton (1997) a escrever um livro especfico sobre o assunto: Utilization-Focused
Evaluation (Avaliao Focada na Utilizao), no qual argumenta que os resultados das
avaliaes deveriam ser julgados pela sua utilidade (Patton, 1997: 20). O autor recomenda
que os avaliadores mantenham uma estreita relao com os promotores e financiadores da
avaliao no sentido de os ajudar a identificar os pontos crticos do programa ou servio e
assim escolher o tipo de avaliao de que eles necessitam.
Na mesma linha se inserem algumas experincias internacionais que visam
identificar a melhor forma de transferir os resultados dos estudos acadmicos para as
polticas pblicas e para a organizao dos servios. Neste contexto interessante a
experincia canadense dos coletivos de pesquisa (research collective) que desenvolvem
atividades de interao e de intercmbio entre investigadores e decisores polticos como
estratgias promissoras para aumentar a possibilidade aplicar de os resultados das
avaliaes na gesto e a formulao
Sociologia. de polticas
Revista da Faculdade de Letras(Pineault et al.,
da Universidade 2007;Vol.
do Porto, XXXI, 2016,et
Brousselle pp.al.,
???
2009).
Em relao ao reconhecimento do pluralismo de valores, importante analisar o
modelo de avaliao proposto por Guba e Lincoln (1989), no famoso livro Fourth
Generation Evaluation (Avaliao da quarta gerao), que visa valorizar as demandas, as
preocupaes e os assuntos postos pelos diversos atores e grupos de interesses. Para os
autores, a interao constante entre avaliador e implicados que cria o produto da avaliao
atravs da adoo da abordagem hermenutico-dialtica. Esse modelo que os autores
denominam responsive construtivist evaluation (avaliao responsvel e construtivista)
pretende superar os limites das anteriores geraes sobre processos de avaliao, mais
precisamente, i) o excessivo poder dos gestores no processo avaliativo, ii) a incapacidade
de aceitar e conciliar o pluralismo de valores e iii) o excessivo envolvimento com o
68
paradigma cientfico de tipo positivista. Com a designao de responsive, os autores visam
delinear, a partir das elaboraes de Stake (1996), uma maneira diferente de abordar a
avaliao, ou seja, focando-a num processo interativo, participativo e negociado que
envolve todos os sujeitos, incluindo: a) as pessoas empenhadas na produo, no uso e na
autores, a interao constante entre avaliador e implicados que cria o produto da avaliao
atravs da adoo da abordagem hermenutico-dialtica. Esse modelo que os autores
denominam responsive construtivist evaluation (avaliao responsvel e construtivista)
pretende superar os Sociologia,
limites das Revista da Faculdade de Letras da Universidade do Porto, Vol. XXXI, 2016, pg. 59-80
anteriores geraes sobre processos de avaliao, mais
precisamente, i) o excessivo poder dos gestores no processo avaliativo, ii) a incapacidade
de aceitar e conciliar o pluralismo de valores e iii) o excessivo envolvimento com o
paradigma cientfico de tipo positivista. Com a designao de responsive, os autores visam
delinear, a partir das elaboraes de Stake (1996), uma maneira diferente de abordar a
avaliao, ou seja, focando-a num processo interativo, participativo e negociado que
envolve todos os sujeitos, incluindo: a) as pessoas empenhadas na produo, no uso e na
implementao da avaliao; b) os beneficirios do processo avaliativo; e c) as vtimas,
ou seja, as pessoas que podem ser prejudicadas ou afetadas negativamente por esse
processo (Guba e Lincoln, 1989: 201). J com o termo constructivist, os autores
referem-se a uma metodologia fundamentada no assunto em que a verdade no corresponde
a uma realidade objetiva, mas que resulta do consenso entre construtores informados. A
realidade, sublinham os autores, assim uma construo social, podendo existir tantas
construes quantas so as pessoas envolvidas.
5. Abordagens avaliao
Como j foi observado na introduo deste artigo, existem muitas perspetivas e

escolas de avaliao que promovem um intenso debate sobre os temas centrais e
fundamentos da avaliao. Nesta seco apresentamos os principais modelos de avaliao
desenvolvidos nosSociologia.
ltimosRevista
50 anos e a contribuio
da Faculdade terica do
de Letras da Universidade e Porto,
metodolgica dos pp.
Vol. XXXI, 2016, mais
???
reconhecidos estudiosos sector desta matria. Para esse fim, adotaremos a tipologia de
Nicoletta Stame (2001), que tem reclassificado os modelos de avaliao em trs grandes
famlias ou abordagens: i) positivista-experimental; ii) pragmatista-da qualidade; iii)
construtivista. Importa realar que a autora prefere utilizar o termo abordagem em vez de
paradigma por duas razes: a) uma abordagem um conjunto de modelos diferentes,
portanto, apresenta fronteiras menos rgidas dos paradigmas; b) as abordagens coexistem,
enquanto os paradigmas pelo menos na definio de Kuhn (2006) substituem-se um ao
outro no curso das revolues cientficas (Stame, 2001: 25).
5.1. Abordagem positivista-experimental

Desenvolve-se nos anos em que iniciaram os estudos avaliativos das polticas
pblicas dirigidas ao combate da pobreza nos EUA. Entre os principais autores que
trabalharam nesta perspetiva Stame (2007:26) inclui Hyman, Suchman eWeiss com seus
primeiros trabalhos, Campbell, o terico da experimentao, e os autores mais eclticos,
como Rossi, Freeman e Lipsey e Chen. De acordo com esta abordagem, a tarefa principal
69
da avaliao mensurar os efeitos de um programa, o que implica a capacidade de definir
com preciso os seus objetivos e estabelecer os indicadores aptos para efetuar tais
mensuraes. Para superar as dificuldades advindas da no clareza dos objetivos, foi
introduzida a distino entre finalidades (goals) ou as aspiraes no quantificveis e os
5.1. Abordagem positivista-experimental
Desenvolve-se nos anos em que iniciaram os estudos avaliativos das polticas
pblicas dirigidas ao combate da pobreza nos EUA. Entre os principais autores que
trabalharam
Sociologia, Revistanesta perspetiva
da Faculdade de LetrasStame (2007:26)
da Universidade inclui
do Porto, Hyman,
Vol. XXXI, Suchman
2016, pg. 59-80 eWeiss com seus
primeiros trabalhos, Campbell, o terico da experimentao, e os autores mais eclticos,
como Rossi, Freeman e Lipsey e Chen. De acordo com esta abordagem, a tarefa principal
da avaliao mensurar os efeitos de um programa, o que implica a capacidade de definir
com preciso os seus objetivos e estabelecer os indicadores aptos para efetuar tais
mensuraes. Para superar as dificuldades advindas da no clareza dos objetivos, foi
introduzida a distino entre finalidades (goals) ou as aspiraes no quantificveis e os
objetivos (objectives), ou seja, as metas a serem alcanadas e mensuradas atravs dos
indicadores (Rossi et al., 1999: 94). Esta abordagem recorre a desenhos experimentais ou
quase-experimentais, a tcnicas de pesquisa quantitativas e a avaliadores externos ao
programa para atender ao requisito da objetividade na avaliao. O foco desta abordagem
a avaliao ex-post (ou somativa), sem a mnima preocupao em analisar o processo de
implementao do programa (avaliao formativa). De facto, um dos maiores limites deste
modelo a prpria dificuldade em aceder caixa preta do programa, ou seja,
compreender o seu funcionamento e os mecanismos intermedirios que relacionam as
causas com os efeitos esperados (Moro 2009: 48). Sucessivamente, esta rgida posio
inicial evoluiu, reconhecendo que um programa pode ser implementado diferentemente do
Mauro
MauroSerapioni
Serapioni- Conceitos
- Conceitose emtodos
mtodospara
paraa aavaliao
avaliaodedeprogramas
programassociais
sociaise epolticas
polticaspblicas
pblicas
seu desenho inicial, ser gerenciado
Sociologia.
Sociologia.
Revista de formadedeineficaz
RevistadadaFaculdade
Faculdade Letras ou ficar comprometido
LetrasdadaUniversidade
UniversidadedodoPorto,
Porto,Vol. por2016,
Vol.XXXI,
XXXI,ingerncia
2016,pp.
pp.???
???
poltica (Rossi et al., 1999). Assim, foram desenvolvidas diversas tcnicas de

monitoramento e de aferio intermediria dos resultados. Outro limite deste modelo sua
incapacidade
incapacidadededeidentificar
identificarososmecanismos
mecanismosque
quepromovem
promovema amudana.
mudana.Para
Parasuperar
superarestas
estas
limitaes,
limitaes,vrias
vriasvozes
vozescrticas
crticasseselevantaram
levantaram(incluindo
(incluindoa apartir
partirdadaprpria
prpriaabordagem
abordagem
experimental)
experimental)contra
contraa acentralidade
centralidadedadametodologia
metodologiae eem
emfavor
favordedeuma
umamaior
maiorconsiderao
considerao
dadateoria
teoria(Stame
(Stame(2007).
(2007).Esta
Estaperspetiva
perspetivadefinida
definidacomo
comoavaliao
avaliaoorientada
orientadapela
pelateoria
teoria
(theory-driven evaluation)
(theory-driven evaluation) (Chen (1990, apud
(Chen (1990, apud Stame,
Stame, 2001)
2001) afirma
afirma que
que a atarefa
tarefadada
avaliao
avaliao a a dede explicar
explicar por
por que
que um
um programa
programa deveria
deveria funcionar
funcionar como
como planeado
planeado e e
esclarecer,
esclarecer,portanto,
portanto,a ateoria
teoriaque
queoofundamenta.
fundamenta.
5.2.
5.2.Abordagem
Abordagempragmatista
pragmatista- -da
daqualidade
qualidade
Contrariamente
Contrariamente abordagem
abordagem experimental,
experimental, em
em que
queoo critrio
critrio dedeavaliao
avaliao oo
alcance
alcancedos
dosobjetivos,
objetivos,esta
estaabordagem
abordagemnascida
nascidaem
emambiente
ambientepragmatista
pragmatistaem
emoposio
oposio
aoaopositivismo
positivismo(Stame,
(Stame,2001:
2001:29)
29)pretende
pretendeavaliar
avaliarososprogramas
programascom
combase
basenos
nosvalores
valores
que
quepodem
podemser
serinternos
internosou
ouexternos
externosaoaomesmo.
mesmo.Neste
Nestesentido,
sentido,enfatiza
enfatizaMoro
Moro(2009:
(2009:55),
55),
no
nodeve
deveser
serooprograma estabeleceraapriori
programaa aestabelecer prioria avalidade
validadededeum
umobjetivo,
objetivo,mas
masdeve
deveser
seroo
resultado
resultadodedeuma
umapesquisa
pesquisaavaliativa.
avaliativa.Para
ParaMichel
MichelScriven
Scriven(1991),
(1991),considerado
consideradooofundador
fundador
desta
desta abordagem,
abordagem, a a avaliao
avaliao deve
deve ser
ser livre
livre dos
dos objetivos (goal free
objetivos (goal free evaluation).
evaluation). AA
perspetivaorientada
perspetiva orientadapara
paraososobjetivos,
objetivos,comenta
comentaStame
Stame(2001:29),
(2001:29),poderia
poderiarepresentar
representarum
um
alibi para
alibi
70 para uma
uma pretensa
pretensa neutralidade
neutralidade dede valores
valores do
do avaliador.
avaliador. OO avaliador
avaliador no
no deve
deve
portanto deixar-se
portanto deixar-se influenciar
influenciar pelos
pelos objetivos,
objetivos, mas
mas deve
deve basear-se
basear-se nos
nos seu
seu valores
valores e e
competncias.
competncias.
Scriven(1991)
Scriven (1991)desagrega
desagregaoojuzo
juzodedevalor
valorem
emduas
duasdimenses:
dimenses:i)i)mrito
mrito(merit)
(merit)ou
ou
ao positivismo (Stame, 2001: 29) pretende avaliar os programas com base nos valores
que podem ser internos ou externos ao mesmo. Neste sentido, enfatiza Moro (2009: 55),
no deve ser o programa a estabelecer a priori a validade de um objetivo, mas deve ser o
Sociologia,
resultado de uma pesquisa Revista da Faculdade
avaliativa. de LetrasScriven
Para Michel da Universidade
(1991),do Porto, Vol. XXXI, 2016,
considerado pg. 59-80
o fundador
desta abordagem, a avaliao deve ser livre dos objetivos (goal free evaluation). A
perspetiva orientada para os objetivos, comenta Stame (2001:29), poderia representar um
alibi para uma pretensa neutralidade de valores do avaliador. O avaliador no deve
portanto deixar-se influenciar pelos objetivos, mas deve basear-se nos seu valores e
competncias.
Scriven (1991) desagrega o juzo de valor em duas dimenses: i) mrito (merit) ou
valor intrnseco de uma atividade, mensurado com padres de qualidade especficos para
aquela atividade; ii) valor extrnseco (worth) de uma interveno que responde s
necessidades dos beneficirios que vivem naquele contexto.
Este modelo adequado para avaliar a efetividade e a eficincia de servios que
desenvolvem regularmente as suas atividades em resposta s necessidades da populao.
De facto, os princpios deste modelo encontram-se incorporados em todas as estratgias de
avaliao das instituies que
Sociologia. se inspiram
Revista nadeGesto
da Faculdade Letras dada Qualidade
Universidade e na Vol.
do Porto, Melhoria Contnua
XXXI, 2016, pp. ???
da Qualidade. Nesse sentido, a qualidade torna-se a propriedade positiva a ser levantada.

Entretanto, sendo a qualidade um conceito polissmico e multidimensional (Serapioni,
2009), preciso desagreg-la em diferentes dimenses e identificar indicadores e padres
que nos informem sobre os nveis de alcance da qualidade. Trata-se do processo que
Scriven (1995) define como lgica da avaliao. Uma vez estabelecidos os padres de
qualidade de um determinado servio social, a equipe de avaliao responsvel por: i)
mensurar o desempenho (performance) do servio; ii) compar-lo com os padres
estabelecidos na fase da programao; iii) expressar um juzo sobre as variaes
identificadas. Para este tipo de atividade, os avaliadores podem recorrer ao juzo de
especialistas (experts), mas podem tambm envolver especialistas leigos ou os mesmos
beneficirios (Stame, 2001).
No campo da sade, Donadedian (1980) sugere desagregar a qualidade nas trs
grandes categorias que compem um servio de sade: estrutura, processo e resultado.
5.3. Abordagem construtivista

Trata-se de um conjunto de modelos de avaliao que partilham algumas
caractersticas comuns, nomeadamente a de valorizar a contribuio dos diferentes atores e
a importncia atribuda fase de implementao de um programa. O interesse dos
avaliadores observar o desenvolvimento das intervenes, mais do que aferir o alcance
dos objetivos ou dos padres previamente estabelecidos. Nesse sentido, so considerados
tambm os efeitos positivos ou negativos inesperados (Moro, 2009). Esta abordagem inclui
diferentes modelos de avaliao: a Avaliao da quarta gerao, de Egon C. Guba e
Yvonne S. Lincoln (1989); a Avaliao focada na utilizao, de Michael Q. Patton
(1997); a Avaliao como processo social e poltico, de Lee J. Cronbach (1996);71
a
Avaliao sensvel (Responsive evaluation), de Robert E. Stake (2007) e a Avaliao
para o empoderamento (Empowerment Evaluation), de David M. Fetterman (1994).
Relativamente a avaliao da quarta gerao, trata-se, na opinio de Guba e Lincoln
a importncia atribuda fase de implementao de um programa. O interesse dos
avaliadores observar o desenvolvimento das intervenes, mais do que aferir o alcance
dos objetivos ou dos padres previamente estabelecidos. Nesse sentido, so considerados
Sociologia, Revista
tambm da Faculdade
os efeitos de Letras
positivos ou da Universidade
negativos do Porto, Vol. XXXI,
inesperados 2016,2009).
(Moro, pg. 59-80
Esta abordagem inclui
diferentes modelos de avaliao: a Avaliao da quarta gerao, de Egon C. Guba e
Yvonne S. Lincoln (1989); a Avaliao focada na utilizao, de Michael Q. Patton
(1997); a Avaliao como processo social e poltico, de Lee J. Cronbach (1996); a
Avaliao sensvel (Responsive evaluation), de Robert E. Stake (2007) e a Avaliao
para o empoderamento (Empowerment Evaluation), de David M. Fetterman (1994).
Relativamente a avaliao da quarta gerao, trata-se, na opinio de Guba e Lincoln
(1989), de um espao democrtico e dialtico onde os sujeitos podem interagir e participar
livremente no processo deliberativo, apresentando os seus prprios pontos de vista e
reivindicaes. O Sociologia.
avaliadorRevista
participa, junto
da Faculdade comdaos
de Letras outros do
Universidade atores, na XXXI,
Porto, Vol. construo
2016, pp. do
???
consenso, desempenhando o difcil papel de mediador, o que requer capacidades e
habilidades de negociao (Guba e Lincoln, 1989). De facto, nesse processo de negociao,
como advertem Aguilar e Ander Egg (1995: 90), preciso conciliar ou compatibilizar as
demandas de todos os atores implicados, com as exigncias do mtodo cientfico.
A avaliao focada na utilizao atribui muita importncia ao contexto poltico e
organizativo em que so tomadas as decises. Para Patton (1997), os que encomendaram a
avaliao so mais motivados e propensos a aplicar as recomendaes do estudo se forem
envolvidos nas diferentes etapas da avaliao e se forem considerados atores principais
desse processo. Para isso importante que o avaliador prepare o terreno para que os
resultados da avaliao sejam implementados. O envolvimento desses atores, enfatiza
Patton (1998: 226), tem um impacto positivo porque ajuda os decisores a adotar a
perspetiva dos avaliadores e a aprender a pensar avaliativamente (to learn to think
evaluatively).
Para Cronbach (1996) terico da relao entre avaliao e poltica os avaliadores
devem atentamente considerar a influncia que o contexto poltico exerce nos programas
sociais. Neste prisma, Cronbach (1996: 405) salienta que a verdadeira misso da avaliao
no a de eliminar a possibilidade de erros dos decisores polticos, mas a de facilitar o
processo democrtico e pluralista, contribuindo para a sensibilizao de todos os
participantes.
A avaliao sensvel aos valores dos stakeholders, desenvolvida por Stake (2007),
estuda em profundidade casos especficos, adotando diversas estratgias avaliativas em
cada caso. O mesmo programa, acrescenta o autor, desenvolve-se de forma diferente nas
diversas situaes. Na viso de Stake (2007:162), a avaliao sensvel sacrifica um certo
rigor das medies em troca de uma maior utilidade dos resultados.
Finalmente, a avaliao para o empoderamento, cujos objetivos, de acordo com
Fetterman (1997:382), remetem para o uso de conceitos e tcnicas da avaliao para
fomentar o melhoramento e a autodeterminao e ajudar as pessoas a ajudarem-se a si
72
mesmas e a aperfeioar os seus programas. Os avaliadores, atuando como facilitadores,
ensinam as pessoas a conduzir uma avaliao dos prprios programas para que possam
tornar-se autossuficientes (Fetterman, 1994). A par de outras tipologias includas na
abordagem construtivista, este modelo enfatiza o seu valor educativo.
cada caso. O mesmo programa, acrescenta o autor, desenvolve-se de forma diferente nas
diversas situaes. Na viso de Stake (2007:162), a avaliao sensvel sacrifica um certo
rigor das medies em troca de uma maior utilidade dos resultados.
Finalmente, a Sociologia,
avaliao Revista
parada Faculdade de Letras da Universidade
o empoderamento, cujos do Porto, Vol. XXXI,
objetivos, 2016, pg.com
de acordo 59-80
Fetterman (1997:382), remetem para o uso de conceitos e tcnicas da avaliao para

fomentar o melhoramento e a autodeterminao e ajudar as pessoas a ajudarem-se a si
mesmas e a aperfeioar os seus programas. Os avaliadores, atuando como facilitadores,
ensinam as pessoasSociologia.
a conduzirRevistauma avaliao
da Faculdade dosdaprprios
de Letras programas
Universidade para
do Porto, Vol. que2016,
XXXI, possam
pp. ???
tornar-se autossuficientes (Fetterman, 1994). A par de outras tipologias includas na
abordagem construtivista, este modelo enfatiza o seu valor educativo.
5.4. Modelos mistos e pluralismo

Ao equiparar as diferentes abordagens, sem reconhecer qualquer primazia a uma
delas, optou-se claramente por favorecer aquelas que geralmente so consideradas mais
dbeis. Faz-se aqui referncia no tanto abordagem pragmtica da qualidade, que
bastante utilizada nas avaliaes dos servios scio assistenciais, educativos, de sade e, no
geral, no setor dos servios pblicos, mas abordagem construtivista que continua a ser
considerada menos importante que a abordagem positivista-experimental. Esta ltima, de
facto, ainda preferida tanto por promotores e financiadores de avaliaes que querem
alcanar dados objetivos, como por avaliadores formados nos pressupostos concetuais e
metodolgicos desta abordagem.
Aps ter diferenciado as trs abordagens avaliao e ter realado as suas
caractersticas, a lgica e a coerncia interna de cada uma delas, torna-se agora preciso
gerenciar a complexidade decorrente desta distino epistemolgica e metodolgica. Neste
sentido, advoga-se a necessidade de tirar proveito da variedade de abordagens, combinando
mtodos e ferramentas tericas de diferentes origens. Tal acontece espontaneamente ao
formular projetos de avaliao que combinam a anlise de impacto, questionrios de
satisfao dos utentes e entrevistas com informadores privilegiados. Importa, todavia,
realar que tais estratgias metodolgicas no devem ser consideradas intercambiveis,
devendo ser trazidas de volta lgica que as sustentam.
Cada vez mais, estes arranjos e combinaes tm-se tornado questo central de
debate, conceitualizada na ideia de pluralismo de abordagens na avaliao. Entre as vrias
formas de pluralismo possveis, as vertentes mais interessantes e promissoras so as dos
mtodos mistos e a da contaminao entre diversas abordagens, as quais tm apresentado
interessantes desenvolvimentos tericos. A ideia dos mtodos mistos nasce da observao
das vantagens e desvantagens de cada um deles e advoga a complementaridade
metodolgica, ou seja assente na triangulao de mtodos, seja qual aceite tanto pelos
experimentalistas, como Campbell e Russo (1999), como pelos construtivistas, como
Greene e Caracelli (1997). Neste prisma, importa assinalar a difuso de mtodos de
avaliao participativa, entendida no somente como estratgia de empoderamento dos
73
interessantes desenvolvimentos tericos. A ideia dos mtodos mistos nasce da observao
das vantagens e desvantagens de cada um deles e advoga a complementaridade
metodolgica, ou seja assente na triangulao de mtodos, seja qual aceite tanto pelos
Serapioni, Mauro Conceitos Mauro Serapioni
e mtodos para a -avaliao
Conceitosdee programas
mtodos para a avaliao
sociais de programas
e polticas pblicas sociais e polticas pblicas
experimentalistas, comode Campbell
Sociologia, Revista da Faculdade Letras
Sociologia. Revista e Russo
da Universidade
da Faculdade (1999),
dodePorto,
LetrasVol. como
daXXXI, pelos
2016, pg.
Universidade construtivistas,
do59-80
Porto, Vol. XXXI, 2016, como
pp. ???
Greene e Caracelli (1997). Neste prisma, importa assinalar a difuso de mtodos de

avaliao participativa, entendida no somente como estratgia de empoderamento dos
diferentes stakeholders e beneficirios, mas tambm como estratgia para reforar o
alcance dos prprios programas. Contudo, a estratgia mais promissora ainda , sem
dvida, essa da contaminao entre diversas abordagens, utilizando e combinando diversos
aspetos de cada uma das abordagens e que poderia levar a desenvolvimentos fecundos
(Stame, 2001).
Nesse sentido, a seguir sero apresentados dois modelos tericos - a Avaliao
baseada na teoria e a Avaliao realista - que Stame (2001: 40) considera serem o
resultado da contaminao entre as abordagens acima apresentadas e, em particular, da
contaminao entre a abordagem positivista e construtivista. Nestes modelos, o
pluralismo no consiste somente na utilizao de mtodos advindos de diferentes
perspetivas (experimentais, participativos, quantitativos ou qualitativos), mas na convico
de que em cada situao deve ser identificada a forma mais especfica - entre uma
multiplicidade de possveis alternativas - atravs da qual pode operar um programa.
a) Avaliao baseada na teoria

Este tipo de avaliao, desenvolvido por Carol Weiss (1997), aponta para a necessidade de
compreender os pressupostos tericos do programa para se poder aferir a sua efetividade.
De facto, a avaliao deve responder no somente pergunta O programa funciona?, mas
a questes como o que o faz funcionar? , porque teve xito? e como pode funcionar
melhor?. Conhecer exclusivamente os resultados no suficiente para aprimorar o
programa ou para revisar uma poltica. A avaliao, acrescenta a autora, deve entrar na
caixa negra do programa. Na opinio de Stame (2001: 41), Carol Weiss contamina uma
abordagem positivista centrada na ideia de causalidade com uma abordagem construtivista,
atenta forma em que os atores reagem ao programa e o interpretam. A avaliao baseada
na teoria desdobrada em duas dimenses: i) a teoria da implementao, que analisa a
forma como so realizadas as atividades do programa, pressupondo que, se realizadas com
qualidade e de acordo com o plano inicial, os resultados desejados sero atingidos; ii) a
teoria do programa, que se Revista
Sociologia. concentra nos mecanismos
da Faculdade que intervm
de Letras da Universidade entre
do Porto, a prestao
Vol. XXXI, 2016, pp.das
???
atividades do programa e o alcance dos resultados. Por outras palavras, a teoria do

programa ocupa-se dos mecanismos que intermediam processos e resultados. O mecanismo
da mudana enfatiza Weiss (1997: 46) no constitudo pelas atividades do programa
em si, mas pela resposta que tais atividades geram.
b) Avaliao realista
Este
74 modelo desenvolvido por Pawson e Tilly (1997) critica a causalidade sequencial da
abordagem positivista - segundo a qual o resultado obtido aps uma determinada
interveno - e prope o conceito de causalidade generativa, que busca compreender
como aquela interveno obteve aquele resultado. Neste prisma, os autores deslocam o foco
da mudana enfatiza Weiss (1997: 46) no constitudo pelas atividades do programa
em si, mas pela resposta que tais atividades geram.
b) Avaliao realista
Este modelo desenvolvido por Pawson e Tilly (1997) critica a causalidade sequencial da
abordagem positivista - segundo a qual o resultado obtido aps uma determinada
interveno - e prope o conceito de causalidade generativa, que busca compreender
como aquela interveno obteve aquele resultado. Neste prisma, os autores deslocam o foco
da avaliao da efetividade de um programa para a necessidade de compreender o que,
deste programa, precisamente, possibilita o seu funcionamento. De acordo com Pawson
(2002: 342), no so os programas que funcionam, mas os recursos que eles oferecem para
habilitar os sujeitos a faz-los funcionar. Este processo sobre como os sujeitos interpretam
as estratgias do programa designado pelo autor como mecanismo do programa e
representa o eixo em torno ao qual gira a avaliao realista. Na perspetiva realista, a
avaliao deve, portanto, responder s seguintes perguntas: quais so os mecanismos de
mudana desencadeados pelo programa? Por que em alguns contextos alguns mecanismos
funcionam e outros no? Por que o mesmo programa gera resultados diversos em contextos
diferentes? Partindo dos pressupostos acima mencionados, o modelo realista articula o
processo de avaliao em trs elementos essenciais: os mecanismos, o contexto e os
resultados. Na anlise de Pawson e Tilley (1997) so claramente identificveis as
influncias do construtivismo quando reconhecem que em cada contexto so possveis
diversos mecanismos. Nesse sentido, a avaliao realista consiste na compreenso do
contexto (as pessoas, os processos, as instituies) e dos mecanismos que podem funcionar
nesse determinado contexto. Esta atividade certamente no preordenada como na
abordagem positivista. Finalizando,
Sociologia. este modelo
Revista da Faculdade reconhece
de Letras a importncia
da Universidade daXXXI,
do Porto, Vol. relao entre
2016, o
pp. ???
avaliador e os stakeholders, embora o avaliador mantenha o seu papel de cientista social,

contrariamente aos outros modelos construtivistas.
Concluso
A prtica da avaliao tem vindo a assumir peso e visibilidade crescentes a nvel

internacional, disseminando-se, cada vez mais, entre os pases do sul da Europa, graas ao
impulso de vrios fatores convergentes que a tm tornado cada vez mais independente das
disciplinas acadmicas e das reas profissionais em que surgiu. A avaliao representa uma
fase importantssima do ciclo poltico e imprescindvel para apreciar os programas e as
polticas pblicas implementadas, os efeitos desejados e indesejados e para monitorar o
desenvolvimento e a adaptao constante da ao pblica. Alm destas importantes
funes, a avaliao representa, como realado por vrios autores citados ao longo deste
75
artigo, um pilar central a favor da governao e da democracia na sociedade ps-moderna,
sendo que cada avaliao, como afirma Patton (2002: 127), uma oportunidade para
fortalecer a democracia, ensinando as pessoas a pensar avaliativamente. A avaliao,
como acrescenta Chelimsky (1997), permite beneficiar aqueles que tomam decises sobre
impulso de vrios fatores convergentes que a tm tornado cada vez mais independente das
disciplinas acadmicas e das reas profissionais em que surgiu. A avaliao representa uma
fase importantssima do ciclo poltico e imprescindvel para apreciar os programas e as
polticas pblicas implementadas, os efeitos desejados e indesejados e para monitorar o
desenvolvimento e a adaptao constante da ao pblica. Alm destas importantes
funes, a avaliao representa, como realado por vrios autores citados ao longo deste
artigo, um pilar central a favor da governao e da democracia na sociedade ps-moderna,
sendo que cada avaliao, como afirma Patton (2002: 127), uma oportunidade para
fortalecer a democracia, ensinando as pessoas a pensar avaliativamente. A avaliao,
como acrescenta Chelimsky (1997), permite beneficiar aqueles que tomam decises sobre
as polticas pblicas, e isso, por seu lado, beneficia os cidados que tm de lidar com essas
decises e suas consequncias.
Neste artigo foram analisados vrios aspetos referentes ao processo de avaliao: o
seu papel e os seus diversos usos, os pressupostos terico-metodolgicos, as suas
abordagens, assim como a situao atual da temtica a nvel internacional. Com o intuito de
reiterar a importncia da avaliao no que toca sua capacidade de retroalimentar o ciclo
das polticas pblicas, como a sua proeminncia no campo das cincias sociais e polticas,
finaliza-se esta anlise apresentando alguns pontos de tenso persistentes nas discusses
sobre esta matria. A primeira questo refere-se ao debate quantitativo-qualitativo que tem
contribudo para o reconhecimento dos mtodos qualitativos, tais como estudos de caso e
observao participante, hoje parte integrante do repertrio dos avaliadores. A continuao
deste debate, porm, desvia muita da energia intelectual das questes mais urgentes e dos
desafios que esta questo
Sociologia.coloca,
Revista daconsiderando-se, por
Faculdade de Letras da isso, urgente
Universidade sair
do Porto, Vol.dessa zona
XXXI, 2016, de
pp. ???
conflito. Outro ponto controverso diz respeito forma como os resultados das avaliaes
devem ser utilizados. Nos anos de 1970, muitos avaliadores acreditavam que os seus
resultados podiam retroalimentar os processos de tomada de decises. Porm, a experincia
ensinou que as decises no so to facilmente tomadas no mundo da poltica. Tais
resultados empricos levaram assim a reconhecer que o uso instrumental (instrumental
perspective) da avaliao raro e que o tipo de uso mais difuso da avaliao chamado de
iluminao ou de esclarecimento (enlightenement perspective), cujos resultados podem
mudar a maneira como as questes sociais e os programas so enquadrados e a forma como
os stakeholders pensam acerca de problemas e solues (Cook, 1997). Mas ser que os
financiadores e promotores se contentam apenas com a funo de esclarecimento no
exigindo tambm uma avaliao que se retroalimente dos processos de deciso?
Importa, por fim, assinalar o debate referente ao papel do avaliador, que varia de
acordo com a perspetiva sobre a avaliao que adotada. Na perspetiva orientada para o
desenvolvimento institucional (Development perspective), a avaliao considerada uma
ferramenta flexvel que visa aprimorar o desempenho das instituies e promover a
mudana organizacional. De acordo com esta perspetiva, o avaliador torna-se parceiro
(partner) ou amigo crtico (critical friend), segundo Fetterman (1994), mas tambm
76
desenvolve funes de advocacia, segundo Stake (2007), podendo ainda ser encarado como
facilitador, de acordo com a proposta de Guba e Lincoln (1989). J na perspetiva da
avaliao orientada para a anlise da eficincia e da efetividade (accountability
perspective), o avaliador deve manter a independncia e uma certa distncia para poder
Importa, por fim, assinalar o debate referente ao papel do avaliador, que varia de
acordo com a perspetiva sobre a avaliao que adotada. Na perspetiva orientada para o
desenvolvimentoSerapioni,
institucional
Mauro (Development perspective),
Conceitos e mtodos para a avaliaoadeavaliao considerada
programas sociais uma
e polticas pblicas
ferramenta flexvel que visa aprimorar o desempenho das instituies e promover a
mudana organizacional. De acordo com esta perspetiva, o avaliador torna-se parceiro
(partner) ou amigo crtico (critical friend), segundo Fetterman (1994), mas tambm
desenvolve funes de advocacia, segundo Stake (2007), podendo ainda ser encarado como
facilitador, de acordo com a proposta de Guba e Lincoln (1989). J na perspetiva da
avaliao orientada para a anlise da eficincia e da efetividade (accountability
perspective), o avaliador deve manter a independncia e uma certa distncia para poder
aferir de forma objetiva o valor ou mrito do programa (Scriven, 1995). Hoje em dia,
contudo, esta viso sobre o papel do avaliador objeto de vrias crticas.
Referncias bibliogrficas
Aguilar, M.J., Ander-Egg, E. (1995), Avaliao de servios e programas sociais. Petrpolis,
Editora Vozes.
Beck, U. (2000), La societ del rischio, Roma, Carocci.
Bezzi, C. (2003), Il disegno della
Mauro ricerca
Serapioni valutativa.
- Conceitos Milo:
e mtodos Angeli.
para a avaliao de programas sociais e polticas pblicas
Sociologia. RevistaD;
Brousselle, A.; Contandriopulos, da Faculdade
Lemire, deMLetras da Universidade
(2009), do Porto,Analysis
Using Logic Vol. XXXI,to2016, pp. ???
Evaluate
Knowedge Transfer Initiatives: The case of the research collective on the organization of
Primary Health Care, Evaluation,15, pp. 165-183
Campbell D.; Russo J. (1999), Social experimentation, Thousand Oaks: Sage Publications.
Campbell, D.; Stanley, J. (1966), Experimental and Quasi-Experimental Design for Research,
Chicago, Rand McNally.
Cerqueira Prata A.C. (2012), Metodologia da avaliao das aes sociais. CEPAL, Comisso
Econmica para Amrica Latina e o Caribe, Maro de 2007; pp. 43. Sito visitado: 20 Fevereiro
2012:http://www.eclac.org/publicaciones/xml/4/29014/LSBRSR182AnaCarolinaAiresCerqueira
Prata.pdf
Chelimsky, E.; Shadish, W. (eds.) (1997), Evaluation for the 21st century. A handbook, Thousand
Oaks: Sage Publications.
Cohen, E., Franco, R. (1993), Avaliao de projetos sociais, Petrpolis, Vozes.
Cook, T.D. (1997), Lessons learned in Evaluation over the past 25 years. In; Chelimsky, E.;
Shadish, W. (eds.), Evaluation for the 21st century. A handbook, Thousand Oaks: Sage
Publications.
Cronbach, L.J. (1996), Ninethy-five theses for reforming program evaluation. In: G.F. Madaus,
Scriven M.S., Stufflebean D.L. (Orgs.), Evaluation models. Viewpoints on educational and
human service evaluation, Boston:Kluwer-Nijhoff, 11 Edio; pp. 405-412.
Donabedian, A. (1980), Exploring in Quality Assessment and Monitoring, Definitions of Quality
and Approaches to its Assessment. Ann Arbor, Health Administration Press, University of
Michigan, v.1.
Faria, C.A.P. (2005), A poltica da avaliao de polticas pblicas, Revista Brasileira de Cincias
Sociais, 20 (59), pp. 97-109.
Fetterman, D. (1994), Empowerment evaluation, Evaluation Practice, 1994 15(1), pp. 1-15.
77
Fetterman, D. (1997), Empowerment Evaluation and Accreditation in Higher Education. In:
Chelimsky E., Shadish W.R. Evaluation for the 21st Century. Thousand Oaks, Sage, pp. 381-
394.
Donabedian, A. (1980), Exploring in Quality Assessment and Monitoring, Definitions of Quality
and Approaches to its Assessment. Ann Arbor, Health Administration Press, University of
Michigan,
Serapioni, Maurov.1.
Conceitos e mtodos para a avaliao de programas sociais e polticas pblicas
Faria, C.A.P. (2005), A poltica da avaliao de polticas pblicas, Revista Brasileira de Cincias
Sociais, 20 (59), pp. 97-109.
Fetterman, D. (1994), Empowerment evaluation, Evaluation Practice, 1994 15(1), pp. 1-15.
Fetterman, D. (1997), Empowerment Evaluation and Accreditation in Higher Education. In:
Chelimsky E., Shadish W.R. Evaluation for the 21st Century. Thousand Oaks, Sage, pp. 381-
394.
Frey, K. (2000), Polticas Pblicas: um debate conceitual e reflexes referentes prtica da anlise
de polticas no Brasil, Planejamento e Polticas Pblicas, 21, pp. 211-259.
Garcia, A.T. (2014), A implementao de polticas pblicas de ambiente o caso da qualidade da
gua para consumo humano, Anlise
Mauro Serapioni Social, 211,
- Conceitos XLIX
e mtodos para(2.), 2014.de programas sociais e polticas pblicas
a avaliao
Glasser, P.H. La ricerca valutativa.
Sociologia. RevistaPadova, Fondazione
da Faculdade Cancan,
de Letras da 1972.do Porto, Vol. XXXI, 2016, pp. ???
Universidade
Greene, J. E., Caracelli, V. (1997), Advances in mixed-method evaluation: the challenges and
benefits of integrating paradigms, New Direction for Programme Evaluation, n. 74, San
Francisco: Jossey-Bass.
Guba, E.G.; Lincoln, Y.S. (1981), Effective evaluation: improving the usefulness of evaluation
results through responsive and naturalistic approaches. San Francisco: Jossey-Bass.
Guba, E., Lincoln, Y. (1989), Fourth Generation Evaluation. Newbury Park, Sage Publications.
Hartz, Z.M.A. Undisciplinary comments from evaluative research in health, Ciencia & Saude
Coletiva 2008, 13(6), pp. 1711-1717.
Hartz, Z.M.A. (1999), Avaliao dos programas de sade: perspetivas terico metodolgicas e
polticas institucionais, Cincia & Sade Coletiva, 4(2), pp. 341-353.
Howlett, M.; Ramesh, M.; Perl, A. (2009), Studying Public Policy, Oxford: Oxford University
Press.
Kuhn T.S. (2006), A estrutura das revolues cientficas, So Paulo, Perspectiva, 2006.
Madaus G.F., Scriven M. e Stufflebeam D.L. (1996), Evaluation Models. Viewpoints on
Educational and Human Services Evaluation. Dordrecht:Kluwer Nijhoff Publishing, 11 Edio.
Minayo, M.C., Sanches, O. Quantitativo-Qualitativo: Oposio ou Complementaridade? Caderno
de Sade Pblica 1993, 9 (3), pp. 239-262.
Moro, G. (2009), La valutazione delle politiche pubbliche. Roma: Carrocci.
Novaes, H.M.D. (2000), Avaliao de programas, servios e tecnologias em sade, Revista Sade
Pblica, 34(5), pp. 547-59
vretveit, J (1998),. Evaluating Health Interventions. Buckingham, Open University Press.
Palumbo, M. (2001), Il processo di valutazione. Decidere, programmare, valutare. Milao, Angeli.
Patton, M.Q. (1998), Discovering Process Use, Evaluation, 4(2), pp. 225-233.
Patton, M.Q. (1999), Enhancing the quality and credibility of qualitative analyses, Health
Services Research, 34, 5, pp. 1189-1208.
Patton, M..Q. (1997), Utilization-Focused Evaluation. The new century text. Thousand Oaks, Sage
Publications.
Pawson, R., Tilley, N. (1997), An Introduction to Scientific Realist Evaluation. In: Chelimsky, E.
and Shadish, W.R. (eds.), Evaluation for the 21st Century, Thousand Oaks, Sage, 1997.
Pawson, R. (2002), Evidenced-based Policy: The Promise of Realist Synthesis, Evaluation,
78
8(3), pp. 340-358.
Pineault, R; Tousignant, P; Roberrg, D; Lamarche, P.; Rheinarz, D; Larouche, D; Beaulne, G;
Lesage, D. (2007), Involving decision-makers in producing research-syntheses. The case of
Patton, M.Q. (1998), Discovering Process Use, Evaluation, 4(2), pp. 225-233.
Patton, M.Q. (1999), Enhancing the quality and credibility of qualitative analyses, Health
Services Research, 34, 5, pp. 1189-1208.
Sociologia, Revista da Faculdade
Patton, M..Q. (1997), Utilization-Focused de Letras
Evaluation. Theda new
Universidade
century do text.
Porto,Thousand
Vol. XXXI, 2016, pg.Sage
Oaks, 59-80
Publications.
Pawson, R., Tilley, N. (1997), An Introduction to Scientific Realist Evaluation. In: Chelimsky, E.
and Shadish, W.R. (eds.), Evaluation for the 21st Century, Thousand Oaks, Sage, 1997.
Pawson, R. (2002), Evidenced-based Policy: The Promise of Realist Synthesis, Evaluation,
8(3), pp. 340-358. Mauro Serapioni - Conceitos e mtodos para a avaliao de programas sociais e polticas pblicas
Sociologia.
Pineault, R; Tousignant, Revista da Faculdade
P; Roberrg, de Letras
D; Lamarche, P.;daRheinarz,
UniversidadeD;do Larouche,
Porto, Vol. XXXI, 2016, pp. ???
D; Beaulne, G;
Lesage, D. (2007), Involving decision-makers in producing research-syntheses. The case of
Research Collective on Primary Health Care in Quebec, Healthcare Policy, 2,4, pp. 11-17.
Rossi, P.H.; Freeman, H.E.; Lipsey, M.W. (1999), Evaluation. A systematic approach, Thousand
Oaks, Sage Publications.
Rutman, L. (1984), Evaluation research methods: a historical guide, Beverly Hills, Sage
Publications.
Scriven, M. (1995), The Logic of Evaluation and Evaluation Practice, New Directions for
Evaluation, 68, pp. 49-70.
Scriven, M. (1991), Evaluation Thesaurus, Newbury Park, Sage Publications.
Serapioni, M. (2000), Mtodos qualitativos e quantitativos: algumas estratgias para a integrao,
Cincia & Sade Coletiva 2000, (5)1: 187-192.
Serapioni, M. (2009), Avaliao da qualidade em sade. Reflexes terico-metodolgicas para
uma abordagem multidimensional, Revista Crtica de Cincias Sociais, 85, 65-82.
Shortell, S.M. (1999), The Emergence of Qualitative Methods in Health Services Research,
Health Services Research, 34(5), pp. 1083-1090.
Stake, R.E. (1980), Programme evaluation, particularly responsive evaluation. In: W.B. Dockrell &
D. Hamilton (eds.), Rethinking educational research: London: Hodder & Stoughton.
Stake, R.E. (1996), Program Evaluation, Particularly Responsive Evaluation. In: G.F. Madaus,
Scriven M.S., Stufflebean D.L. (Orgs.), Evaluation models. Viewpoints on Educational and
Human Service Evaluation, Boston, Kluwer-Nijhoff, 11 Edio, pp. 287-310.
Stake, R.E. (2007), La valutazione di programmi, con particolare riferimento alla valutazione
sensibile. In Stame N. (org.) Classici della valutazione, Milo, Angeli, 2007; pp. 156-177.
Stame, N. (org.)(2007), Classici della Valutazione. Milo, Angeli.
Stame, N. (2001), Tre approcci principali alla valutazione: distinguere e combinare. In: Palumbo M.
(org.) Il processo di valutazione. Decidere, programmare, valutare. Milo, Angeli, pp. 21-46.
Stufflebeam, D.L. (1996), The CIPP Model for Program Evaluation. In: Madaus, G.F., Scriven, M.
e Stufflebeam, D.L. (eds.), Evaluation Models. Viewpoints on Educational and Human Services
Evaluation. Dordrecht, Kluwer Nijhoff Publishing, 11 Edio, 1996.
Trevisan, A.P.; van Bellen, H.M. (2008), Avaliao de polticas pblicas: uma reviso terica de
um campo em construo, Revista de Administrao Pblica, 42 (3), pp. 529-550.
Weiss, C.H. (1997), Theory-Based Evaluation: Past, Present, and Future, New Directions for
Evaluations, 76, pp. 41-55.
Weiss, C.H. (1998), Evaluation. Second Edition. Uppler Saddle River: Prentice Hall.
79
Mauro Serapioni. Investigador do Centro de Estudos Sociais (CES), Universidade de

Coimbra (Coimbra, Portugal). Endereo de Correspondncia: Centro de Estudos Sociais
Colgio S. Jernimo, Apartado 3087 3000-995, Coimbra, Portugal. E-mail:
mauroserapioni@ces.uc.pt
Artigo recebido a 20 de maio de 2015. Publicao aprovada a 15 de novembro de 2015
80

Conceitos e Métodos para A Avaliação de Programas Sociais e Políticas Públicas

Uploaded by

Document Information

Original Title

Copyright

Available Formats

Share this document

Share or Embed Document

Sharing Options

Did you find this document useful?

Is this content inappropriate?

Copyright:

Available Formats

Conceitos e Métodos para A Avaliação de Programas Sociais e Políticas Públicas

Uploaded by

Copyright:

Available Formats

Serapioni, Mauro Conceitos e mtodos para a avaliao de programas sociais e polticas pblicas

Conceitos e mtodos para a avaliao de programas sociais e

Palavras-chave: Avaliao, Polticas pblicas, Pluralidade metodolgica

Keywords: Evaluation, Public policies, Methodological plurality.

Concepts et mthodes pour la valuation des programmes sociaux y politiques publiques

Conceptos y mtodos para la evaluacin de los programas sociales y polticas pblicas

3. Breve histrico da avaliao

combater o desemprego, a delinquncia, a degradao das reas urbanas e para oferecer

props a avaliao responsvel (responsive) e Guba e Lincoln (1989) a avaliao

4. Pressupostos tericos e metodolgicos da avaliao

existncia de descoincidncias e desacordos entre as abordagens dos diferentes estudiosos e

Ainda em relao questo metodolgica, cabe assinalar que a tradicional

(construtivismo versus realismo, estrutura versus sujeito e qualitativo versus quantitativo)

sobre a importncia de adotar uma pluralidade metodolgica para responder s diversas

Como j foi observado na introduo deste artigo, existem muitas perspetivas e

5.1. Abordagem positivista-experimental

poltica (Rossi et al., 1999). Assim, foram desenvolvidas diversas tcnicas de

da Qualidade. Nesse sentido, a qualidade torna-se a propriedade positiva a ser levantada.

5.3. Abordagem construtivista

Fetterman (1997:382), remetem para o uso de conceitos e tcnicas da avaliao para

5.4. Modelos mistos e pluralismo

Greene e Caracelli (1997). Neste prisma, importa assinalar a difuso de mtodos de

a) Avaliao baseada na teoria

atividades do programa e o alcance dos resultados. Por outras palavras, a teoria do

avaliador e os stakeholders, embora o avaliador mantenha o seu papel de cientista social,

A prtica da avaliao tem vindo a assumir peso e visibilidade crescentes a nvel

Mauro Serapioni. Investigador do Centro de Estudos Sociais (CES), Universidade de

Artigo recebido a 20 de maio de 2015. Publicao aprovada a 15 de novembro de 2015

You might also like