AVALIAO DE

POLTICAS PBLICAS
Profa. Dra. Maria Teresa Miceli Kerbauy

AVALIAO
um processo sistemtico de
anlise de uma atividade, fatos ou
coisas que permitem compreender,
de forma contextualizada, todas as
suas dimenses e implicaes.

AVALIAO DE POLTICAS
PBLICAS
parte integrante do processo de
desenvolvimento da poltica pblica
pois possibilita o conhecimento e a
formulao de subsdios para a
tomada de deciso institucional
visando a concretizao dos objetivos
da poltica implementada.

AVALIAO DE POLTICAS
PBLICAS
pode ser formulada e
implementada de diversas
maneiras. A avaliao permite
reconstituir suas caractersticas de
forma a compreend-las melhor.

A AVALIAO...
parte integrante do processo de
desenvolvimento da poltica pblica
pois possibilita o conhecimento e a
formulao de subsdios para a tomada
de deciso institucional visando a
concretizao dos objetivos da poltica
implementada.

SUJEITOS DA AVALIAO
1) Sujeitos internos
a) Formuladores da
Poltica
b) Implementadores
da Poltica
c) Beneficirios da
Poltica

2) Sujeitos externos
Sociedade Civil

OBJETIVOS DA AVALIAO
Pesquisa de Avaliao cujo
objetivo conhecer a relao
entre condies, meios,
resultados e impactos da
interveno.

OBJETIVOS
Verificao de eficcia, de eficincia e de
accountability das aes visando:

reduo dos custos

uso adequado dos recursos
prestao de contas do uso dos recursos
detectar dificuldades
produzir recomendaes

 Estes objetivos podem

aparecer de forma
combinada, predominando
um ou outro, dependendo das
perspectivas e decises do
avaliador ou do proponente
da avaliao.

A avaliao pensada
temporalmente pode ser
Ex Ante. Tem por finalidade proporcionar
critrios racionais para a deciso se o
projeto deve ou no ser implementado.
Ocorrem durante as fases de preparao e
formulao. Permitem ordenar os projetos
segundo sua eficincia para alcanar os
objetivos perseguidos. So tambm
chamadas avaliaes-diagnsticos.

QUE TEM COMO OBJETIVO

produzir orientaes,
parmetros e
indicadores que se
incorporem ao projeto,
melhorando seu
desenho e suas
estratgias
metodolgicas e de
implementao

fixar um ponto
de partida que
permita
comparaes
futuras (linha de
base ou tempo
zero) (DRAIBE,
2001).

OU PODE SER...
Ex Post. So feitas concomitantemente ou
aps a implantao do programa. Tem como
objetivo:
verificar os graus de eficincia e eficcia com
que o programa est atendendo seus objetivos;
avaliar a efetividade do programa, ou seja, seus
resultados, impactos e efeitos (DRAIBE, 2001).

QUANTO
NATUREZA
AS AVALIAES
PODEM SER...

Avaliao de Resultado
tem como objetivo avaliar o
cumprimento dos objetivos
propostos pela poltica ou
pelo programa.

Avaliao de Processo
tem como objetivo avaliar as
caractersticas organizacionais
e de desenvolvimento dos
programas.

Avaliao de Desempenho
ligada a rea de recursos humanos e
psicologia organizacional. Consiste em
avaliar o nvel de competncia de uma
pessoa em relao ao nvel exigido pelo
posto de trabalho que ela ocupa. Tem como
objetivo a proposta de incentivos, ou como
instrumento de informao ou como feedback para o desenvolvimento de recursos
humanos.

 considerado como
elemento chave nas
estratgias de reforma e
modernizao das
organizaes.

AVALIAES DE
RESULTADOS
Pode-se distinguir na
avaliao de resultado o
desempenho, o impacto e
os efeitos.

DESEMPENHO
diz respeito aos produtos
do programa, previstos
em suas metas.

IMPACTOS
referem-se s alteraes ou
mudanas efetivas na
realidade sobre a qual o
programa intervm e por
ele so provocados.

EFEITOS
referem-se aos outros impactos do
programa, esperados ou no, que
afetam o meio social e institucional
no qual se realizou (nvel de
informao, satisfao, melhor
capacitao dos implementadores).

INDICADORES UTILIZADOS
PARA AVALIAR RESULTADOS
devem medir os graus, as quantidades e os
nveis de qualidade com as metas
programticas foram cumpridas.
Confrontam objetivos e metas. Por ex.:
cobertura da populao alvo. Nvel de
focalizao do programa sobre os pblicosalvo pretendidos.

PERGUNTAS
O programa realizou os
objetivos pretendidos?
Atingiu os grupos alvos
pretendidos?
Cumpriu as metas propostas?

MAIORES DIFICULDADES
Existem maiores dificuldades em
operacionalizar os indicadores de
impactos, pois implicam na
definio ou grupo de referncia
com o qual se compararo os
impactos do programa.

COM O QUE COMPARAR?

Comparao antes e depois.
Comparao
Exige diagnstico da
entre
seus
situao anterior ao incio
participantes e
do programa. Quando os
no
programas so contnuos,
participantes.
rotineiros e universais
quase impossvel
determinar o ponto inicial.
So avaliaes caras.

CONTROLE DE VARIVEIS
decisivo, de preferncia por meio
de mtodos estatsticos. Por ex.:
anlise multivariada, tcnicas de
modelagem ou regresso logstica.

PERGUNTAS
O programa efetivamente produziu
os resultados strito senso que
pretendia alcanar?
Afetou e em que medida a
caracterstica da realidade que
queria transformar?

INDICADORES DE EFEITO
medem alteraes esperadas ou no
provocadas pelo programa que afetam,
alm do grupo alvo focalizado, as
instituies ou organizaes
participantes, os agentes que
implementam o programa e o meio
social em que este se realiza.

TIPOS
efeitos sociais
(agentes
implementadores,
comunidade local e
grupos particulares
de interessados na
sua execuo).

Efeitos
institucionais
(instituies
governamentais e
no governamentais
associadas sua
implementao).

PERGUNTAS
A implementao do programa logrou produzir, nas
instituies envolvidas, alguma aprendizagem
institucional?
Produziu melhoria de suas capacidades institucionais?
Estimulou ou criou condies para a continuidade,
ampliao ou multiplicao da experincia?
(sustentabilidade)
Foram constatadas melhoras nas capacidades
profissionais dos agentes da implementao, como
resultado das atividades desenvolvidas no interior do
programa?

AVALIAO DE
PROCESSOS
A avaliao das polticas pblicas
quase sempre se referem ao momento
da formulao, sobretudo s decises
iniciais (que dizem respeito a atores,
contedos materiais e desenho).

FORMULAO
compreende a formao da agenda pblica
(tema ou demandas na agenda social e pblica);
a produo e o confronto de alternativas por
parte dos diferentes grupos de atores, os
processos de filtragem e de apropriao /
domesticao da poliey por parte dos agentes
segundo o legado ou as tradies e culturas
organizacionais, a formulao e deciso; as
definies de estratgias de implementao
(Draibe, 2001).

ESTRATGIA
constituda fundamentalmente por
caractersticas ou dimenses do processo tais
como a dimenso temporal; os atores
estratgicos a serem mobilizados nos
diferentes estgios, para apoiar a
implementao do programa, os
subprocessos e estgios pelos quais se
desenvolver a implementao so
importantes para a avaliao de processos.

AVALIAO DE
PROCESSO
deve envolver ainda a avaliao
das estratgias que orientaram a
implementao aferindo em que
medida tiveram ou no xitos,
garantiram ou dificultaram o
sucesso do processo.

IMPLEMENTAO
inclui tanto as atividades-meio,
que viabilizam o desenvolvimento
do programa, quanto a atividadefim, ou a execuo propriamente
dita, antes que se torne rotineiro
(Draibe, 2001).

ITENS IMPORTANTES NA
AVALIAO DE PROCESSOS
1) Dimenso temporal que envolve
clculos polticos quanto aos
apoios e resistncias que enfrentar
o programa.

ALTERNATIVAS
Estratgias incrementais. Perodo
longo, que compreende estgios,
que possibilite construir alianas
ou coalizes de apoio capazes de
vencer resistncias.

ALTERNATIVAS
Estratgias de choque. A implementao
se faz num momento nico do tempo e parte
do suposto que a surpresa e medidas, tais
como o insulamento burocrtico dos que
tem poder decisrio, sejam capazes de
vencer as resistncias esperadas e inibir o
surgimento de novas.

2) Atores Estratgicos e Matrizes de

Conflito e Cooperao
Diagnstico dos atores institucionais ou
individuais que sustentam o programa e os
que aderem e ou resistem.
Matrizes institucionais de cooperao ou
conflito para localizao dos pontos de
acordo e dos consensos mnimos,
indispensveis s negociaes e
sustentabilidade dos programas.

3) Parcerias e redes de apoio

Identificao dos produtores e
consumidores da poltica pblica
Inclui beneficirios mais diretos at atores
institucionais ou no (financiadores,
concorrentes, vinculados a programas
similares e competitivos)

 Para a avaliao de
Processo torna-se
necessrio a
identificao de sistemas
ou subprocessos

Sistema Gerencial e Decisrio

Estrutura
hierrquica do
sistema
centralizao ou
descentralizao
autonomia ou
dependncia

Gesto do Tempo
Capacidade de
implementar
decises de que
dispem os
gerentes

Atributos da autoridade que

conduz o processo
Interno ou externo ao programa
Funcionrios ou assessor
Liderana e legitimidade

Processos de Divulgao e
Informao
Divulgao junto ao pblico interno e
externo
Informao qualificada entre agentes
implementadores e beneficirios

INDICADORES
Clareza
Abrangncia

Suficincia da
informao
Agilidade do
fluxo

SISTEMA DE SELEO
Critrios de seleo de
recrutamento dos
agentes
Critrios de seleo
dos grupos
beneficirios
Abrangncia da
divulgao dos
processos seletivos

Critrios na seleo de
instituies e agentes
estratgicos do
programa
(competncia e
mrito)
Adequao do
processo seletivo aos
objetivos do programa

Sistemas de Capacitao
Capacitao dos
agentes de
implementao
(gerenciais, didticas,
de superviso ou
monitoramento, de
desenvolvimento
social)

Capacitao
dos
beneficirios

Sistemas internos de
Monitoramento e Avaliao
Monitoramento dos estgios iniciais
Avaliaes internas restringindo-se em geral a
examinar registros administrativos ou a coletar
opinies dos agentes implementadores
Auditorias e avaliaes externas (raras)
Regularidade das avaliaes
Correo de processos e procedimentos
Resultados sistematizados e socializados entre
instituies e tcnicos participantes

Sistemas Logsticos e
Operacionais (Atividade-fim)
Suficincia de recursos para os objetivos
propostos
Maximizao dos recursos em benefcio dos
objetivos e metas
Suficincia e qualidade dos recursos materiais
(equipamentos coletivos, equipamentos de
comunicao, servios de transporte)
Prazos adequados (tempo)

 Os conceitos de eficcia,
eficincia e efetividade
so os mais utilizados
nas avaliaes de
processos e resultados.

EFICCIA
Refere-se s caractersticas de
implementao de um processo e os
resultados efetivamente alcanados.
Maior eficcia quando os resultados so
alcanados em menor tempo, menor custo e
melhor qualidade onde o programa se apoia
em processos e sistemas adequados de
implementao.

PERGUNTA
Quais so ou foram, na
implementao, os fatores de ordem
material e, sobretudo, institucional
que operam como condicionantes
positivos ou negativos do
desempenho dos programas?

EFICINCIA
Refere-se relao tempo e custos na
implementao do programa. Mede o grau
de aproximao e relao entre o previsto
e o realizado, no sentido de combinar os
insumos e implementos necessrios
consecuo dos resultados visados.

EFICINCIA
Relaciona Produtos (bens e
servios) e custos dos
recursos (insumos e
atividades) adicionado o
parmetro tempo
(produtividade). Pode-se
considerar tambm as
alternativas tecnolgicas
do processos (eficincia
tcnica).

Pergunta: As
atividades operam
com menores custos
e no menor tempo
possvel para a
produo mxima
dos resultados
esperados?

EFETIVIDADE
Refere-se relao entre objetivos e metas
de um programa e impactos e efeitos de
outro. A efetividade significa as quantidades
e/ou nveis de qualidade com que o
programa atinge impactos esperados e
promove os efeitos previsveis ou no.

OS EFEITOS PODEM SER...

Efetividade social Capital Social Rede
de articulaes e parcerias especficas que
facilitam sua execuo ou adeso e
satisfao dos agentes implementadores e
da populao-alvo.

OU...
Efetividade institucional modificaes
provocadas pelo programa sobre
organizaes e instituies responsveis ou
envolvidas na implementao capacidade
institucional, aprendizagem institucional ou
hbitos ou comportamentos culturais das
organizaes.

PRINCIPAIS DIFICULDADES
dificuldade de isolar da realidade variveis
efetivamente relevantes;
a incerteza sobre os reais objetivos da
poltica avaliada (dada a necessidade de
distinguir entre objetivos explcitos e
implcitos);
as dificuldades de obteno e adequao das
informaes;

PRINCIPAIS DIFICULDADES
as dificuldades tcnicas para estabelecer
relaes de causalidade entre os programas e
seus resultados;
as dificuldades para obteno dos recursos
financeiros necessrios realizao de
avaliaes confiveis (Arretche, 1998);
a descontinuidade poltico-administrativa
(Lobo, 1998).