Guía para La Evaluación de Programas y Políticas Públicas

Gua para la
Evaluacin de
Programas y
Polticas Pblicas
GUA PARA LA EVALUACIN DE

PROGRAMAS Y POLTICAS PBLICAS
Grupo de trabajo que ha participado en la elaboracin de la gua:
Por la Consejera de Presidencia, Justicia e Igualdad

Inspeccin General de Servicios:
M Teresa Gil Expsito
Ftima Bezares Carretero
Por la Consejera de Economa, Hacienda y Seguridad

Intervencin General:
Rosa M Regel Garca
Carmen Lobato Cabaas
Viceconsejera de Hacienda y Planificacin
M Lourdes Quesada Diaz
Direccin General de Planificacin y Presupuestos
Monserrat Cabrera Morales
Por la Consejera de Cultura, Deportes, Polticas Sociales y Vivienda

Inmaculada Fernndez Martn
Por el Servicio Canario de Empleo

Anabella Martn Jimnez
Por el Servicio Canario de La Salud

Juan Luis Olmedo Guerrero
Ana Mara Prez Afonso
El Gobierno de Canarias, en sesin celebrada el 2 de agosto de 2012, aprob la Estrategia para la

modernizacin y mejora de los Servicios Pblicos de la Comunidad Autnoma de Canarias
(PEMAC 2012-2014), acuerdo publicado en el B.O.C. n 195, de 4 de octubre de 2012.
Esta Estrategia, el PEMAC, incluye un total de 7 Lneas de actuacin:
Lnea 1. Desarrollo e implantacin de la administracin electrnica

Lnea 2. Simplificacin de los procedimientos administrativos y reduccin de cargas
administrativas
Lnea 3. Mejora de la calidad en la prestacin de los servicios pblicos
Lnea 4. Evaluacin de programas y polticas pblicas
Lnea 5. La direccin por objetivos orientada a resultados
Lnea 6. Gestin integral del conocimiento corporativo
Lnea 7. Transversalidad
La Lnea 4: Evaluacin de programas y polticas pblicas comenz su andadura en octubre de

2012 con la puesta en marcha de un plan de formacin en evaluacin de programas y polticas
pblicas que finaliz en junio de 2013, con una duracin de 80 horas. En esta accin formativa
participaron una representacin amplia de personal de los diferentes departamentos de la
Administracin Pblica de la Comunidad Autnoma de Canarias y de sus Organismos Pblicos.
Finalizado el curso de formacin, se abord el segundo proyecto de esta Lnea, consistente en
establecer un Marco metodolgico comn, para ello desde la Inspeccin General de Servicios,
continuando con la filosofa del PEMAC de hacer un proceso participativo, se propuso un grupo de
trabajo amplio y representativo que integra empleados pblicos de la Administracin Pblica de la
Comunidad Autnoma de Canarias y sus Organismos Pblicos que recibieron la formacin y
representan tanto a rganos horizontales (Inspeccin General de Servicios, Intervencin General,
Viceconsejera de Hacienda y Planificacin y Direccin General de Planificacin y Presupuestos)
como a rganos con competencia en aquellas polticas cuyas intervenciones son ms susceptibles de
evaluaciones a medio plazo (Consejera de Cultura, Deportes, Polticas Sociales y Vivienda,
Servicio Canario de la Salud y Servicio Canario de Empleo).
Del trabajo conjunto de este grupo se ha obtenido la Gua que presento y que pretende servir de
herramienta para dotar a esta organizacin de una metodologa estndar y sistemas comunes para su
posterior aplicacin en todos los departamentos y Organismos Pblicos que se inicien en el camino
de la evaluacin de programas y polticas pblicas.
Tanto la Inspeccin General de Servicios como las personas integrantes del grupo de trabajo
expresan el agradecimiento a la Profesora Titular de la Universidad de Las Palmas de Gran Canaria,
Doctora en Ciencias Econmicas y Empresariales, Da. M Teresa Cabrera Nuez, que imparti la
formacin y ha supervisado la elaboracin de esta Gua, as como al resto de personal que ha
participado en la formacin y ha aportado sugerencias y comentarios al borrador final.
Cndida Hernndez Prez
Inspectora General de Servicios
INDICE
_____________________________________________________________________________________
1. BLOQUE I
1.1. Objeto de la Gua
1.2. Objeto de la evaluacin
1.3. Tipos de evaluacin
1.4. Criterios de evaluacin
1.5. Fases de la evaluacin
2. BLOQUE II
2.1. Evaluacin de Implementacin
2.1.1. Objeto
2.1.2. Fases
2.1.3. Criterios aplicables
2.1.4. Indicadores
2.1.5. Tcnicas de recogida de informacin
2.1.6. Ventajas e inconvenientes
2.2. Evaluacin de Resultados
2.2.1. Objeto
2.2.2. Fases
2.2.4. Indicadores
2.3. Evaluacin de Impacto
2.3.1. Objeto
2.3.2. Fases
2.3.4. Indicadores
3. BLOQUE III
3.1. Tipos de informe y elaboracin
3.1.1. El informe ejecutivo
3.1.2. Los informes preliminares
3.1.3. El informe final
3.1.3.1. Estructura del informe
3.2. Difusin de los resultados
3.2.1. Proceso de difusin de informe
3.2.2. Pautas a seguir para informar, teniendo en cuenta las distintas situaciones de la
audiencia
4. Bibliografa y fuentes de informacin utilizada
1. BLOQUE I
1.1. Objeto de la Gua
Este documento es el resultado del anlisis realizado por un grupo de trabajo formado por
personal de la Administracin Pblica de la Comunidad Autnoma de Canarias y de sus
organismos pblicos designado para elaborar una gua que permita establecer un Marco
metodolgico comn1 dotando de recursos, criterios, instrumentos y tcnicas que faciliten la
seleccin y evaluacin de intervenciones pblicas en los diferentes departamentos. Esta
metodologa tiene como objeto facilitar la evaluacin de polticas pblicas aspira a ser una
herramienta de trabajo que permita conseguir el objetivo estratgico de la lnea:
Incorporar y consolidar la evaluacin de los programas y las polticas pblicas en la
Administracin Autonmica, como herramienta de rendicin de cuentas a la ciudadana
canaria.
La gua se configura como un documento de uso interno y sus destinatarios principales son los
gestores de los procesos de evaluacin, independientemente de que sean o no los responsables
de realizar dichas evaluaciones. No se trata de un manual terico que desarrolla las diferentes
tcnicas de evaluacin, ya que existe amplia documentacin en este sentido, sino una gua
prctica que sirva de orientacin sobre las tareas a realizar durante la gestin del proceso de
evaluacin de cualquier tipo de intervencin pblica: poltica, plan, medida, actuacin, etc.
El enfoque que se ha dado parte de considerar cmo establecer el diseo de una evaluacin una
vez sta actuacin se decida por el Gobierno de Canarias, por la persona titular del
departamento, por la Inspeccin General de Servicios o por la colaboracin de varios actores, en
definitiva, por el rgano competente para determinar el inicio de la evaluacin.
La gua est centrada en los tres tipos de evaluacin que se han considerado de mayor utilidad a
la hora de iniciarse en el camino de la evaluacin de intervenciones pblicas por parte de sta
Administracin, tipos que se desarrollan en el bloque II y que se corresponden con la
evaluacin de implementacin, de resultados y de impacto.
Finalmente, en el bloque III se aborda el resultado de la evaluacin, es decir, la elaboracin de
los informes en sus diferentes modalidades y las formas de difusin de estos resultados.
Cierra la gua una relacin de referencias bibliogrficas y documentales empleadas para su
elaboracin y que pueden ser de utilidad a los gestores a la hora de profundizar en cualquiera de
los aspectos tratados en la gua.
Marco metodolgico comn es el segundo proyecto incluido en la Lnea 4 del PEMAC, Evaluacin de
programas y polticas pblicas.
1.2. Objeto de la evaluacin.

Puede parecer que existen muchos motivos para plantear la realizacin de una evaluacin, pero
hay que tener claro que la evaluacin es una herramienta para conocer los resultados y efectos
de las intervenciones pblicas en sus diferentes niveles:
!
!
!
!
!
Plan o Estrategia
Programa
Medida
Accin
Proyecto
La evaluacin puede ajustarse a una nica intervencin pblica o hacer referencia a un conjunto
de intervenciones relacionadas entre s, por tener objetivos comunes, estar dirigidas al mismo
pblico, situarse en el mismo contexto o bien orientar su actuacin al mismo sector o mbito de
actuacin etc.
La poblacin destinataria de las intervenciones, en cualquiera de sus aspectos a analizar son las
personas beneficiarias.
Necesidades de la poblacin
Intervencin pblica
Evaluacin
Cualquier tipo de intervencin pblica parte, o debera partir, de un anlisis riguroso de la
realidad:
! Identificando los problemas y necesidades a las que responde la intervencin.
! Analizando las causas y consecuencias.
Cuanto ms claramente estn identificados los problemas y sus causas y mejor vinculados estn
con los objetivos, ms fcilmente se puede abordar el diseo de la estrategia de intervencin.
Planificacin, ejecucin y evaluacin son procesos que estn muy relacionados.
La clave para disear una nueva intervencin, o para reformular una existente es conocer los
servicios y las prestaciones que se necesitan para solucionar el problema en cuestin.
Aprobada la realizacin de la evaluacin por el rgano competente, el equipo evaluador, una
vez que considera que la evaluacin es susceptible de realizarse (evaluacin de evaluabilidad),
deber contar con una aproximacin de los siguientes aspectos:
Usuarios y usuarias, expectativas y propsitos de la evaluacin.

Objeto de la evaluacin (identificado y acotado).
La lgica de la intervencin.
Las preguntas de evaluacin.
Abanico de posibles herramientas y tcnicas a aplicar.

Plazo de presentacin de resultados.
Estas y otras cuestiones se irn desarrollando en los bloques II y III al analizar los tipos de
evaluacin considerados en la gua.
La evaluacin permite obtener una base slida sobre la que poder determinar qu intervenciones
se deben eliminar y cules deben continuar o mejorar su intervencin, de acuerdo con su
capacidad para alcanzar los objetivos previstos y lograr los efectos esperados. En definitiva, la
funcin ms importante de la evaluacin es proporcionar informacin acerca de la marcha de
las citadas intervenciones pblicas.
En el siguiente cuadro se recogen los propsitos ms habituales que puede tener una evaluacin:
Propsitos
Ayudar a tomar una decisin
Tipos de decisiones
Decisiones claves
Decisiones correctivas de la implementacin.
Decisiones sobre programas-demostracin.
Seleccin de la mejor versin de un programa.
Seleccin del mejor diseo de un programa nuevo.
Decisiones sobre la financiacin de programas de
terceras personas.
Contribuir al aprendizaje de la organizacin
Introducir alternativas y conceptos nuevos.

Comprobacin de la veracidad de determinadas
intuiciones.
Utilizar la evaluacin como instrumento de

gestin
Proporcionar feedback al personal del programa

sobre los efectos de su actividad.
Rendicin de cuentas sobre los resultados obtenidos.
Establecer incentivos para el personal o unidades que
ejecutan o gestionan el programa.
Alinear la actividad con los objetivos del programa.
Conocimiento bsico sobre las polticas

pblicas
Facilitar a las instituciones acadmicas

conocimiento de las intervenciones pblicas.
Cumplimiento de un requisito normativo
Cumplir con la normativa que regula la intervencin

pblica (ejemplo de intervenciones pblicas en
materia de subvenciones).
Rendicin de cuentas a la ciudadana
Proporcionar una gestin ms eficaz y eficiente para

una ciudadana que exige cada vez ms transparencia
en la gestin de los recursos pblicos
el
Fuente: Elaboracin propia
1.3. Tipos de evaluacin.

Existen diferentes clasificaciones de las evaluaciones de polticas pblicas, en funcin del modo
de investigacin, el propsito, la perspectiva temporal, el equipo evaluador, el contenido, el
momento, etc. La mayora de los manuales utilizados como consulta establecen las siguientes
clasificaciones:
Evaluacin descriptiva y analtica

Evaluacin sumativa y formativa o de proceso
Evaluacin ex ante, intermedia, ex post
Evaluacin interna, externa, mixta
Evaluacin de necesidades, de diseo, de evaluabilidad, de implementacin, de resultados,
de impacto y metaevaluaciones.
A su vez las diferentes tipologas no son excluyentes sino que pueden ser complementarias,
porque no existe una metodologa de evaluacin de programas pblicos nica y vlida para
todas las intervenciones pblicas. El siguiente cuadro pretende ofrecer por el equipo evaluador
una categorizacin de los principales tipos de evaluacin, tratando de orientar a la hora de
encuadrar la evaluacin, sin olvidar que el objeto de la gua se va a centrar en las tres
evaluaciones segn el contenido desarrolladas en el bloque II.
DIMENSIN
DESCRIPCIN
TIPOLOGA
Interna
Quin la
realiza
Segn sea la
procedencia de
quin evala
Externa
Mixta
Momento
temporal
Segn el
momento de
ejecucin en
que se encuentre
la intervencin
pblica cuando
se decide su
evaluacin
Ex ante
Intermedia
DEFINICIN
ASPECTOS A TENER EN
CUENTA
Realizada
por
personal
adscrito a la entidad que se
encarga de valorar los xitos
o fracasos del programa. Est
focalizada en la utilizacin.
-Los evaluadores internos deben

tener
los
conocimientos
necesarios para emprender la
evaluacin.
-Deben estar motivados y
requiere dedicacin.
-Desconocimiento
de
la
organizacin.
-Dificultad de acceso a la
informacin.
-Hay que acotar el alcance para
que no se eternice el proceso de
la evaluacin.
Realizada
por
personal
externo que puede contar con
el conocimiento especializado
necesario.
Realizada por personal de la
entidad que gestiona la
intervencin, apoyados por un
equipo externo o asistencia
tcnica que orienta el proceso
y/o desarrolla el trabajo de
evaluacin.
Realizada antes de ejecutar la
poltica o el programa
pblico. Su objetivo es
analizar y determinar la
adecuacin de la intervencin.
Realizada a medio camino en
el periodo de ejecucin de
una intervencin para obtener
una foto fija de cmo se est
desarrollando y que est
consiguiendo el programa en
el medio plazo.
-Ideal en una cultura que ha

implantado con xito la
evaluacin desde el comienzo
de la planificacin.
-Es una evaluacin que se
emplea cuando se comienza a
obtener informacin relevante
(resultados) y permite introducir
modificaciones en el diseo.
DIMENSIN
DESCRIPCIN
TIPOLOGA
DEFINICIN
-Se puede enjuiciar.
Ex post
Realizada una vez finalizada

la ejecucin del programa,
emite un juicio sobre el xito
o fracaso de la intervencin
desarrollada.
Su finalidad es la obtencin
de parmetros cuantitativos
que puedan ser aplicados a
grupos de personas que se
benefician de una poltica,
programa o servicio
Su finalidad es responder a
cuestiones de tipo causaefecto. Requiere de modelos
tericos
y
diseos
de
investigacin adecuados para
demostrar la certeza de las
interpretaciones causales.
Tiene por objeto una poltica,
plan o estrategia general de
actuacin.
Centra su atencin en la
gestin de procesos y
resultados.
Realiza
una
valoracin
progresiva
del
funcionamiento y desarrollo
de una intervencin, con el fin
de darla a conocer a sus
responsables
para
poder
introducir modificaciones.
Se realiza al final de una
intervencin o de una fase,
para determinar en qu
medida se produjeron los
resultados previstos, con el
objetivo de proporcionar
informacin necesaria para
realizar una valoracin global
de los resultado o impactos.
Determinar hasta qu punto
una intervencin es evaluable,
su viabilidad y utilidad. Debe
ser el paso previo a la puesta
en marcha de cualquier
evaluacin.
-Cuantificar los destinatarios/as,

recursos financieros
Descriptiva
Modo de
investigacin
Analtica
Estratgica
Temtica y
objeto
Segn el nivel
de planificacin
Operativa
Formativa o de
proceso
Funcin
Segn el
propsito
Sumativa o
recapitulativa
Evaluabilidad
Contenido
Fases de la
intervencin en
la que se centra
su atencin
Necesidades
Diseo
Implementacin
Analiza el volumen y las

caractersticas esenciales del
problema que la intervencin
quiere solucionar
Analiza y valora el diseo y
conceptualizacin
del
programa.
(racionalidad y coherencia de
la intervencin)
Valora la forma en que se
ponen
en
prctica
los
objetivos
inmediatos
y
ASPECTOS A TENER EN
CUENTA
-Hay que tener bien definida la

poblacin experimental.
-Depende del objeto a evaluar
-Requiere
conocimiento
detallado de las medidas
polticas a aplicar para anticipar
problemas y examinar el logro
de los objetivos.
-Requiere que haya transcurrido
un periodo de tiempo suficiente
desde la adopcin de la poltica
o programa, de forma que su
organizacin y actividades
hayan alcanzado una cierta
estabilidad.
-Previa a una evaluacin de
gran magnitud, indica su
viabilidad.
-Se focaliza en los aspectos de
todo lo que es medible.
-Evita actividades y esfuerzos
innecesarios.
-A quin afecta
-A qu cantidad
-La poblacin objeto
-El conjunto de recursos y
actividades del programa
Desarrollado en el Bloque II
DIMENSIN
DESCRIPCIN
TIPOLOGA
Resultados
Impacto
Metaevaluacin
DEFINICIN
gestionan las intervenciones

en trminos de tiempo y
recursos.
Valora hasta qu punto se
pueden conseguir, se estn
consiguiendo o se han
conseguido los objetivos ms
inmediatos
y
directos
perseguidos con la actuacin.
Analiza y valora los efectos
ms generales y menos
inmediatos de la intervencin
sobre una poblacin ampliada
(podr abarcar tanto el objeto
de la intervencin como el
conjunto de la sociedad).
Es la evaluacin de una o
varias evaluaciones
ASPECTOS A TENER EN
CUENTA
-Se
requiere
evaluativa previa.
experiencia
Fuente: elaboracin propia, a partir de Cuaderno de Gestin de Evaluaciones Pblicas en Navarra; Gua de evaluacin de
Polticas Pblicas del Gobierno Vasco; Apuntes curso Evaluacin de programas y polticas pblicas, Teresa Cabrera Nuez;
Fundamentos de Evaluacin de Polticas Pblicas AEVAL.
Desde un punto de vista metodolgico, se debe tener en cuenta:
El grado de desarrollo de una intervencin va a condicionar el tipo de evaluacin. No se

puede afrontar de la misma forma la evaluacin de una intervencin nueva o reciente que la
de una establecida desde hace tiempo o si es piloto, la evaluacin deber ser diseada en
funcin de las caractersticas propias de las intervenciones.
No existe un procedimiento nico y estndar para obtener informacin, sino que se deber
recurrir a diversas herramientas que el equipo que llevar a cabo la evaluacin seleccionar
en funcin de la intervencin y de la evaluacin.
1.4. Criterios de evaluacin

Los criterios sirven para emitir los juicios de valor que deben dar respuesta a las preguntas de
evaluacin que el equipo evaluador prev contestar en relacin a los objetivos planteados en el
diseo de la evaluacin. Los principales criterios de evaluacin son:
Criterio
Relevancia
Pertinencia
Definicin
Se corresponde con la evaluacin
de la calidad y correccin del
diagnstico en el que se sustenta
en el conocimiento de la realidad
sobre la que se interviene y en los
cambios que se hayan podido
producir.
Es necesario analizar cmo se
definieron y priorizaron los
problemas sociales y cmo
influenci el entorno.
Se examina si los objetivos se han
redactado de una forma clara y
concisa, y si se especifica el
Preguntas que se deben

hacer por el equipo
evaluador
En
qu
medida
la
intervencin realizada est
alineada con las necesidades
y prioridades del entorno?
Las acciones emprendidas
otorgan prioridad segn la
importancia
de
las
necesidades detectadas?
Era pertinente el objetivo de
mejora de la poltica pblica
en el contexto aplicado?
Los objetivos planteados
dan
repuesta
a
las
necesidades de la poblacin
Qu evaluamos
Est centrado en: diseo y
diagnstico previo de la
poltica pblica.
Dificultades: no disponer
de los datos necesarios.

poltica pblica.
10
Criterio
Coherencia
Definicin
producto que se pretende obtener.
Valora la adecuacin de los
resultados y los objetivos de la
intervencin al contexto en el que
se realiza a travs del anlisis de
la calidad del diagnstico,
juzgando su correspondencia con
las necesidades observadas en la
poblacin beneficiaria.
Se realiza a dos niveles:
1.-Coherencia interna: valora la
articulacin de los objetivos de la
intervencin con los instrumentos
propuestos para lograrlos y su
adecuacin a los problemas.
2.-Coherencia externa: analiza la
compatibilidad de la intervencin
con otras intervenciones pblicas
con las que pueda tener sinergias o
complementariedad.
Medida en que se lograron o se

espera lograr los objetivos de la
intervencin, con independencia
de los costes que su ejecucin
implique.
Eficacia
Medida en que se lograron los

objetivos, previsiones o resultados
en relacin a los recursos
consumidos en el proceso.
Eficiencia
Equidad
Implica analizar hasta qu punto

la distribucin del coste o los
beneficios de los programas
pblicos entre la poblacin se ha
realizado con algn criterio
estndar
de
distribucin
equitativa.

hacer por el equipo
evaluador
beneficiaria?
Se identifica claramente el
resultado que
pretende
alcanzar cada objetivo de la
poltica?
Los objetivos Son realistas
y alcanzables? Son claros y
concretos? Son medibles?
Est
adecuadamente
diseada la intervencin para
alcanzar
los
objetivos
pretendidos?
El ciclo de programacin,
seguimiento, evaluacin y
financiacin
est
correctamente explicitado?
Se puede decir que no
existen complementariedad o
superposicin
entre
las
intervenciones
pblicas
evaluadas y otras aplicadas
en el mismo territorio?
En qu medida se han
cumplido los objetivos?
Qu acciones concretas de
la
intervencin
han
favorecido el cumplimiento
de los objetivos esperados?
Han
existido
factores
externos a la evaluacin que
hayan
influido
en
la
resolucin de los problemas
detectados?
Causas
que
estn
relacionadas con la eficacia o
ausencia de eficacia de la
intervencin?
Cul ha sido el coste
material de los objetivos
conseguidos?
Se
aplicaron
procedimientos racionales de
gestin financiera y de
equipo?
Se han utilizado los
recursos de la manera ms
econmica posible?
Se han utilizado criterios de
equidad en la definicin de
los
objetivos
de
la
intervencin pblica?
La dedicacin de esfuerzo
ha seguido una lgica de
reparto justo?
Qu evaluamos
Dificultades:
consenso y
concrecin.
falta
falta
de
de

intervencin pblica.
Dificultades: imprecisin
en la definicin y falta de
concrecin
en
los
objetivos.
Est
centrado
implementacin
resultados.
Dificultades:
previstos poco
confusos
y
conocimiento
vnculos entre
efecto.
en:
y
resultados
claros o
escaso
de
los
causa y
Est
centrado
implementacin
resultados.
en:
y
Dificultades: no disponer
de los datos de referencia
sobre la asignacin de los
recursos.
Est centrado en: diseo,
implementacin,
resultados e impacto.
Dificultades:
distintas
lgicas de actuacin.
11
Criterio
Satisfaccin
Sostenibilidad
Definicin
Identifica los juicios emitidos por
los diferentes actores implicados
sobre la intervencin evaluada.
Probabilidad de que continen los

beneficios de una intervencin en
el largo plazo.
Tambin
se
estudia
la
disponibilidad de los recursos
administrativos, financieros y
humanos que haran falta para
mantener los resultados de la
intervencin en el largo plazo.

hacer por el equipo
evaluador
El grado de satisfaccin
sobre la intervencin es
elevado?
Qu actores se muestran
ms satisfechos y con qu
dimensin?
Cul es la probabilidad de
que los efectos, cambios
producidos
por
la
intervencin se mantengan
en el futuro una vez
finalizada la intervencin?
La
propia
intervencin
pblica, tal como est
diseada Es perdurable en
el tiempo? Debe ser
reformulada?
Tienen las diferentes partes
que participan la voluntad y
la capacidad de continuar por
su cuenta las actividades de
la intervencin?
Qu evaluamos
Est centrado en: diseo,
implementacin,
resultados e impacto.
Est centrado en: Impacto.

Dificultades:
la
sostenibilidad hipottica y
proyectada
y
la
imposibilidad de prever
todos
los
factores
intermedios.
Fuente: elaboracin propia, a partir de Cuaderno de Gestin de Evaluaciones Pblicas en Navarra; Gua de
evaluacin de Polticas Pblicas del Gobierno Vasco; Apuntes curso Evaluacin de programas y polticas
pblicas, Teresa Cabrera Nuez; Fundamentos de Evaluacin de Polticas Pblicas AEVAL.
1.5. Fases de la evaluacin

Segn el tipo de evaluacin podemos diferenciar diferente fases, en la Gua se han definido
como genricas las siguientes:
MOMENTO DE LA FORMULACIN
Constitucin del equipo evaluador
Anlisis de la situacin y decisin (evaluabilidad)
Determinacin del tipo de evaluacin
Estrategia de evaluacin Definir la metodologa
PREGUNTAS QUE SON NECESARIAS FORMULAR

EN TODO PROCESO DE EVALUACIN
En funcin de la intervencin a evaluar podr estar
constituido por el equipo evaluador y personal del
Departamento u Organismo Pblico a evaluar.
Familiarizarse con la intervencin a evaluar que vendr
determinada por el Gobierno/ Titular del Departamento /IGS,
o la colaboracin de varios etc.
Determinar si la evaluacin es susceptible de realizarse:
! NO (Se emite informe finalizando la
actuacin).
! SI (Se inicia el proceso de evaluacin).
Segn la actuacin a realizar habr que concretar el tipo de
evaluacin que procede realizar o la combinacin de varias.
Qu informacin se desea obtener?

A determinar por el equipo de evaluacin.
Cmo se va a evaluar?
Seguir los pasos segn el tipo de la evaluacin
Qu tcnicas de recogida de datos se adaptan al

modelo de evaluacin a seguir?
Herramientas a utilizar: cualitativas / cuantitativas
12
MOMENTO DE LA FORMULACIN
PREGUNTAS QUE SON NECESARIAS FORMULAR

EN TODO PROCESO DE EVALUACIN
Cundo se evala?
Establecer cronograma
Recogida y anlisis de los datos.
Disear los informes adecuados a la evaluacin a realizar.
Recogida de informacin / Anlisis de datos

Redaccin de Informe
Proceso de difusin del informe.

Pautas a seguir para informar, teniendo en cuenta las distintas
situaciones derivadas de las audiencias o de la situacin.
Difusin de resultados
BLOQUE II
En este bloque se exponen de una manera ms amplia los tres tipos de evaluacin que esta gua
pretende desarrollar de una forma diferenciada para su aplicacin en esta organizacin, se trata
de la evaluacin de implementacin, la evaluacin de resultados y la evaluacin de impacto.
2.1. Evaluacin de implementacin.
2.1.1.
Objeto.
La evaluacin de implementacin tiene por objeto analizar y valorar si la intervencin pblica

aplicada est consiguiendo los resultados operativos u outputs intermedios previstos, y si los
distintos componentes o partes de dicha intervencin que actan en su ejecucin son adecuados
en relacin con los citados resultados. En el primer caso, se pretende conocer si se da una
cobertura adecuada a las necesidades que provocan la intervencin pblica y en el segundo,
valorar su funcionamiento y la organizacin interna.
A partir de la descripcin, del anlisis de la cobertura y de los factores que intervienen en la
misma, la evaluacin de implementacin puede contribuir a desarrollar hiptesis sobre lo que
est sucediendo con la ejecucin de lo programado y proponer instrumentos o medidas
alternativas que podran ponerse en marcha para alcanzar la cobertura y los objetivos previstos.
Esta informacin tambin es necesaria para valorar la eficiencia operativa de la intervencin
pblica, detectar qu proporcin del pblico objetivo est siendo atendido realmente
conociendo para ello los recursos que se destinan- y para decidir sobre la continuidad,
modificacin o ampliacin de las modalidades de provisin de servicios en funcin de dichos
factores.
Por tanto, responde a las siguientes preguntas:
! La poblacin diana est recibiendo los servicios previstos?
! El funcionamiento y la organizacin interna de la intervencin pblica son
adecuados?
13
Una de las caractersticas de este tipo de evaluacin es la de emitir juicios sobre la adecuacin o
no de la ejecucin de una intervencin pblica en relacin con los resultados esperados y los
recursos utilizados.
As mismo, deben ser tenidos en cuenta los siguientes aspectos a analizar que pueden provocar
desviaciones o dficits respecto al diseo inicial:
a) La claridad y adaptacin a la realidad sobre la que se acta.
b) El conocimiento e implicacin en la ejecucin de la intervencin de las personas
responsables de su implementacin.
c) Los cambios del contexto sobre el que se haba planificado o programado.
d) La comunicacin de la intervencin.
e) La suficiencia de recursos para su ejecucin.
f) Las instituciones o personas que participan en la implementacin.
2.1.2.
Fases
a) Diseo de la estrategia de evaluacin:

En esta fase se identifican los componentes o dimensiones clave de la intervencin pblica, las
interrelaciones entre ellos, los grados de consecucin deseables y se formulan preguntas de
evaluacin relacionadas con su implementacin efectiva en todos estos mbitos (qu evaluar).
Se analiza el diseo de la intervencin pblica y sus componentes. De esta forma, se observan
los recursos (inputs) utilizados, que seran aquellos que son necesarios para llevar a cabo las
actividades previstas. Se comprueban las actividades (procesos), es decir, aquello que se hace
con los recursos con el fin de conseguir los objetivos de la intervencin. Y se identifican los
productos intermedios (outputs intermedios), es decir, lo que se espera que las actividades
produzcan directamente (cmo evaluar, qu informacin se desea obtener y cundo).
Si la intervencin pblica no estuviera diseada se deber reconstruir con esta lgica.
b) Recogida de informacin:
En esta fase se procede a la recogida emprica de informacin sobre los tres elementos clave que
constituyen la intervencin pblica.
Dicha informacin nos debe facilitar la respuesta a las siguientes preguntas:
! Qu recursos se utilizan para desarrollar los procesos y obtener los resultados?
! Qu procesos se han puesto en marcha para conseguir los objetivos de la
intervencin pblica?
! Cules son los resultados esperados con la realizacin de dichos procesos?
Se han de explicitar los recursos econmicos y materiales empleados-tangibles- y valorar si son
suficientes y estn disponibles, as como si contribuyen a la consecucin de los objetivos.
14
Tambin analizar los recursos de personal-humanos-, en cantidad, calidad en cuanto a la

perspectiva del conocimiento y su motivacin o implicacin en la consecucin de los objetivos
de la intervencin.
Adems, identificar los recursos -intangibles-, entendidos como los recursos tecnolgicos, as
como valores tales como la reputacin de la organizacin o la cultura organizativa de la misma.
Las tcnicas de recogida de informacin que se adaptan a este tipo de evaluacin se desarrollan
en el apartado 2.1.5.
c) Anlisis de datos:
Despus de obtener los datos de cada una de las variables definidas en el diseo de la estrategia,
el equipo evaluador debe hacer un balance de la informacin, con objeto de poder dar respuesta
a las dos preguntas que han de formularse per se en toda evaluacin de la implementacin:
! La poblacin objetivo est recibiendo los servicios previstos?
Aqu se ha de identificar la correccin o desviacin en la participacin de la poblacin-objetivo
en el programa.
A partir de la descripcin y anlisis de la cobertura de la intervencin pblica y de los factores
que intervienen en la misma podemos observar la relacin entre el perfil de la poblacin
objetivo prevista conforme a la teora de la intervencin y la realmente atendida, as como la
proporcin en que dicha poblacin est accediendo a los servicios previstos en la intervencin.
Esto ltimo relacionado con los recursos aportados permitir valorar la eficiencia operativa de la
intervencin pblica.
! El funcionamiento y la organizacin interna de la intervencin pblica son
adecuados?
Supone evaluar los procesos clave tanto de la produccin como de la prestacin de los servicios,
valorando su adecuacin a los inicialmente previstos.
d) Elaboracin del informe y comunicacin de resultados:
En el bloque III de la presente gua se aborda el contenido del informe y la forma de difusin de
los resultados.
2.1.3.
Criterios aplicables.
Los criterios utilizados para realizar juicios de valor en la evaluacin de implementacin son,
principalmente, los de coherencia interna y externa, eficacia, eficiencia, equidad y satisfaccin.
15
a) Coherencia interna y externa:

El criterio de coherencia interna analiza la consistencia lgica entre los distintos elementos que
forman parte de una intervencin pblica. El adecuado anlisis de este criterio deber permitir
discernir si dicha intervencin pblica se organiza y gestiona adecuadamente.
Las posibles dimensiones a analizar seran las siguientes:
" Las de administracin de la intervencin o recursos disponibles, tales como los recursos
humanos asignados a la intervencin (competencia, motivacin e implicacin con el
mismo), as como los econmicos y materiales (asignaciones presupuestarias,
infraestructuras disponibles, equipamientos, sistemas de informacin, etc.).
" Las de actividades o procesos realizados para la adecuada prestacin del servicio; tales
como la existencia de un sistema de procesos; una apropiada estructura organizativa (lo que
podr permitir detectar posibles disfunciones en la distribucin de competencias y
funciones), la planificacin previa o el establecimiento de relaciones interorganizativas.
" Las de ejecucin del servicio, identificando la produccin de resultados operativos (outputs
intermedios) derivados de los procesos claves que se estn ejecutando y su adecuacin con
los previstos inicialmente por la intervencin. Ello permitir detectar posibles problemas y
eventuales efectos en los outputs finales esperados.
Las preguntas que se han de contestar para analizar la coherencia interna son:
! Se puede decir que las actividades y los resultados permiten alcanzar los objetivos
de manera lgica?
! Existen contradicciones entre los distintos niveles de objetivos?
! Existen duplicidades entre las actividades previstas en relacin a la consecucin de
los objetivos de la intervencin pblica?
Por otra parte, el criterio de coherencia externa permite valorar el grado de correspondencia que
existe entre una intervencin pblica y otras que se estn ejecutando de forma simultnea en un
mismo territorio. Para su aplicacin se han de estudiar los objetivos y la intervencin de forma
comparada con todas las intervenciones relacionadas que convergen en un territorio o sobre una
misma poblacin objeto. Se trata de contrastar el grado de complementariedad y las posibles
sinergias existentes entre la intervencin objeto de evaluacin y otras intervenciones.
El anlisis de coherencia externa debe proporcionar respuesta a estas cuestiones:
! Se puede decir que no existe superposicin entre la intervencin pblica evaluada y
otras intervenciones aplicadas en el mismo territorio?
! Los objetivos planteados en la intervencin coinciden con los expresados en otras
intervenciones del territorio?
b) Eficacia:
El criterio de eficacia tiene por objeto determinar el grado en que una intervencin pblica
alcanza o espera que alcance sus resultados operativos e intermedios, en un perodo
determinado, sin entrar a valorar los costes que su ejecucin implica. En la evaluacin de
implementacin este criterio se focaliza, principalmente, en determinar si la intervencin pblica
est llegando adecuadamente a la poblacin diana. El anlisis de este criterio deber permitir
16
identificar y valorar posibles desviaciones en la participacin de la poblacin diana, puesto que

se podr detectar el grado en el que determinados grupos participan en l y en qu proporcin.
A partir de este anlisis, la evaluacin puede proporcionar instrumentos o medidas alternativas
para paliar los posibles dficits de cobertura encontrados.
La evaluacin de este criterio debe responder a preguntas tales como:
! Hasta qu punto llegan los beneficios de la intervencin pblica a las personas
destinatarias?
! Se producen desviaciones entre la poblacin diana y las personas que realmente
estn beneficindose de la intervencin pblica?
! Existen barreras que impiden a la poblacin objetivo acceder u obtener los
beneficios de la intervencin?
Los posibles problemas de cobertura pueden venir determinados por varias razones, que pueden
operar simultneamente
" En los casos de participacin voluntaria por razones de autoseleccin (unos grupos son ms
proclives a participar que otros, por una deficiente comprensin de la intervencin e incluso
por una percepcin negativa en relacin a ciertos servicios).
" Dinmicas propias de la ejecucin de la intervencin, como la discrecionalidad en la
aplicacin de los criterios de admisin, fomentando la participacin de grupos considerados
menos problemticos para el desarrollo de la intervencin frente a grupos percibidos como
ms problemticos.
" Barreras de acceso, como pueden ser las dificultades de traslado a los emplazamientos
donde se prestan servicios, la existencia de barreras arquitectnicas para personas de
movilidad reducida. Tambin pueden ser barreras de idioma, de gnero, culturales o de otro
tipo que no se haban identificado adecuadamente en el diseo de la intervencin.
" Sobrecobertura, que podra ser debida a la financiacin no adecuada de la intervencin o
porque se termina atrayendo a grupos de personas usuarias inicialmente no previstos.
c) Eficiencia:
Este criterio tiene por objeto relacionar los costes y los beneficios generados por los resultados
operacionales e intermedios de una intervencin pblica. Con su anlisis se pretende valorar
hasta qu punto los resultados obtenidos hasta el momento de la evaluacin derivan de una
utilizacin eficiente de los recursos financieros, humanos y materiales utilizados. La eficiencia
es sinnimo de racionalidad econmica, es la relacin entre la eficacia y el esfuerzo, medido este
ltimo en trminos de costes monetarios. La aplicacin de este criterio en la evaluacin de
implementacin supone riesgos de que los beneficios se infra o sobrevaloren. El problema de la
adecuacin de los recursos (inputs) y productos/resultados (outputs) estimados es una de las
reas controvertidas en la utilizacin de este criterio.
La evaluacin de este criterio en la evaluacin de la implementacin deber permitir responder
las siguientes cuestiones:
17
! La relacin inputs-outputs previstos se est ajustando a lo planteado en la

intervencin?
! En el caso de que se produzcan desviaciones se deben a la falta de
aplicacin de procedimientos racionales de gestin financiera y de equipo o
por un error en las previsiones?
! Se estn utilizando los recursos para alcanzar los objetivos de la manera
ms econmica posible?
d) Equidad:
Este criterio tiene por finalidad valorar hasta qu punto la distribucin del coste o los beneficios
de la intervencin entre la poblacin es consistente con algn criterio estndar defendible y
coherente con la teora de la intervencin evaluada. El criterio de equidad se refiere a la
distribucin de los efectos y esfuerzos entre diferentes grupos en la sociedad. El anlisis de la
cobertura utilizando este criterio, permite observar la distribucin de los resultados y/o su coste
entre la poblacin destinataria de la intervencin pblica.
Las cuestiones principales a las que se debe responder sern:
! El desarrollo de la intervencin est respondiendo a algn estndar
defendible de distribucin?
! Se est propiciando el acceso a los servicios de manera equitativa a los
diferentes grupos que componen la poblacin objetivo?
e) Satisfaccin:
Este criterio trata de valorar las actitudes y opiniones de la ciudadana respecto al cumplimiento
de los objetivos operacionales e intermedios de una intervencin pblica. Se pretende conocer la
percepcin de la poblacin hacia caractersticas de los resultados de difcil medicin objetiva. La
evaluacin de implementacin utilizando este criterio puede ayudar a medir la respuesta y
equidad de la provisin del servicio. No obstante, su utilizacin proceder en funcin de la
existencia de resultados suficientes que permitan abarcar una muestra significativa de personas
destinatarias de la intervencin pblica o que tengan conocimiento de ella, de forma que puedan
mostrar una valoracin subjetiva de su implementacin.
La evaluacin bajo este criterio debe permitir contestar a cuestiones como:

! Existe percepciones negativas sobre alguno de los servicios prestados?
! Se formulan sugerencias reiteradas sobre alguno de los servicios
prestados?
18
2.1.4. Indicadores.
En la materia que nos ocupa el indicador es un dato cuantitativo o cualitativo que permite dar
cuenta sobre el estado de algn aspecto de las intervenciones pblicas que interesa conocer. Los
indicadores han de reunir una serie de atributos, entre los que cabe destacar que han de ser
claros, relevantes, econmicos, medibles y adecuados.
Una vez determinados los productos (output) que sern objeto de medicin, la definicin de los
indicadores nos permitir adoptar las variables clave ms relevantes y valiosas para la obtencin
y comparacin de los datos que nos facilitarn informacin sobre el cambio producido por la
intervencin pblica.
El tipo de indicador elegido estar en funcin indudablemente de la dimensin o atributo que se
haya definido en la fase de diseo de la evaluacin y de los criterios establecidos en funcin de
las cuestiones a las que quien evala debe dar respuesta.
Los indicadores de la evaluacin de la implementacin deben aportar la informacin necesaria
que permita valorar si el desarrollo de la intervencin est siendo el adecuado para alcanzar los
objetivos previstos. A continuacin se establece la tipologa de indicadores y algunos ejemplos
de los mismos siguiendo el esquema de los criterios desarrollados en el punto anterior.
Metodologa
Tipo de
indicador
Finalidad
Administracin de la intervencin:
Recursos humanos: estos

indicadores debern permitir
evaluar aspectos tales como la
adecuacin profesional de las
personas que participan en la
gestin de la intervencin o su
percepcin sobre la claridad de
las funciones, roles y tareas
que tienen asignadas.
Ejemplos
Recursos
econmicos
y
materiales: estos indicadores
sern relativos a importes y
recursos disponibles, tanto
para la ejecucin directa de la
intervencin
como para
necesidades indirectas.
Actividades o procesos realizados

para la adecuada prestacin del
servicio: estos indicadores se
compondrn de variables de tipo
nominal, en las que se establecern
respuestas dicotmicas (si/no) a las
preguntas que planteemos en la
definicin de la evaluacin. Estos
aspectos pueden y deben ser objeto
de evaluaciones especficas.
Gestin y ejecucin del servicio: se
establecer el listado de servicios o
Cuantitativa o
Cualitativa
De coherencia
interna
N de participantes en la gestin de
la intervencin, por categoras y
especializacin profesional.
Grado de satisfaccin con la
coordinacin de los equipos
expresado por las personas
encargadas de la gestin.
N de reuniones del equipo
responsable de la gestin.
N de expedientes tramitados por
cada persona encargada de la
gestin.
Dotacin presupuestaria vinculada
a la intervencin
Grado
de
ejecucin
del
presupuesto vinculado a la
intervencin
N de equipos informticos a
disposicin de las personas
participantes en la gestin.
Realizacin
de
tareas
de
planificacin propias de la
intervencin objeto de evaluacin.
Existencia de planes de gobierno,
sectoriales o transversales que
afectan a la intervencin.
Existencia de informes relativos a
ejercicios de revisin de procesos
que intervienen en la intervencin.
N
de
servicios
prestados,
agrupados segn necesidad del
19
Metodologa
Tipo de
indicador
Finalidad
bienes producidos, lo que permitir
detectar si se estn produciendo
desviaciones en la ejecucin de los
mismos.
Cuantitativa o
Cualitativa
Cuantitativa o
Cualitativa
Cuantitativa o
Cualitativa
Cuantitativa o
Cualitativa
De coherencia
externa
De eficacia
De eficiencia
De equidad
Ejemplos
Los indicadores relativos a este

aspecto deben permitir contrastar el
grado de complementariedad y las
posibles sinergias existentes entre la
intervencin objeto de la evaluacin
y otras intervenciones pblicas
existentes o, por el contrario, si la
intervencin compite o interfiere
con otras existentes.
Estos indicadores se centrarn en el

anlisis de la cobertura, haciendo
referencia
a
la
cuanta
y
caractersticas que definen a las
personas participantes en una
determinada intervencin.
Permitirn no solo establecer
cuantas personas se han beneficiado
de una determinada intervencin,
sino tambin sealar qu proporcin
del pblico objetivo est accediendo
a los beneficios de la misma o si se
han producido desviaciones en las
caractersticas que determinaban el
acceso.
Estos indicadores medirn la forma
en que se estn utilizando los
recursos durante el proceso de
generacin del producto y/o
servicio. Existe el riesgo de que la
informacin proporcionada por los
mismos nos lleve a conclusiones
errneas.
La inclusin de indicadores de este
tipo ser de utilidad sobre todo
cuando
nos
enfrentemos
a
evaluaciones de intervenciones de
carcter plurianual, puesto que las
mismas
permiten
tanto
la
observacin de un nmero suficiente
de outputs como el anlisis de costes
derivados de los mismos.
Estos
indicadores
permitirn
conocer si existen sesgos en la
distribucin de los servicios
prestados. Se pueden determinar
mediante la utilizacin de esta
perspectiva de los indicadores de
cobertura.
equipo evaluador.
Porcentaje de servicios prestados
en relacin a los previstos.
Tiempos medios de ejecucin de
los servicios en relacin a los
previstos.
Existencia
de
servicios
de
similares caractersticas para un
territorio determinado.
Existencia
de
sistemas
de
coordinacin con administraciones
que prestan servicios de carcter
complementario a la intervencin
objeto de evaluacin.
Tiempos medios de ejecucin de
los servicios en relacin a los
establecidos en la planificacin de
los mismos.
Caracterizacin de la poblacin
objetivo de la intervencin y de los
beneficiarios segn las variables
que definen el acceso a la misma;
como pueden ser la edad, el nivel
de estudios; la situacin laboral, el
nivel de renta, la residencia, la
procedencia, etc., todas ellas
cruzadas con la variable sexo.
Tasa de cobertura de un
determinado servicio por sexo
respecto al total de la poblacin
objetivo.
Coste por persona beneficiaria de
un determinado servicio prestado.
Coste medio de los recursos
utilizados para gestionar un
expediente de una subvencin.
Tasas de cobertura de un
determinado servicio por gnero
en relacin a la poblacin objetivo
por la misma variable.
Tasas de cobertura de un
determinado servicio por territorio
en relacin a la poblacin objetivo
por la misma variable.
20
Metodologa
Cuantitativa o
Cualitativa
Tipo de
indicador
De satisfaccin
Finalidad
Estos indicadores representan una
dimensin determinante para las
entidades pblicas ya que sta se
encuentra relacionada con un
principio fundamental de enfoque al
cliente.
Son indicadores que permitirn
mejorar la calidad percibida del
servicio/producto
Ejemplos
Existencia de sistema normalizado

de quejas y sugerencias
N y tipologa de quejas
presentadas por las personas
beneficiarias usuarias de los
servicios.
N y tipologa de las sugerencias
usuarias
de
los
servicios.
Diferenciadas por sexo.
N y tipologa de las quejas
beneficiarias, usuarias de los
servicios, diferenciadas por sexo.
Fuente: Elaboracin propia a partir de la gua prctica de Evaluacin de la implementacin. Instituto Cataln de
evaluacin de las polticas pblicas.
2.1.5. Tcnicas de recogida de informacin.

Entre los medios disponibles para sistematizar la medicin de los criterios mencionados y
evaluacin de la implementacin de las intervenciones se cuentan los siguientes, que podemos
agrupar por su carcter cualitativo o cuantitativo.
Tcnicas cuantitativas
Consulta a bases de datos y/o registros: consultas a los sistemas de informacin

dispuestos para la gestin de la intervencin, tales como bases de datos de registro de
participantes, de registro de servicios prestados, etc.
Fuentes estadsticas: existen diferentes, variadas y completas fuentes estadsticas elaboradas
por organizaciones tanto en el mbito nacional como internacional.
Encuestas: el tipo de encuesta ms utilizado en este tipo de evaluacin es la llevada a cabo
mediante la administracin de un cuestionario a una muestra representativa de personas, lo
que permite la categorizacin de opiniones tanto de las personas interesadas o beneficiarias
como de poblacin en general. Es una tcnica fiable, pero muy costosa y que precisa de un
conocimiento exhaustivo de la intervencin y de una preparacin importante de quienes se
encargan de entrevistar, adems de un adecuado aplicativo informtico para la explotacin de
los datos obtenidos.
Tcnicas cualitativas
Anlisis Documental: revisin de la literatura o bibliogrfica, tales como documentos

oficiales, informes de investigacin, evaluaciones generales, artculos, libros, estudios
especficos en el rea de inters, incluyendo evaluaciones pasadas.
Observacin natural: los datos observacionales describen el escenario de una intervencin,
las actividades que tienen lugar en el escenario, quienes participan en las actividades y el
significado de esas actividades para esas personas.
Entrevistas personales y/o a grupos focales: se obtiene informacin mediante una
conversacin profesional con una o varias personas para un estudio analtico de
21
investigacin o para contribuir en los diagnsticos o tratamientos sociales. Se desarrollan a

travs de tcnicas especficas como pueden ser los grupos focales o las entrevistas en
profundidad.
2.1.6.
Ventajas e inconvenientes.
Ventajas
" Permite comprobar si la intervencin se desarrolla adecuadamente y poder analizar, si se da
el caso, causas, efectos y ajustes a realizar ante eventuales desviaciones que afecten a los
outputs de la misma.
" Proporciona datos sobre fallos en la ejecucin, disminucin de la demanda de servicios que
conduzcan a decisiones de reasignacin de recursos, cambios en ciertas ubicaciones, etc.,
Inconvenientes
" Si no existe un buen sistema de informacin que recoja regularmente y gestione de forma
adecuada los datos sobre la provisin de servicios, puede resultar muy complicado llegar a
saber qu es lo que la intervencin est produciendo realmente.
" La ausencia de objetivos pertinentes y medibles.
" La ausencia de correlacin entre los objetivos operativos con los objetivos especficos, lo
cual disminuye el valor como herramienta de gestin para evaluar las intervenciones.
2.2. Evaluacin de resultados.
2.2.1.
Objeto.
La evaluacin de resultados trata de conocer hasta qu punto la intervencin pblica aplicada

est consiguiendo los objetivos establecidos o esperados -evaluacin de eficacia- y a qu coste
se consiguen en trminos de tiempo, recursos humanos, recursos materiales y monetarios evaluacin de eficiencia-.
La evaluacin de resultados hace referencia a los objetivos ms inmediatos y directos
perseguidos con la actuacin. Su evaluacin se centra en analizar los efectos (outcomes) directos
en quienes se benefician de la intervencin (empresas, personas desempleadas, grupos de
atencin especial, etc.).
Este tipo de evaluacin implica:
Realizar un anlisis descriptivo de los cambios que se dieron en las condiciones de las
personas beneficiarias como consecuencia de la implantacin de la intervencin.
Especificar las acciones de la implementacin de la intervencin que han causado el cambio
22
Exponer, el grado de consecucin de objetivos mediante indicadores vlidos para este tipo
de evaluacin.
Se entender que la intervencin pblica ha funcionado si produce cambios acordes a los

objetivos. Mediante esta evaluacin se demostrar que los cambios son consecuencia de la
implementacin de la citada intervencin.
Con la evaluacin de resultados se pretende responder a las siguientes preguntas:
! Cules son los resultados crticos que la intervencin trata de lograr?
! Qu efectos de corto y medio plazo gener la intervencin?
! Con la intervencin pblica implementada se han conseguido los resultados
buscados?
! Los resultados son consecuencia de la implementacin de la intervencin?
! Se incluyen los resultados no buscados?
En este tipo de evaluacin, la funcin del equipo evaluador consiste en demostrar que los
cambios que se han producido son resultado de la intervencin y no se pueden explicar como
consecuencia de un proceso alternativo no incluido en la misma.
2.2.2.
Fases

Los resultados se pueden identificar segn los objetivos fijados en la intervencin a evaluar. El
objetivo general debe indicar los resultados a largo plazo a los que se quiere llegar con la
intervencin y los objetivos especficos, los efectos de corto y medio plazo. Tambin se pueden
deducir cules son los resultados esperados partiendo de las principales actividades planteadas
(qu evaluar).
En principio, la intervencin debe tener establecidos sus resultados esperados en su etapa de
diseo. Si esto ocurre y la intervencin presenta metas, indicadores y un sistema de informacin
peridica para alimentarlos, el equipo evaluador tendra que analizar estos elementos y priorizar
con los actores involucrados los resultados que se van a evaluar.
La intervencin puede tener varias actividades pero no todas son relevantes para lograr los
objetivos especficos. Es importante elegir los hitos observables y medibles que estn
directamente relacionados con obtener un resultado, ya que puede haber actividades asociadas
con los procesos internos o la gestin de la intervencin que son importantes para su desarrollo,
pero que no se encuentran directamente ligadas con los resultados que se quieren medir.
La evaluacin de resultados tiene que medir los progresos realizados en relacin con los
resultados (directos o indirectos) esperados y verificar si se han alcanzado. Por esta razn, es
importante que para cada resultado a evaluar se construyan indicadores que capturen datos
observables y se fije una meta para cada indicador que la intervencin se compromete a cumplir
(cmo evaluar, qu informacin se desea obtener y cundo).
23
b) Recogida de la informacin:
En esta fase se procede a la recogida emprica de informacin que se necesita para medir los
indicadores. Es importante buscar la manera ms eficiente de obtencin de los datos dentro de
las restricciones existentes.
Primero se observa si la intervencin est realizando las actividades para conseguir los
resultados esperados y se obtienen cifras y caractersticas de los beneficiarios reales, entre otros.
Se identifican los vacos de informacin y se plantean mtodos alternativos (instrumentos) de
obtencin de la informacin (encuestas, grupos focales, etc.).
Las tcnicas de recogida de informacin que se adaptan a este tipo de evaluacin se desarrollan
c) Anlisis de datos:
el equipo evaluador debe hacer un balance de la informacin, y realizar un anlisis de las bases
de datos para evaluar los cambios que se generaron por las personas beneficiarias despus de la
intervencin y corroborar si se consiguieron los objetivos esperados a corto y mediano plazo.

En el bloque III de la presenta gua se aborda el contenido del informe y la forma de difusin
de los resultados.
2.2.3.
Criterios aplicables.
Este tipo de evaluacin, para emitir juicios de valor que le permita analizar el cumplimiento de
los objetivos planteados, utiliza los siguientes criterios: eficacia, eficiencia, equidad y
satisfaccin.
a) Eficacia: Tiene por objeto determinar el grado en el que una intervencin pblica alcanza sus
objetivos, en un perodo determinado y con independencia de los costes que su ejecucin
implique. Se parte de la premisa que el objetivo del programa ha sido definido de manera
inequvoca y con carcter operacional.
En este anlisis se deber tener en cuenta que la intervencin pblica es slo uno de los varios
factores que contribuyen al logro de los objetivos establecidos. El equipo de evaluacin deber
prestar atencin tambin a aquellas causas que estn relacionadas con la eficacia o ausencia de
eficacia de la intervencin.
24
El anlisis de eficacia debe proporcionar respuesta a este tipo de cuestiones:

! En qu medida se han cumplido los objetivos?
! Qu acciones concretas de la poltica han favorecido el cumplimiento de los
objetivos esperados?
! Han existido factores externos a la evaluacin que hayan influido en la resolucin
de los problemas detectados?
Los mtodos y herramientas de carcter analtico que pueden ser utilizados para efectuar el
anlisis de eficacia son la medicin (ex ante) de los valores iniciales de las variables resultantes
y otras variables importantes y su comparacin con la medicin (ex post) de esas mismas
variables despus de haberse llevado a cabo la intervencin.
b) Eficiencia: Permite valorar hasta qu punto los resultados obtenidos derivan de una
utilizacin eficiente de los recursos financieros, humanos y materiales utilizados. La principal
dificultad para medir la eficiencia de una intervencin est en establecer un valor de referencia
sobre la asignacin de recursos. En teora, los exmenes previos en relacin a la eficiencia se
establecern durante el proceso de planificacin de la intervencin, en su ficha presupuestaria o
financiera. Si no fuera as el equipo evaluador deber establecer este valor sobre el que se
realizan las mediciones. Se trata de comparar los costes con los beneficios de la intervencin a la
vista de sus resultados.
El anlisis de eficiencia debe proporcionar respuesta a este tipo de cuestiones:
! Cul ha sido el coste material de los resultados conseguidos?
! Se aplicaron procedimientos racionales de gestin financiera y de equipo?
! Se han utilizado los recursos de la manera ms econmica posible?
c) Equidad: Tiene el objetivo de valorar la equidad en los resultados obtenidos o que se
pretenden alcanzar a travs de una intervencin pblica. Por ello, es clave cuando se quiera
medir este criterio, ahondar sobre la distribucin de recursos establecida en la intervencin.
La evaluacin del criterio de equidad conlleva analizar hasta qu punto la distribucin del coste
o los beneficios de las intervenciones pblicas entre la poblacin se ha realizado con algn
criterio estndar de distribucin equitativa.
El anlisis de equidad debe proporcionar respuesta a este tipo de cuestiones:
! Se han utilizado criterios de equidad en la definicin de los objetivos de la
intervencin pblica?
! La dedicacin de esfuerzos ha seguido una lgica de reparto justo?
d) Satisfaccin: Tiene el objetivo de valorar la percepcin de la ciudadana, como consumidora

de la intervencin, ante los resultados obtenidos por la intervencin pblica. Al igual que ocurre
en la evaluacin de la implementacin, la satisfaccin expresada por la misma, puede ayudar a
medir la respuesta y equidad de la provisin del servicio pblico.
25
El anlisis de satisfaccin debe proporcionar respuesta a este tipo de cuestiones:

! Las personas beneficiarias de la intervencin pblica se encuentran satisfechas con
los resultados obtenidos?
! Qu subgrupo de esas personas o actores muestran ms conformidad o satisfaccin?
! Con qu atributo de la intervencin pblica evaluada se encuentran ms satisfechas?
En los resultados obtenidos de las encuestas o de algn otro mtodo de recogida de datos
utilizado, hay que valorar las caractersticas socioeconmicas, actitudes polticas u otros
condicionantes (territorio, sexo, grupo tnico, edad, etc.) de la muestra, que puedan sesgar las
conclusiones obtenidas.
2.2.4.
Indicadores.
Dentro de la evaluacin de programas y polticas pblicas el indicador es un dato cuantitativo o

cualitativo que permite dar cuenta sobre el estado de algn aspecto de la realidad de las
intervenciones pblicas que interesa conocer. Los indicadores han de reunir una serie de
atributos, entre los que cabe destacar que han de ser claros, relevantes, econmicos, medibles y
adecuados.
Una vez determinados los resultados finales (outcomes) que sern objeto de medicin, la
definicin de los indicadores permitir identificar las variables clave ms relevantes y valiosas
para la obtencin y comparacin de los datos que facilitarn informacin sobre el cambio
producido por la intervencin pblica.
las cuestiones a las que el equipo evaluador deba dar respuesta.
Los indicadores de la evaluacin de resultados deben medir los efectos inmediatos y directos de
los programas, una vez finalizados. En general, han de proporcionar informacin acerca de los
cambios que se han producido, por ejemplo: nmero de beneficiarios de actividades de la
intervencin pblica que han encontrado empleo o que han aumentado sus cualificaciones.
Los indicadores asociados a la evaluacin de resultados se analizan y comparan en diferentes
momentos del tiempo con la ayuda de mtodos estadsticos y de recopilacin de informacin
cuantitativa y cualitativa para lograr explicar el cambio de las variables. Para hacer una
evaluacin de resultados se requiere tener datos antes y despus de la intervencin para el grupo
de beneficiarios. Esto permite hacer comparaciones a lo largo del tiempo y anlisis transversales
con posterioridad a la intervencin.
26
A continuacin se establece la tipologa de indicadores y algunos ejemplos de los mismos

siguiendo el esquema de los criterios desarrollados en el punto anterior.
Metodologa
Cuantitativa o
Cualitativa
Cuantitativa o
Cualitativa
Tipo de
indicador
De eficacia
De eficiencia
Finalidad
Los indicadores de eficacia
harn referencia al logro de
los objetivos previstos, sin
tener en cuenta los costes.
Los indicadores de eficiencia
se centrarn en la relacin
existente entre los objetivos
alcanzados y sus costes.
Estos indicadores permitirn
medir
las
realizaciones,
resultados
e
impactos
obtenidos en relacin a los
recursos empleados.
Ejemplos
Porcentaje de empresas con

conexin a internet (empresas con
acceso a internet/total de empresas).
N de jvenes empleados antes y

despus de la intervencin pblica
Recursos financieros invertidos en
polticas activas de empleo..
Fuente: elaboracin propia
La tabla siguiente facilita una serie de ejemplos de indicadores de resultados atendiendo a los
objetivos especficos que se quieren alcanzar:
Objetivo especfico
Potenciar el uso de las TIC en

las empresas y en la sociedad
Actuacin
Incorporacin de las TIC en el sector
empresarial.
Incorporacin de las TIC en la
sociedad.
Aumentar la competitividad
del tejido empresarial
Impulso a la internacionalizacin de
las empresas
Incrementar las posibilidades

de insercin laboral y social
de los jvenes desempleados
Ampliacin y consolidacin
de las infraestructuras de
suelo industrial existentes
Aumentar la movilidad de la
poblacin
Cursos de capacitacin en oficios

tcnicos
Urbanizacin de la zona ampliada del
polgono industrial X
Construccin y mejora de carreteras
Indicador de resultado
Porcentaje de empresas con
conexin a internet (empresas con
acceso a internet/total de empresas)
Poblacin que utiliza habitualmente
internet
Porcentaje de viviendas
con
conexin a internet (viviendas que
disponen de acceso a internet/total
viviendas)
Empresas exportadoras/total de
empresas
Exportaciones totales/VAB
Variacin
porcentual
del
aprendizaje
de
los
jvenes
participantes en los cursos.
Variacin porcentual del nmero de
empresas instaladas en el polgono
industrial.
Variacin porcentual del tiempo
necesario para viajar de X a Y a una
velocidad media.
Fuente: elaboracin propia

Tal como se ha mencionado anteriormente, los resultados de una intervencin pblica se
denominan genricamente efectos ya que constituyen las consecuencias de su realizacin fsica
y financiera. Para hacer el seguimiento de los resultados de la intervencin, stos deben ser
identificados y analizados segn su estructura.
27
En cualquier tipo de evaluacin la informacin a recoger debe encuadrarse en cuatro grandes

bloques:
a)
b)
c)
d)
Informacin sobre la intervencin objeto de la evaluacin.

Efectos en la poblacin beneficiaria, conforme a los objetivos de la intervencin.
Variables correspondientes al contexto donde se implementa la intervencin.
Variables que surgen directamente de la intervencin.
Con anterioridad a iniciar el trabajo de recogida de informacin el equipo evaluador debe decidir
qu informacin se quiere obtener, qu tcnicas de recogida de datos va a utilizar y qu
instrumentos de medicin. Sobre todo debe conocer con qu fuentes de informacin cuentan y si
les son accesibles y fiables, por tanto se tendrn que decidir las tcnicas en funcin de los
recursos disponibles y acordes a los planteamientos metodolgicos del tipo de evaluacin
elegido.
La evaluacin de resultados requiere tcnicas que controlen al mximo los factores que
realmente han intervenido en la consecucin o no de los objetivos planteados en la planificacin
previa. En la mayora de los casos se combinarn tcnicas complementarias, tanto cuantitativas
como cualitativas.
Se propone las siguientes tcnicas de recogida de datos:
Consulta a bases de datos y/o registros: consultas a los sistemas de informacin dispuestos
para la gestin de la intervencin, tales como bases de datos de registro de participantes, de
registro de servicios prestados, etc.
Fuentes estadsticas: existen diferentes, variadas y completas fuentes estadsticas a
disposicin de los investigadores elaboradas por organizaciones tanto en el mbito nacional
como internacional.
Encuestas: el tipo de encuesta ms utilizado en este tipo de evaluacin es la llevada a cabo
mediante la administracin de un cuestionario a una muestra representativa de personas, lo
que permite la categorizacin de opiniones tanto de las personas interesadas o beneficiarias
como de poblacin en general. Es una tcnica fiable, pero muy costosa y que precisa de un
conocimiento exhaustivo de la intervencin y de una preparacin importante de quienes se
encargan de entrevistar, adems de un adecuado aplicativo informtico para la explotacin de
los datos obtenidos.
Anlisis documental: en el marco de las Administraciones pblicas es bsico el anlisis de

la legislacin sobre la materia objeto de intervencin ya que las normas determinan las
actuaciones. Adems es imprescindible recoger informacin de la propia intervencin
implementada, el anlisis de las posibles memorias anuales existentes, y en su caso
documentacin estratgica existente sobre el departamento o unidad objeto de evaluacin.
Entrevistas personales y/o a grupos focales: estas tcnicas permiten profundizar en los
aspectos cualitativos de los resultados obtenidos con la intervencin, deben estar bien
28
estructuradas, contando con un guin inicial, y ofrecer garantas de validez y fiabilidad,

tambin pueden ser utilizadas como una tcnica complementaria a los resultados de una
encuesta.
Estudios de casos: es una tcnica que trabaja con informacin de una experiencia real en el
marco de la intervencin realizada, implica un examen exhaustivo mediante la comparacin
cruzada de casos. Se utiliza para obtener informacin a fondo de los procesos que han
generado los resultados obtenidos. Esta tcnica es til para estudiar con mayor detalle las
variables y/o factores que han sido determinantes en la consecucin de los resultados, pero es
una tcnica muy costosa en tiempo y dinero.
El anlisis cuantitativo de los datos obtenidos mediante estas tcnicas permite, a travs de la
interpretacin de los mismos, extraer conclusiones sobre los resultados numricos del programa,
por otra parte el anlisis cualitativo permite detectar tendencias en la informacin recogida,
obtener clasificaciones por categoras y responder a algunas de las preguntas iniciales planteadas
al principio del proceso evaluativo.
2.2.6.
Ventajas e inconvenientes.
Ventajas
" Se centra en las modificaciones de los comportamientos y contextos relacionados con la
poblacin beneficiaria de los productos de la intervencin.
" Quin realice la evaluacin puede detectar posibles fallos en la intervencin sin
necesidad de esperar los resultados a largo plazo.
" Ayuda a explicar cmo y porqu ocurrieron los efectos de la intervencin.
" Permite detectar las discrepancias en la ejecucin real de la intervencin y la ejecucin
esperada, as como su contribucin a la solucin de los problemas.
" Coste moderado y realizacin de evaluacin en un plazo de tiempo relativamente corto.
Inconvenientes
" La definicin de los objetivos ya que, en muchas ocasiones, los objetivos existentes en la
planificacin previa pueden haber estado formulados de forma confusa y muy general, o no
existir.
" La evaluacin de resultados es un modelo de relaciones causales en donde la causa son las
variables de la intervencin y los resultados son los efectos perseguidos por dicha
intervencin. El problema esencial de este tipo de evaluacin est en la posibilidad de que
haya otras variables exgenas que estn relacionadas a la vez con las variables de la
intervencin. Precisamente la validez interna es clave en la evaluacin de resultados que
pretende demostrar de un modo inequvoco que existen, o que no existen, efectos
especficos debidos a una intervencin determinada.
29
2.3. Evaluacin de impacto.

2.3.1. Objeto.
Mientras que la evaluacin de resultados se centra en los efectos de la intervencin pblica
sobre la poblacin objetivo, la evaluacin de impacto va ms all, para analizar tanto una
poblacin mayor como la totalidad de los efectos de la citada intervencin.
Por tanto, este tipo de evaluacin se centra en:
1) Medir a medio y largo plazo los efectos de una intervencin pblica sobre la poblacin
ampliada, (que podr abarcar tanto el objeto de la citada intervencin como el conjunto de la
sociedad).
2) Identificar la totalidad de los efectos posibles de la intervencin: especficos y globales,
buscados segn los objetivos o no, positivos, negativos o neutros; directos o indirectos2.
Para que pueda llevarse a cabo con xito la evaluacin del impacto de una intervencin pblica,
se deben de cumplir los siguientes requisitos:
a) Que la intervencin a analizar se haya aplicado en idnticas condiciones durante cierto
tiempo, pues en caso contrario no se puede concluir con certeza el elemento causal que
est definiendo el resultado de la misma.
b) Que en la intervencin se definan los objetivos o productos a conseguir con la poltica
pblica, es decir que define la situacin de cambio que la misma pretende introducir en
el sistema.
c) Que estos objetivos o resultados (outcomes) sean concretos, medibles y consecuencia
directa de la implantacin del programa o poltica pblica.
d) Al tratarse de una evaluacin ex post, es necesario que haya transcurrido el tiempo
suficiente para que la intervencin pblica pueda surtir los efectos diseados o
esperados.
e) Es necesario un mnimo conocimiento del proceso de implementacin para interpretar
los resultados de una evaluacin de impacto y transformarlos en recomendaciones de
mejora. Incluso si los resultados de la misma son positivos, el hecho de comprobar que
el proceso de implementacin se ha producido de acuerdo con las previsiones, refuerza
la conclusin de que la intervencin pblica es la causa de los impactos.
2.3.2. Fases
La evaluacin de impacto requiere que previamente se hayan identificado los objetivos de la
intervencin y una teora del cambio que enlace, las actividades y los productos de la
2
Fundamentos de evaluacin de polticas pblicas. AEVAL
30
intervencin pblica con los impactos que pretenden lograrse (definir el impacto). Se debern
seleccionar los objetivos cuyo impacto se va a evaluar, y de stos extraer una dimensin o
atributo medible de entre las varias que constituye el objetivo (qu evaluar). Sera
recomendable seleccionar dimensiones o atributos de las que se dispone medidas anteriores para
comparar el resultado ex post con el ex ante.
Una vez concretados los objetivos y variables en los que se centrar la evaluacin, se deber
identificar la poblacin e instituciones involucradas y su peso especfico en los resultados.
Comprende tanto los destinatarios directos como otros agentes que estn influyendo en el
resultado de la intervencin pblica. Asimismo, se podr determinar la existencia, dentro de la
poblacin implicada, de subgrupos con efectos diferenciados en las estimaciones de impacto,
que permita determinar la caracterstica o condiciones de la poblacin que mejor se adapta o
responde ante la implementacin de la intervencin pblica. En tal sentido, conviene analizar el
contexto socioeconmico y poltico en el que se enmarca la intervencin pblica a evaluar y
definir factores favorables (oportunidades) y negativos (amenazas), que pueden interferir o
hayan interferido en los resultados, incidiendo en la relacin causa efectos (cmo evaluar).
La evaluacin de impacto supone poder comparar la situacin final expost con otro escenario
que no se ha visto afectado por la intervencin, y medir la diferencia entre ambos, entendiendo
que en igualdad de condiciones la diferencia entre los dos escenarios es debido a la intervencin
pblica, es decir responder a la pregunta Qu hubiera ocurrido si el programa no se hubiera
implantado? (anlisis contrafactual). En tal sentido, se deber medir el resultado de la
intervencin (outcomes) en la poblacin de destino de la misma y ponerlo en relacin con los
que se hubieran dado en ausencia de la intervencin pblica, la diferencia entre ambos
resultados nos permitir conocer y medir el impacto de la intervencin pblica (qu
informacin se desea obtener).
Una vez definido el impacto y los atributos o variables que lo componen, se ha de concretar en
qu momento se proceder a la medicin de las variables (cundo evaluar).
Que las evaluaciones de impacto sean ex post por definicin no quiere decir que deban
comenzarse despus de que el programa finalice. El hecho de comenzar a disearse e incluso
implantarse ex ante, permite introducir a tiempo las variables, los datos o registros que resulten
ms relevantes en la evaluacin, al mismo tiempo que accesibles, y reducir las amenazas que
puedan influir en la consecucin del objetivo o que puedan contaminar el proceso de evolucin
b) Recogida de informacin:
En esta fase se procede a la recogida emprica de informacin, respecto a los indicadores
definidos en el diseo de la estrategia como ms relevantes y tiles al objeto de la evaluacin.
Conocer los datos administrativos de que se dispone, puede ayudar a concretar la medicin de
los resultados en los grupos experimentales y de control que sern objeto de observacin en el
trabajo de evaluacin, que permita realizar comparaciones vlidas.
Las tcnicas de recogidas de informacin que se adaptan a este tipo de evaluacin se desarrollan
31
c) Anlisis de los datos:

el equipo evaluador debe hacer un balance de la informacin, con objeto de poder medir el
cambio producido en la variable objeto, y si ste es debido a la intervencin pblica.
Desde el punto de vista metodolgico, evaluar el impacto supone establecer una relacin causal
entre la intervencin pblica y su efecto a largo plazo, y para ello se deber intentar aislar el
efecto de todos los factores endgenos que puedan influir o interferir en la situacin de hecho
que pretende abordar la citada intervencin.
En el bloque III de la presenta gua se aborda el contenido del informe y la forma de difusin de
los resultados.
2.3.3. Criterios aplicables.

En relacin con la evaluacin de impacto, los criterios que determinan las cuestiones que deber
plantearse el equipo evaluador en la consecucin de los objetivos propios de este tipo de
evaluacin son principalmente, equidad, satisfaccin y sostenibilidad.
a) Equidad: Valora la equidad en las condiciones de recepcin por las personas destinatarias de
los efectos de la intervencin pblica que se evala. De esta forma, se intenta determinar hasta
qu punto la distribucin del coste o los beneficios de la intervencin entre la poblacin es
consistente con algn criterio estndar equitativo. En tal sentido responde a las siguientes
cuestiones:
! Hasta qu punto la distribucin de los destinatarios de la intervencin entre la
poblacin es consistente con algn estndar defendible de distribucin?
! En qu medida la intervencin llega a tratar de la misma manera a la poblacin
objetivo? (equidad horizontal).
! En qu medida personas no incluidas en la poblacin objetivo a la que va dirigida
la intervencin pblica, se benefician de la misma? (equidad vertical).
! La dedicacin de esfuerzo ha seguido una lgica de reparto justo?
b) Satisfaccin: Mide la percepcin de la ciudadana a los resultados de la intervencin pblica

y quien evala debe dar respuesta a las siguientes cuestiones:
! Las personas destinatarias de la intervencin pblica se encuentran satisfechas con
los resultados obtenidos?
! Qu grupo o subgrupo de agentes muestran ms conformidad o satisfaccin?
! Con qu atributo de la intervencin pblica evaluada se encuentran ms
satisfechas?
32
En los resultados obtenidos de las encuestas o de algn otro mtodo de recogida de datos
utilizado, hay que valorar las caractersticas socioeconmicas, actitudes polticas u otros
condicionantes (territorio, gnero, grupos tnicos, etc.) de la muestra, que puedan sesgar las
conclusiones obtenidas.
c) Sostenibilidad: Permite evaluar la autonoma del sistema una vez que termina la intervencin
pblica para mantener en el tiempo el resultado obtenido y, con ello, la probabilidad de que
continen los beneficios de la intervencin a largo plazo, despus de retirar los recursos
externos. Las preguntas a las que se debe dar respuesta son:
! Cul es la probabilidad de que los efectos o cambios producidos por la intervencin
se mantengan en el futuro una vez finalizada la misma?
! Puede afirmarse que la intervencin pblica evaluada es perdurable en el tiempo?
! Tienen las contrapartes participantes la voluntad y la capacidad de continuar por su
cuenta las actividades de la intervencin?
En la respuesta a estas cuestiones hay que valorar en lo posible, la incidencia que otros factores
externos puedan interferir o estn interfiriendo en la consecucin de los objetivos planteados por
la intervencin pblica y que afectan a los resultados a largo plazo, y en qu medida los cambios
observados en las variables clave o indicadores objetivo se deben a las intervenciones pblicas.
2.3.4. Indicadores.
En la evaluacin de programas y polticas pblicas, el indicador es un dato cuantitativo o
cualitativo que permite dar cuenta sobre el estado de algn aspecto de la realidad de las
intervenciones pblicas que interesa conocer. Los indicadores han de reunir una serie de
atributos, entre los que cabe destacar que han de ser claros, relevantes, econmicos, medibles y
adecuados.
Una vez determinados los efectos finales (outcomes) que sern objeto de medicin, la definicin
de los indicadores nos permitir adoptar las variables clave ms relevantes y valiosas para la
obtencin y comparacin de los datos que nos facilitarn informacin sobre el cambio producido
por la intervencin pblica.
las cuestiones a las que el equipo evaluador deba dar respuesta.
Los indicadores que se utilizarn en una evaluacin de impacto se clasifican atendiendo al nivel
en que se centra la evaluacin, distinguindose entre indicadores de efectos intermedios, que
miden los efectos directos de un programa sobre su universo de atencin e indicadores de
efectos finales, que miden las transformaciones estructurales en las condiciones de vida de las
personas en la actividad econmica o en el medio ambiente producidas por las intervenciones
pblicas.
33
A continuacin se establece la tipologa de indicadores y algunos ejemplos de los mismos

siguiendo el esquema de los criterios desarrollados en el punto anterior.
Metodologa
Tipo de
indicador
Finalidad
Ejemplos
De efectos
intermedios
Permite
medir
aspectos
tangibles de la realidad.
La fuente de obtencin de datos
son las observaciones objetivas
y verificables.
Cuantitativo
De efectos
finales
De efectos
finales
De efectos
intermedios
Cualitativo
Permite medir caractersticas

intangibles.
La fuente de obtencin de datos
son las percepciones, valores,
opiniones, vivencias, etc.
Absolutos: n de destinatarios
finales, censo de viviendas, registros
de
sucesos
demogrficos
(nacimientos, mortalidad,sexo etc.).
Relativos: tasa de empleo, tasa de
migracin, porcentaje de poblacin
beneficiaria/poblacin objetivo.
Absolutos: PIB, registro de tipos de
enfermedades, tasa de crecimiento
de la poblacin.
Relativos: ndice de esperanza de
vida, evolucin de la tasa de
mortalidad, porcentaje de variacin
del PIB, tasa de alfabetismo.
Absolutos: n de ciudadanos
satisfechos con la intervencin X.
Relativos: n de ciudadanos
satisfechos/n total de ciudadanos.
Absolutos: estado de salud, calidad
de vida (pobreza, disponibilidad de
alimentos, adaptacin al medio),
condiciones socioeconmicas.
Relativos: porcentaje de variacin
de la calidad de vida o de las
condiciones socioeconmicas.

La seleccin de la estrategia ms adecuada al tipo de intervencin, depender del anlisis previo
realizado en la fase de diseo de la evaluacin, de los objetivos de la intervencin, las variables
cuantitativas o cualitativas que lo definan, los datos de que se dispongan y el momento en que se
afronta la evaluacin.
A continuacin se expone una breve referencia de las Metodologas y Tcnicas de anlisis de
datos ms usadas en la evaluacin de impacto.
34
Metodologas cuantitativas3:
Permite medir aspectos tangibles de la realidad, derivado de observaciones objetivas y
verificables. Este tipo de enfoque es preeminente en la evaluacin de impacto, ya que la cuestin
fundamental a resolver es de naturaleza cuantitativa.
Los tipos de diseos utilizados en las metodologas cuantitativas son los siguientes:
Diseo experimental: diseo con una medicin. Comprende la observacin a un grupo
experimental (grupo de personas en el que previamente se ha hecho incidir un estmulo o
variable experimental) y de un grupo control (grupo de personas que no se estn sometidos al
estmulo o variable a analizar).
El lmite del diseo experimental: supone controlar el comportamiento de otras variables
extraas que puedan influir en el resultado, por lo que supone el aislamiento del fenmeno que
se quiera estudiar, los grupos de control y experimental deben ser homogneos, y tiene que
disearse antes de la implementacin del programa.
Diseo cuasi experimental: intenta suplir el lmite del diseo experimental, aislando el efecto
de la intervencin pblica, de otras variables extraas que estn o pudieran estar interfiriendo en
el resultado. No obstante, algunos de los modelos de este diseo son tcnicamente complejos y
su aplicacin exige conocimientos avanzados de estadstica.
Metodologas cualitativas4
Permiten medir caractersticas intangibles a travs de percepciones, valores u opiniones. Usa por
tanto mtodos preexperimentales o no experimentales. Con el fin de reforzar la robustez de la
evaluacin de impacto, resulta recomendable complementar el anlisis con tcnicas cualitativas
ya referenciadas en los dos tipos de evaluacin anteriormente expuestos
Se muestra a continuacin un cuadro que resume las principales tcnicas aplicadas en una
evaluacin de impacto:
Metodologa
Cuantitativa
Diseo
Experimental
Tipo
Modelo antes-despus
Diseo
de
comparacin con un
grupo esttico
En que consiste
Es el ms simple para evaluar
impactos. El grupo es medido
dos veces, antes y despus de
la puesta en marcha de la
intervencin pblica.
Un
grupo
que
ha
experimentado la variable o
tratamiento
experimental
(grupo experimental) se
compara con otro que no la
ha
experimentado
denominado
(grupo
de
control).
Que se obtiene
La diferencia entre la
medida del resultado en
ambos momentos.
La
diferencia
del
resultado
de
la
intervencin
pblica
entre ambos grupos.
Para un mayor desarrollo de las tcnicas de anlisis cuantitativo, nos remitimos al documento Gua prctica 5. Evaluacin de
impacto editado por IVALUA Instituto Cataln de Evaluacin de Polticas Pblicas.
Para un mayor desarrollo de las tcnicas de anlisis cualitativo, nos remitimos al documento Gua prctica 8. La metodologa
cualitativa en la evaluacin de polticas pblicas editado por IVALUA Instituto Cataln de Evaluacin de Polticas Pblicas.
35
Metodologa
Diseo
Cuasi
experimental
Tipo
Modelos de
temporales
interrumpidas
series
Modelos de regresin
Matching
Cualitativa
En que consiste
Medidas del resultado sobre
mltiples perodos de tiempo,
anteriores y posteriores a la
implantacin
de
la
intervencin
pblica
a
evaluar.
Compara la regresin de las

variables que mide los
efectos de la intervencin
sobre la variable base a la
que
se
determina
la
admisibilidad
de
la
intervencin
pblica
en
grupos tratados y no tratados
Se
aplica
cuando
la
intervencin pblica slo se
ha aplicado a un grupo de
personas de un colectivo
posible, y ex post podemos
disponer de un grupo de
agentes que han sido
destinatarios
de
la
intervencin pblica y de
otro grupo de personas que
no lo han sido, pero que se
parece lo mximo posible a
la poblacin de cobertura. Se
han de tener en cuenta todos
aquellos factores sociales que
pudieran afectar al valor que
para cada grupo de personas
puede tomar el resultado de
la intervencin pblica.
Permite medir caractersticas intangibles a travs de
percepciones, valores u opiniones
Que se obtiene
Se dispone de ms
informacin que en el
modelo experimental,
pues la repeticin de las
medidas proporciona un
mayor
poder
de
aislamiento
de
los
efectos,
y
permite
controlar
la
maduracin,
la
administracin del test,
seleccin muestral y
mortalidad (abandono
del
proyecto
por
miembros del grupo
experimental o del
grupo de control).
Se obtiene la diferencia
del valor del outcome
antes y despus de la
intervencin en los dos
grupos, tratado y no
tratado. As reconoce
qu
parte
de
la
variacin temporal de
los outcome de los que
habran recibido la
intervencin se habra
producido en cualquier
caso, al margen de la
intervencin
implantada.
El objetivo es comparar
el valor que toma en
cada caso el outcome de
inters aislndolo de los
factores sociales ajenos
a
la
intervencin
pblica que contaminan
el resultado.
Pre
Reforzar la robustez de
experimental o
la
evaluacin
de
no
impacto
experimental
Fuente: elaboracin propia a partir de la Coleccin Ivlua de guas prcticas sobre evaluacin de polticas pblicas:
Gua prctica 5-Evaluacin de impacto.
36
En cuanto a las tcnicas de recogida de informacin, a continuacin se enuncian algunas de ellas

que no son exclusivas de la evaluacin de impacto, agrupadas segn su carcter cualitativo o
cuantitativo.
Consulta a bases de datos y/o registros: comprende tanto bases de datos y registros
administrativos relacionados con la gestin de la intervencin, como de otras corporaciones
locales en donde se implement el programa, respecto tanto de la poblacin afectada como
de otros grupos de comparacin.
Consulta de fuentes estadsticas: datos procedentes de encuestas nacionales dirigidas a
empresas, hogares o personas, censos o cualquier otro ndice estadstico de referencia,
relativos a la poblacin afectada y grupos de comparacin potenciales, de aos anteriores y
posteriores a la puesta en marcha de la poltica pblica.
Encuestas directas a las personas beneficiarias.
Otra informacin retrospectiva de la poblacin beneficiaria que permita valorar su
situacin antes de la implementacin de la poltica pblica.
Anlisis documental: revisin de archivos, documentos oficiales, informes de

investigacin, evaluaciones generales, artculos, libros, estudios especficos en el rea de
inters, etc.
Entrevistas personales que permiten obtener informacin sobre su situacin, su punto de
vista y su experiencia respecto a los efectos de la intervencin pblica.
Grupos de discusin, grupos focales y/o paneles de expertos. Consiste en recabar
informacin de un conjunto de personas expertas o no en un tema especfico relacionado con
el programa que se est evaluando. No existen preguntas, sino que se establece un hilo de
discusin en los que los participantes expresan sus puntos de vista.
Estudios de casos. Anlisis y descripcin de una situacin y su relacin con el contexto en
el que se desarrolla, lo que permite determinar las variables o factores que estn
interfiriendo en la consecucin de los objetivos planteados.
2.3.6. Ventajas e inconvenientes.

Ventajas:
Las ventajas se corresponden con las caractersticas que la Agencia estatal de evaluacin de las
polticas pblicas y la calidad de los servicios (AEVAL) atribuye a la evaluacin de impacto:
37
" Nos ofrece una visin de si el proyecto o intervencin pblica a medio o largo plazo
funciona, es decir si el efecto deseado se perpeta en el tiempo.
" Registra y analiza todas las experiencias (positivas y negativas), mediante la comparacin en
el grupo de control.
" Evala el contexto socioeconmico y poltico en que se desarrolla la intervencin pblica.
" Estudia la articulacin interinstitucional y la pblica-privada.
" Instruye sobre los procesos de gestin de la intervencin.
" Informa a los responsables para la toma de decisiones sobre las futuras intervenciones. Esta
retroalimentacin promueve el reforzamiento institucional.
Inconvenientes:
" El tener que aislar el efecto de la intervencin de otros fenmenos sociales que interfieren en
el resultado de la poltica.
" La dificultad de medir el elemento contrafactual, que normalmente suele partir de la
hiptesis de cul sera el comportamiento de la poblacin en ausencia de intervencin
pblica.
" Las tcnicas de diseo experimental que ofrecen una mayor robustez, sobre todo en el
tratamiento de las variables no directamente observables, exigen conocimientos avanzados
de estadstica y econometra.
3. BLOQUE III
3.1.-Tipos de informe y elaboracin

Hay, fundamentalmente, tres tipos de informes:
informe ejecutivo
informes preliminares
informe final.
3.1.1. El informe ejecutivo
El informe ejecutivo presenta en forma sucinta los resultados de la evaluacin. Es aconsejable que
su extensin tenga un lmite de tres hasta doce pginas y que recoja los siguientes apartados:
" Breve introduccin terica, explicitando las razones que han llevado a realizar la
intervencin y su evaluacin y los objetivos previstos
" Breve resumen del mtodo seguido, exponiendo la muestra y el procedimiento. as como las
caractersticas de la o las intervenciones realizadas
" Lo ms destacable de los resultados obtenidos
" Conclusiones y recomendaciones para actuaciones futuras
38
" 3.1.2. Los informes preliminares

Son informes que se van produciendo a lo largo del proceso y dan cuenta de aspectos
metodolgicos. Se pueden emitir para recoger las siguientes cuestiones:
"
"
"
"
"
Problemas encontrados en la implementacin, as como las soluciones posibles

Diseo o diseos empleados
Estudios previos a la intervencin
Porcentajes de colaboracin de las audiencias implicadas
Resultados preliminares
3.1.3. El informe final

El informe de evaluacin o informe final se realiza una vez concluida la fase de anlisis y debe
conllevar las siguientes caractersticas:
" Amenidad, de forma que motive a la audiencia a leer el informe completo
" Precisin en los procedimientos y los resultados, de tal manera que permita la replicacin de
los hallazgos
" Calidad de la informacin: fundamentacin metodolgica, sustento terico y seriedad de las
conclusiones. Evitar el sesgo valorativo
" Utilidad real. Para que resulte interesante la evaluacin, sta tiene que ser til
" Concisin:
Presentar slo lo que resulta relevante para el estudio
Claridad del lenguaje
Evitar repetir palabras o frases
Evitar frases y prrafos demasiado largos
Definir claramente los trminos tcnicos utilizados
Utilizar verbos en forma activa y no pasiva
Economizar el material mediante tablas y grficos
Presentar los datos una sola vez
Incluir la valoracin de los resultados
3.1.3.1. Estructura del informe
I. Introduccin
Propsito de la evaluacin (dejar claro el motivo, causa principal o necesidad por la que se
ha realizado la evaluacin y el procedimiento que se ha utilizado para responderlos)
Usuarios de la evaluacin
Equipo evaluador
Limitaciones de la evaluacin
II. Contenido de la evaluacin
Descripcin del objeto de evaluacin (conviene especificar tambin las metas y objetivos de
la evaluacin)
Interrogantes que constituyen el foco central de la evaluacin
Informacin requerida para completar la evaluacin
39
III. Plan de evaluacin y procedimientos empleados
Plan de recogida de la informacin

Diseo o mtodo de evaluacin seleccionado y las causas que han originado dicha seleccin
Descripcin de las tcnicas e instrumentos empleados
Resumen y anlisis de los datos
IV. Presentacin de los resultados de la evaluacin
Resumen de los resultados

Interpretacin
V. Conclusiones y recomendaciones
Criterios concluyentes para analizar el objeto de evaluacin

Logros y limitaciones de la evaluacin, es decir sus fortalezas y debilidades
Recomendaciones (se aconseja que las acciones correctivas que se propongan sean el
resultado del trabajo conjunto del personal que participa en la ejecucin de la intervencin y
del equipo evaluador, ya que de esta manera el trabajo tendr mayor validez y aceptacin)
VI. Referencias bibliogrficas
Listado de autoras y publicaciones mencionados en el informe
VI. Apndices o anexos
Tabulaciones
Procedimientos empleados
Informacin adicional
3.2.-Difusin de los resultados

El informe de evaluacin supone la difusin de los resultados obtenidos. Una evaluacin que no
difunde sus resultados carece de entidad real, no tanto porque es desconocida para terceros, sino
porque "no se ha completado". Una evaluacin que no ha sido difundida, que no ha sido contrastada
por la comunidad de profesionales, investigadores y ciudadana interesada, y que no ha sido
codificada como tal, no se ha concluido y por tanto es una evaluacin fallida.
Hay que destacar que es necesario planificar la difusin desde el momento inicial, cuando se elabora
el proyecto de evaluacin. Los modos, momentos y estrategias de difusin han de quedar patentes en
el propio proyecto de evaluacin, como una tarea bien grabada con las dems.
3.2.1. Proceso de difusin del informe:
Sesiones de presentacin a los agentes sociales, profesionales y ciudadanos involucrados en

el programa. Instrumentos de apoyo: presentaciones, resumen ejecutivo, sntesis de los
resultados, etc.
Publicacin en la pgina Web de la organizacin actuante
Emisin de un comunicado oficial sobre el contenido del informe y su ubicacin en la Web
40
Distribucin del informe a los organismos involucrados en la materia, a las bibliotecas de las
universidades y a los departamentos especializados en el tema, as como a profesionales
relevantes
3.2.2. Pautas a seguir para informar, teniendo en cuanta las distintas situaciones derivadas de
las audiencias o de la situacin:
" A quien se dirige el informe:
Conocer las personas responsables de los rganos implicados

Informarse de lo que stos desean saber y el motivo
Comprender los puntos de vista de las audiencias
" Audiencias difciles:
Implicar a personas relevantes para la audiencia

Realizar la presentacin de forma relajada
Si fuera preciso, que realice la presentacin una persona experta en comunicacin.
" Por medios escritos:
Enfatizar lo que se quiera realzar

Redactar de forma clara
" De forma oral:
Preparar una presentacin amena

Adoptar un tono natural
Ayudarse con material de apoyo
Dejar tiempo para preguntas
" A la prensa:
Explicar el vocabulario tcnico

Escribir personalmente la noticia
Presentar material grfico
" Siempre:
Ser una persona honesta y no ir ms all de los datos
41
4.-Bibliografa y fuentes de informacin utilizada
Borges del Rosal, frica. Informe de la Evaluacin de Programas. Facultad de Psicologa.

Universidad de la Laguna.
Cabrera Nuez, Teresa. Apuntes curso Evaluacin de programas y polticas pblicas.

Universidad de Las Palmas de Gran Canaria, 2012-2013.
Coleccin Ivlua de guas prcticas sobre evaluacin de polticas pblicas.
Cuaderno de Gestin de la Evaluacin de Intervenciones Pblicas en Navarra. 2010
Fundamentos de evaluaciones de polticas pblicas. Guas AEVAL 2010
Gua para la Evaluacin de los Programas Sociales. Xinia Picado Gattgens

Guas Metodolgicas Sinergia. Gua para Evaluaciones de Polticas Pblicas-Departamento
Nacional de Planeacin, Gobierno Colombiano.
Gua de evaluacin de Polticas Pblicas del Gobierno Vasco.
Gua prctica de Evaluacin de la implementacin .Instituto Cataln de Evaluacin de
Polticas Pblicas.
Gua prctica n5. Evaluacin de Impacto. Instituto Cataln de Evaluacin de Polticas

Pblicas.
Gua prctica n8. La metodologa cualitativa en la evaluacin de polticas pblicas. Instituto

Cataln de Evaluacin de Polticas Pblicas.
Gua para la evaluacin de programas y polticas pblicas de discapacidad (CERMI)
Gua para evaluacin de polticas pblicas .Instituto de Desarrollo Regional. Fundacin

Universitaria. Comunidad Autnoma de Andaluca.
La funcin evaluadora. Principios orientadores y directrices de actuacin en la evaluacin de

polticas y programas (AEVAL)
Manual de Evaluacin para Polticas, Planes, Programas y Actividades de Juventud.

Observatorio de la Juventud de Espaa. Servicio de Documentacin y Estudios.
Manual de Planificacin, seguimiento y evaluacin- PNUD 2009
Metodologa de la evaluacin de programas. Centro de Investigacin Sociolgica (CIS).

Octubre 1991
Plan Estratgico del Tercer Sector de Accin Social. Gua de Evaluacin de Programas y
Proyectos Sociales. Plataforma de ONG de Accin Social.
42
43

Guía para La Evaluación de Programas y Políticas Públicas

Uploaded by

Document Information

Original Title

Copyright

Available Formats

Share this document

Share or Embed Document

Sharing Options

Did you find this document useful?

Is this content inappropriate?

Copyright:

Available Formats

Guía para La Evaluación de Programas y Políticas Públicas

Uploaded by

Copyright:

Available Formats

Gua para la

GUA PARA LA EVALUACIN DE

Grupo de trabajo que ha participado en la elaboracin de la gua:

Por la Consejera de Presidencia, Justicia e Igualdad

Por la Consejera de Economa, Hacienda y Seguridad

Por la Consejera de Cultura, Deportes, Polticas Sociales y Vivienda

Por el Servicio Canario de Empleo

Por el Servicio Canario de La Salud

El Gobierno de Canarias, en sesin celebrada el 2 de agosto de 2012, aprob la Estrategia para la

Lnea 1. Desarrollo e implantacin de la administracin electrnica

La Lnea 4: Evaluacin de programas y polticas pblicas comenz su andadura en octubre de

1.2. Objeto de la evaluacin.

Usuarios y usuarias, expectativas y propsitos de la evaluacin.

Abanico de posibles herramientas y tcnicas a aplicar.

Contribuir al aprendizaje de la organizacin

Introducir alternativas y conceptos nuevos.

Utilizar la evaluacin como instrumento de

Proporcionar feedback al personal del programa

Conocimiento bsico sobre las polticas

Facilitar a las instituciones acadmicas

Cumplimiento de un requisito normativo

Cumplir con la normativa que regula la intervencin

Rendicin de cuentas a la ciudadana

Proporcionar una gestin ms eficaz y eficiente para

Fuente: Elaboracin propia

1.3. Tipos de evaluacin.

Evaluacin descriptiva y analtica

-Los evaluadores internos deben

-Ideal en una cultura que ha

-Se puede enjuiciar.

Realizada una vez finalizada

-Cuantificar los destinatarios/as,

Analiza el volumen y las

-Hay que tener bien definida la

-Depende del objeto a evaluar

gestionan las intervenciones

Desde un punto de vista metodolgico, se debe tener en cuenta:

El grado de desarrollo de una intervencin va a condicionar el tipo de evaluacin. No se

1.4. Criterios de evaluacin

Preguntas que se deben

Est centrado en: diseo y

Medida en que se lograron o se

Medida en que se lograron los

Implica analizar hasta qu punto

Preguntas que se deben

Est centrado en: diseo y

Probabilidad de que continen los

Preguntas que se deben

Est centrado en: Impacto.

1.5. Fases de la evaluacin

Constitucin del equipo evaluador

Anlisis de la situacin y decisin (evaluabilidad)

Determinacin del tipo de evaluacin

Estrategia de evaluacin Definir la metodologa

PREGUNTAS QUE SON NECESARIAS FORMULAR

Qu informacin se desea obtener?

Qu tcnicas de recogida de datos se adaptan al

PREGUNTAS QUE SON NECESARIAS FORMULAR

Recogida de informacin / Anlisis de datos

Proceso de difusin del informe.

Fuente: Elaboracin propia

La evaluacin de implementacin tiene por objeto analizar y valorar si la intervencin pblica

a) Diseo de la estrategia de evaluacin: