Erika

Stefani

Joel

Yuendry

Mada

Anny

EVALUACIN EX POST

Definicin:

Es el anlisis de pertinencia, efectividad e impacto de un proyecto despus de concluido. Se

mide si los resultados son congruentes con la imagen-objetivo, inicialmente formulada, y
cules fueron los principales obstculos en la ejecucin: ofrece informacin para la
planificacin futura de proyectos. La evaluacin ex Post es la evaluacin de productos
que se concentra en el grado de logro de las metas propuestas.

La evaluacin con Foco en Los Resultados:

Esta evaluacin se lleva a cabo cuando el perodo de accin bajo consideracin est
terminando o ya ha terminado. El nfasis se coloca en apreciar si se produjeron los cambios
en las situaciones que se pretendan cambiar mediante la intervencin.

Cohen y Franco (1988) plantean, para el caso de proyectos sociales que una evaluacin ex
post constituye la evaluacin de un efecto y dicen que es todo comportamiento o
acontecimiento del que puede razonablemente decirse que ha sido influido por algn
aspecto del programa. Asimismo, estos autores sealan que los efectos de los programas
pueden ser buscados y no buscados. Los buscados son los que inicialmente se pensaron
alcanzar con el programa. Estos generalmente son previstos en los objetivos de la
intervencin y son positivos. Por su parte, los efectos no buscados pudieron ser positivos o
negativos, los cuales pudieron haber sido previstos o no en la etapa de formulacin del
proyecto.

En consecuencia, el objetivo de las evaluaciones de impacto es evaluar todos aquellos

efectos relevantes al propsito de la evaluacin. Por ejemplo, si el propsito de la
evaluacin es mejorar los resultados de la intervencin es aconsejable evaluar los efectos
iniciales e intermedios para determinar la efectividad de los diferentes componentes de los
programas. Por el contrario, si el propsito de una evaluacin es rendir cuentas a los
involucrados, el estudio debe incluir los efectos de ms largo plazo que son los que
finalmente interesan para decidir si una intervencin tiene xito o no

Tipos de Resultados esperables en un programa social:

Resultado
Descripcin
Son los que se obtienen de las actividades
desarrolladas en el marco de una
intervencin; en la formulacin suelen
llamarse tambin metas de produccin.
Productos Por ejemplo: talleres realizados, materiales
producidos, servicios brindados, bienes
entregados, cantidad y tipo de asistentes a
actividades, recursos humanos capacitados,
etc.
Son los cambios buscados, previstos o
programados para el ciclo de ejecucin de
una poltica o intervencin; se corresponden
con los objetivos planteados. Son cambios
Efectos esperados positivos en la situacin inicial, como
consecuencia de la intervencin. Por
ejemplo: incremento en la retencin escolar,
incremento en el uso adecuado de
preservativos, etc.
Son los cambios, positivos o negativos, que
no fueron contemplados en la formulacin.
Efectos no previstos o no programados Por ejemplo: mejora- miento de los lazos
familiares atribuibles a la insercin de los
adolescentes en actividades.
Aluden a cualquier tipo o nivel de
resultados positivos alcanzados en relacin
Logros a lo programado; se asocian al concepto de
efectividad o en otras palabras, a la medida
en que se dio cumplimiento a los objetivos.
Son los cambios verificables en plazos
mayores que el de los efectos programados;
o bien, repercusiones ms amplias, en otras
poblaciones ms all de los destinatarios
Impactos
directos, en otras localizaciones, en otras
organizaciones, en otros programas, en las
polticas pblicas, en los medios, en la
agenda de los actores de la sociedad civil

Efectos del Programa:

 Efectos iniciales. Estos son todos aquellos cambios que ocurren en los beneficiarios
inmediatamente reciben los servicios que ofrece el programa.
Efectos intermedios. Estos no son causados directamente por los componentes del
programa sino que son generados por los efectos iniciales que stos generaron.
Efectos finales. Son los efectos ms distantes de los componentes del programa que
requieren un periodo de tiempo considerable para que se generen. Continuando con la
secuencia de causalidad, estos efectos no ocurrirn si los intermedios no se generan.

Pasos para evaluar el impacto de un programa social:

Los pasos metodolgicos que se siguen, estn relacionados con la identificacin de los
efectos de las intervenciones, las relaciones de causalidad que los unen, la puesta en
prctica de los efectos a travs de indicadores, el uso de diseos cuasi-experimentales de
evaluacin para medir su causalidad con los componentes del programa y la determinacin
de la eficacia y eficiencia de la intervencin en la generacin de los efectos:

- Qu evaluar?
Paso 1. Anlisis de los objetivos del programa: El punto de partida de una evaluacin de
impacto es el anlisis de los objetivos del programa. Estos representan la situacin que
se desea obtener al final del perodo de duracin de la intervencin, mediante la
aplicacin de los recursos y las acciones previstas (Cohen y Franco, 1988). El anlisis
de los objetivos del programa conduce a la identificacin de los efectos que de acuerdo
con el documento de formulacin de la intervencin son los ms relevantes y que
generalmente son los de ms inters para los involucrados en la financiacin y
administracin del programa.
Paso 2. Construccin de la teora del programa: Conocer los objetivos del Programa no
es suficiente para determinar qu se debe evaluar y mucho menos para definir la
metodologa a seguir. Los objetivos del programa slo ofrecen un conocimiento parcial
de los efectos que pueden generar los componentes del programa. En los objetivos se
describe a donde se quiere llegar, pero no cmo y bajo que contexto. Adems, los
objetivos corresponden a condiciones del bienestar de los beneficiarios consideradas
estratgicas en el proceso de cambio que se busca generar, dejando de lado una serie de
efectos que ocurren durante la vida del programa que son esenciales para comprender
los mecanismos que conducen al logro de los objetivos.

Dado que la informacin que suministran los objetivos no es suficiente para definir la
estrategia de evaluacin, es necesario analizar las caractersticas o elementos fundamentales
del programa y determinar y como stos generan efectos en los beneficiarios.29 Este
anlisis es muy til dado que permite establecer y aclarar las relaciones de causalidad entre
los componentes del programa y diferentes dimensiones del bienestar de los beneficiarios.
En el anlisis de las caractersticas y los efectos del programa se deben abordar
fundamentalmente cuatro elementos: i) el ingreso al programa, ii) los componentes del
programa, iii) los efectos, y iv) los factores exgenos relacionados con las caractersticas de
los beneficiarios y el lugar donde se implementa el programa.

Paso 3. Preguntas de evaluacin: Una vez definida las relaciones de causalidad entre los
componentes del programa y los efectos se cuenta con la informacin necesaria y suficiente
para definir el alcance de la evaluacin en trminos de cules son los efectos que se deben
evaluar y qu es necesario conocer sobre cada uno. Estas preguntas son esenciales en la
planeacin de una evaluacin de impacto para definir la metodologa ms conveniente en
trminos de costos, validez de los resultados y utilidad de la informacin.

a) Cules efectos evaluar?

En la definicin de los efectos a evaluar es conveniente tener en cuenta el propsito de

la evaluacin. Antes de iniciar la evaluacin de estos efectos finales o cualquier efecto
relacionado con el propsito de la evaluacin es conveniente tener en cuenta tres
factores: i) el tiempo en el que se espera que ocurran los efectos, ii) la incertidumbre
sobre la magnitud del impacto y iii) el costo de recoleccin de la informacin.

b) Qu se quiere conocer de los efectos del programa?

La pregunta fundamental que responde la evaluacin de impacto es qu parte de los

efectos observados en los beneficiarios, a partir del inicio de la implementacin del
programa, es atribuible a los componentes de la intervencin. Resolver esta pregunta es
crucial dado que existen mltiples factores externos que tambin pudieron haber
influido en el bienestar de los beneficiarios durante este perodo. Las principales
preguntas que se formulan en las evaluaciones de impacto estn relacionadas con la
magnitud de los efectos, su incidencia en diferentes subgrupos de la poblacin objetivo,
y la eficacia y la eficiencia de la intervencin en producir estos efectos.

- Cmo evaluar?
Paso 4. Seleccin de indicadores: Una vez definidos los efectos que se evaluarn y qu
se quiere conocer de ellos, el siguiente paso es seleccionar los indicadores de impacto
que sern utilizados para evaluar cada uno de los efectos. Tambin las variables e
indicadores que se emplearn para medir los factores exgenos. Cohen y Franco (1998)
definen que operacionalmente un indicador es la unidad que permite medir el alcance
de una meta.
Paso 5. Estimacin del impacto: La primera pregunta de evaluacin que se busca
resolver con la estimacin cuantitativa del impacto de una intervencin es cul hubiera
sido la situacin de los beneficiarios si ellos no hubieran participado en la intervencin
o no hubieran estado expuestos al programa que se evala. Esta es una pregunta que
 aplica a cualquier tipo de intervencin y su estudio permite analizar los efectos
esperados y no esperados que la intervencin est generando en los beneficiarios.
Paso 6. Estimacin de la eficacia y la eficiencia:

Eficacia: El paso fundamental en el anlisis de la eficacia de una intervencin es

seleccionar la medida de comparacin sobre la cual se contrastan los impactos estimados.
Cuando se establecen los objetivos y metas de la intervencin como medida de
comparacin, la intervencin es eficaz si el impacto generado es mayor o igual a estos
parmetros establecidos. Los estndares que generalmente se utilizan para evaluar la
eficacia de los programas sociales son:

- Las necesidades de la poblacin objetivo.

- Los objetivos y metas del programa.
- Estndares profesionales.
- Prcticas generalizadas.
- Requerimientos legales.
- Valores ticos y morales.
- Resultados anteriores.
- Opinin de expertos.
- Lnea base de las condiciones de la poblacin.
- Condiciones esperadas en ausencia del programa.

Eficiencia: En el anlisis de eficiencia los resultados del programa se contrastan con los
costos en que se incurri para generar el impacto. Existen dos enfoques para evaluar la
eficiencia de un programa social: el anlisis costo-beneficio y el anlisis costo-efectividad.
La diferencia bsica es el mtodo que utilizan para valorar los beneficios. El primero,
expresa los beneficios en trminos monetarios, mientras que en el segundo enfoque los
beneficios son valorados a travs de indicadores sociales que miden los cambios en las
condiciones de bienestar que se evalan.

Principales razones de fracaso en la evaluacin con foco en los resultados:

Factores internos

Errores de diagnstico (tamao del problema, anlisis causal, etc.).

Inadecuado diseo (procesos y organizacin).

Incumplimiento de las metas de producto.

Errores de focalizacin.

Desajustes financieros (costos, flujo de caja, etc.).

Interaccin entre algunos de los anteriores.

Factores externos

Incumplimiento de supuestos.

Cambios imprevistos de contexto.

Momentos de la Evaluacin Ex Post:

1) Evaluacin de Culminacin: ser realizada al finalizar la evaluacin concurrente

(Seguimiento y monitoreo). Tiene como propsitos:
I. El reflejo inmediato del proceso de ejecucin del proyecto para medir la
eficiencia de la misma, en trminos de tiempos, costos y metas, y obtener
lecciones y recomendaciones relacionadas con el planeamiento y ejecucin de
proyectos.
II. Analizar las perspectivas de la sostenibilidad del proyecto, en trminos de la
disponibilidad de los factores necesarios para la operacin y mantenimiento
adecuado, que posibiliten la entrega oportuna del bien o servicio determinado,
concluyendo con las recomendaciones pertinentes incluida la relacionada a la
necesidad del seguimiento ex post.
2) Seguimiento Ex Post: Cuando en la evaluacin de culminacin se concluye la
necesidad de realizar acciones para asegurar la operacin y el mantenimiento adecuado
de los proyectos, el seguimiento ex post conducir a un proceso de seguimiento para
asegurar la implementacin de las recomendaciones de la evaluacin de culminacin.
En caso de identificarse problemas se recomendar o realizar las acciones necesarias.
3) Evaluacin de Resultados: Es una evaluacin integral de un proyecto donde se
utilizan los cinco criterios; pertinencia, eficiencia, eficacia, impacto y sostenibilidad y
tiene como objetivo principal:

- Retroalimentacin a travs de las lecciones y recomendaciones para mejorar la

administracin y desempeo del proyecto o programa.

- Transparencia del proceso y los resultados de la realizacin del programa.

4) Estudio de Impacto: Es un estudio centrado en algunos temas que proporcionan

informacin para la mejora de las estrategias para el desarrollo de lo que sera una poltica
pblica como tal. Se aplica a proyectos con especial importancia, en los que se esperan
efectos de sinergia a mediano y largo plazo.