Professional Documents
Culture Documents
Cartilla de
recopilación
Taller
2
Taller sobre “Sistematización de los Procesos de Monitoreo y
Evaluación del Proyecto FAPES”
INTRODUCCIÓN....................................................................................................................3
LA LÓGICA DEL MARCO LÓGICO......................................................................................5
ESTRUCTURA REPRESENTATIVA DE UN MARCO LÓGICO ....................................................................6
LISTA DE VERIFICACION PARA LA REVISION DEL MARCO LOGICO.......................10
EL SISTEMA DE MONITOREO Y EVALUACIÓN...............................................................11
PREPARACION DEL PLAN DE TRABAJO DE M&E......................................................13
EL PLAN DE MONITOREO Y EVALUACIÓN.....................................................................15
MONITOREO...................................................................................................................16
Seleccionar los indicadores para medir los resultados o productos del proyecto....................................................16
Diseñar el Plan de Monitoreo....................................................................................................................................16
Elaboración de instrumentos de Monitoreo...............................................................................................................19
EVALUACION..................................................................................................................27
1. Análisis del diseño del proyecto.............................................................................................................................28
2. Diseño del Plan de Evaluación..............................................................................................................................29
3. Elaborando los instrumentos de evaluación..........................................................................................................35
4. Ejecución del proceso de evaluación.....................................................................................................................39
A) ESTUDIO DE LÍNEA BASE ...........................................................................................................................................39
B) ESTUDIO DE EVALUACIÓN.........................................................................................................................................40
ANEXOS………………………………………………………………………………………… 37
1) Coneptualización Indicadores
2) Orientaciones para la Evaluación de Proyectos de Integración Productiva
Introducción
La Fundación CODESPA, es una organización no lucrativa, sin fines políticos o religiosos,
reconocida y registrada legalmente con personería jurídica en Honduras. CODESPA es de origen
español, tiene nueve años de experiencia en Honduras en la administración de fondos de
cooperación internacional, ha cofinanciado más de 50 proyectos enfocados a: formación
profesional; servicios de desarrollo empresarial; micro finanzas; comercialización; medio ambiente,
turismo de desarrollo y desarrollo local.
La Fundación CODESPA, ha tenido en los últimos años como objetivo institucional generar
alianzas estratégicas con organismos multilaterales con el propósito de ampliar y mejorar el
3
Taller sobre “Sistematización de los Procesos de Monitoreo y
Evaluación del Proyecto FAPES”
En septiembre del 2004, el ex Presidente del BID, Sr. Enrique Iglesias, y el Director Ejecutivo de
CODESPA, Sr. Martín Cavanna, firmaron en Cartagena de Indias un convenio con el propósito de
ejecutar un Programa piloto con fondos provenientes, tanto de CODESPA, como del BID
denominado: “Facilidad de Financiamiento de Iniciativas Productivas en Honduras a través del
Programa de Empresariado Social”- FAPES, cuyo objetivo principal es “Contribuir al mejoramiento
en la calidad de vida de los beneficiarios, generando nuevas oportunidades de empleo,
fortaleciendo el empleo existente y mejorando el ingreso y el bienestar de los grupos pobres y
marginados en Honduras”.
Con el objetivo de sistematizar y generar un proceso de aprendizaje que permita al personal de las
Organizaciones Ejecutoras (OEs) del FAPES desarrollar sus capacidades y tener una visión
completa de la cadena lógica que se debe adoptar en todo el diseño e
implementación de un sistema de información, monitoreo y evaluación , la Fundación
CODESPA contrato un consultor independiente para facilitar el Taller “Sistematización de los
Procesos de Monitoreo y Evaluación del Proyecto FAPES”, como parte del proceso de
fortalecimiento institucional.
Los lineamientos comienzan en el capitulo 1, tratando la importancia del manejo de los conceptos
fundamentales de monitoreo y evaluación, de la lógica del marco lógico como herramientas útil
para organizar y resumir la información del proyecto, considerando la relación causa-efecto que
existe entre las condiciones específicas en una comunidad y los problemas resultantes.
4
Taller sobre “Sistematización de los Procesos de Monitoreo y
Evaluación del Proyecto FAPES”
Luego en el capitulo 2, hace una introducción referente al Sistema de Monitoreo y Evaluación como
mecanismo de planificación y administración de proyectos y las características principales de los
sistemas. En este capitulo se adjunta la matriz sugerida para la preparación del Plan de Trabajo
para realizar los momentos de evaluación & monitoreo del proyecto.
5
Taller sobre “Sistematización de los Procesos de Monitoreo y
Evaluación del Proyecto FAPES”
El proceso de crear un marco lógico comienza con el postulado de que, si conocemos cuál es el
problema o la situación que queremos cambiar, entonces podemos prever una solución o un
futuro mejor (por ejemplo, los objetivos o metas de un proyecto).
Gráfico tomado del Módulo de Gerencia Social dictado por el Soc. Percy Bobadilla.
Luego, el Enfoque del Marco Lógico (EML) sostiene que, si conocemos nuestros objetivos
(Propósito), podemos entonces identificar un conjunto de productos (Resultados) del proyecto
que lograrán los objetivos. Continuando con este razonamiento, podemos entonces identificar las
actividades (Acciones/Procesos) y los insumos (Recursos) de los proyectos que son esenciales
para generar los productos necesarios, con miras a lograr los objetivos. El Fin es una respuesta al
problema más importante del sector o del territorio.
El formato de un marco lógico completo suele tener normalmente una cuadrícula de cuatro
columnas que indican las conexiones entre las intenciones del proyecto ("metas", "objetivos"), las
evaluaciones de resultados ("indicadores"), las formas de comprobar el progreso ("medios de
verificación") y los sucesos o situaciones previstos fuera del control del proyecto que pueden tener
una influencia sobre el mismo ("supuestos").
Medios de
Jerarquía de Indicadores objetivamente
verificación Supuestos
objetivos verificables (OVI)
(MV)
Fin/Objetivo final/ Objetivo
general/ Meta de impacto
6
Taller sobre “Sistematización de los Procesos de Monitoreo y
Evaluación del Proyecto FAPES”
Propósito/Meta intermedia/
Objetivos específicos/ Meta de
efecto
Componente/Productos /
Resultados esperados
Actividades / Procesos
7
Taller sobre “Sistematización de los Procesos de Monitoreo y
Evaluación del Proyecto FAPES”
Los beneficios indirectos son los impactos a los que el proyecto ha atribuido, pero que no son
resultado exclusivo del mismo. Pueden existir otras influencias para el logro de los impactos, tales
como otros proyectos u otras intervenciones.
A pesar de su diversidad sin embargo, todos los diseños de proyecto tienen la misma estructura y
están basados en una jerarquía similar a la lógica causa-efecto.
Grupos objetivo lo
Grupos objetivo lo
experimentan; puede El personal del El personal El personal
Causado por experimentan; proviene de la
proceder de un grupo proyecto lo del proyecto la del proyecto
quién respuesta del grupo objetivo a
objetivo o de instituciones produce realiza. lo utiliza.
las intervenciones del proyecto
locales.
8
Taller sobre “Sistematización de los Procesos de Monitoreo y
Evaluación del Proyecto FAPES”
La jerarquía del proyecto corresponde a la relación causa-efecto que existe entre las
condiciones específicas en una comunidad y los problemas resultantes.
HIPOTESIS
ema
Probl
ema
Hipótesis: Los resultados conducirán al logro de los objetivos del
Programa/Proyecto.
Fines
Medios
Objetivo Objetivos
General Específicos
(Impacto) (Efectos) Resultados Actividades Insumo
s
EVALUACION MONITOREO
9
Taller sobre “Sistematización de los Procesos de Monitoreo y
Evaluación del Proyecto FAPES”
2. Indicadores de Propósito
Los indicadores a nivel de propósito incluyen los datos de base para medir los cambios.
Los indicadores de los componentes incluyen datos de base cuando es apropiado.
5. Supuestos y Riesgos
Los supuestos están colocados en el nivel apropiado (a nivel de Actividades para producir
los componentes: a nivel de componentes para lograr el propósito).
Los supuestos reflejan el resultado del análisis de Involucrados (en el documento de
proyecto).
Los supuestos son los suficientemente precisos para permitir hacer el seguimiento de los
mismos (e identificar acciones apropiadas para aumentar la probabilidad de ocurrencia).
Las fuentes de información (medios de verificación) están bien especificadas para cada
indicador.
El banco y la agencia ejecutora han definido un sistema de recolección de información para
los indicadores ( en el documento de proyecto)
10
Taller sobre “Sistematización de los Procesos de Monitoreo y
Evaluación del Proyecto FAPES”
El sistema de Monitoreo y Evaluación reviste una gran importancia por su capacidad para ayudar al
personal del proyecto, a la población beneficiaria y a otras partes interesadas a desarrollar el
proyecto a lo largo de su plazo de duración. Al igual que en el caso del marco lógico, la estructura
del sistema de Monitoreo y Evaluación se caracteriza también por varios niveles. Cada nivel está
estrechamente relacionado con la jerarquía de objetivos del marco lógico. El cuadro siguiente
indica cómo cada nivel de objetivos está relacionado con evaluaciones específicas de Monitoreo y
Evaluación.
11
Taller sobre “Sistematización de los Procesos de Monitoreo y
Evaluación del Proyecto FAPES”
• Monitoreo:
Monitoreo: Permite ver el avance de los acontecimientos en que medida se
acerca a las metas planteadas (mejores prácticas, rendimientos, tendencias y patrones).
Características:
Beneficiarios
Efectos Semestral Muestra de
Efectos directos
Intermedios Anual Beneficiarios
Información
Población Muestra de
Evaluación Impacto Final basal cada
objetivo Población
dos años
12
PREPARACION DEL PLAN DE TRABAJO DE M&E
Matriz sugerida para la preparación del Plan de Trabajo para realizar los momentos de evaluación & monitoreo del
proyecto.
Por que Para quien Cuando Quien es Quienes Por cuales Quien Quien Como se
(Propósito) (informe a) (Calendario) responsable participan medios recoge analiza los diseminan
(Recolección los datos
de datos) datos
Línea de
Base
Sistema de
Informació
n del
Proyecto
(SIP)
Evaluación
de Medio
Termino
Evaluación
de
Impactos
Taller sobre “Sistematización de los Procesos de Monitoreo y
Evaluación del Proyecto FAPES”
14
El Plan de Monitoreo y Evaluación
El mejor momento para la creación de un Plan de Monitoreo y Evaluación completo para un
proyecto es después del financiamiento, pero antes del estudio de línea base inicial y el comienzo
de las intervenciones. Con frecuencia, sin embargo, la realidad es que los proyectos empiezan a
prestar atención a la creación de su Plan de Monitoreo y Evaluación cuando se dan cuenta de que,
aunque la ejecución está teniendo lugar, la información no está circulando.
Los documentos del proyecto (y sus "marcos lógicos") constituyen un instrumento importante para
la administración del proyecto, pero los mismos no contienen normalmente suficientes detalles en
lo que se refiere a los sistemas de información. Los marcos lógicos sí contienen una lista de
elementos esenciales para planear la gestión de la información, o sea, la información deseada
(como "indicadores objetivamente verificables") y las fuentes de información (como "medios de
verificación"). Estas dos categorías, sin embargo, no incluyen ninguna respuesta a las siguientes
preguntas fundamentales:
El plan M&E incluye información específica sobre los datos necesarios para medir los indicadores,
las logísticas de recolección de datos y las guías para análisis de los datos e interpretación y
diseminación de resultados.
ACCIONES:
14
MONITOREO
El monitoreo es la recogida y gestión de datos, que están relacionados con los valores fijados
como objetivo definidos de antemano para los indicadores (OVI) en el marco lógico. La
información del Monitoreo se recoge sobre una base continua durante la fase de ejecución
del proyecto (con relación a un calendario previsto) facilitando el ajuste de las actividades.
Los pasos básicos para iniciar las actividades de monitoreo de un proyecto son:
Seleccionar los indicadores para medir los resultados o productos del proyecto.
PLAN DE MONITOREO
16
Taller sobre “Sistematización de los Procesos de Monitoreo y
Evaluación del Proyecto FAPES”
Fuente de Frecuencia
Resultados / Análisis de
Criterios Indicadores Criterio datos y de Diseminación y
Productos datos
(2) (3) (4) métodos recolección Utilización (8)
(1) (7)
(5) (6)
CRITERIOS (2) - Es el proceso que el equipo de diseño sigue para seleccionar y definir ciertos
criterios o aspectos relacionados como la mejor válvula para medir resultados propuestos en el
producto. Estos criterios ayudan al momento de definir los indicadores de resultados.
17
Taller sobre “Sistematización de los Procesos de Monitoreo y
Evaluación del Proyecto FAPES”
El personal técnico del proyecto al reportar que la planta de producción y procesamiento esta
construida deberá cumplir con los siguientes criterios:
Terreno comprado.
Terreno cercado.
Pozo con bomba para la extracción de agua funcionando
Galpón de crianza de cerdos construido.
Planta de procesamiento, bodegas y oficina construidas.
Equipo de procesamiento comprado.
Personal contratado.
FUENTE DE DATOS Y MÉTODO (5) – Se describe dónde y cómo los datos son recolectados.
ANÁLISIS DE DATOS (7) – Los datos no tienen valor a menos que sean adecuadamente
analizados. Por otro lado, el análisis que resulta en información importante y precisa depende de la
recolección de los adecuados grupos de datos. Durante la planificación es importante determinar
de antemano cómo serán los datos analizados para producir los resultados deseados.
DISEMINACIÓN Y UTILIZACIÓN (8) – Los datos son recolectados con un propósito en específico:
aprender de los resultados de las actividades del proyecto. El aprendizaje es necesario por varias
razones, incluyendo:
18
Taller sobre “Sistematización de los Procesos de Monitoreo y
Evaluación del Proyecto FAPES”
Una vez realizado el plan de monitoreo, en donde se determinan los datos necesarios
para la construcción de indicadores de productos/resultados seleccionados, el equipo
elabora los instrumentos pertinentes para el seguimiento / monitoreo de los mismos.
Una escala o dimensión que se usa para medir progreso, por ejemplo:
Indicador
Peso promedio por penca de sábila.
Áreas de producción de sábila bajo riego.
Un modificador que identifica la dirección esperada del cambio en el indicador,
Propósito por ejemplo:
general/dirección
de progreso
Aumento en peso promedio por penca de sábila
Incremento en el área de sábila cultivada bajo riego.
El punto en la escala de medición que describe el estado al comienzo de la
actividad o del proyecto / programa, por ejemplo:
Línea de Base
Una libra promedio por penca de sábila.
1 manzana de sábila cultivada bajo riego.
El punto específico en la escala de medición que se quiere alcanzar. Las metas
deben dar una idea de la magnitud del cambio esperado, por ejemplo:
Meta Peso promedio por penca de sábila incrementado en un 100% (de
1 a 2 lbs.)
El área cultivada de sábila bajo riego aumenta de 1 mz. a 4.8 mz.
19
Taller sobre “Sistematización de los Procesos de Monitoreo y
Evaluación del Proyecto FAPES”
Un paso previo para iniciar la elaboración de los instrumentos de monitoreo, es que los gerentes de
los proyectos tengan los conocimientos y habilidades para la preparación de un Plan Detallado de
Implementación (Plan Operativo Global, Plan de Implementación del Proyecto) para la vida del
proyecto, así como su desagregación en el Plan de Trabajo Anual (Plan Operativo Anual) y
además, su vinculación con Planes Operativos Individuales que faciliten los procesos de
evaluación de desempeño del personal técnico del proyecto.
En este momento se retoman los indicadores seleccionados para medir los resultados o productos
del proyecto y los criterios de los indicadores para medir las actividades que se consideran claves
para el logro de los productos comprometidos.
Recuérdese que aunque los proyectos estén bien diseñados y conceptuados, es muy común que
al momento de ejecutarlos, se atasquen en la parte operativa; cayéndose en el riesgo de
solamente monitorear y evaluar solo actividades. Los monitoreos que se realizan (principalmente el
de impacto) ayudaran a mantener la atención en los efectos e impactos deseados, como
consecuencia de ello, el Plan Detallado de Implementación del proyecto deberá tornarse mas
flexible enfocándose hacia los efectos deseados y permitir operar al proyecto con mayor
flexibilidad; en este sentido, la planificación y ejecución se enfocará más en los procesos y sus
efectos, más que en las actividades.
Matriz sugerida para la preparación del Plan Detallado de Implementación para la vida del proyecto
y programa.
a b c1 c2 c3 d e
RESULTADOS / INDICADORES DE TOTAL VIDA ACTIVIDADES /
AÑ0 1 AÑ0 2 AÑ0 3
PRODUCTOS CUMPLIMIENTO PROYECTO PROCESOS
RESULTADOS / PRODUCTOS (a) – En esta columna se anotan los productos detallados en el plan de
monitoreo (que a su vez corresponden a los definidos en el marco lógico).
20
Taller sobre “Sistematización de los Procesos de Monitoreo y
Evaluación del Proyecto FAPES”
INDICADORES DE CUMPLIMIENTO (b) – En esta columna se detallan cada uno de los indicadores
que medirán el cumplimiento de los resultados. Cada indicador se ubica en una línea individual para dar
el detalle de sus metas anuales (de acuerdo a la vida del proyecto).
AÑO (C1…CX) – En estas columnas de detalla la correspondiente meta del indicador. Aquí es
necesario que los diseñadores del proyecto estimen la magnitud del cambio esperado para cada
indicador y el promedio de cambio con el tiempo. Benchmark es el término que usamos para los valores
esperados o niveles de logro en determinados períodos de tiempo.
TOTAL VIDA DE PROYECTO (d) – En esta columna se anota el total del indicador para vida del
proyecto que ha sido detallada en las columnas anteriores.
ACTIVIDADES / PROCESOS (e) – En esta columna se listan o describen las actividades (en forma
agregada para detallarlas en el plan de trabajo anual) necesarias a realizar para alcanzar los
resultados (PRODUCTOS) esperados.
Ejemplo:
Objetivo General: Al finalizar el proyecto, las socias de los grupos bases y de COMUCAP han
incrementado sus ingresos provenientes de la producción, transformación y comercialización del cultivo
de sábila.
Objetivo Específico #1: A finales del 2006, 60 socias en áreas colectivas en los grupos de base han
aumentado la producción de sábila y sus ventas en un 30 %.
TOTAL
RESULTADOS / INDICADORES DE Año Año VIDA
ACTIVIDADES / PROCESOS
PRODUCTOS CUMPLIMIENTO 1 2 PROYECT
O
R.1. Se han IR.1.1 Sistemas de riego 6 6 A.1.1.1 Cotización de
establecido sistemas instalados y funcionando sistemas de riego
de riego en las A.1.1.2 Compra de sistemas
parcelas colectivas
IR.1.2 Mz. cultivadas de 4.8 4.8 de riego.
de sábila orgánica de
sábila bajo riego A.1.1.3. Instalación de
COMUCAP y en los
Grupos de Base. sistemas de riego en las
parcelas de sábila.
A.1.1.4. Compra de
materiales para construcción
de tanque y retenida de
agua.
A.1.1.5. construcción de
infraestructura para
almacenamiento de agua y
retenida.
A.1.1.6 Asesoria en Plan de
manejo del cultivo de sábila a
los grupos beneficiados.
A.1.1.7 Capacitación en el
manejo de los sistemas de
riego.
A.1.1.8 Contratación de
coordinador para ejecución
del proyecto
21
Taller sobre “Sistematización de los Procesos de Monitoreo y
Evaluación del Proyecto FAPES”
El plan de trabajo anual o plan operativo anual detalla los productos comprometidos en un periodo de
tiempo en particular (de acuerdo al año de vida del proyecto). En este plan de trabajo se listan los
productos correspondientes al año seleccionado, se detalla las actividades listando las acciones
particulares de las mismas de acuerdo al producto (en algunos casos, de preferirse, pueden vincularse
a los indicadores de cumplimiento), los Benchmark de cada actividad por trimestre y los responsables
de la ejecución de las mismas.
Matriz sugerida para la preparación del Plan de Trabajo Anual o Plan Operativo Anual.
METAS
UNID TRIMESTRES
INDICADOR VIDA
AF 1 AD TOTAL
RESULTADO DE PROYECTO ACTIVIDA
DE
/ PRODUCTO CUMPLIMIEN DES
MED I II III IV
TO P A % P A % IDA
P A % P A % P A % P A % P A %
RESULTADO / PRODUCTO – En esta columna se listan los productos correspondientes al año que se
planifica.
METAS – Esta columna contiene la información correspondiente a la VIDA DEL PROYECTO para
monitorear su avance anual en relación a la meta establecida para la vida del proyecto, esto permite no
perder la visión global de lo planificado. Así mismo, establece la columna para anotar la meta del
indicador a lograr durante el año que se planifica. P: Plan A: Actual %: Porcentaje de ejecución.
ACTIVIDADES – Aquí se listan las actividades o subactividades (en caso de haberse definido
actividades muy agregadas en el Plan Detallado de Implementación para la vida del proyecto). El
enunciado de las actividades debe hacerse de manera de cuantificar la acción especifica en el trimestre
correspondiente (es decir, deben ser medibles).
22
Taller sobre “Sistematización de los Procesos de Monitoreo y
Evaluación del Proyecto FAPES”
TRIMESTRE – En estas columnas por trimestre, se especifica cuando y la cantidad que se lograra en
el cumplimiento de la actividad. P: Plan A: Actual %: Porcentaje de ejecución.
TOTAL – Contabiliza el total programado en el año, lo total ejecutado (acumulable de acuerdo a los
trimestres) y el porcentaje de ejecución.
RESPONSABLE – Aquí se indica el componente o el nivel operativo del proyecto que será responsable
que la actividad se realice de acuerdo a los criterios y calidad requerida por el proyecto. En algunos
proyectos facilitadores, se menciona la institución ejecutora de la acción o actividad.
Esto último facilitara la preparación de planes de trabajo individuales para efectos de evaluaciones
de desempeño anual que realice la institución.
23
Ejemplo Plan de Trabajo Anual:
Objetivo General: Al finalizar el proyecto, las socias de los grupos bases y de COMUCAP han incrementado sus ingresos provenientes
de la producción, transformación y comercialización del cultivo de sábila.
Objetivo Específico #1: A finales del 2006, 60 socias en áreas colectivas en los grupos de base han aumentado la producción de sábila y
sus ventas en un 30 %.
METAS
VIDA Año 1 TRIMESTRES
RESULTADO / INDICADOR DE UNIDAD DE
PROYECTO ACTIVIDADES RESPONSABLE
PRODUCTO CUMPLIMIENTO MEDIDA
P A % P A % 1 2 3 4
25
Ejemplo sencillo de la elaboración de un instrumento para el monitoreo de indicadores anuales de
desempeño:
Una escala o dimensión que se usa para medir progreso, por ejemplo:
Indicador
Incremento en la producción de sábila.
Propósito Un modificador que identifica la dirección esperada del cambio en el indicador,
general/dirección por ejemplo:
de progreso
Incremento en la producción anual por planta.
El punto en la escala de medición que describe el estado al comienzo de la
actividad o del proyecto / programa, por ejemplo:
Línea de Base
320 qq/Mz sábila (época de invierno).
El punto específico en la escala de medición que se quiere alcanzar. Las metas
deben dar una idea de la magnitud del cambio esperado, por ejemplo:
Meta
900 qq/mz de sábila (bajo riego)
Plan de monitoreo
Información
Indicador Criterio Construcción Fuente Frecuencia
Necesaria
IR.2.1 Incremento Los = quintales Área total Sistema de Por ciclo de
de la producción de rendimientos producidos / área cultivada (mz). información cosecha.
sábila se total cosechada Área total del proyecto
incrementan cosechada.
en relación a = quintales Total de plantas
los de línea de producidos / total de sábila en
base. de plantas producción.
cosechadas Total de plantas
de sábila
cosechadas
Taller sobre “Sistematización de los Procesos de Monitoreo y
Evaluación del Proyecto FAPES”
Periodo: _______________________________________________
Responsable: ___________________________________________
Región: ________________________________________________
EVALUACION
Por evaluación se entiende la valoración, el análisis y la utilización periódica de los datos sobre un
proyecto. Los principales puntos de evaluación en el ciclo de un proyecto son:
a. Estudio de referencia
Es normalmente una evaluación externa (y, por tanto, "objetiva") de un proyecto que se concentra
en sus resultados, la capacidad organizacional y las correcciones a medio término para mejorar la
ejecución en el resto del período del proyecto.
27
Taller sobre “Sistematización de los Procesos de Monitoreo y
Evaluación del Proyecto FAPES”
c. Evaluación Final
Es una evaluación externa o interna de los efectos y los impactos producidos por el proyecto, así
como una evaluación del costo-eficacia o costo-beneficio. Normalmente se realiza unos meses
antes de la terminación del proyecto.
Dos métodos analíticos principales que se utilizan en las evaluaciones finales son: a)
comparar antes y después (de volver a recoger indicadores seleccionados originalmente
documentados en el estudio de línea base y comparar los valores en la puesta en
marcha y al final del proyecto), y b) comparar con y sin (evaluar indicadores
seleccionados entre grupos de personas que han estado y no han estado expuestos a
las intervenciones del proyecto).
Las fases básicas que se sugieren para iniciar las actividades de evaluación de un
proyecto son:
En esta fase se revisa las metas u objetivos, los resultados, las actividades y los insumos
que serán monitoreados y evaluados de acuerdo al marco lógico y el plan de monitoreo &
evaluación; y es en este momento cuando se pueden replantear o ampliar las ideas originales.
Para ello, los equipos técnicos del proyecto, en consulta constante con el cooperante, amplían,
explicitan o concretizan indicadores formulados de manera ambigua en el diseño o incorporan
indicadores claves no considerados antes en los instrumentos de planificación.
En esta fase el Marco Lógico (ML) es validado en sus detalles resultando comprensible para
cualquier persona que lo consulte (los criterios son los mismos para todas las personas que lo
consultan o sea, que el marco lógico por si solo es comprensible, no necesita que lo explique el
equipo que lo diseño). Esta herramienta es clave para orientar todas las actividades de monitoreo y
evaluación; sí el ML es comprensible y suficiente se continúa el proceso. Cuando un proyecto
desde su formulación considera los aspectos mencionados, le ahorra tiempo al equipo responsable
del monitoreo y evaluación.
28
Taller sobre “Sistematización de los Procesos de Monitoreo y
Evaluación del Proyecto FAPES”
Para elaborar el plan de evaluación el equipo retoma los indicadores, también llamados
indicadores objetivamente verificables (OVI), del Fin / objetivo final/ objetivo general y de los
objetivos específicos / objetivos intermedios y decide sobre los datos necesarios para medirlos,
la fuente y el método de los datos, la frecuencia de recolección y el responsable de cada
dato.
Datos
Fuente de
Criterios Indicadores Criterio Frecuencia Necesarios /Tipo
Jerarquía Información
(1) (2) (3) (5) de información
(4)
(6)
Objetivo final/
Objetivo general/
Fin
Meta intermedia/
Objetivos
específicos/
Propósito
CRITERIOS (1) - Es el proceso que el equipo de diseño sigue para seleccionar y describir mejor
los términos usados en la declaración de las metas u objetivos. Los criterios facilitan la selección y
evaluación de indicadores al describir los detalles incluidos en la explicación de las metas u
objetivos. El hacer uso de criterios o mejor entendido como definiciones operacionales permite al
equipo de diseño simplificar y acortar las frases de la meta. Los términos técnicos no reconocidos
universalmente también requieren de definiciones operacionales. Recuerde, que un término puede
ser definido de diferentes maneras en varios proyectos dependiendo del contexto.
INDICADORES (2) - Son simplemente las variables, medidas o criterios usados para verificar si un
cambio propuesto ha ocurrido y por lo tanto, si una meta u objetivo ha sido alcanzada. Los
indicadores por sí solos no representan valores meta; éste trabajo se logra en la definición de la
meta u objetivo. Son también enumerados para ayudar a documentar a que metas u objetivos
corresponden. La información ingresada en esta columna debe ser trasladada (uno a uno) de los
indicadores objetivamente verificables (OVI) correspondientes a cada meta u objetivo del marco
lógico.
CRITERIOS (3) - Es el proceso que el equipo de diseño sigue para seleccionar y definir las
variables apropiadas en la construcción e interpretación del indicador1. Generalmente las metas u
objetivos tienen más de un indicador y estos corresponden a:
1
Ver tipos de indicadores según nivel de jerarquía anexo pagina
29
Taller sobre “Sistematización de los Procesos de Monitoreo y
Evaluación del Proyecto FAPES”
DATOS NECESARIOS (6) - Un indicador (de impacto o efecto) seleccionado debe ser una variable
específica y medible. Sin embargo, para la construcción e interpretación del indicador se requiere
más de una variable.
Los siguientes pasos básicos deben seguirse en el desarrollo de la hipótesis del proyecto.
ENTONCES
ENTONCES
Causas Directas Cambio en la Efecto Efecto
Baja Condición Las socias aumentan % de familias de
producción del Aumenta la producción la producción de la productoras de
cultivo de sábila y productividad del sábila por el uso de sábila incrementan
cultivo de sábila. las prácticas. el volumen y
30
Taller sobre “Sistematización de los Procesos de Monitoreo y
Evaluación del Proyecto FAPES”
Resultados del
Jerarquía del
Análisis del Hipótesis Indicadores
Proyecto
Problema
Se Se da valor agregado a Las socias obtienen productividad en un
vende la sábila la producción (materia mayor ingreso por el 30%.
sin darle valor prima) y se mejora su procesamiento de la % de familias de
agregado comercialización. materia prima y su productoras de
comercialización. sábila dando valor
agregado a la
producción.
ENTONCES
ENTONCES
Causas Cambio en la Efecto Efecto
Indirectas Condición Las socias implementan % de socias que
Severa erosión del La fertilidad del suelo practicas sostenibles y aumentan las áreas
suelo y sequía mejora y se establecen aumentan las áreas productivas de sábila
sistemas de riego para la productivas de sábila orgánica.
producción de sábila orgánica y cultivan bajo
riego
% de socias con áreas
productivas de sábila
bajo riego.
ENTONCES
Sí
Causas de Intervención Productos Productos
Comportamiento Se implementa un plan de
manejo de las áreas
Socias capacitadas en el # socias capacitadas
Socias usan manejo de producción de en la producción de
productivas de sábila y se
técnicas impropias sábila orgánica. sábila orgánica.
apoya en la instalación de
de cultivo sistemas de riego y se Socias manejan en forma # Mz de sábila bajo
capacita a las socias en el colectiva la producción riego manejado en
manejo y cuidado de los de sábila bajo riego. forma colectiva por las
sistemas de riego. socias.
Sí
Sí
Causas Base Condiciones previas Actividades Actividades
Socias no tienen Las socias titulan las tierras Capacitando,
colectivas y los grupos de # de talleres de
conocimiento de Transfiriendo, capacitación para
bases tienen acceso al alquiler
métodos y técnicas Estableciendo, etc. socias
de tierra a precios accesibles
mejoradas y por el tiempo apropiado
para el retorno de las
# de sistemas de
inversiones. riego establecidos.
Insumos Insumos
Tiempo del personal, Monto de las
dinero, materiales, etc. inversiones
b) Revisando la medición de los indicadores:
Una escala o dimensión que se usa para medir progreso, por ejemplo:
Indicador
de Impacto Incremento en el % en los ingresos familiares
provenientes de actividades de producción del cultivo de
sábila
Un modificador que identifica la dirección esperada del cambio en el indicador,
Propósito por ejemplo:
general/dirección
de progreso
Incremento en la proporción de ingresos percibidos por las
actividades de producción/transformación de la sábila.
31
Taller sobre “Sistematización de los Procesos de Monitoreo y
Evaluación del Proyecto FAPES”
Ingreso familiar
Fuente de ingreso Ingreso estimado anual Porcentaje
Producción sábila
Producción otros cultivos agrícolas
Producción pecuaria
Microempresa
Trabajo para otros
Remesas
Pulpería
Otros
Total
Una escala o dimensión que se usa para medir progreso, por ejemplo:
Indicadores
Indicadores 1. % de familias de productoras de sábila incrementan el volumen y
de Efecto productividad en un 30%.
2. % de familias de productoras de sábila dando valor agregado a la
producción.
3. % de socias con áreas productivas de sábila bajo riego.
Propósito Un modificador que identifica la dirección esperada del cambio en el indicador,
general/dirección por ejemplo:
de progreso
32
Taller sobre “Sistematización de los Procesos de Monitoreo y
Evaluación del Proyecto FAPES”
33
Fuente de Datos Necesarios /Tipo de
Frecuencia
Jerarquía Criterios (1) Indicadores (2) Criterio (3) Información información
(5)
(4) (6)
Objetivo General: Al Los ingresos Incremento Los ingresos Familias de Línea de Por fuente de ingreso familiar:
finalizar el proyecto, las familiares son en el % en los provenientes de la socias base. Producción agrícola -
socias (254) de los aumentados por la ingresos fuente producción de productoras de Evaluación sábila.
grupos bases y de producción y sábila son sábila. final Producción pecuaria.
familiares
COMUCAP han transformación de incrementados en Microempresa
incrementado sus la sábila en provenientes relación a las otras
ingresos provenientes relación a las otras de actividades fuentes de ingresos Trabajo para otros
de la producción, fuentes de ingreso de producción familiares. Remesas
transformación y de la familia. del cultivo de Pulpería
comercialización del sábila Otros (especifique).
cultivo de sábila.
Estimar el ingreso obtenido
en el año.
Objetivo Específico #1: Aumento de % de familias de Los volúmenes de Familias de Línea de Cultivo de sábila:
A finales del 2006, 60 rendimientos por productoras de producción por área y socias base. Área cultivada (mz)
socias en áreas área cultivada. sábila planta se productoras de Evaluación Área cosechada (mz)
colectivas en los grupos incrementan el incrementan. sábila. final Cantidad de plantas por área
de base han aumentado volumen y cultivada.
la producción de sábila y productividad en Cantidad de plantas por área
sus ventas en un 30 %. un 30%. cosechada.
Cantidad producida (libras)
Cantidad de producción
vendida.
Ingreso obtenido por la venta
Aumentar ingresos % de familias de Transformación de la Familias de Línea de Produce jugo de sábila
por la productoras de sábila en un jugo socias base. (si/no).
transformación de sábila dando valor producido bajo las productoras de Evaluación Cantidad de sábila procesada
la sábila. agregado a la estrictas normas de sábila. final (libras)
producción. higiene. Cantidad de jugo producido.
Grupo Costo del jugo producido
Asociativos / Ingreso obtenido por la venta
Empresa del jugo de sábila.
3. Elaborando los instrumentos de evaluación.
Una vez realizados los planes, en donde se determinan los datos necesarios para la construcción
de indicadores en los diferentes niveles de la jerarquía, el equipo elabora los instrumentos.
En esta fase se definen las técnicas más adecuadas de medición de indicadores de las metas
u objetivos, de acuerdo a las características o naturaleza del indicador; por ejemplo: si será a
través de encuesta a hogares, entrevista grupal, registros de organizaciones comunales u otras.
Este paso es clave porque permitirá diseñar instrumentos específicos para medir los indicadores
de acuerdo a las técnicas de investigación seleccionadas.
Una vez se ha decidido sobre las técnicas, se inicia la elaboración de instrumentos - para medir los
indicadores - a utilizar en cada técnica. Los instrumentos se elaboran de acuerdo a la técnica de
estudio seleccionada, decidiendo sobre el tipo de información que se requiere para construir o
formular el indicador. Este aspecto es clave ya que dependiendo de la naturaleza del indicador, se
determina la información que se necesita recolectar para poder construirlo o medirlo. Algunos
indicadores sólo requieren un dato, otros más complejos, requieren más de una variable.
Un momento clave en este proceso es la elaboración de la boleta de línea base. Las preguntas,
incluidas en la boleta, deberán aportar los datos suficientes para la prueba de las hipótesis de
impacto planteadas por el proyecto. Esto permitirá contar con datos para comparar con
evaluaciones posteriores.
Para la evaluación se elabora una guía o formulario de encuesta que será aplicada antes de
que un proyecto inicie sus actividades, este estudio es conocido como línea de base. Se
recomienda que la misma guía de línea base sea utilizada en evaluaciones posteriores (medio
termino, final o de impacto).
También, se puede monitorear los efectos (el avance en los cambios ocurridos en la conducta
humana), si un proyecto trabaja en la promoción de éstas, para ello pueden utilizarse partes de la
misma guía utilizada para levantar la línea base.
36
Taller sobre “Sistematización de los Procesos de Monitoreo y
Evaluación del Proyecto FAPES”
No. de Boleta:
I. IDENTIFICACION GEOGRAFICA
(Si la encuestada pertenece a alguna empresa, grupo de productoras o cooperativa, el encuestador(a) deberá obtener el resto
de la información de este recuadro)
Se encuentra activa: 1. Sí 2. No
CARACTERISTICAS DE LA VIVIENDA
PRODUCTORA Y PRODUCCION
15. ¿Cómo es la Tenencia de la tierra: 16. ¿Cuánto es el área total de tierra que tiene?
1. Propia 1. ______Tareas
2. Alquilada 2._______Manzanas
3. Prestada 3._______Hectáreas.
4. Otra
37
Taller sobre “Sistematización de los Procesos de Monitoreo y
Evaluación del Proyecto FAPES”
Cantidad de área del cultivo que tiene bajo riego _______ Mz.
INGRESOS FAMILIARES
38
Taller sobre “Sistematización de los Procesos de Monitoreo y
Evaluación del Proyecto FAPES”
El sistema de evaluación inicia con el levantamiento del estudio de línea base, donde se recoge la
información necesaria para construir los indicadores de impacto y efecto previo a cualquier
intervención del proyecto. A continuación se describen los pasos principales para realizar este
estudio. Estos no tienen que realizarse necesariamente en el orden en que se encuentran ya que
algunos pueden realizarse de manera paralela.
Preparación de la investigación,
Elaboración o revisión de formularios,
Impresión de formularios,
Contratación personal de campo y oficina,
Compra de materiales,
Alquiler de vehículos,
Capacitación de encuestadores,
Preparación de material de campo,
Organización del trabajo de campo,
Validación de campo de los instrumentos y su manejo por el personal
encuestador,
Revisión y codificación de boletas,
Programa de captura y depuración,
Digitación de base de datos,
Depuración de base de datos,
Elaboración de tablas de salida,
Análisis de resultados,
Elaboración del documento.
DEFINICIÓN DE METODOLOGÍA
¿Muestra o censo?
En este paso se decide si para el estudio de línea base se tomará una muestra ó si se hará un
censo, esto último implica que se visitarán todos los hogares que viven en el área de
influencia del proyecto.
39
Taller sobre “Sistematización de los Procesos de Monitoreo y
Evaluación del Proyecto FAPES”
Este paso consiste en decidir y realizar la toma de muestra. Este depende de la información o
insumos disponibles y magnitud del estudio. En los libros de estadística existe suficiente
literatura que describen los distintos métodos para la toma de muestra: aleatorio simple,
estratificado, sistemático, etc...
B) ESTUDIO DE EVALUACIÓN
Dos criterios utilizados para determinar si un indicador de línea base se puede comparar con un
indicador de evaluación son:
• Que las preguntas que intervienen en la construcción sean exactamente las mismas.
• Que algunas condiciones sean las mismas si se considera que por la naturaleza del
indicador pueden afectar o dificultar la comparación.
Estudio diagnóstico
40
Taller sobre “Sistematización de los Procesos de Monitoreo y
Evaluación del Proyecto FAPES”
ANEXOS
41
Taller sobre “Sistematización de los Procesos de Monitoreo y
Evaluación del Proyecto FAPES”
Indicadores.- Son simplemente las variables, medidas o criterios usados para verificar si un
cambio propuesto ha ocurrido y por lo tanto, si una meta ha sido alcanzada. Los indicadores por sí
solos no representan valores meta; éste trabajo se logra en la definición de la meta. De la manera
en que las metas son establecidas en cada nivel de la jerarquía del proyecto, indicadores son
establecidos para cada uno de los cinco niveles.
Los indicadores de insumos, actividades y productos son típicamente más fáciles de medir que el
efecto o los indicadores de impacto, aunque ellos ofrecen solo una medida indirecta del éxito del
proyecto. Nosotros asumimos, basados en la lógica del proyecto, que los logros de ciertos
productos eventualmente resultarán, pero no podemos medir ese cambio directamente, ni tampoco
demostrarlo. Estos indicadores también proveen estándares para comparar el progreso de una
actividad.
42
Taller sobre “Sistematización de los Procesos de Monitoreo y
Evaluación del Proyecto FAPES”
43