Lineamientos de la JICA para la

Evaluacin de Proyectos
~ Mtodos Prcticos para la Evaluacin de Proyectos ~

Septiembre de 2004

Oficina de Evaluacin, Departamento de Planeacin y

Coordinacin
Agencia de Cooperacin Internacional del Japn (JICA)
NDICE

Parte I: Evaluacin de Proyectos de la JICA 1

Captulo 1 Descripcin General de la Evaluacin de Proyectos
de la JICA 2
1. Objetivos de la Evaluacin de Proyectos de la
JICA 4
2. Tipos de Evaluacin de Proyectos de la JICA 6
3. Sistema de Evaluacin de la JICA 12
4. Retroalimentacin de la Evaluacin 15
5. Criterios para una Buena Evaluacin 18
Captulo 2 Marcos de Trabajo y Pasos Bsicos de la Evaluacin
de Proyectos de la JICA 20
1. La Evaluacin como una Herramienta de Gestin 21
2. Marco de Trabajo de la Evaluacin 22
3. Pasos Principales de la Evaluacin de Proyectos
de la JICA 28

Parte II: Mtodos de Evaluacin de la JICA 33

Captulo 1 Confirmacin de los Objetivos de la Evaluacin y
Organizacin de la Informacin sobre el Proyecto
Seleccionado 34
1. Confirmacin del Objetivo de la Evaluacin 35
2. Comprensin del Panorama General del
Proyecto Seleccionado 37
3. Uso del Marco de Trabajo Lgico 39
4. Comprensin de la Situacin de Implementacin:
Informacin sobre los Resultados y el Proceso de
Implementacin 53

Captulo 2 Planeacin de la Evaluacin del Proyecto 55

1. Desarrollo de la Preguntas de la Evaluacin 59
2. Bases del Juicio 69
3. Consideracin los Datos y Fuentes de
Informacin Necesarios 74
4. Mtodos de Recopilacin de Datos 80
5. Formulacin de una Tabla de Evaluacin 90
Captulo 3 Interpretacin de Datos e Informacin de los
Resultados de la Evaluacin 92
1. Interpretacin de Datos 93
2. Recomendaciones y Propuestas de las
Lecciones Aprendidas 96
3. Envo de Informacin sobre los Resultados de la
Evaluacin 98

i
Parte III: Gestin de las Evaluaciones del Proyecto 104
Captulo 1 Problemas en la Gestin de Evaluaciones 105
1. El Papel de los Departamentos Operativos del
Proyecto de la JICA 106
2. Preparacin de la Publicidad de un Contrato 109
3. Preparacin Preliminar de la Evaluacin 116
4. Gestin de las Evaluaciones en el Sitio 118
5. Preparacin del Informe de Evaluacin 122
6. Retroalimentacin de los Resultados de la
Evaluacin 123
Captulo 2 Puntos en la Evaluacin Ex-ante y Ex-post 124
1. Puntos Clave de los Estudios de Evaluacin Ex-
ante 127
2. Puntos del Seguimiento y los Estudios de
Evaluacin Intermedia 146
3. Puntos Principales de los Estudios de
Evaluacin Final 159
4. Puntos Principales de las Evaluaciones Ex-post 195

Preguntas Frecuentes Relativas a la Evaluacin de

Proyectos de la JICA 200

Materiales Anexos 220

1. Qu es el Marco de Trabajo Lgico? 221
2. Qu es la Evaluacin Participativa? 230
3. Qu es la Medicin de Resultados? 232
4. Bibliografa 234

NOTA: Estos lineamientos son traduccin de las partes ms importantes de la versin

original en japons: JICA Jigyo Hyoka Guideline Project Hyoka no Jissenteki Shuho
Oficina de Evaluacin y Seguimiento Post Proyecto, Departamento de Planeacin y
Evaluacin, JICA, Marzo de 2004.

ii
 Parte I
Evaluacin de Proyectos
de la JICA
Captulo 1 Descripcin General de la Evaluacin de Proyectos
de la JICA

Para poder proporcionar una descripcin general de la Evaluacin de Proyectos de la JICA,

este captulo explica sus objetivos, tipos, sistema de implementacin y sistema de
retroalimentacin. Tambin explica los criterios para una buena evaluacin para mejorar
la calidad de la evaluacin. Sugiere la meta y la direccin de la Evaluacin de Proyectos
de la JICA.

Consejos!
- Hay tres objetivos para el uso de la Evaluacin de Proyectos de la JICA: 1)
herramienta para la gestin del ciclo del proyecto; 2) herramienta para acentuar los
efectos de aprendizaje para una gestin de proyecto ms efectiva; 3) asegurar la
rendicin de cuentas.

- Los tipos de evaluacin se clasifican en dos niveles principales: a nivel de programa y

a nivel de proyecto.

- La evaluacin a nivel de proyecto se clasifica en cuatro tipos que se llevan a cabo en

diferentes etapas durante el ciclo del proyecto: evaluacin ex-ante, evaluacin
intermedia, evaluacin final y evaluacin ex-post. La evaluacin a nivel de programa
es una evaluacin completa que se aplica principalmente a la evaluacin ex-post y
tiene varios tipos de acuerdo con su objetivo y evaluador.

- El sistema de evaluacin de la JICA consta de 1) Comit de Estudio de la Evaluacin,

2) Comit Consejero sobre la Evaluacin, 3) Oficina de Evaluacin y Seguimiento
Post-Proyecto y 4) Departamentos y Oficinas en el Extranjero que Participan en la
Implementacin de Proyectos.

- La JICA considera que la funcin de retroalimentacin de la evaluacin es doble: 1)

retroalimentacin para la gestin y operacin de proyectos y 2) retroalimentacin para
el pblico. la JICA se esfuerza para implementar estrategias para una
retroalimentacin efectiva.

- Los criterios para una buena evaluacin son 1) utilidad, 2) justicia y neutralidad, 3)
credibilidad, 4) participacin de los pases socios, etctera. Cuando se adopta la

2
responsabilidad completa de dichos criterios se obtiene una evaluacin ms calificada.

3
1. Objetivos de la Evaluacin de Proyectos de la JICA

Es importante evaluar los resultados que obtiene un proyecto y brindar retroalimentacin

de los resultados de la evaluacin, lecciones y recomendaciones obtenidas para lograr que
la implementacin de la cooperacin para el desarrollo sea ms efectiva y eficiente. Las
difciles situaciones econmicas y fiscales en casa han generado fuertes llamadas en
Japn para una implementacin ms efectiva y eficiente y para asegurar la rendicin de
cuentas de la AOD. El perfeccionamiento de la evaluacin ha llamado la atencin como
una de las medidas de mejoramiento ms importantes. Adems, existen cambios en el
panorama poltico tales como la adopcin de la evaluacin del sector pblico por parte de
los ministerios y la reorganizacin de las agencias en Instituciones Administrativas
Independientes (IAI) que solicitan mejoras en el sistema de evaluacin.
La evaluacin de la JICA es una herramienta para juzgar lo ms objetivamente posible
los puntos importantes y la efectividad de las actividades de cooperacin de la JICA en
cuatro diferentes etapas durante el ciclo del proyecto: ex-ante, intermedia, final y ex-post.
El objetivo principal de la evaluacin es mejorar la efectividad y eficiencia de los proyectos
utilizando los resultados de la evaluacin para mejorar la planeacin e implementacin. La
JICA tambin intenta obtener el apoyo y comprensin del pblico al utilizarlo para asegurar
la rendicin de cuentas. La JICA ha concentrado sus esfuerzos en fortalecer su evaluacin
con los siguientes tres objetivos.

(1) Utilizar la Retroalimentacin de la Evaluacin como un Medio para la Operacin y

Gestin de Proyectos
Utilizndolos en el proceso de toma de decisiones, la JICA se refiere a los resultados de la
evaluacin cuando formula sus estrategias de asistencia y los Programas por Pas de la
JICA. Tambin los utiliza cuando toma decisiones acerca de la ejecucin de un proyecto,
selecciona los proyectos objetivo, revisa los planes y determina la continuacin o
terminacin de un proyecto.

(2) Acentuar los Efectos de Aprendizaje del Personal y las Organizaciones

Interesadas para lograr una Implementacin Ms Efectiva de los Proyectos
La retroalimentacin de la evaluacin acenta qu tan efectivamente pueden aprender y
desarrollar sus habilidades las diversas personas involucradas. El trmino Efectos de
Aprendizaje se refiere a la forma tan exitosa en que el proceso de aprendizaje a partir de
la evaluacin permite al personal de la JICA y a las personas interesadas implementar
mejor sus proyectos y programas. Por ejemplo, el personal de la JICA y los funcionarios

4
de los pases socios emplean las lecciones de los proyectos pasados a modo de
referencias tiles cuando planean e implementan proyectos similares. Adems, el proceso
de evaluacin en s contribuye a ampliar el conocimiento y desarrollar las capacidades de
las personas participantes y, por tanto, sirve como un proceso de aprendizaje.

(3) Dar a conocer ampliamente la informacin para asegurar la rendicin de cuentas

de la JICA
Para ganar el apoyo y comprensin del pblico es indispensable darle a conocer los
resultados de la evaluacin y explicarle que la JICA est cumpliendo con su
responsabilidad en las acciones que emprende. Para poder asegurar la rendicin de
cuentas a los contribuyentes, la JICA necesita asegurar una forma adecuada de dar a
conocer la informacin.

Figura 1-1-1 Uso de los Resultados de la Evaluacin de la JICA

Uso de la Retroalimen-

tacin de la Evaluacin

como Medio para la

Gestin de Proyectos
Asegurar la

Rendicin de
Acentuar el Efecto Cuentas a los

Realizacin de Aprendizaje del Contribuyentes /

de la Personal y las Implementar

Evaluacin Organizaciones Proyectos de

interesadas Manera ms
Efectiva y Eficiente

Asegurar la Responsabilidad
de la JICA

5
2) Tipos de Evaluacin de Proyectos de la JICA

El Informe sobre el Mejoramiento del Sistema de Evaluacin de la AOD del Ministerio del
Exterior, publicado en marzo de 2000, clasific la evaluacin de la AOD en tres niveles: a
nivel de poltica, a nivel de programa y a nivel de proyecto, como se muestra en la Figura
1-1-2. El informe solicita que se mejore la evaluacin a nivel de poltica y a nivel de
programa. El Ministerio del Exterior lleva a cabo evaluaciones a nivel de poltica tales como
el Programa de Asistencia a Pases y las Iniciativas a Sectores Especficos, as como
evaluaciones a nivel de programa por sectores y esquemas. La JICA conduce las
evaluaciones a nivel de programa y de proyecto. La Figura 1-1-3 muestra cmo evaluar el
ciclo de gestin de la JICA. Existen dos ciclos: el ciclo pequeo (ciclo del proyecto) y el
gran ciclo (ciclo del programa).

6
Figura 1-1-2 Sistema de la AOD y la Evaluacin de la JICA
Carta de la AOD
Nivel de Poltica
Polticas bsicas de la JICA
Poltica Intermedia de la Plan a Mediano Plazo
Sistema de Evaluacin

AOD Informes del comit de

estudio
de toda la AOD

Lineamientos Temticos
Programa de Asistencia por Pas de la JICA
Iniciativas por sector especfico

Plan de Desarrollo Nacional de un Pas A

Programa por Pas de la JICA (para Pas A)

Nivel de Programa

Problema de
Desarrollo del Pas A
Problema de Desarrollo
Problema de
Desarrollo

Problema de Desarrollo Programa de Desarrollo del

del Pas A Pas A

Programa de Programa de
Cooperacin de la JICA Cooperacin de la JICA
Proyectos Independien-

Proyectos Independien-
Nivel de Proyecto

Proyectos de la JICA

Proyectos de la JICA

Proyectos de la JICA

Proyectos de la JICA

Otros Donadores
Cooperacin de

Cooperacin de
Otros Donadores
tes del Pas A

tes del Pas A

7
Figura 1-1-3 Tipos de Evaluacin por Etapas durante el Ciclo del Proyecto

Retroalimentacin Plan

Ciclo del Programa Desarrollo o Revisin del

Evaluacin Programa por Pas de la JICA
Ex-post

Programa Temtico Encuesta de solicitudes

Plan
por Pas especficas por asunto

Retroalimentacin
Ciclo del Proyecto
Evaluacin
Evaluacin Ex-ante
Ex-post
Retroalimentacin Retroalimentacin

Implementacin
Post Imple-
mentacin
Evaluacin Evaluacin
final intermedia

<Rendicin de cuentas> El pblico japons

(1) Tipos de Evaluacin por nivel de Proyecto/Programa

La evaluacin a nivel de proyecto cubre proyectos individuales. Se espera que este tipo de
evaluacin, que llevan a cabo tanto los departamentos de la JICA responsables de la
implementacin del proyecto como las oficinas en el extranjero, se refleje en la planeacin
y revisin de proyectos individuales, en la toma de decisiones para decidir si se contina
con los proyectos y en la revisin de los planes de proyectos, en la planeacin y ejecucin
de otros proyectos similares y en el aseguramiento de la rendicin de cuentas de las
operaciones.
La evaluacin a nivel de programa incluye una evaluacin integral aplicada a aquellos
grupos de proyectos que comparten la misma meta general y temas de desarrollo.
Tambin est dirigida a un grupo de proyectos bajo un esquema de cooperacin especfico.
Estas evaluaciones se realizan principalmente a travs de la Oficina de Evaluaciones de la
JICA en las etapas ex-post en forma de evaluacin de un programa por pas o evaluacin
temtica. Los resultados de la evaluacin se utilizan principalmente para mejorar el
Programa por Pases de la JICA y para encontrar y formular nuevos proyectos. La
evaluacin a nivel de programa se clasifica en dos tipos como se indica a continuacin:

8
i) Evaluacin de Programa por Pas
Esta evaluacin integral examina los efectos generales de la cooperacin de la JICA para
el desarrollo de un pas objetivo a lo largo de los proyectos. Despus de aclarar y analizar
los efectos generales de la cooperacin de la JICA y las dificultades que encontr, esta
evaluacin brinda lecciones y recomendaciones para el mejoramiento del Programa por
Pas de la JICA para del pas en cuestin.

ii) Evaluacin Temtica

Esta evaluacin toma en cuenta varios proyectos concentrndose en sectores, problemas
(medio ambiente, pobreza, gnero, construccin de la paz, etc.) especficos o esquemas
de cooperacin (Programa de Voluntarios Japoneses para la Cooperacin con el
Extranjero, etc.). Despus de aclarar y analizar los efectos generales y los factores
inhibidores comunes de los proyectos de la JICA en relacin con el asunto en cuestin,
esta evaluacin brinda lecciones y recomendaciones para la implementacin de proyectos
futuros enfocndose en dichos temas. Tambin considera enfoques y mtodos efectivos
para implementar proyectos enfocndose en un tema especfico.

(2) Tipos de Evaluacin por Etapas durante el Ciclo del Proyecto

La evaluacin a nivel de proyecto se clasifica en cuatro tipos que se llevan a cabo en
diferentes etapas durante el ciclo del proyecto: evaluacin ex-ante, evaluacin intermedia,
evaluacin final y evaluacin ex-post.

i) Evaluacin Ex-ante
La evaluacin ex-ante se realiza sobre un proyecto solicitado por un pas receptor. Primero
incluye un estudio del proyecto para determinar su necesidad as como su conformidad
con el Programa por Pases de la JICA. Se aclaran los detalles del proyecto y sus
resultados esperados. Despus se examina y evala de manera integral la importancia del
proyecto. En la evaluacin ex-ante, los indicadores de evaluacin se establecen y utilizan
para medir el efecto del proyecto en evaluaciones posteriores, desde la evaluacin
intermedia hasta la evaluacin ex-post.

ii) Evaluacin Intermedia

La evaluacin intermedia se realiza en el punto intermedio de los proyectos. Esta
evaluacin tiene por objetivo examinar los logros y proceso del proyecto, concentrndose
en la eficiencia e importancia entre los Cinco Criterios de Evaluacin. Con base en sus

9
resultados, se puede revisar el plan original del proyecto o fortalecer la estructura de la
operacin en caso de ser necesario.

iii) Evaluacin Final

La evaluacin final se realiza a la terminacin de un proyecto, concentrndose en su
eficiencia, efectividad y sustentabilidad. Con base en los resultados de la evaluacin, la
JICA determina si es apropiado terminar el proyecto o si es necesario extender la
cooperacin de seguimiento.

iv) Evaluacin Ex-post

La evaluacin ex-post se lleva a cabo despus que ha transcurrido cierto perodo desde la
terminacin del proyecto objetivo y se realiza haciendo nfasis en el impacto y
sustentabilidad del proyecto. El objetivo de esta evaluacin son las lecciones y
recomendaciones que derivan de la misma para el mejoramiento de los Programas por
Pas de la JICA y para la planeacin e implementacin de proyectos ms efectivos y
eficientes.

(3) Tipos de Evaluacin segn los Evaluadores

La evaluacin de la JICA se puede clasificar por evaluadores como se indica a
continuacin:

i) Evaluacin de terceros (Evaluacin externa)

Para poder mejorar la calidad y objetividad de su evaluacin, la JICA encarga cierta parte
de sus estudios de evaluacin a terceros que no participaron en la planeacin e
implementacin de los proyectos que se van a evaluar. Por ello mismo, la JICA tambin
incluye en la evaluacin a quienes tienen mucha experiencia en las reas objetivo, tales
como universidades, instituciones de investigacin, acadmicos, consultores, etc.

ii) Evaluacin de la JICA (Evaluacin Interna)

Para poder brindar lecciones y recomendaciones que satisfagan las condiciones o
necesidades reales de los pases receptores, la JICA es el conductor principal de esta
evaluacin ya que conoce esos sistemas y dems cuestiones que rodean un proyecto o
problema. La JICA tambin promueve la revisin de los resultados de dichas evaluaciones
internas por parte de terceros (acadmicos, periodistas, ONGs, etc.) que tienen
experiencia en la asistencia para el desarrollo y que estn familiarizados con los
compromisos de la JICA para poder asegurar transparencia y objetividad.

10
iii) Evaluacin Conjunta
Esta evaluacin se realiza en colaboracin con organizaciones en los pases objetivo o con
las agencias de asistencia de otros pases donantes. La evaluacin conjunta con los
pases socios es efectiva para compartir con la JICA el reconocimiento sobre los efectos
de dichos proyectos y sus problemas. Tambin contribuye con los mtodos de evaluacin
del aprendizaje y a mejorar la capacidad de aquellos pases para realizar sus evaluaciones.
Esta evaluacin es efectiva para promover el aprendizaje mutuo de los mtodos de
evaluacin y la coordinacin de la asistencia.

11
3. Sistema de Evaluacin de la JICA

(1) Desarrollo del Sistema de Evaluacin de la JICA

Desde hace mucho, la JICA est comprometida con el mejoramiento de sus sistemas de
evaluacin. En julio de 1981, la JICA estableci el Comit de Estudios de Evaluacin para
manejar los problemas y retos de su evaluacin. El Comit ha estado dirigiendo los
esfuerzos de la JICA para desarrollar nuevos enfoques y tcnicas para una mejor
evaluacin. En abril de 1988, se estableci la Oficina de Evaluacin dentro del
Departamento de Planeacin, como una unidad especializada en evaluaciones. En abril de
1990, la Oficina se reorganiz como la Divisin de Evaluacin y Seguimiento Post
Proyecto y, en octubre de 1996, se puso bajo la supervisin directa del Presidente para
que tuviera mayor independencia de evaluacin.
En enero de 2000, la Oficina de Evaluacin y Seguimiento Post Proyecto se uni de
nuevo con el Departamento de Planeacin y Evaluacin como un paso para mejorar la
retroalimentacin de los resultados de la evaluacin y as mejorar la planeacin de
proyectos. En un intento por asegurar la objetividad y transparencia de la evaluacin, se
estableci en junio de 2002 como cuerpo asesor para el Comit de Estudios de Evaluacin
un Comit Asesor de Evaluacin compuesto por expertos externos. En mayo de 2003 se
dio un paso ms para mejorar el sistema de evaluacin cuando se asign un jefe de
evaluacin a cada uno de los departamentos y oficinas en el extranjero involucradas
directamente en la gestin de proyectos. El objetivo de este paso es controlar y mejorar la
calidad de la evaluacin para que sta pueda satisfacer las necesidades y condiciones al
frente de las operaciones de asistencia. Las responsabilidades principales de los jefes de
evaluacin incluyen el control de calidad de las evaluaciones de los proyectos que realizan
sus departamentos y oficinas y la promocin de la retroalimentacin de las evaluaciones a
todos los interesados.
En abril de 2004, se reorganiz el Departamento de Planeacin y Evaluacin formando
el Departamento de Planeacin y Coordinacin como parte de una reforma realizada por la
Oficina Central despus que la JICA se reorganiz como una Iniciativa Administrativa
Independiente (IAI).

(2) Sistemas de Evaluacin y Papeles Actuales

El sistema de evaluacin actual de la JICA incluye cuatro partes principales: el Comit de
Estudios de Evaluacin, el Comit Consejero sobre la Evaluacin, la Oficina de Evaluacin
y Seguimiento Post Proyecto y los departamentos de implementacin de proyectos

12
(departamentos y oficinas en el extranjero responsables de la operacin de los proyectos).
Los papeles principales de cada una de estas partes son los siguientes:
i) Comit de Estudios de Evaluacin
El comit est encabezado por el vicepresidente de la JICA a cargo de la planeacin y
evaluacin y est compuesto por los directores administrativos de los departamentos
relacionados. El comit examina y discute las polticas de evaluacin bsicas de la JICA,
as como los mtodos para proporcionar la retroalimentacin de la evaluacin. Bajo este
comit, se establece un Grupo de Trabajo de Estudio de la Evaluacin para estudiar,
deliberar e informar sobre las cuestiones y problemas relacionados.

ii) Comit Consejero sobre la Evaluacin

Este comit est compuesto por expertos externos (acadmicos, miembros de ONGs,
periodistas, etc.) bien informados sobre los problemas relativos a la asistencia para el
desarrollo y la evaluacin. El comit asesora al Comit de Estudios de Evaluacin en
materia de sistemas y mtodos de evaluacin. Tambin revisa los resultados de las
evaluaciones internas para mejorar su objetividad.

iii) Oficina de Evaluacin, Departamento de Planeacin y Coordinacin

La Oficina es responsable de la planeacin y coordinacin de las actividades generales de
evaluacin dentro de la JICA, incluyendo los esfuerzos para mejorar los mtodos de
evaluacin y promover la retroalimentacin a partir de la evaluacin. Tambin realiza
evaluaciones ex-post tales como la evaluacin del programa por pas y la evaluacin
temtica. La Oficina apoya y supervisa las actividades de evaluacin de los departamentos
y oficinas en el extranjero.

iv) Departamentos y Oficinas en el Extranjero Involucrados en la Implementacin de

Proyectos
Los departamentos y oficinas en el extranjero involucrados en la implementacin de
proyectos llevan a cabo evaluaciones ex-ante, intermedias, finales y ex-post de los
proyectos individuales que estn bajo su responsabilidad. Estos resultados de las
evaluaciones se utilizan para gestionar los proyectos e identificar sus efectos. Como se
mencion anteriormente, los jefes de evaluacin asignados a estos departamentos y
oficinas dirigen sus esfuerzos hacia el mejoramiento del control de calidad de las
evaluaciones y de la retroalimentacin a partir de la evaluacin.

(3) Esfuerzos para Impulsar Recursos Humanos hacia la Evaluacin

13
Adems del establecimiento de un buen sistema de evaluacin, tambin es esencial la
creacin de recursos humanos con habilidades de evaluacin para mejorar la calidad de
las evaluaciones de la JICA. La JICA brinda programas de capacitacin para su personal
tanto en su Oficina Central como en las oficinas en el extranjero, mediante un programa de
capacitacin a distancia desarrollado en colaboracin con el Instituto del Banco Mundial.

14
4. Retroalimentacin de la Evaluacin

La JICA considera que la funcin de retroalimentacin de la evaluacin es doble: 1)

retroalimentacin para la gestin y operacin de proyectos y 2) retroalimentacin para el
pblico.

(1) Retroalimentacin para la Gestin y Operacin de Proyectos

La retroalimentacin para la gestin y operacin de proyectos incluye un proceso que
emplea los resultados de la evaluacin y las lecciones y recomendaciones obtenidas para
mejorar la planeacin e implementacin de proyectos. Este tipo de retroalimentacin se
puede clasificar todava ms para mejorar el proceso de toma de decisiones y
retroalimentar el proceso de aprendizaje de las partes interesadas.

i) Retroalimentacin para mejorar el proceso de toma de decisiones

La retroalimentacin para mejorar el proceso de toma de decisiones implica el uso directo
de los resultados de la evaluacin en la toma de decisiones relativas al proyecto objetivo.
En la mayora de los casos, este proceso forma parte de los procedimientos de la gestin
del proyecto del departamento responsable del mismo. Por ejemplo, los resultados de la
evaluacin ex-ante sirven como una referencia importante para decidir si se debe realizar
el proyecto en cuestin, mientras que los resultados de la evaluacin intermedia se toman
en cuenta para decidir si es necesario revisar el plan original del proyecto. Igualmente, los
resultados de la evaluacin final se utilizan para determinar si el proyecto se debe finalizar,
extender o si se le debe dar seguimiento con cooperacin adicional.

ii) Retroalimentacin para el proceso de aprendizaje de la organizacin

Por otro lado, la retroalimentacin para el proceso de aprendizaje de la organizacin
incluye la acumulacin de informacin de la evaluacin y las lecciones de la gente que
particip en las operaciones de asistencia para el desarrollo con el objetivo de utilizarlas
para formular y planear proyectos similares y para revisar las estrategias de la
organizacin.
Especficamente, la retroalimentacin para su proceso de aprendizaje se brinda a
travs de una variedad de medidas como se indica a continuacin: sesiones de preguntas
con la participacin de las personas interesadas cuando un equipo de evaluacin regresa
a Japn, distribucin de informacin a travs de la red de evaluacin mencionada
anteriormente, creacin de una base de datos sobre las lecciones relativas a las reas de
educacin y telecomunicacin mediante la participacin de equipos de trabajo temticos, y

15
estudios sintticos sobre las evaluaciones para identificar las tendencias comunes. A partir
del 2004, se aadi una nueva columna al documento de evaluacin ex-ante para anotar
comentarios sobre las lecciones aplicadas tomadas de proyectos similares pasados. Esto
representa un paso ms para una mejor retroalimentacin de la evaluacin.

(2) Retroalimentacin para el Pblico

La retroalimentacin para el pblico es un proceso para que la JICA cumpla con su
rendicin de cuentas, que es uno de los objetivos de la evaluacin de la JICA. La rendicin
de cuentas es mucho ms que el compromiso de publicar los resultados de la evaluacin.
Requiere un sistema en donde el encargado de dichas empresas (la JICA) le da un
reporte completo a quienes se las encargaron (los contribuyentes) sobre cmo ha
implementado esas empresas de manera responsable para que ellos puedan juzgar los
resultados del encargado. Adems, como los proyectos de cooperacin se deben realizar
de manera conjunta con los pases que reciben la ayuda, la retroalimentacin tambin es
muy importante para aquellos interesados y para el pblico en general de esos pases.
Los requisitos de la rendicin de cuentas incluyen objetivos de cooperacin claros,
transparencia en el proceso de toma de decisiones de la organizacin y el uso eficiente de
insumos, y la medicin exacta de los resultados obtenidos del proyecto. Para asegurar la
rendicin de cuentas es necesario dar a conocer la informacin de la evaluacin con una
calidad que satisfaga todos estos requisitos.
En trminos ms concretos, los esfuerzos de la JICA para brindar retroalimentacin al
pblico incluyen la publicacin de informes de evaluacin, la realizacin de seminarios de
evaluacin para mostrar a los ciudadanos japoneses y a las personas interesadas en los
pases socios los resultados de las evaluaciones ex-post principales tales como
evaluaciones de programas por pas y temtica, y el uso de su pgina Web para dar a
conocer de manera rpida los resultados de la evaluacin.

16
Figura 1-1-4 Sistema de Retroalimentacin

Agencias de
Departamentos Proyecto Implementacin
Operativos de la Objetivo Organizaciones
JICA, Organizaciones Preocupadas por
Interesadas los pases objetivo
en Japn

Agencias de
Mejorar la Gestin de Asistencia de
los Proyectos / Proceso otros pases
donadores
de Aprendizaje de la Proceso de
Organizacin la Evaluacin
Asegurar la Rendicin
de cuentas
Pblico /
Contribuyentes Pblico de
Japoneses los Pases
Objetivo

17
5. Criterios para una Buena Evaluacin

Para brindar informacin adecuada que valga la pena utilizar es necesario satisfacer
criterios tales como 1) utilidad, 2) imparcialidad e independencia, 3) credibilidad y 4)
participacin de los pases socios; todos estos puntos son importantes para llevar a cabo
una Buena Evaluacin.

(1) Utilidad
Los resultados de las evaluaciones deben ser claros y tiles para que se puedan emplear
en la toma de decisiones de la organizacin. Es necesario establecer claramente los
objetivos de la evaluacin, y para que la retroalimentacin sea ms efectiva, es
recomendable que la evaluacin refleje las necesidades de los usuarios previstos. La
informacin relativa a los resultados de la evaluacin se emplea en diversas etapas
durante el ciclo del proyecto y tambin se utiliza en la formulacin de estrategias ms
efectivas, as que es muy importante que esa informacin est fcilmente disponible y que
la implementacin de la evaluacin est lista justo a tiempo.

(2) Imparcialidad e Independencia

Es necesario realizar la evaluacin imparcialmente y en un entorno neutral. Para asegurar
la credibilidad de la informacin de la evaluacin es indispensable asegurar imparcialidad
para brindar un anlisis estandarizado de los resultados de la evaluacin. Tambin es
importante recopilar una amplia variedad de informacin de las diversas partes interesadas,
as como de particulares y organizaciones interesadas. Adems, se espera la garanta de
imparcialidad para evitar conflictos entre las partes interesadas.
La imparcialidad e independencia de los evaluadores no es contraria a la distribucin de
informacin o retroalimentacin entre las partes interesadas. El grupo de estudio de
evaluacin y los departamentos que participan en la implementacin de los proyectos
tienen un papel independiente cada uno, aunque comparten el mismo objetivo para
mejorar la gestin de los proyectos.

(3) Credibilidad
Para obtener una informacin de evaluacin verosmil, es esencial que los evaluadores
tengan conocimientos especializados de los campos objetivo y los esquemas (tipos de
proyectos) y que estn bien versados en el mtodo de investigacin cientfica. Un
evaluador con estas caractersticas es capaz de producir informacin verosmil que es el
resultado de un anlisis objetivo de aquellos factores que indican xito o fracaso. Adems,

18
es importante compartir el proceso de evaluacin en s con las partes interesadas del
proyecto ya que as se asegura la transparencia. En el proceso, es importante incluir las
diferentes opiniones propuestas relativas a las lecciones aprendidas y las
recomendaciones en el informe, y dejarlas al veredicto del pblico. La transparencia es
indispensable para aumentar la credibilidad con el pblico y tambin tiene un efecto nada
pequeo en qu tanto de la informacin de la evaluacin se utiliza.

(4) Participacin de los Pases Socios

Los proyectos de cooperacin de la JICA se realizan en colaboracin con pases socios y
junto con ellos, la JICA realiza evaluaciones consistentes de la etapa ex-ante a la etapa
final.
Por ello, tanto los donadores como los socios deben utilizar la informacin de la evaluacin.
Las lecciones aprendidas y las recomendaciones obtenidas a travs de la experiencia de
la gestin de proyectos se utilizan como retroalimentacin para la estrategia de desarrollo
de los pases socios y conduce a una segunda evaluacin del proyecto. Es necesario que
los evaluadores se comuniquen con las partes interesadas de los donadores y los
receptores durante cada etapa de la evaluacin

19
Captulo 2 Marcos de Trabajo y Pasos Bsicos de la

Evaluacin de Proyectos de la JICA

Este captulo consta de dos partes: 1) el marco de trabajo de la evaluacin, y 2) los pasos
principales del estudio de la evaluacin. En la Parte II se incluye una explicacin detallada
de las metodologas de evaluacin.

Consejos!
- La evaluacin es una herramienta prctica para gestionar de manera efectiva un
proyecto.

- La evaluacin tiene tres etapas: 1) valoracin de los resultados del proyecto; 2) juicio
de valor con base en los Cinco Criterios de Evaluacin; y 3) elaboracin de
recomendaciones, atencin a las lecciones aprendidas y la retroalimentacin.

- El estudio de evaluacin consta bsicamente de los siguientes seis pasos.

1) Confirmacin del objetivo de la evaluacin

2) Organizacin de la informacin sobre un proyecto objetivo
3) Elaboracin de planes para la implementacin de la evaluacin
4) Recopilacin y anlisis de datos
5) Interpretacin de datos y agrupacin de resultados
6) Envo de Informacin sobre los resultados de la evaluacin

20
1. La Evaluacin como una Herramienta de Gestin

La evaluacin es una herramienta prctica para gestionar de manera efectiva un proyecto.

La evaluacin brinda a todas las partes interesadas en todos los niveles y etapas de la
gestin de un proyecto informacin sobre el proceso. Dicha informacin incluye cules son
las necesidades de una sociedad objetivo, si el proyecto se lleva a cabo segn lo planeado,
cmo afecta un proyecto a la sociedad objetivo o cules son los factores que afectan la
gestin de un proyecto. La JICA realiza evaluaciones ex-ante, de seguimiento,
intermedias, finales y ex-post a lo largo del ciclo operativo de un proyecto con el objeto de
que su implementacin sea efectiva y eficiente.
En la evaluacin ex-ante, se examinan la idoneidad y relevancia de la estrategia del
proyecto, as como su eficiencia y efectividad. Adems, se desarrollan los indicadores
adecuados, los valores objetivo y los medios de medicin (medios de verificacin). Una
vez que empieza un proyecto, se realiza el seguimiento con aquellos indicadores y
medidas y, de ser necesario, se realizan algunas modificaciones a las actividades y la
estrategia. As, la evaluacin ex-ante brinda informacin indispensable para establecer un
sistema de seguimiento durante la implementacin del proyecto. Cuando se consideran
esos indicadores y medidas, es necesario examinar detenidamente el costo de la
recopilacin de datos y su accesibilidad a travs de un estudio de base.
La evaluacin intermedia brinda la informacin necesaria para ajustar los planes
originales al evaluar un proyecto desde un punto de vista integral. Los resultados de la
evaluacin intermedia se deben utilizar cabalmente para redisear un proyecto en marcha
en su etapa intermedia. Algunos proyectos pueden enfrentar situaciones imprevistas o
verse influidos por factores inesperados cuando las actividades ya hayan empezado. Es
esencial modificar los planes o estrategias originales lo antes posible para evitar una
situacin en donde no se obtengan efectos al final del proyecto.
Las evaluaciones final y ex-post se llevan a cabo para brindar informacin til sobre
la gestin del proyecto objetivo, as como la planeacin de otro proyecto o programa
similar. Dichas evaluaciones examinan los efectos, impactos y sustentabilidad del
proyecto.
Como se mencion anteriormente, la evaluacin de la JICA es una herramienta
utilizada para presentar informacin sobre si un proyecto est produciendo efectos o se
est llevando a cabo adecuadamente desde el punto de vista de la rendicin de cuentas y
tambin brinda informacin til a los departamentos relacionados de la JICA y a su
administracin para implementar proyectos y programas de manera ms efectiva. Los
departamentos de operacin de proyectos deben buscar en la evaluacin informacin
crucial para la toma de decisiones y deben retroalimentar los resultados a la gestin del
proyecto.

21
2. Marco de Trabajo de la Evaluacin

La evaluacin es el acto de emitir un juicio de valor apoyado por evidencia. Tambin,

como se explica en la seccin anterior, la retroalimentacin adecuada de las
recomendaciones y lecciones aprendidas es esencial para la operacin futura. No es
satisfactorio nicamente llegar a la conclusin que se alcanzaron los objetivos o calificar
un proyecto de acuerdo con alguna escala al final de los estudios de evaluacin.
La evaluacin de la JICA tiene tres etapas: 1) valoracin de los resultados de un
proyecto; 2) emisin de un juicio de valor sobre el proyecto utilizando los Cinco Criterios de
Evaluacin; y 3) realizar recomendaciones, atencin a las lecciones aprendidas y
retroalimentarlas en la siguiente etapa. Esta seccin explica los conceptos bsicos de cada
marco de trabajo.

(1) Valoracin de los Resultados de un Proyecto: Resultados, Proceso de

Implementacin y Relaciones Causales

Hay tres tipos de valoracin indispensables para analizar la situacin real y los resultados
del proyecto. La medicin de los resultados sirve para ver qu se ha logrado en un
proyecto y hasta qu punto (o para ver la validez de los planes y valores objetivo en el
caso de la evaluacin ex-ante). El examen del proceso de implementacin es para analizar
qu est sucediendo en el proceso para alcanzar su objetivo y cmo afecta al
funcionamiento (o para ver si el proceso est bien planeado en el caso de la evaluacin
ex-ante). Por ltimo, el examen de las relaciones causales es para determinar si los
resultados del proyecto se deben a la intervencin del mismo analizando las relaciones
causales entre el proyecto y los efectos que haya (o para ver la validez del diseo del
proyecto en el caso de la evaluacin ex-ante).

i) Medicin de los Resultados (o Valoracin de los Indicadores y Valores Objetivo en

la Evaluacin Ex-ante)
La medicin de los resultados tiene por objeto comprender lo que ha logrado el proyecto y
verificar si se ha logrado lo esperado en la evaluacin intermedia, final y ex-post. El nivel
de logro de los objetivos (por ejemplo, el objetivo del proyecto y el objetivo general), los
resultados y los insumos se miden al momento de la evaluacin y estos resultados se
comparan con lo que se ha planeado.
En la evaluacin ex-ante, el evaluador examina la idoneidad del contenido de los
planes. Tambin es necesario ver la validez de los valores objetivo en comparacin con los
datos base.

ii) Examen del Proceso de Implementacin

22
El examen del proceso de implementacin tiene el objetivo de investigar todo el proceso
de actividades y lo que est sucediendo durante la implementacin del proyecto. En la
evaluacin intermedia, el evaluador examina el dinamismo dentro de un proyecto
concentrndose en aquellos aspectos tales como si las actividades se realizaron segn lo
planeado, si un proyecto se gestion correctamente, si aquellos interesados en un
proyecto se llevan bien entre ellos, o cmo perciben la situacin los beneficiarios. Tambin
es necesario examinar cualquier factor en el proceso de implementacin que haya podido
influir en el logro de sus objetivos.
En la evaluacin ex-ante se examina el contenido de los planes del proyecto
poniendo atencin al proceso de implementacin. Este proceso incluye la importancia de
las actividades para producir los resultados y objetivos planeados, la idoneidad del sistema
de gestin y las relaciones con el beneficiario y las organizaciones relevantes.
Con frecuencia, la informacin sobre el proceso de implementacin se convierte en
evidencia de apoyo para la eficiencia y la efectividad y por lo tanto pude ser til para el
anlisis de los factores que contribuyen o dificultan el xito del proyecto. En el caso de la
evaluacin ex-ante, se puede utilizar la informacin para prevenir obstculos y para
redisear los planes originales o la planeacin de un proyecto similar en el caso de la
evaluacin intermedia, final o ex-post.

iii) Examen de las Relaciones Causales

El examen de las relaciones causales tiene el propsito de investigar si el objetivo de un
proyecto o el objetivo general se han alcanzado o se alcanzarn como resultado de la
implementacin de un proyecto. Un proyecto es simplemente una intervencin para toda
una sociedad y, por lo tanto, siempre hay influencias provocadas por otros factores.
Aunque se observan algunos efectos tal como se esperaban, puede haber otros factores
que influyan y que no estn relacionados con la implementacin del proyecto. El
evaluador debe descartar otras posibles explicaciones para poder determinar si el proyecto,
y no otros factores, son la causa de los efectos.
Para poder examinar las relaciones causales entre los efectos y un proyecto se
adoptarn diferentes enfoques a los utilizados para valorar los resultados. Esos enfoques
incluyen el mtodo de comparar un grupo objetivo (con un proyecto) con un grupo de
control (sin un proyecto) y observar los cambios antes y despus del proyecto.

Es indispensable examinar los resultados del proyecto en esas tres formas. Para poder
mejorar la operacin de un proyecto, se deben identificar algunos factores que lo dificultan,
sobre todo mediante un examen de los procesos de implementacin y de las relaciones
causales. Si se identifica algn problema en el proceso de implementacin, es posible que
la raz del problema sea un problema de gestin. O, cuando no se ha construido
correctamente el enlace causal, se podra atribuir la responsabilidad a la planeacin en s.
Adems, el seguimiento juega un papel muy importante con respecto a la
evaluacin. El seguimiento es un trabajo de rutina y brinda informacin para volver a
disear el plan de un proyecto si es necesario. La informacin del seguimiento contiene

23
bastantes datos sobre los resultados y el proceso de implementacin y, por tanto, es
una importante fuente de informacin para el estudio de evaluacin. Si el seguimiento no
se realiza adecuadamente, es posible que falten datos e informacin necesarios para la
evaluacin.

<Cuadro 1: Falla de la Teora y Falla de la Implementacin>

La falla de la teora se refiere al encuentro de un problema en las

relaciones causales en la fase de planeacin, mientras que falla de la
implementacin se refiere a un problema en el proceso de implementacin de
un proyecto.

La falla de la teora implica que es tericamente imposible causar efectos y

alcanzar los objetivos del programa como se espera, incluso despus de la
implementacin del proyecto. En ese caso, no se pueden observar efectos an
cuando se obtengan los resultados segn lo planeado. La falla de la teora
puede indicar que haba un problema en los planes originales del proyecto.

Por otro lado, una falla de la implementacin implica que hay una causa
para la falla en la implementacin del proyecto (insumos, actividades,
resultados, condiciones internas, etc.) o en los sistemas de gestin.

Es importante distinguir los dos tipos de fallas y analizarlas respectivamente.

Esta distincin se basa en una definicin de proyecto en donde los
administradores (intereses administrativos) pueden controlar los insumos, las
actividades y los resultados, y por tanto, se deben controlar totalmente,
mientras que los cambios en un grupo objetivo a nivel de los objetivos del
proyecto no se pueden controlar ya que estn inevitablemente influenciados
por factores externos.

24
Figura 1-2-1 Valoracin de los Resultados - Tres Aspectos

<Valoracin de Resultados >

(Evaluacin Ex-ante) <Examen del Proceso de Implementacin >
- Examinar la idoneidad de los (Evaluacin Ex-ante)
indicadores y objetivos - Examinar la idoneidad del plan de
(Evaluacin Intermedia, Final y Ex- actividades y el sistema de gestin
post) (Evaluacin Intermedia, Final y Ex-post)
- Medir hasta qu punto se - Examinar si las actividades se realizan
alcanzan los insumos, productos, como se plane originalmente y lo que
objetivos del proyecto y metas est pasando en el proceso de la
generales implementacin del proyecto
- Compararlos con los objetivos - Analizar los factores que contribuyen o
dificultan el proceso

<Examen de Relaciones Causales>

(Evaluacin Ex-ante)
- Examinar si un proyecto est
diseado para producir efectos para
el beneficiario
(Evaluacin Intermedia, Final y Ex-post)
- Examinar si los efectos para el
beneficiario son resultado del
proyecto
- Analizar los factores que
contribuyen o dificultan

25
(2) Juicio de Valor con Base en Cinco Criterios de Evaluacin

La evaluacin se realiza con el propsito de realizar un juicio de valor con base en el logro
de los resultados. La JICA adopt Cinco Criterios de Evaluacin para realizar una
evaluacin (principalmente evaluacin de proyectos), que propuso en 1991 el Comit de
Asistencia para el Desarrollo (DAC) en la Organizacin para la Cooperacin Econmica y
el Desarrollo (OECD). Estos cinco criterios, como se muestra a continuacin, se
establecieron para utilizarse en la evaluacin de las actividades de asistencia a partir de
una amplia gama de criterios. (Consulte la seccin 2-2-1 para una explicacin ms
detallada)

i) Pertinencia
Un criterio para considerar la validez y necesidad de un proyecto en cuanto a si los efectos
esperados del proyecto (o el objetivo del proyecto y el objetivo general) satisfacen las
necesidades de los beneficiarios objetivo; si la intervencin de un proyecto es adecuada
como una solucin a los problemas en cuestin; si el contenido de un proyecto es
consistente con las polticas; si las estrategias y enfoques del proyecto son relevantes, y si
se justifica implementar el proyecto con fondos pblicos de la AOD.

ii) Efectividad
Un criterio para considerar si la implementacin de un proyecto a beneficiado (o
beneficiar) a los beneficiarios a quienes est dirigido o a la sociedad objetivo.

iii) Eficiencia
Un criterio para considerar cmo se convierten los recursos econmicos/insumos en
resultados. Se concentra principalmente en la relacin entre el costo del proyecto y los
efectos.

iv) Impacto
Un criterio para considerar los efectos del proyecto con atencin a los efectos de largo
plazo, incluyendo los directos o indirectos, positivos o negativos, intencionales o
involuntarios.

v) Sustentabilidad
Un criterio para considerar si los efectos producidos continan una vez que se termina la
asistencia.

Se utilizan los Cinco Criterios de Evaluacin para evaluar desde un punto de vista
integral el valor de llevar a cabo un proyecto. El evaluador examina los efectos de un
proyecto, as como la idoneidad del volumen de recursos para producir los efectos (es
decir, la eficiencia). El valor de realizar un proyecto podra disminuir si cuesta ms de lo
necesario aunque haya producido efectos enormes, o si los efectos son limitados a pesar

26
de la gran escala de insumos utilizada. Tambin, para juzgar la validez de una intervencin
de asistencia, se examina la importancia de las estrategias, as como la sustentabilidad de
los efectos despus que la asistencia termina. Por tanto, utilizar los cinco criterios para
evaluar un proyecto permite ver su valor desde puntos de vista diferentes y, como
resultado, se puede especificar diversos factores que influyen en el xito o fracaso del
proyecto. Cuando se evalan proyectos, ya sea para valorar los resultados o predecir el
futuro, las perspectivas variarn dependiendo del momento en que se encuentre el ciclo de
operacin cuando se realiza el estudio de evaluacin El enfoque de cada criterio tambin
variar entre los proyectos. Sin embargo, la JICA decidi bsicamente cubrir todos los
cinco criterios en cualquier tipo de estudio de evaluacin.

(3) Hacer Recomendaciones, Aprender Lecciones y Dar Retroalimentacin

Los resultados de una evaluacin tienen valor nicamente cuando se utilizan. La JICA
considera la evaluacin como una herramienta prctica de gestin y por ello es necesario
hacer recomendaciones especficas y tomar lecciones a partir de los resultados de la
evaluacin. Las recomendaciones y lecciones aprendidas se deben enviar a los
departamentos relevantes de la JICA y a las organizaciones relacionadas para que se
puedan utilizar para el mejoramiento del proyecto objetivo o de las operaciones en el futuro.
Cuando se hacen dichas recomendaciones es indispensable especificar los factores
que influyen para contribuir o dificultar un proyecto y para comprender lo que se ha
aprendido. Por ejemplo, cuando se descubre que el proyecto no es efectivo, es necesario
identificar los factores que lo dificultan examinando tanto el proceso de implementacin
como las relaciones causales, y con base en dichos factores, se deben proponer
recomendaciones y lecciones aprendidas. Otro ejemplo sera, en caso de encontrar un
problema en la distribucin del personal en la agencia de implementacin, se necesitara
hacer algunas recomendaciones para cambiar la situacin. En caso que los resultados de
la evaluacin nos digan que es necesario otro grupo de resultados para obtener los efectos
esperados, se debern proponer recomendaciones para volver a disear los resultados.
En suma, la evaluacin tiene tres etapas: 1) valoracin de los resultados; 2) emisin
de un juicio de valor sobre el proyecto; y 3) elaboracin de recomendaciones y toma de
lecciones aprendidas mediante el anlisis de los factores que contribuyen o dificultan el
proceso, y la retroalimentacin. No es posible realizar una evaluacin til sin cualquiera de
estas tres fases.

27
3. Pasos Principales de la Evaluacin de Proyectos de la JICA

Tal como se explica en la seccin anterior, la Evaluacin de Proyectos de la JICA incluye

actividades tales como la valoracin de los resultados, el juicio de valor con base en los
Cinco Criterios de Evaluacin y la retroalimentacin de las recomendaciones y las
lecciones aprendidas a los tomadores de decisiones potenciales. Para poder implementar
estas actividades efectivamente, se toman los pasos que se muestran a continuacin. Un
estudio de evaluacin consta de tres pasos principales: planeacin, realizacin e
informacin de los resultados.
La tabla 1-2-1 resume las actividades principales de cada paso, as como algunos
puntos que se debe considerar. En las pginas que la tabla menciona se encuentra una
explicacin ms detallada.

28
 Pasos del Estudio de Evaluacin:

- Cul es el
(1) Confirmar el objetivo
objetivo de la
de la evaluacin
evaluacin?

- Quines son los usuarios

potenciales de los resultados?

(2) Organizar la informacin - Comprender el

Planeacin del proyecto objetivo contenido de los
de la planes del
Evaluacin proyecto
- Comprender la
situacin actual
del proyecto

- Qu es la
(3) Formular un plan de
metodologa de
trabajo para la evaluacin
la evaluacin?
- Tomar en
consideracin las
preguntas de la
evaluacin, las
bases para el juicio,
los datos
necesarios y los
mtodos de
recopilacin de
datos

- Realizar el
(4) Recopilar datos
estudio de
evaluacin en los
sitios el proyecto
- Recopilar datos
Reali- en Japn, de ser
zacin necesario

- Interpretar datos
(5) Analizar e interpretar datos y emitir un juicio
de valor

29
 - Hacer recomendaciones y tomar
lecciones aprendidas

Informacin
de los (6) Informar sobre los resultados - Reunir los
resultados de la evaluacin resultados de la
evaluacin
- Enviarlos a los usuarios
potenciales

Retroali-
mentacin

30
Tabla 1-2-1 Actividades principales de cada paso durante la evaluacin
Pasos de la Qu hacer Puntos a considerar
Evaluacin
1. Confirmar el z Confirmar el objetivo de la evaluacin. - Observe que el enfoque de la evaluacin
objetivo de la z Confirmar quines son los usuarios difiere dependiendo del tipo de
evaluacin potenciales. evaluacin
z Confirmar el contenido de los planes y la
situacin actual.
Asegurarse que la situacin real se refleja
- No se debe crear un nuevo Marco
en el Marco Lgico/PDM. Lgico/PDM slo para que la evaluacin
Organizar la informacin de seguimiento
Plan de la Evaluacin

2. Organizacin de sea ms fcil.

la informacin sobre incluyendo los resultados y el proceso de - En caso que no se cuente con
un proyecto objetivo implementacin. informacin del seguimiento, realizar las
Adems, organizar la informacin del encuestas relacionadas durante la
proyecto revisando los materiales evaluacin.
relacionados y entrevistando a los
interesados.
- Formular las preguntas para la
evaluacin que se relacionen con los
z Desarrollar preguntas para la evaluacin puntos de preocupacin de las partes
tomando en consideracin aquello que se
3. Realizar un Plan interesadas, y que brinden informacin
debe investigar mediante el estudio de la til para mejorar un proyecto objetivo.
de Trabajo de la evaluacin. - Las perspectivas y enfoques de la
Evaluacin z Las preguntas de la evaluacin se deben evaluacin son diferentes dependiendo
formular de acuerdo con cada uno de los de los propsitos de la evaluacin y del
cinco criterios. tipo y puntos a considerar del proyecto
objetivo.

31

z Decidir bases para el juicio: Comparar
criterios o valores objetivo/diseo de la
evaluacin.
z Decidir cules son los datos necesarios y las -
fuentes de datos.
z Seleccionar los mtodos de recopilacin de
datos: encuestas con cuestionarios,
entrevistas, revisin de literatura, etc.
z Crear una Tabla de Evaluacin.
Implemen-
z Recopilar los datos necesarios para la
tacin
4. Recopilacin de
evaluacin llevando a cabo estudios en un
Datos
pas socio.
- En caso que los valores objetivo o los
medios de verificacin descritos en el
Marco Lgico/PDM no sean adecuados,
tomar en consideracin nuevos criterios
o medios.
- Al examinar la efectividad o impacto,
adoptar el diseo de evaluacin de
antes y despus o el mtodo de diseo
semi-experimental.
- Se deben tomar en cuenta los datos
cuantitativos y cualitativos al considerar
los datos necesarios.
Al identificar las fuentes de datos, poner
mucha atencin en las diferencias de
gnero, relativas a la etnia y de clases
sociales.
- Hacer un esfuerzo por aumentar la
credibilidad de los datos combinando
varios mtodos de recopilacin de datos.
- Utilizar con flexibilidad la Tabla de
Evaluacin aadiendo los puntos/temas
necesarios, ya que se trata de una
herramienta prctica para discutir con
las partes interesadas el plan de trabajo
de la evaluacin.
- El evaluador debe tener experiencia en
los mtodos de encuesta - es decir, para
entrevistar, crear y recopilar
cuestionarios, etc.
32
 z Analizar los datos recopilados aplicando
mtodos de anlisis cuantitativos y
cualitativos.
z Evaluar un proyecto (o emitir juicios de
valor) utilizando los Cinco Criterios de
5. Anlisis e
Evaluacin con base en el anlisis de datos
Interpretacin de e identificando los factores que contribuyen o
Datos dificultan el proceso.
z Llegar a conclusiones con base en los
resultados de la evaluacin de los Cinco
Criterios de Evaluacin.
z Hacer recomendaciones y tomar lecciones
aprendidas.
z Reunir los resultados de la evaluacin en la
Tabla de Evaluacin Ex-ante o en la Tabla
Informacin
6. Envo de
Informacin sobre de Resumen de los Resultados de la
Evaluacin.
los Resultados de la z Escribir un Informe de la Evaluacin
Evaluacin
durante y despus de la evaluacin
intermedia.
- Analizar los factores que han influido en
un proyecto, as como los factores que
han contribuido a l o lo han dificultado.
- Describir las razones y especificar las
bases de los resultados de la
evaluacin.
- Las recomendaciones y las lecciones
aprendidas deben ser especficas y
prcticas con evidencia que las
respalde.
- Hacer el esfuerzo de enviar los
resultados de la evaluacin a los
usuarios potenciales lo ms simple y
claramente que sea posible.
- Hacer un esfuerzo por preparar tambin
un resumen en ingls.
33
 Parte II
Mtodos de Evaluacin
de la JICA

34
Captulo 1 Confirmacin de los Objetivos de la Evaluacin y
Organizacin de la Informacin sobre el Proyecto Seleccionado

Este captulo explica el primer paso de la planeacin de la evaluacin, es decir la

confirmacin del propsito de la evaluacin y cmo comprender el panorama completo
del proyecto objetivo.

Consejos!
- Los propsitos de la evaluacin varan entre la evaluacin ex-ante, intermedia, final y
ex-post. Como primer paso de la planeacin de la evaluacin, es importante
confirmar los propsitos de la evaluacin y compartir la informacin entre las partes
interesadas sobre cmo y quin utilizar los resultados de dicha evaluacin.

- La informacin que se debe obtener con anticipacin incluye el contenido del plan de
un proyecto y el nivel de realizacin del proyecto.

- Trate de comprender el contenido del proyecto y su estructura (correlacin de las

relaciones causales) utilizando el Marco Lgico/PDM. El concepto del modelo lgico
que forma la base terica del Marco Lgico/PDM podra ser til.

- En caso que la situacin real del proyecto no se refleje en su Marco Lgico/PDM, ser
necesario realizar algunos ajustes. Sin embargo, esto no significa que se cambie el
Marco Lgico/PDM para hacer el estudio de evaluacin ms fcil.

- Examine la idoneidad de los indicadores y medios de verificacin en el Marco

Lgico/PDM y, de ser necesario, considere el uso de indicadores y medios nuevos.

- Los Marcos lgicos/PDM de varios proyectos se encuentran bajo el mismo programa

o meta sectorial, por lo que se deben tomar en consideracin los planes de desarrollo
o cuestiones de desarrollo de los pases socios cuando se lleve a cabo el estudio de
evaluacin.

- Al examinar los resultados y el proceso de implementacin, es necesario utilizar al

mximo la informacin del seguimiento. En caso que haya falta de informacin en los
documentos de seguimiento existentes, lleve a cabo encuestas adicionales.

35
1. Confirmacin del Objetivo de la Evaluacin

Cuando se planea la evaluacin, antes que nada, el evaluador y las partes interesadas
relacionadas deben confirmar el propsito de la evaluacin. Existen varios mtodos de
evaluacin dependiendo del propsito. Los resultados de la evaluacin podran terminar
siendo intiles y sin objeto, a menos que las personas interesadas compartan su
propsito y uso. Por lo tanto, es muy importante confirmar para qu y quin va a utilizar
los resultados de la evaluacin y planear la evaluacin para satisfacer su propsito.
El propsito de la evaluacin difiere dependiendo de la etapa en que se encuentra
el ciclo del proyecto al momento de realizarla, como se muestra a continuacin.

Cuatro tipos de evaluacin a nivel proyecto:

Evaluacin Ex-ante: Examina la validez del contenido de los planes del proyecto. Los
resultados de la evaluacin ex-ante se utilizan para obtener la
aprobacin final para la implementacin del proyecto.

Evaluacin Intermedia: Examina si un proyecto est produciendo efectos

adecuadamente a la mitad del proceso. Los resultados de la
evaluacin intermedia se utilizan para mejorar la estrategia del
proyecto, as como para aprender lecciones para proyectos
similares.

Evaluacin Final: Examina si un proyecto est produciendo efectos

adecuadamente al final del perodo del proyecto. Los resultados
de la evaluacin final se utilizan para decidir si el proyecto se
debe terminar o si se le debe dar seguimiento. Las lecciones que
se toman de los resultados tambin se aprovechan como
lecciones aprendidas para proyectos similares.

Examina si los efectos e impacto esperados se producen a partir

Evaluacin Ex-post: de un proyecto en cierto perodo despus de su terminacin. Los
resultados de la evaluacin ex-post se utilizan para hacer
recomendaciones a la agencia de implementacin en el pas
socio, proponer lecciones aprendidas con el afn de implementar
de manera efectiva y eficiente proyectos similares en el futuro y
hacer planes en el macro-nivel (por ejemplo, en los programas
por pas de la JICA).
-
Otro punto importante en el proceso de confirmacin del propsito de la evaluacin
es que aquellos interesados en la evaluacin compartan el mismo propsito. Aquellos
interesados se refiere a las partes interesadas, incluyendo los departamentos de la JICA
a cargo del proyecto, los ministerios relevantes y las agencias de implementacin del pas
socio y el beneficiario. La gente generalmente tiende a alejarse de la evaluacin ya que
sienten que un tercero ajeno los est auditando. Por lo tanto, es indispensable lograr que
la gente comprenda su propsito y ganar su cooperacin en las actividades de evaluacin
para poder realizarla efectivamente.
Tambin es necesario especificar quines sern los usuarios de los resultados de la
evaluacin. Como la evaluacin de proyectos de la JICA se realiza internamente, los
36
departamentos de operacin de proyectos y las agencias de implementacin en el pas
socio son generalmente los primeros usuarios de los resultados de la evaluacin. En
algunos proyectos, la gente de la localidad - ya sea como beneficiarios o como
contrapartes de las agencias de implementacin - son el objetivo directo de la
retroalimentacin. Podra ser una buena idea convocar una ocasin con todos los
interesados para discutir el tipo de estudio de evaluacin necesario para mejorar la
gestin del proyecto.

37
2. Comprensin del Panorama General del Proyecto Seleccionado

El siguiente paso despus de confirmar los propsitos de la evaluacin es comprender el

panorama completo de un proyecto como objetivo de la evaluacin. Cuando el evaluador
sabe lo que ya est sucediendo en el proyecto, puede decidir ms fcilmente cules
preguntas de la evaluacin son importantes para realizar el estudio y el tipo de datos que
se necesita recopilar. Existen diferencias en los tipos y la cantidad de informacin que el
evaluador puede obtener cuando efecta la evaluacin, dependiendo del momento en
que se realiza el estudio y de la disponibilidad de los documentos relacionados,
incluyendo los resultados del seguimiento. Por lo general, se debe obtener la siguiente
informacin para esclarecer el panorama general del proyecto.

Tipos de Informacin Acerca de un Proyecto Objetivo

Acerca del contenido de los planes:
- Cules son los antecedentes de implementacin del proyecto?
- Con qu puntos de desarrollo contribuye el proyecto?
- Qu tan efectivas son las estrategias del proyecto para solucionar los
problemas de desarrollo?
- Cul es el componente principal del proyecto?
- Cul es el principal grupo objetivo?
- Cules son los efectos que el proyecto intenta producir?
- Cmo estn estructuradas las relaciones causales entre la implementacin
del proyecto y los efectos?
- Cules son los criterios de logro o las bases para un juicio?
- Cuales son los riesgos y factores externos?
- Cules son los insumos y cunto son los costos, etc.?

Acerca del funcionamiento del proyecto:

- Qu est sucediendo en el proceso de implementacin del proyecto?
- Qu resultados se producen en el proyecto, etc.?

i) Contenido de los Planes

La evaluacin compara la situacin actual de un proyecto con sus planes originales. Por
lo tanto, primero es necesario recopilar informacin sobre el contenido de los planes.
Bsicamente hay dos partes: 1) los elementos del proyecto: el propsito del proyecto, las
actividades y los insumos y 2) cmo est estructurado el proyecto (la lgica de las
relaciones causales). Los planes de un proyecto se hacen con base en la hiptesis de
que al implementar dicho proyecto se van a producir los efectos esperados. Podemos
confirmar cmo se hicieron los planes si tomamos en consideracin sus antecedentes, la
relacin con los problemas de desarrollo y la relevancia de las estrategias del proyecto.
Se puede utilizar el marco lgico/PDM para entender el contenido de los planes. En
la siguiente seccin, el modelo lgico, se explicarn las bases tericas del marco
lgico/PDM concentrndose en cmo organizar la informacin acerca del proyecto
objetivo a partir de las perspectivas de la evaluacin.

38
ii) Acerca de los Resultados del Proyecto
Otra clase de informacin que se debe obtener es el resultado de un proyecto al
momento de la evaluacin. En trminos de la evaluacin intermedia, es importante
conocer los insumos y resultados reales, as como la situacin actual del proceso de
implementacin. En cuanto a la evaluacin final, adems de ese tipo de informacin
tambin se debe obtener el nivel de xito del propsito del proyecto. Por lo general,
podemos obtener informacin acerca de esos puntos en los resultados del seguimiento.
Sin embargo, si es necesario, se pueden llevar a cabo encuestas adicionales durante la
evaluacin.
iii) Fuentes principales de informacin
A continuacin se muestran las fuentes principales de informacin para conocer el
panorama general de un proyecto.

Fuentes Principales de Informacin para Comprender el Panorama

General de un Proyecto:
Para la evaluacin ex-ante:
- Planes de desarrollo de un pas socio en un sector/sub-sector
- Programas por pas de la JICA
- Literatura relacionada sobre el sector/sub-sector
- Informacin sobre proyectos vigentes en el sector/sub-sector
(tambin en relacin con otros donadores)
- Datos base
- Informes de evaluacin de proyectos similares (marco lgico/PDM, lecciones
aprendidas, etc.)
- Borrador del marco lgico/PDM, etc.

Para las evaluaciones intermedia, final y ex-post:

- Tablas de resumen de las evaluaciones ex-ante, documentos del proyecto
- Versiones diferentes del marco lgico/PDM
- Informes de seguimiento
- Diversos informes y memorndum del proyecto
- Funcionarios encargados de la JICA, expertos y miembros del comit de apoyo
en Japn
- Ministerios relevantes de un pas socio, agencias de implementacin (si la oficina
de campo realiza la evaluacin), etc.

39
Figura 2-1-1 Descripcin General Conceptual de la Informacin sobre el
Proyecto Objetivo

Contenido de los Planes del Proyecto

Marco de trabajo del Relaciones causales en el

proyecto proyecto
(antecedentes, objetivos, (cmo se producirn los
resultados, actividades e efectos esperados al
insumos del proyecto) implementar el proyecto)

Nivel de Resultados del Proyecto

Situacin al momento de
la evaluacin
(resultados, proceso de la
implementacin, etc.

40
3. Uso del Marco de Trabajo Lgico

(1) Situacin real del proyecto y del marco lgico

El marco lgico es una herramienta til para comprender cules son los objetivos,
actividades e insumos de un proyecto, cmo se seleccionan los valores objetivo y las
mediciones, y cules son los riesgos de un proyecto.1 El marco lgico se ha utilizado para
la planeacin y gestin de proyectos. El marco lgico puede brindarle al evaluador
informacin sobre la situacin real y la lgica o teora de los proyectos. Se puede obtener
la siguiente informacin a partir del marco lgico.

Informacin que se obtiene mediante el marco lgico:

- Efectos y resultados esperados en el proyecto
- Valores objetivo de las metas como base para un juicio
- Medios de verificacin (tiles para considerar los mtodos de encuesta)
- Algunos factores externos y riesgos que influyen en el funcionamiento del proyecto
- Insumos/recursos
- Disponibilidad de la informacin de seguimiento, etc.

Sin embargo, en la realidad el contenido del marco lgico puede no ser muy claro y
lgico o, en algunos casos, no se han esclarecido los valores objetivo. En ese caso, el
evaluador debe conocer cul es la situacin real de un proyecto a partir de los
documentos relevantes o de entrevistar a las personas interesadas. Adems, la
oportunidad de tener una discusin con las partes interesadas le puede ayudar a
considerar qu es lo que se debe investigar para medir los efectos del proyecto y cules
son los criterios que se deben utilizar para juzgar el nivel de xito de los objetivos.

(2) La Teora del Modelo Lgico

i) Qu es el Modelo Lgico?
El modelo lgico es una de las teoras de evaluacin de proyectos y constituye la base
terica del marco lgico.

1
El marco de trabajo lgico (logframe) es una herramienta de gestin para mejorar el desarrollo del plan
de intervencin (DAC), y la PDM (Matriz de Diseo del Proyecto) de la JICA es un tipo de marco lgico.
Este manual utiliza la terminologa del marco lgico ms ampliamente aceptada en el mbito
internacional.
41
 El modelo lgico...
El modelo lgico representa la teora de evaluacin de la teora de un programa. Algunas
veces se describen en trminos tales como la lgica de los resultados de un programa y la
teora de la accin, dependiendo de los investigadores. La evaluacin de la teora de un
programa se lleva a cabo cuando se confirma o asume un patrn de causa y efecto en los
programas y proyectos.

Al utilizar un modelo lgico, se esclarecen las relaciones causales del proyecto objetivo y
eso ayuda a los evaluadores a investigar si los insumos del proyecto realmente estn
produciendo los efectos como se supuso o si se estn observando impactos como se
esperaba, y/o si existe alguna falla de teora en el proyecto.

El modelo lgico es una teora para especificar las relaciones causales en un

proyecto. Todos los proyectos asumen la siguiente hiptesis: si se implementan las
actividades de A, entonces se producirn los efectos de B. Por ejemplo, un proyecto de
riego asume la hiptesis de que si se construyen unas instalaciones de riego, entonces
se elevar la productividad del arroz. Otra lgica que se asume en el proyecto como
relacin de causa y efecto es si aumenta la productividad del arroz, entonces mejorar el
nivel de ingreso de los agricultores". Si dichas relaciones de causa-efecto no funcionan
correctamente, el proyecto podra fallar. En la evaluacin necesitamos identificar cul es
la hiptesis que sustenta al proyecto y cules son las relaciones causales que lo
estructuran, y examinar si funcionan, si la hiptesis es correcta y si se estn produciendo
los efectos esperados. El modelo que aplica la teora de especificar la correlacin causal
en un proyecto se conoce como el modelo lgico. La figura 2-1-2 muestra su forma
conceptual.

ii) Resultados y Gestin del Proyecto

Tal como muestra la figura 2-1-2, otro aspecto importante de la evaluacin basada en el
modelo lgico es que el proyecto se describe en dos niveles, es decir, a nivel de
resultados y a nivel de gestin del proyecto. Este concepto es til cuando se examinan
dnde se encuentran los puntos del proyecto y quin es responsable de dichos puntos.
Por ejemplo, si no se estn produciendo los efectos esperados, podemos examinar si hay
algn problema en el mbito de la gestin o de la especificacin de las relaciones
causales si..., entonces. Este tipo de anlisis es muy importante para hacer
recomendaciones y obtener lecciones aprendidas, ya que podemos especificar a las
personas responsables que se deben tomar en cuenta. El enfoque de evaluacin que
utiliza el marco lgico es consistente con el marco de trabajo de la evaluacin de la JICA
para valorar los resultados ya que se concentra en tres aspectos: los resultados, el
proceso de implementacin y las relaciones causales.

42
Definicin de Resultado y Productos

Resultado:
Los efectos a corto, mediano y largo plazo, posibles o alcanzados, de los beneficios de
una intervencin para el desarrollo. Con frecuencia, los resultados a largo plazo se
conocen como impacto.

Productos:
Los productos, bienes de capital y servicios derivados de una intervencin para el
desarrollo. Los beneficios tambin pueden incluir cambios derivados de la intervencin
que son relevantes para alcanzar los resultados.

Fuente Principal: Glosario de los Principales Trminos sobre Evaluacin y Gestin

basada en Resutados de la OCDE, 2002 (OECD Glossary of Key Terms in Evaluation
and Results Based Management 2002)

iii) Modelo Lgico y Marco Lgico

En la fase de planeacin la JICA introduce un marco lgico que abarca la teora del
modelo lgico. Por lo tanto, no es necesario crear un modelo lgico nuevo al momento de
la evaluacin. Sin embargo, lo importante es utilizar el marco lgico de manera adecuada
en la evaluacin y al mismo tiempo comprender cabalmente la teora del modelo lgico.
Por lo general hay varios niveles de efectos finales esperados por intervencin del
proyecto (consulte la figura 2-1-3). Pero el marco lgico tiene slo dos niveles: 1) la meta
general y 2) el propsito del proyecto (consulte la figura 2-1-4). El propsito del proyecto
se describe como beneficios directos o a corto plazo para el grupo o sociedad objetivo,
mientras que la meta general son los efectos o cambios a lo largo de un plazo mayor.
Basndonos en el marco lgico existente podemos entender la teora de un proyecto
identificando las relaciones causales as como los resultados y el impacto esperados del
proyecto. Si en ese proceso surgen algunas preguntas sobre el contenido del proyecto o
las relaciones causales, es necesario reflejarlas en los planes de trabajo de evaluacin
para examinarlas con ms detenimiento.

43
Figura 2-1-2 El Modelo Lgico

Cambios en el beneficiario
Resultados
finales y/o la sociedad como
consecuencia de un
proyecto de largo plazo

Resultados
Cambios intermedios en el
Resultados
intermedios beneficiario y/o la
sociedad como
consecuencia de un
proyecto

Resultados Cambios ms directos en el

directos
beneficiario y/o la sociedad
como consecuencia de un
proyecto

Beneficios Productos, bienes de

capital y servicios del Proyecto
como consecuencia Gestin
de un proyecto
Actividades

Insumos Recursos humanos,

financieros y fsicos

44
 Figura 2-1-3 Un Ejemplo del Modelo Lgico:
El Proyecto de Mejoramiento de la Salud Materno Infantil

Se reduce la tasa de Se reduce la tasa de Resultado

mortalidad infantil
mortalidad materna Final

Se mejora el nivel Se reduce la tasa de Aumenta la Se mejora el nivel de

proporcin de
de nutricin infantil infeccin infantil partos normales nutricin materna Resul-
tado
Interme-
dio
Se brindan servicios Las madres Las madres obtienen Se reconsideran el ambiente Se mejora el
adecuados en el pueden utilizar
MCHC el MCHC mejores habilidades para diettico y de higiene para su espaciamiento

Los trabajadores de la Los trabajadores de la La gente adquiere Los varones adquieren un

salud adquieren salud adquieren ms Resultado
conocimientos mejores habilidades conocimientos mejor conocimiento de la salud
Directo

Se construye el Centro Se mejora la Se brinda a la gente

de Salud Materno- capacitacin de los educacin sobre salud,

Infantil (MCHC) trabajadores de la salud nutricin e higiene

Gestin del
Proyecto
actividades actividades actividades

Insumos Insumos Insumos

45
Figura 2-1-4 Un Ejemplo del Marco lgico de trabajo de la JICA
(Resumen Narrativo)
El Proyecto de Mejoramiento de la Salud Materno-Infantil

Objetivo General
Se ha reducido la tasa de mortalidad
infantil
Se ha reducido la tasa de mortalidad materna

Objetivo del Proyecto Resultados

Las madres y los nios pueden recibir

servicios mdicos apropiados (El MCHC
(Centro de Salud Materno-Infantil)
funciona mejor y la gente puede tener
acceso al centro)

Resultados

Se construye el Se mejora la capacita- Se brinda a la gente

educacin sobre
Centro de Salud cin de los trabajadores salud, nutricin e
Materno-Infantil de atencin a la salud higiene

Gestin del
actividades actividades actividades
proyecto

Insumos Insumos Insumos

46
(3) Revisin del Marco Lgico: Para Ver si Refleja la Situacin Real de un Proyecto
En la JICA, se formula un marco lgico al momento de la planeacin de un proyecto,
aplicando las relaciones causales del modelo lgico. Durante y despus de la evaluacin
intermedia es posible relacionar los contenidos del marco lgico con los planes de trabajo
de evaluacin hasta el punto donde el marco lgico describa la situacin real de un
proyecto (en caso que existan varias versiones del marco lgico, se aplica la ms
reciente). Sin embargo, en realidad existen casos donde el marco lgico no est
formulado clara o tericamente y, por lo tanto, no refleja la situacin real de un proyecto.
Algunas veces no solo las relaciones causales no estn bien identificadas, sino tambin
los indicadores, objetivos, medios de verificacin y suposiciones importantes. En ese
caso, el evaluador debe ajustar el marco lgico para que refleje lo que est sucediendo
en el sitio del proyecto lo ms acertadamente posible utilizando otra informacin del
proyecto. Por ejemplo, en el caso que lo que est escrito como propsito del proyecto se
pueda considerar como un beneficio nicamente, el evaluador - trabajando en consenso
con las partes interesadas - puede ajustar el propsito del proyecto examinando los
materiales relacionados o entrevistando a aquellos interesados para descubrir cules son
los efectos que se esperan originalmente. Con base en los resultados del monitoreo, el
evaluador tambin puede ajustar los indicadores de manera ms adecuada.
La tarea de ajustar el marco lgico no significa que el evaluador puede formular un
marco lgico supuesto ni establecer los valores objetivo para poder evaluarlos
fcilmente. El objetivo de la evaluacin es el contenido planeado y los resultados del
proyecto. Por lo tanto, la intencin de revisar el marco lgico al momento de planear la
evaluacin es ajustar su contenido de acuerdo con lo que est sucediendo realmente en
el sitio.
Generalmente es difcil construir relaciones causales en el marco lgico cuando el
contenido planeado o los objetivos no son claros incluso despus de haber revisado otra
informacin. Como resultado, tal vez no podamos evaluar el proyecto en un sentido real.2
En ese caso, podemos formular la pregunta de evaluacin sobre el propsito supuesto
del proyecto y, una vez que se identifica el propsito, medir el grado de realizacin.
En caso de la evaluacin ex-ante, sus resultados se reflejan en la formacin y/o
revisin del marco lgico y en el establecimiento de una base para un seguimiento fluido
y las evaluaciones posteriores.
La figura 2-1-5 muestra los pasos para la revisin del marco lgico al momento de la
planeacin de la evaluacin.

2
Sin embargo, en la JICA no ocurrira ese caso ya que actualmente se realiza la evaluacin ex-ante. En
caso que llegara a suceder en la evaluacin intermedia o en la final, sera una cuestin de la calidad de
la evaluacin ex-ante en s o del seguimiento.
47
Figura 2-1-5 Uso del Marco Lgico en la Evaluacin

El marco lgico refleja la situacin

real de un proyecto?

Est estructurado de manera lgica?

No S

Modificar el marco lgico Se puede utilizar el marco

de acuerdo con la situacin
real mediante el uso de lgico para realizar planes de
informacin de otras fuentes trabajo de evaluacin

* <Ejemplo>
Cuando el propsito del proyecto no es claro,
existen varias posibles medidas que se
pueden adoptar, como se muestra a
continuacin:
- Formular una pregunta de evaluacin sobre cul
El marco lgico modificado
debiera ser el propsito del proyecto.
est estructurado - Reflejar el propsito compartido implcitamente
entre las partes interesadas.
lgicamente?
- Establecer como objetivo del proyecto aquellos
El contenido est especificado
efectos supuestos que se podran producir a
travs de las actividades.
No S - Desistir de evaluar la efectividad haciendo la
comparacin con los planes originales.
- (En cualquier caso) investigar por qu el propsito
no es claro.

Cuando los indicadores o los valores

objetivo no son adecuados para los
Se necesitan El marco lgico se objetivos/productos:
algunas ideas - Seleccionar nuevos indicadores
cuando se puede utilizar para discutindolos con los interesados y
realizan los realizar los planes recopilar los datos adecuados en el estudio
planes de de evaluacin.
trabajo de de trabajo de - Seleccionar hitos relacionados en lugar de
evaluacin* evaluacin utilizar las metas especficas y utilizarlos
como base para el juicio (por ejemplo, el
promedio a nivel nacional, los criterios de la
OMS, un caso exitoso de un proyecto
similar). (Refirase a la siguiente pgina
para obtener ms detalles.)

48
(4) Idoneidad de los Indicadores y Medios de Verificacin en el Marco lgico

En el marco lgico hay una columna de indicadores para medir los objetivos. En la
columna, la medicin de productos, el propsito del proyecto y la meta general se
establecen de manera especfica con los objetivos. Adems, la siguiente columna a la
derecha, medios de verificacin muestra los mtodos de recopilacin de datos para los
indicadores. Esa informacin es indispensable para dar seguimiento a un proyecto.
Tambin se puede utilizar para confirmar los resultados del proyecto y para determinar
los datos que se necesitan y los mtodos de recopilacin de datos en un estudio de
evaluacin.
El evaluador necesita examinar si el propsito del proyecto est descrito con los
indicadores y mtodos de medicin adecuados. Si los indicadores no se establecen
adecuadamente, la informacin sobre los resultados del proyecto que enva la agencia de
implementacin podra no ser confiable. En ese caso, los evaluadores pueden realizar
encuestas adicionales para obtener datos sobre los resultados.

i) Indicadores y Mtodos de Medicin

Un indicador es un concepto para entender un fenmeno. Por ejemplo, el fenmeno de la
gente se enriquece se puede entender a travs del indicador de ingresos. O se puede
medir an mejor si se cuenta el nmero de ganado en las reas rurales. Otro ejemplo
sera, el fenmeno de las habilidades acadmicas de los nios se mejoran se puede
probar mediante el indicador de aumento del conocimiento.
Por lo general hay varias maneras de medir un fenmeno especfico. Por ejemplo,
los ingresos se pueden medir si se observa el cambio en el ingreso promedio anual de la
gente o en su ingreso total. El aumento de conocimientos de los nios se puede medir ya
sea por los resultados promedio de la prueba a nivel nacional, la tasa promedio de la
prueba de composicin o el resultado promedio del examen en cada clase.
Est de sobra decir que en la fase de planeacin debemos considerar
completamente cules son los mtodos de medicin ms adecuados. En una evaluacin
es necesario examinar si lo indicadores y mtodos de medicin descritos en el marco
lgico coinciden con el contenido del proyecto o la situacin de la sociedad objetivo, as
como la aplicabilidad del seguimiento y la evaluacin. Por ejemplo, hay muchas maneras
de medir los efectos de la capacitacin, como el nmero de personas que recibieron la
capacitacin, su grado de satisfaccin, el incremento de sus conocimientos, el nivel de
habilidades adquirido y el grado de su utilizacin (contribucin al trabajo, la tasa de
empleo, etc.), por mencionar algunas. Tambin, para medir dichos efectos, podra ser
necesario presentar una prueba antes y despus de la capacitacin para poder observar
el cambio en sus conocimientos.
A continuacin se describen los criterios principales para revisar la idoneidad de los
indicadores y mtodos de medicin.
49
Criterios para unos Indicadores y Mtodos de Medicin Buenos

Indicadores
z Directos/Vlidos: Si los indicadores explican directamente un fenmeno. Los
indicadores ms directos explican el objetivo con mayor claridad y por lo tanto facilitan
la medicin del nivel de rendimiento.

z Operativos: Si los indicadores estn definidos para ser lo suficientemente operativos.

Por ejemplo, el indicador del nmero de tcnicos de nivel medio que han alcanzado el
xito no se puede medir a menos que el significado de haber alcanzado el xito sea
lo suficientemente claro (por ejemplo, se puede definir como aquellos que obtuvieron
un empleo dentro de un ao a partir de haber recibido la capacitacin profesional o
aquellos que obtuvieron un aumento de salario).

z Adecuados: Si los indicadores representan los objetivos adecuadamente. Debemos

evitar demasiados indicadores para un propsito nico. Podra significar que los
objetivos son demasiado complicados o que aquellos interesados no comprenden su
contenido por completo. En ese caso, sera necesario revisar los objetivos y volver a
establecer unos ms concretos y especficos.

Mtodos de Medicin
z Prcticos: Si los mtodos de medicin son prcticos. El costo de la medicin depende
de las estrategias de medicin y de la credibilidad de los datos secundarios. Si se
cuenta con datos secundarios muy confiables, se puede establecer un simple indicador
prctico al costo mnimo. Los indicadores que slo se pueden medir a partir de
encuestas de gran escala podran no ser prcticos desde el punto de vista del costo y
el tiempo. Los mtodos de medicin son parte de las herramientas de gestin
utilizadas para el seguimiento y la evaluacin. Otro criterio importante para seleccionar
los mtodos de medicin es la accesibilidad y oportunidad para obtener datos.

z Confiabilidad: Si los datos recopilados son confiables. Los datos pueden ser ms
confiables si se pueden obtener los mismos resultados en cada medicin. La fuente
de informacin tambin debe ser confiable y es necesario eliminar hasta donde sea
posible las parcialidades de un encuestador.

ii) Valores Objetivo

Los valores objetivo brindan la base para juzgar los resultados y, por tanto, son una parte
muy importante del marco lgico. Es indispensable que las partes interesadas lleguen a
un acuerdo sobre los valores objetivo durante la fase de planeacin del proyecto. Si
resulta que no se establece una meta clara en la planeacin del proyecto, el evaluador y
dems partes interesadas tendrn juntas para decidir cul ser la base de juicio utilizando
los criterios o datos estadsticos relacionados. (Consulte el cuadro 2)

50
(5) Ubicacin del Marco Lgico en un Programa

Para entender el proyecto a travs de un marco lgico, tambin es necesario hacer

preguntas sobre la ubicacin del resultado final (o la meta general) de un proyecto
especfico para soportar el programa o el punto de desarrollo. Un proyecto especfico es
una manera de solucionar un punto de desarrollo dentro del marco de trabajo de un
programa amplio. A continuacin se mencionan las definiciones de proyecto y programa
segn la JICA. La figura 2-1-6 muestra un diagrama de su ubicacin.
Como se muestra en la figura 2-1-6, un programa es un conjunto de proyectos
individuales que comparten la misma meta general bajo el mismo asunto de desarrollo.
En la evaluacin, se hace necesario examinar cmo est ubicado un proyecto
determinado en un programa o bajo un asunto de desarrollo y tambin cules son los
vnculos entre los proyectos de otros donantes y pases socios. Precisamente esto es la
cuestin de relevancia en la evaluacin ex-ante y de impacto en la evaluacin ex-post.

Definicin de Programa y Proyecto segn la JICA

z Un programa es un conjunto de proyectos individuales vinculados libremente bajo

asuntos de desarrollo.
z Un proyecto (individual) tiene el propsito de producir determinado efecto directo
dentro de cierto perodo. El efecto directo se puede medir cuantitativamente y las
relaciones causales con los insumos se pueden asumir directamente.

51
 Figura 2-1-6 Ubicacin de un Programa y los Proyectos

Caso: Programa de Mejoramiento de la Higiene Urbana

Se mejora la higiene urbana.

(La tasa de infecciones transmitidas
por el agua ha disminuido.)

El sistema de La organizacin administrativa Se construye una

suministro de agua del medio ambiente urbano se planta de purifica- La gente adquiere

Marco lgico del conocimientos y La basura se

Marco lgico Marco lgico del
proyecto de conceptos de elimina
relativo al proyecto de
mejoramiento del higiene. adecuada mente.
mejoramiento de la construccin de la
suministro de agua Proyecto
administracin del planta de
de Proyecto de
medio ambiente purificacin de agua
educacin eliminacin

de higiene de basura

52
(6) Conexin entre el Marco Lgico y los Planes de Trabajo de la Evaluacin

El marco lgico contiene informacin til para realizar los planes de trabajo de la
evaluacin. Por ejemplo, las preguntas de evaluacin sobre la efectividad e impacto
pueden reflejar el modelo de relaciones causales del marco lgico. Adems, los valores
objetivo de los indicadores y medios de verificacin pueden ser la base para identificar los
datos necesarios y los mtodos de recopilacin de datos. La figura 2-1-7 muestra el uso
de la informacin en el marco lgico para hacer los planes de trabajo de la evaluacin.
En la Parte II, Captulo 2 se explican en detalle los planes de trabajo de la evaluacin.

Figura 2-1-7 Uso del Marco Lgico para Hacer los planes de Trabajo de
la Evaluacin

Contenido del marco lgico Planes de trabajo de evaluacin

Se puede
Resumen del Proyecto utilizar para
(Meta General, Objetivo del desarrollar
Preguntas de evaluacin
Proyecto, Productos,
Actividades e Insumos)

Suposiciones
I t t
Relaciones Causales Bases de juicio

Indicadores Datos Necesarios

(Valores Objetivo)

Medios de Fuentes de informacin

Verificacin y mtodos de
recopilacin de datos

53
4. Comprensin de la Situacin de Implementacin: Informacin sobre
los Resultados y el Proceso de Implementacin

El evaluador necesita comprender cmo se implement el proyecto cuando haga la

evaluacin (sobre todo durante y despus de la evaluacin intermedia). Eso incluye
cuestiones de los resultados as como lo que est sucediendo en el proceso de
implementacin. Es posible obtener esa informacin a partir de los registros de
seguimiento. La evaluacin de proyectos de la JICA es una tarea interna, y por lo tanto,
generalmente obtiene la informacin sobre los resultados del proyecto y el proceso de
implementacin a travs de los esfuerzos de seguimiento. Si el evaluador piensa que el
seguimiento no se llev a cabo lo suficientemente bien o que se necesita informacin ms
detallada, se realizarn otras encuestas dentro de las actividades de evaluacin.

i) Informacin sobre los Resultados

La informacin sobre los resultados incluye los resultados de los insumos, los productos y
el grado de logro del propsito y la meta general de un proyecto, aunque el enfoque ser
diferente dependiendo del momento en que se hace la evaluacin. El evaluador est
conciente principalmente de si se alcanzaron los objetivos como se plane y de cmo se
modificaron los valores objetivo o los indicadores durante la implementacin. Los
registros de seguimiento pueden ayudar al evaluador a esclarecer objetivos e indicadores
en caso que no estn especificados en el marco lgico.

ii) Informacin sobre el Proceso de Implementacin

La informacin sobre el proceso de implementacin incluye qu tanto avanzaron las
actividades y qu est sucediendo en el sitio del proyecto. Adems, se deben investigar
las relaciones entre un equipo del proyecto y los departamentos de operacin de
proyectos, as como las oficinas de la JICA en el extranjero. Con el examen del proceso
de implementacin se espera obtener el mximo de un proyecto y evitar incidentes de
antemano. El proceso de implementacin nos puede brindar los siguientes factores o
situaciones.
La informacin sobre el proceso de implementacin puede brindar factores que
influyeron el logro de los objetivos. En caso que dichos factores no se examinen bien en
el seguimiento del proyecto, se debern incluir encuestas posteriores en la evaluacin.

54
 Informacin que se obtiene mediante el examen del proceso de
implementacin
Examen de actividades
z Se realizan las actividades como se haba planeado? De ser as, cules son
los factores que contribuyen?
z Hay alguna actividad que no se haya realizado por completo? De ser as,
cules son las razones?
z Los insumos del proyecto son suficientes para continuar las actividades?

Relaciones con el grupo objetivo

z Las metas del proyecto son consistentes con las necesidades del grupo
objetivo?
z Hay algn cambio positivo de actitud y comportamiento de un grupo objetivo
para apoyar las actividades del proyecto?
z Cul es el nivel de participacin y percepcin hacia las actividades del proyecto
del grupo objetivo, la organizacin relacionada y la comunidad interesada?
z Cul es el nivel de satisfaccin del grupo objetivo hacia los servicios que brinda
el proyecto y el nivel de su utilizacin?

Gestin del proyecto

z Las actitudes de trabajo del personal del proyecto son suficientemente positivas
para implementar de manera efectiva la operacin del proyecto?
z Cul es el nivel de compromiso del personal del proyecto en las actividades del
proyecto?
z Se ha establecido una buena comunicacin entre los expertos japoneses y el
personal del proyecto?
z Se est llevando a cabo correctamente la supervisin? Se ha modificado la
estrategia del proyecto en la debida forma?
z Los departamentos de operacin del proyecto y las oficinas en el extranjero
brindan adecuadamente apoyo o asesora para el seguimiento del proyecto?

General
Cules son los factores importantes o asuntos clave que contribuyen a los efectos del
proyecto? (por ejemplo, los mtodos de la transferencia tcnica, el equipo e
instalaciones brindados, el plan de operacin, los servicio que brinda el proyecto, la
seleccin de una regin objetivo, el tamao de un grupo objetivo, etc.).

55
Captulo 2 Planeacin de la Evaluacin del Proyecto

Este captulo explica los asuntos clave que se deben considerar para planear la
evaluacin. La preguntas de evaluacin se explicarn como el primer paso para hacer
un plan de trabajo, seguidas de las bases para el juicio, los datos necesarios y fuentes
de informacin y los mtodos de recopilacin de datos.

Consejos!
- Primero, determinar lo que necesitamos conocer en la evaluacin (preguntas de la
evaluacin). Los Cinco Criterios de Evaluacin nos ayudarn a formular las preguntas
de la evaluacin tan especficas como sea posible.

- Lo siguiente es considerar con qu debemos comparar el proyecto o programa para

pode emitir un juicio de valor (base para el juicio).

- Despus debemos considerar a quin contactar, qu datos recopilar, y cmo hacerlo

para poder contestar las preguntas de evaluacin (fuente de informacin, datos
necesarios y mtodos de recopilacin de informacin).

- Hay varios mtodos de anlisis de recopilacin de datos. Es ms efectivo utilizar

diversos enfoques para contrarrestar las deficiencias de un enfoque con los puntos
fuertes de otro.

- Por ltimo, reunir todos los elementos de planeacin en una Tabla de Evaluacin, una
herramienta para desarrollar planes de trabajo de evaluacin. Es necesario aplicar la
Tabla de Evaluacin flexiblemente para satisfacer los diferentes propsitos de cada
estudio de evaluacin.

56
 Pasos del Estudio de Evaluacin

(1) Confirmar el objetivo de la evaluacin

Planeacin
de la (2) Organizar la informacin sobre

Evaluacin el proyecto objetivo

(3) Formular un plan de trabajo de -Cul es la metodologa de evaluacin?

evaluacin - Considerar preguntas de la evaluacin, bases de

juicio, datos necesarios y mtodos de recopilacin

de datos

(4) Recopilacin de datos

Implemen-
tacin
(5) Anlisis e interpretacin de
d t

Dar a
(6) Dar a conocer los resultados de
conocer los
la evaluacin
resultados

Retroalimen-
tacin

La realizacin de un plan de evaluacin es un proceso para determinar qu y cmo

se debe implementar la evaluacin en relacin con su propsito. Por lo general, un
estudio de evaluacin est limitado por su presupuesto y tiempo, y por tanto, es necesario
desarrollar bien una manera efectiva y eficiente de realizar el estudio. A continuacin se
describen los pasos principales para la planeacin de la evaluacin. Estos pasos estn
interrelacionados entre s y por ello muchas veces se desarrollan al mismo tiempo.

57
Pasos para hacer un plan de evaluacin

1. Desarrollar preguntas de evaluacin Qu se debe conocer a

travs de la evaluacin

2. Identificar las bases de juicio

Sobre qu bases se debe
adoptar el juicio de valor

3. Identificar los datos necesarios y

seleccionar las fuentes de informacin Qu datos se deben recopilar
y de dnde

4. Seleccionar los mtodos de

recopilacin de datos Cmo recopilar los datos

58
 Formato del Cuadro de Evaluacin

Preguntas de Evaluacin Mtodos

Fuentes
Datos de
Criterios de Bases de de
Preguntas necesa- Recopila-
Evaluacin Preguntas juicio Informa-
secunda- rios cin de
principales cin
rias Datos

Pertinencia

Efectividad

Eficiencia

Impacto
Sustenta-
bilidad
Otros

59
1. Desarrollo de las Preguntas de Evaluacin

(1) Niveles de las Preguntas de Evaluacin y los Cinco Criterios de Evaluacin

i) Qu es una Pregunta de Evaluacin?

Las preguntas de evaluacin representan lo que uno quiere saber a travs de la
evaluacin. Por ejemplo, la pregunta de si un proyecto fue (o ser) significativo es un
ejemplo de una pregunta de evaluacin y una pregunta comn para la evaluacin de un
proyecto. Preguntas ms centradas en verificar el valor de un proyecto sern: El
proyecto produjo efectos? o Se usaron los recursos eficientemente? Es posible
formular preguntas ms especficas enfocadas en la efectividad de un proyecto. Por
ejemplo, en un proyecto de riego, los evaluadores pueden hacer preguntas tales como:
Aument el volumen de produccin de las cosechas? o Aument el ingreso de los
agricultores? Para que un estudio de evaluacin sea operativo se deben desarrollar
preguntas ms especficas a partir de una pregunta general. Al hacerlo, se identifican
ms fcilmente mtodos de encuesta ms concretos as como los datos necesarios.
Los departamentos de operacin de proyectos dentro de la JICA desarrollan
preguntas de evaluacin que toman en consideracin la situacin real de un proyecto y lo
que se debe tomar en cuenta durante el perodo limitado de la evaluacin para obtener
respuestas tiles. El personal de la JICA es responsable de establecer preguntas de
evaluacin adecuadas ya que estn en posicin de comprender las cuestiones principales
del proyecto objetivo as como las cuestiones del sector relacionado. Deben tener en
mente esas cuestiones cuando desarrollen las preguntas de evaluacin para que los
resultados de la evaluacin se utilicen cabalmente para el mejoramiento de proyectos
futuros.

ii) Conexin entre las Preguntas de Evaluacin y los Cinco Criterios de Evaluacin
Como se explic en la seccin anterior, la JICA adopta los Cinco Criterios de Evaluacin
de la DAC (es decir, pertinencia, efectividad, eficiencia, impacto y sustentabilidad) para
emitir un juicio de valor sobre los resultados del proyecto. Se pueden desarrollar las
preguntas de evaluacin de acuerdo con estos cinco criterios. Por ejemplo, en caso de
una evaluacin final del Proyecto de Capacitacin de Maestros de Matemticas y
Ciencias, las preguntas de evaluacin para determinar la efectividad del proyecto
podran ser: Hubo alguna mejora en los mtodos de enseanza de los maestros como
consecuencia del proyecto? o Ha habido algn cambio en las actitudes de los
maestros? Preguntas ms especficas podran ser: Cmo evalan los estudiantes los
cambios en las actitudes de los maestros? y El nivel de rendimiento de los maestros
satisfizo los valores objetivos (nicamente si el sistema para evaluar los mtodos de
enseanza se introdujo en el proyecto como un sistema de seguimiento)? Mientras ms

60
especficas sean las preguntas ms fcil ser desarrollar posteriormente un plan de
trabajo para la evaluacin. Al hacerlo, la calidad de la evaluacin en s podra mejorar.
No tenemos que cubrir todos los criterios con un conjunto completo de preguntas de
evaluacin. Necesitamos tener cuidado de no establecer preguntas de evaluacin
automticamente con base en los cinco criterios, sino desarrollar las preguntas
principales que proporcionarn respuestas tiles para mejorar el proyecto. Por lo tanto,
es posible que el nfasis entre los criterios sea diferente. En el caso de una evaluacin
interna con el propsito de mejorar los proyectos, los resultados sern irrelevantes a
menos que los intereses principales del personal de la JICA y de otras partes interesadas
se reflejen en las preguntas de evaluacin. Sus preocupaciones e intereses son el punto
de partida de la evaluacin. En ese proceso, podemos establecer qu preguntas crticas
se deben atender primero. Por lo general, el presupuesto y perodo de una evaluacin es
limitado y con frecuencia es difcil responder todas las preguntas. El personal de la JICA
debe discutir de manera extensa con las otras partes interesadas qu es lo que se debe
investigar exhaustivamente y luego seleccionar las preguntas de evaluacin importantes.
A continuacin se explican las relaciones entre los Cinco Criterios de Evaluacin y
las preguntas de evaluacin. Unas preguntas de evaluacin adecuadas facilitarn la
identificacin de los datos necesarios e indicadores en un estudio de evaluacin.

61
 Figura 2-2-1 Modelo Conceptual de Cmo Desglosar una Pregunta Principal
(Caso de Evaluacin Final del
Proyecto de Capacitacin de Maestros de Matemticas y Ciencias)

(Pregunta Principal)
La implementacin del proyecto fue vlida?

Pertinencia Sustentabilidad
Cinco Criterios de

Evaluacin Eficiencia

Efectividad
Impacto

(Desglosada en preguntas ms especficas)

i ii iii iv v

i) Existe la necesidad de mejorar la educacin en materia de

matemticas y ciencias?

ii) Han mejorado los mtodos de enseanza de los maestros?

iii) Es aceptable el costo de desarrollar un plan de estudios?

iv) Los estudiantes han alcanzado ciertos logros acadmicos?

v) Se ha sustentado el sistema de capacitacin de los maestros?

Todava se pueden desglosar en preguntas ms especficas.

62
Figura 2-2-2 Ejemplo de Preguntas de Evaluacin: preguntas principales
y preguntas secundarias
Caso: Curso de Capacitacin para el Manejo del Riego
El proyecto fue efectivo? (efectividad)

Los participantes adquirieron conocimientos suficientes a travs de la

capacitacin?
z Los participantes adquirieron conocimientos sobre
el sistema de mantenimiento de las instalaciones
de riego y el establecimiento y manejo de una
cooperativa para el manejo de agua? (resultados
de las pruebas y calificaciones)
z Los participantes estn satisfechos con el
programa de capacitacin? (cuestionario)
z Los participantes reciben de sus supervisores una
buena evaluacin sobre su trabajo cuando
regresan a casa? (cuestionario)

La primera pregunta del ejemplo anterior es demasiado general. Por ejemplo, no es

claro lo que significa conocimientos de los participantes y cmo juzgar el incremento de
sus conocimientos. Cuando se desglosa la primera pregunta general en tres preguntas
especficas es ms fcil considerar una base de juicio, los datos necesarios y los
mtodos de recopilacin de datos. Algunas preguntas se pueden desglosar an ms
hasta que uno pueda imaginar claramente los datos que se deben recopilar.
Caso: Proyecto de Erradicacin de la Polio
El proyecto ser sustentable? (sustentabilidad)

z Es factible el plan de distribucin de la vacuna de la

polio?
z Se cuenta con fondos seguros para mantener y
manejar el sistema de almacenamiento de la
vacuna?
z Se va a brindar educacin continua sobre la salud a
la gente de la localidad? ( tambin es necesario
desglosar esta pregunta en preguntas especificas
enfocadas en cuestiones tales como la capacitacin
de voluntarios de la salud y el desarrollo y
distribucin de libros de texto, etc.)

63
(2) Perspectivas de los Cinco Criterios de Evaluacin

Como se explic en una seccin anterior, los Cinco Criterios de Evaluacin se utilizan
para evaluar un proyecto objetivo desde diversos puntos de vista y, durante el proceso,
identificar los factores que contribuyen o dificultan el mismo. Con base en dichos factores,
se pueden formular buenas lecciones aprendidas y recomendaciones. La tabla 2-2-1
muestra las perspectivas principales de cada criterio. Se puede hacer referencia a ellos
cuando se desarrollan las preguntas de evaluacin. La figura 2-2-3 muestra las
relaciones conceptuales entre los Cinco Criterios de Evaluacin y el marco lgico. Tal
como se explic, de acuerdo con los cinco criterios, es posible que la informacin de un
marco lgico no sea suficiente para realizar una evaluacin integral.
Es necesario desarrollar las preguntas de evaluacin adecuadas para cada criterio,
refirindose a los documentos del proyecto y al marco lgico. El marco lgico brinda
informacin para puntualizar y establecer prioridades para las preguntas de evaluacin de
manera sistemtica al sealar las conexiones causales entre los componentes del
proyecto (incluyendo los productos, actividades e insumos) y los resultados (incluyendo
las metas generales y el propsito del proyecto), as como las suposiciones que
sustentan el proyecto. Si la lgica del marco lgico es correcta, el evaluador podr utilizar
directamente la descripcin del proyecto que aparece en el marco lgico para formular las
preguntas sobre su nivel de rendimiento. Por otro lado, si el marco lgico no est
estructurado de manera lgica, el evaluador deber crear preguntas de evaluacin
relevantes junto con las partes interesadas.

64
Tabla 2-2-1 Perspectivas de los Cinco Criterios de Evaluacin
Pertinencia Necesidad
z El proyecto coincide con las necesidades de un rea o sociedad
objetivo?
Examinar la z El proyecto coincide con las necesidades de los grupos objetivo?
justificacin o Prioridad
necesidad de z El proyecto es consistente con la poltica de asistencia para el
implementar un extranjero de Japn y los programas por pas de la JICA?
proyecto z El proyecto es consistente con los planes de desarrollo de un pas
socio?
Pertinencia como un Medio
z La estrategia del proyecto est produciendo impacto sobre los
asuntos de desarrollo en el sector relacionado de un pas socio?
(Los enfoques, reas objetivo o grupos son adecuados? Hay algn
efecto sinergtico de los proyectos de otros donadores en el mismo
sector?, etc.)
z Los grupos objetivo seleccionados se consideran adecuados (como
un objetivo o en su tamao)?
z El proyecto es pertinente desde el punto de vista de la igualdad?
(Los efectos y costos del proyecto se comparten de igual manera?
Hay algn efecto de difusin ms all de los grupos objetivo?, etc.)
z Japn obtiene alguna ventaja por extender la cooperacin tcnica en
el sector o sub-sector relacionado? (Hay alguna acumulacin de
conocimiento (know-how) y experiencias en relacin con las
tecnologas objetivo en Japn?, etc.)
Efectividad z Es el propsito del proyecto lo suficientemente especfico? (Los
indicadores y medios de verificacin son adecuados?)
Examinar los efectos z Se alcanz (o alcanzar) el propsito del proyecto?
de un proyecto z El logro deriv (o deriva) de los beneficios?
z Existe alguna influencia de suposiciones importantes en el logro del
propsito del proyecto?
Cules son los factores que dificultan/contribuyen a la efectividad?

Eficiencia z Se justific (o justifica) el costo de los insumos por el grado de

rendimiento de los beneficios? (Esto se puede comparar con
Examinar la proyectos similares de otros donadores o del pas socio.) Haba (o
eficiencia de un hay) alguna alternativa que hubiera alcanzado (o alcanzar) el mismo
proyecto nivel a menor costo? Se pudo (puede) esperar un mayor nivel de
logros por el mismo costo?
z Se justific (o justifica) el costo de los insumos por el grado de logro
de los propsitos del proyecto? (Esto se puede comparar con
proyectos similares de otros donadores o del pas socio.) Haba (o
hay) alguna alternativa que hubiera alcanzado (o alcanzar) el mismo
nivel a menor costo? Se pudo (puede) esperar un mayor nivel de
logros por el mismo costo?
z Cules son los factores que inhiben o contribuyen a la eficiencia
del proceso de implementacin del proyecto?
(ejemplos)
Los insumos se entregaron en los momentos adecuados?
La cantidad y calidad de los insumos fueron adecuadas?
Existe alguna influencia de suposiciones importantes en el
proceso desde los insumos hasta el producto?
Existe la influencia de condiciones previas?, etc.
Cules son los factores que dificultan/contribuyen a la
efectividad?
Impacto z Se ha alcanzado la meta general (o se alcanzar)?
z Los logros del objetivo general se debieron (o deben) al resultado
Para examinar los del propsito del proyecto?
efectos del proyecto z Existe alguna influencia de suposiciones importantes en el logro del
incluyendo los objetivo general?
efectos de difusin a z Hay alguna influencia positiva o negativa inesperada incluyendo los
largo plazo efectos de difusin?
Conduzca el estudio desde varios puntos de vista tales como las
65
 polticas, economa y finanzas, organizacin e institucin, tecnologa,
sociedad y cultura y medio ambiente. Algunos ejemplos de
preguntas de la encuesta son:
Hay alguna influencia en las polticas?
Hay alguna influencia econmica en una sociedad objetivo, las
agencias de implementacin de proyectos y el beneficiario?
Hay alguna influencia sobre la organizacin, las estipulaciones
relacionadas y la disposicin del sistema legal?
Hay alguna influencia en la innovacin tecnolgica?
Hay alguna influencia en temas como la igualdad de gneros, los
derechos humanos, las diferencias entre ricos y pobres, la paz y
los conflictos?
Hay alguna influencia en relacin con los temas de proteccin
ambiental?, etc.
z Se observa algn impacto especfico, ya sea positivo o negativo,
debido a las diferencias de gnero, raza y clase social?
z Cules son los factores que dificultan y que contribuyen al impacto?
Cules son los factores inesperados que produjeron una influencia
positiva y negativa?
Sustenta- z Se van a sustentar los efectos esperados descritos en el propsito
del proyecto y el objetivo general una vez que se termine la
bilidad asistencia?
z Cules son los factores que inhiben o contribuyen a la aparicin de
Para examinar la dichos efectos sustentables?
sustentabilidad Conduzca el estudio desde varios puntos de vista tales como las
despus de polticas, economa y finanzas, organizacin e institucin, tecnologa,
concluida la sociedad y cultura y medio ambiente. Algunos ejemplos de
cooperacin de la preguntas de la encuesta son:
JICA El apoyo poltico est sustentado?
La organizacin tiene la capacidad de realizar actividades?
-El personal est ubicado de manera adecuada?
-El presupuesto, incluyendo los gastos comunes, est
asegurado?
-El proceso de toma de decisiones funciona correctamente? ,
etc..
Las estipulaciones relacionadas y el sistema legal estn
arreglados?
La organizacin es financieramente independiente o el apoyo
financiero se brinda de manera continua?
Se mantienen y prevalecen las tecnologas necesarias? El
equipo recibe mantenimiento apropiado?
Una influencia negativa sobre los aspectos sociales y culturales,
si la hubiera, sera un obstculo para llevar a cabo las actividades?
-Hay alguna influencia negativa sobre la sustentabilidad a causa
de la falta de consideracin a las mujeres, los pobres y los
socialmente vulnerables?
Una influencia negativa sobre el medio ambiente inhibira la
realizacin de las actividades?
z Se asegur (o est asegurada) la propiedad de las agencias de
implementacin y los ministerios relacionados?

66
Figura 2-2-3 La Relacin entre los Cinco Criterios de Evaluacin y el
Marco Lgico (Figura Conceptual)

Meta general

Impacto
Pertinencia

Propsito del
Proyecto

(Evaluacin de Efectividad Sustentabilidad

los Productos)
Productos

Actividades
Eficiencia
(Examen del
proceso de
(nota)
implementacin) Insumos

Nota: Anteriormente, la eficiencia se analiz sobre todo con base en la relacin

entre los insumos y los productos. Sin embargo, tambin es necesario verificar el
costo-efectividad analizando la relacin entre los insumos y el propsito del
proyecto.

Esta figura muestra principalmente la relacin entre los Cinco Puntos de Evaluacin y el
Marco Lgico. El marco lgico es nicamente una de las fuentes de informacin en una
evaluacin y uno necesita analizar tambin otra informacin. Por ejemplo:
para la pertinencia, tambin se necesita informacin tal como los planes de
desarrollo de un pas socio, los antecedentes del proyecto, las necesidades del
beneficiario, las estrategias del proyecto y la formulacin de planes.
es necesario analizar la eficiencia desde tres puntos de vista: 1) productividad; 2)
costo-beneficio y 3) costo-efectividad;
para el impacto, no slo se describe la meta general como un efecto esperado en el
marco lgico, sino tambin es necesario investigar las influencias inesperadas
positivas y negativas; tambin se examina la pertinencia de las estrategias en el marco
67
 de trabajo de un programa;
para la sustentabilidad, se deben formular varias preguntas como se describe en la
tabla 2-2-1; y
para la efectividad y el impacto, cuando se examinan las relaciones causales entre
la implementacin del proyecto y los efectos es necesario incluir aquellos aspectos
tales como las condiciones internas, el proceso de implementacin del proyecto y las
condiciones externas inesperadas.

68
(3) Cmo describir las preguntas de evaluacin en una tabla de evaluacin

Finalmente, todos los componentes de la planeacin de la evaluacin se renen en la

tabla de evaluacin. A continuacin se muestran ejemplos de las preguntas de evaluacin
en el caso del proyecto de capacitacin de maestros de matemticas y ciencias:

(Ejemplo del Formato de Tabla de Evaluacin)

Preguntas de Mtodos
Fuente
Evaluacin Datos de
Cinco Bases del de
Preguntas Preguntas necesa- Recopila-
Criterios Juicio Informa-
principales Secunda- rios cin de
rias
cin
Datos
Desglose
Efectivi-
dad

(Caso: Proyecto de Capacitacin de Maestros de Matemticas y Ciencias)

Cinco Preguntas de Evaluacin

Criterios Preguntas principales Preguntas secundarias
Mejoraron los mtodos de enseanza de
los maestros?*
La calidad de la educacin
Mejor la actuacin de los maestros en
en la escuela modelo mejor
clase?**
gracias al proyecto?
Efectivi- Mejor la comprensin de los maestros
dad acerca del contenido de los temas?***
Los maestros capacitados
participan continuamente en
actividades de
educacin?****
Mejor el promedio general en la prueba
Mejoraron las habilidades
anual a nivel nacional?
Impacto de aprendizaje de los
Los estudiantes aumentaron su grado de
alumnos gracias al proyecto?
satisfaccin con las clases?
Nota: No tiene ningn sentido establecer preguntas de evaluacin a menos que se puedan
recopilar los datos necesarios. Se supone que se deben recopilar los siguientes datos para las
preguntas arriba mencionadas.

* Comparacin con los datos obtenidos a partir del cuestionario de la encuesta que
supuestamente se realiz despus del proyecto.
** El uso de los datos obtenidos a partir de las observaciones directas concuerda con las
listas de verificacin de las actividades de supervisin
*** Medida mediante las calificaciones de la prueba.
**** Medicin de la proporcin de maestros que trabaja continuamente en la misma escuela
al momento de la evaluacin.

69
2. Bases del Juicio

(1) Confirmacin de los Valores Objetivo o Establecimiento de Criterios Nuevos

La valoracin de los resultados de un proyecto durante y despus de la evaluacin

intermedia requiere de criterios de logros (o valores objetivo) para poder juzgar si se
alcanzaron o no los objetivos como se esperaba. Los valores objetivo descritos en la
columna de los indicadores se puede utilizar como dichos criterios. En caso que no se
hayan especificado los valores objeto, un evaluador necesita establecer los criterios para
determinar tanto el nivel de logro y contra qu se deber comparar dicho logro. Por
ejemplo, para evaluar un nivel de seguridad del agua, uno puede aplicar los criterios de
calidad del agua que estableci la OMS. Otro ejemplo es aplicar la tasa nacional
promedio de enfermedades infecciosas a la regin objetivo par medir los cambios
despus de un proyecto de salud. El evaluador y las partes interesadas deben discutir a
fondo los criterios que se debern utilizar como base para el juicio. (Consulte el cuadro 2:
Varias Maneras para Decidir los Valores Objetivo.)
Tambin es necesario considerar los criterios que se debern utilizar para evaluar
la eficiencia. Por ejemplo, para poder evaluar el costo-eficiencia de construir una escuela
primaria, se pueden utilizar criterios tales como el costo total de proyectos similares, el
costo promedio de construir una escuela primara en un pas objeto o el costo promedio
de alguna construida por otros donantes (Actualmente, la eficiencia no se ha analizado
desde el aspecto del costo ya que no se cuenta con los criterios para la comparacin.
Por tanto, en la mayora de los casos, la eficiencia del proceso de implementacin se ha
analizado cualitativamente. Se requiere la acumulacin de datos para comparacin.)

<Cuadro 2: Mtodos para Establecer Valores Objetivo>

Refirase a las necesidades del grupo objetivo: para establecer valores objetivo con base en la
norma que espera el grupo objetivo.

Refirase a la media de la regin completa a la que pertenece el rea objetivo: para establecer
valores objetivo refirindose a la media de la regin completa a la que pertenece el rea objetivo (por

ejemplo, pas, perfectura).

Refirase a los casos exitosos de proyectos similares: para aprender de las experiencias en los
casos exitosos de proyectos similares realizados bajo condiciones anlogas. Esto se basa en la idea

que el proyecto objetivo debe alcanzar el mismo xito que esos casos.

Refirase a los valores objetivo establecidos por las agencias especializadas: para utilizar los
valores estndar establecidos por las agencias especializadas - por ejemplo, los criterios de calidad

del agua de la OMS.

70
(2) El Punto de Vista al Evaluar las Relaciones Causales

Al evaluar la efectividad o el impacto de un proyecto, los evaluadores deben formular la

pregunta causal de si los efectos son resultado de la intervencin del proyecto. Esta
pregunta es diferente a medir los logros de un proyecto a travs de las preguntas
normativas. Como un proyecto es nicamente una intervencin en una sociedad objetivo,
no podemos excluir las influencias de otros factores adems del proyecto. Por ejemplo,
un aumento en el ingreso de los agricultores se puede derivar de un aumento en la
productividad de las hortalizas como consecuencia de un proyecto de riego, o podra
derivarse de la influencia de factores totalmente diferentes tales como trabajo para los
agricultores en las aldeas vecinas, otras oportunidades de un ingreso adicional, etc. En
otras palabras, no es posible medir los efectos de un proyecto con slo observar los
cambios de los beneficiarios objetivo. Por lo general, hay dos mtodos para probar la
causalidad: 1) mtodos cuantitativos por comparacin y 2) mtodos cualitativos de
construccin de informacin, que intentan probar la correlacin entre los productos y los
efectos directos del proyecto.

i) Mtodos Cuantitativos: Mtodo de Diseo Experimental, etc.

La metodologa bsica de los mtodos cuantitativos para examinar las relaciones
causales es la comparacin. Hay dos formas de comparacin: 1) comparar una
sociedad/beneficiario objetivo antes y despus de un realizar un proyecto para ver sus
cambios y 2) comparar una sociedad objetivo/beneficiario con un proyecto en otra
sociedad/pueblo sin proyecto.
Se dice que el mtodo ms cientfico es el conocido como el mtodo de diseo
experimental, que es una combinacin de antes/despus y con/sin. Hay dos pasos para
conducir la encuesta: 1) elegir al azar un grupo como el grupo objetivo y el otro como el
grupo no objetivo (grupo de control) antes de implementar un proyecto y 2) comparar sus
cambios antes y despus del proyecto. Sin embargo, estos mtodos causan problemas
ticos y requieren de un costo comparativamente mayor y, por lo tanto, en la realidad no
se pueden aplicar fcilmente para evaluar proyectos individuales. No obstante, es posible
realizar una simple encuesta comparativa entre aquellos que participaron en un proyecto
y aquellos que no lo hicieron, incluso cuando esos grupos no se hayan elegido al azar.
(Por ejemplo, comparar la percepcin de un pueblo en relacin con los cuidados de salud
en una regin objetivo de un proyecto PHC y la de aquellos en otra regin en un medio
ambiente similar sin el proyecto; este mtodo se llama el mtodo de diseo semi-
experimental.)
En muchos casos cuando se evalan proyectos especficos en la JICA, se aplica la
comparacin antes y despus al grupo objetivo. Los datos base obtenidos en la
evaluacin ex-ante se utilizarn para comparar los resultados despus del proyecto. Otra

71
manera de examinar las relaciones causales es medir los datos regularmente y observar
la transicin y su tendencia en series de tiempo.

ii) Mtodos Cualitativos

El anlisis cualitativo de las relaciones causales trata de explicar la relacin entre la
implementacin del proyecto y los cambios en sus beneficiarios. Dicho anlisis rene (o
construye) varias fuentes de informacin sobre el proyecto para determinar qu tipo de
relacin causal existe entre el proyecto y los efectos sobre la sociedad objetivo.
Hay varias formas cualitativas de analizar las relaciones causales como se describe a
continuacin.

Enfoque cualitativo para analizar las relaciones causales

z Construir informacin sobre el proceso de implementacin a partir de insumos desde
las actividades hasta los productos y de los productos a los objetivos.
z Intentar explicar la relacin lgica entre la implementacin del proyecto y los efectos.
z Analizar el proceso para transferir y divulgar tecnologa a travs de las actividades.
z Aclarar la relacin entre la implementacin del proyecto y los efectos mediante una
encuesta detallada y profunda de una regin objetivo o de un grupo objetivo pequeo
(es decir, estudio de caso).

Para construir la informacin sobre el proceso de implementacin y valorar la

relacin causal se pueden recopilar e interpretar datos cualitativos tales como la forma en
que se realizan las actividades, si se obtuvieron los productos como se esperaba, cmo
cambi la percepcin de un grupo objetivo hacia el proyecto, o cundo se produjeron los
efectos, y en cules mtodos de anlisis se pueden utilizar. (Consulte la tabla 2-2-4 para
ver la metodologa)

Los mtodos cuantitativo y cualitativo se pueden combinar y utilizar de manera

complementaria. Por ejemplo, despus de la evaluacin de la medicin antes y despus
de los resultados, podemos utilizar los mtodos cualitativos para que la explicacin sea
ms convincente. Generalmente as se realizan las evaluaciones de proyectos
particulares en la JICA.

72
(3) Cmo describir la base de juicio en la tabla de evaluacin

En la tabla de evaluacin, la columna base del juicio no necesariamente se llena,

dependiendo de las preguntas de evaluacin. Es posible que los temas de la pertinencia y
la sustentabilidad no requieran de esa base ya que se recopila principalmente informacin
cualitativa. A continuacin se muestra un ejemplo del uso de la tabla de evaluacin con la
base del juicio.

(Ejemplo del Formato de Tabla de Evaluacin)

Preguntas de Mtodos
Fuente
Evaluacin Datos de
Cinco Bases del de
Preguntas Preguntas necesa- Recopila-
Criterios Juicio Informa-
principa- secunda- rios cin de
cin
les rias Datos
Desglose
Efectivi-
dad

(Caso: Programa de Capacitacin de Maestros de Ciencia)

Cinco Preguntas de Evaluacin

Bases del Juicio
Criterios Temas principales Temas menores
-Comparacin con el valor
Mejoraron los
objetivo (el valor medio no es
mtodos de
menor de 3.0)
enseanza de los
La calidad de la -Comparacin antes y
maestros?
educacin en la despus de la implementacin
Efectivi-
escuela modelo -Comparacin con el valor
dad Mejor la
mejor gracias al objetivo (la calificacin
comprensin de los
proyecto? promedio no es menor de 80
maestros acerca del
puntos)
contenido de los
-Comparacin antes y
temas?
despus de la implementacin
-Comparacin de resultados
Mejor el promedio despus de la implementacin
general en la prueba con estudiantes sin proyecto
anual a nivel
Mejoraron las
nacional?
habilidades de
Impacto aprendizaje de los
alumnos gracias al Los estudiantes (Datos Cualitativos)
proyecto? aumentaron su grado
de satisfaccin con
las clases?

73
<Cuadro 3: El Mtodo de Diseo Experimental y el Mtodo de Diseo
Semi-experimental>

El mtodo de diseo experimental es un mtodo para examinar las relaciones

causales entre los efectos y las implementaciones de un proyecto al comparar un
grupo con un proyecto (un grupo de implementacin) con un grupo sin proyecto (un
grupo de comparacin o de control). Debido a la influencia de factores externos, es
difcil examinar las relaciones causales entre los cambios efectuados y un proyecto
especfico comparando nicamente antes y despus de la implementacin del
proyecto. El mtodo est diseado para calcular los efectos netos de la intervencin
de un proyecto al descartar los cambios de un grupo de control de los cambios de un
grupo de implementacin antes y despus de la implementacin de un proyecto.

Hay dos tipos de casos de evaluacin usando un grupo de comparacin: 1) el caso

donde un grupo de comparacin ya existe; y 2) el caso donde el evaluador formula un
grupo de comparacin al momento de la evaluacin. La forma ms cientfica (o
tericamente efectiva) de usar el grupo de comparacin es elegir ambos grupos al
azar en una regin objetivo antes de lanzar el proyecto.

Cuando efectivamente se est realizando un proyecto de asistencia para el

desarrollo, la eleccin del grupo de implementacin y del grupo de comparacin
puede causar algunas dificultades. Existe un problema de tica al controlar y observar
un grupo que se excluye de los beneficios del desarrollo durante los tres o cinco aos
que dura el proyecto. Adems, est el problema del costo.

El mtodo que se utiliza con ms facilidad es especificar un grupo de comparacin

que puede tener condiciones similares a las de un grupo de implementacin y
comparar los efectos entre ambos. Este mtodo se conoce como el modelo de diseo
semi-experimental y se comparan dos grupos de comparacin de casi el mismo
tamao y con caractersticas similares. (Este mtodo tambin se conoce como el
modelo de asociacin.)

Por ejemplo, es posible comparar la situacin despus de la implementacin de un

proyecto entre la comunidad A donde se realizan actividades de atencin a la salud
regionales y la comunidad B que no cuenta con dichas actividades. La comunidad B
necesita tener tendencias similares a la comunidad A en condiciones tales como la
proporcin de gnero, el nmero de familias, los tipos de enfermedades infeccionas,
la situacin real de los servicios de atencin mdica, la precipitacin anual o las
condiciones geogrficas. Adems, tambin es posible comparar algunas
caractersticas especficas en los grupos seleccionados (grupos de diferentes edades,
grupos de diferentes gneros, grupos de diferentes profesiones, etc.).

Fuentes: Ryu Yoshiaki, Ryo Sasaki (2000), Seisakuhyoka no riron to giho (Teoras y Tcnicas de la
Evaluacin de Polticas), Tagashuppan, p. 50-71; Lipsey RF (1999), Evaluacin: Un Enfoque
Sistemtico, 6a. edicin, SAGE, p. 279-306.

74
3. Consideracin los Datos y Fuentes de Informacin Necesarios

El siguiente paso es identificar cules son los datos que se deben recopilar y de dnde
para poder contestar las preguntas de evaluacin. Parte del proceso para encontrar los
indicadores especficos para medir un fenmeno es la tarea de identificar los datos
necesarios. Por ejemplo, un evaluador deber decidir un mtodo de medicin: por
ejemplo, si se debe medir la riqueza mediante el ingreso anual o el nmero de ganado
en una situacin especfica del proyecto. Por lo general hay diversas maneras de medir
un fenmeno y, por lo tanto, se debe elegir la medicin ms adecuada.

(1) Tipos de Datos

Existen dos tipos de informacin o datos para responder a las preguntas de evaluacin:
1) los datos cuantitativos; y 2) los datos cualitativos. Se debe conocer la naturaleza
diferente de cada tipo de dato ya que afecta la recopilacin de datos y los mtodos de
anlisis en un estudio de evaluacin. (Consulte los mtodos de anlisis cuantitativo y
cualitativo en 2-2-4)

i) Datos Cuantitativos
Los datos cuantitativos son aquellos expresados en valores numricos (por ejemplo, el
volumen de la cosecha de productos agrcolas, la tasa de alfabetizacin, la tasa de
mortalidad infantil, el rea de tierra de riego, la cantidad de instalaciones construidas y el
promedio de calificacin de una prueba). Los datos cuantitativos se utilizan ms para
evaluar los resultados de un proyecto o el grado de logro en valores numricos: es decir,
calcular el ingreso promedio de cierto grupo mediante el anlisis estadstico, y ver la
correlacin entre los antecedentes acadmicos y el ingreso. Los datos cuantitativos
tambin son adecuados para analizar la situacin de un grupo relativamente grande
realizando encuestas de muestreo.
Es posible cuantificar los aspectos cualitativos - que no son tan fciles de medir
en valores numricos - mediante una encuesta por cuestionario de opciones mltiples o a
travs de la observacin con una lista de verificacin. Por ejemplo, para investigar el
grado de satisfaccin de la gente, un evaluador puede calcular el porcentaje de gente
satisfecha preparando cinco opciones mltiples: 1) completamente satisfecho; 2)
moderadamente satisfecho; 3) ni satisfecho ni descontento; 4) un poco descontento; y 5)
completamente descontento. Uno puede entonces calcular el valor medio del grado de
satisfaccin si codifica esas opciones con nmeros del cinco al uno respectivamente.
Cuando se miden cambios en la actitud o percepcin de la gente, es posible cuantificar
los cambios definiendo la actitud o la percepcin en trminos concretos. Por ejemplo,
para poder analizar cmo cambiaron las actitudes de los maestros y los mtodos de
enseanza despus de recibir la capacitacin, se pueden definir dichos cambios como
75
"adoptando un mtodo participativo en clase", "la actitud hacia los estudiantes que no
pueden ir a la par con el avance de la clase, la manera de ensear con herramientas
experimentales limitadas, o la forma de estimular la creatividad de los alumnos. Esto se
puede medir a travs de la observacin de un tercero a mediante una encuesta por
cuestionario para los maestros.
Debido a que los datos cuantitativos se recopilan de manera sistemtica y
uniforme, tambin pueden ser ms confiables y fciles de analizar. No obstante, no se
puede obtener fcilmente informacin de antecedentes tales como la razn por la cual se
observa un fenmeno y cmo se adquiere el status quo.

Los datos cuantitativos se aplican para

z Medir los resultados del proyecto o el grado de logro
z Estudiar a un gran nmero de personas
z Utilizar mtodos de medicin establecidos
z Llevar a cabo un anlisis estadstico

ii) Datos Cualitativos

Los datos cualitativos son aquellos que expresan un fenmeno de manera descriptiva y,
por tanto, son adecuados para comprender a fondo la situacin o conocer en detalle el
comportamiento de la gente y su percepcin. Los datos cualitativos pueden brindar
informacin ms detallada, incluyendo los factores que influyen, el proceso de los
cambios, episodios y relaciones entre ellos en un proyecto. La mayora de la informacin
en el proceso de implementacin son datos cualitativos, y este tipo de informacin incluye
los problemas y medidas adoptadas en el proceso de actividades, el proceso de gestin,
las relaciones humanas y la percepcin sobre el proyecto de las partes interesadas.
Dichos datos se pueden analizar para aprender cmo influyen estos factores para
alcanzar los objetivos y cules son los factores existentes que dificultan o contribuyen al
proyecto. El anlisis mediante datos cualitativos es ms inductivo comparado con los
datos cuantitativos, y por ello, la interpretacin tiende a ser ms parcial.

Los datos cualitativos se aplican para

z Realizar encuestas a fondo con informacin detallada
z Analizar los factores relacionados (factores que dificultan/contribuyen) que
influyeron en los logros
z Utilizar cuando los mtodos analticos no se decidieron de antemano
z Utilizar cuando no hay necesidad de una cuantificacin

76
Tabla 2-2-2 Ejemplos de Datos Cuantitativos y Cualitativos

(Caso: Proyecto de Capacitacin de Maestros de Matemticas y

Ciencias)

Ejemplos de Datos Cuantitativos Ejemplos de Datos Cualitativos**

El nmero de participantes en la Lo que la gente consider no satisfactorio

capacitacin
El nmero de maestros capacitados
Las calificaciones de los estudiantes
en la prueba
El ndice para medir la calidad de los
mtodos de enseanza*
sobre el contenido de la capacitacin o sus
sugerencias para la misma
Cambios en los estudiantes desde el punto
de vista de sus padres
Cambios en la percepcin de los maestros
hacia el proyecto
Razones por las que los mtodos de
enseanza de los maestros no mejoraron
La idoneidad del sistema de implementacin
de los cursos de capacitacin para maestros

**Estos tipos de datos se pueden cuantificar si

*La calidad de los mtodos de enseanza
no se puede medir cuantitativa y
directamente, pero se puede manejar en
forma de datos cuantificados en el caso
que se invente un mtodo de medicin de
la calidad (por ejemplo, el evaluador puede
calificar los resultados de sus
observaciones sobre los mtodos de
enseanza mediante la escala del uno al
tres.
se adopta una encuesta por cuestionario con
opciones mltiples (se recopilan como datos
cuantitativos). Por otro lado, los datos
cualitativos se recopilan en casos donde no se
cuenta previamente con opciones mltiples o
cuando el objetivo de la encuesta es comprender
mejor la situacin (ejemplos de los mtodos de
recopilacin de datos son: encuestas por
cuestionario con respuestas obligatorias o
encuestas por entrevista, discusiones del grupo
de control, etc.).

(2) Fuentes de Informacin y Muestreo

Dos fuentes de informacin principales para la evaluacin de proyectos son los materiales
existentes y la informacin que dan las partes interesadas de un proyecto. Estas fuentes
se deben consultar primero para ahorrar costos y tiempo. Cuando se utilicen estos datos,
el valuador deber confirmar cmo se recopilaron y analizaron, y qu tan importantes son
para el estudio de evaluacin especfico.
Los evaluadores debern seleccionar las fuentes de informacin adecuadas tomando
en consideracin la accesibilidad a la informacin, cul es la informacin ms exacta y
cules puntos de vista son indispensables. Tambin se examinan cuidadosamente las
diferencias de gnero, etnia y clases sociales cuando se recopilan y especifican los datos.
Si los mtodos de recopilacin de informacin no son adecuados, es posible que no se
obtengan los datos necesarios como se esperaba, incluso a partir de las fuentes de
informacin supuestamente ideales. Por ejemplo, en una sociedad donde las mujeres no
pueden opinar en presencia de varones, es necesario recopilar los datos en
circunstancias donde hombres y mujeres estn separados. Cuando la gente de la
localidad no expresa sus verdaderos sentimientos a quienes no pertenecen a su
77
comunidad, ser necesario capacitar a gente de la localidad como encuestadores para
que recopilen la informacin.
Cuando se realizan encuestas sobre una serie de beneficiarios no identificados,
podemos proceder ya sea con: 1) una encuesta por censo en donde toda la gente (o
una poblacin) son el objetivo; o 2) una encuesta por muestreo en donde slo una parte
de ellos es el objetivo. La eleccin depende del propsito de la encuesta, el tamao del
grupo o regin objetivo, las restricciones de presupuesto y tiempo y la exactitud de los
datos esperados. El mrito de la encuesta por muestreo es que se pueden generalizar
sus resultados como caractersticas de una poblacin objetivo. (Consulte el Cuadro 4: La
Encuesta por Censo y la Encuesta por Muestreo.)

78
<Cuadro 4: Encuesta por Censo y Encuesta por Muestreo>

z Encuesta por Censo

La encuesta por censo es el tipo de encuesta donde todos los que participan en un
proyecto son las fuentes de recopilacin de informacin. Esta encuesta es efectiva cuando
se renen datos cuantitativos, tales como el porcentaje de incremento del nmero de
agricultores que obtuvieron mejor productividad del arroz o el porcentaje en el aumento
de gente que adquiri conocimientos sobre la salud. Es posible calcular los factores que
influyeron en los resultados analizando estadsticamente las condiciones de vida de la
comunidad objetivo.
Es relativamente fcil realizar una encuesta por censo en un proyecto de pequea
escala y en un proyecto de capacitacin. En el caso de proyectos ms grandes, es ms
difcil obtener informacin sobre toda la gente, pero tambin se puede utilizar la encuesta
por censo si se dirige a un grupo de gente especfica que particip en cierta actividad.

z Encuesta por Muestreo

La encuesta por muestreo es el tipo de encuesta que calcula las caractersticas de toda
una poblacin mediante encuestas sobre una parte seleccionada de ella. Se debe decir el
tamao de la muestra dentro del rango de error de muestreo aceptable. El margen de error
de muestreo es de +/ 5 puntos porcentuales cuando el nmero de muestras es de
alrededor de 400, mientas que es de +/ 10 puntos porcentaules para 100 muestras. Por
ejemplo, si resulta que el 40 por ciento de 100 muestras estn de acuerdo con una opinin
determinada, se puede calcular que entre 30 y 50 por ciento de toda la poblacin est de
acuerdo con ella. Se puede considerar dentro de un rango aceptable si el error de
muestreo es menor del 10 por ciento, y por ello, se prefiere que el nmero de muestreo sea
de 100 o ms. Bsicamente hay dos tipos de muestreo: 1) muestreo al azar; y 2) muestreo
de no probabilidad.

79
<Cuadro 5: Muestreo Terico>

La encuesta por muestreo tambin se conoce como muestreo estadstico y se utiliza

principalmente en el anlisis cuantitativo. Por el contrario, en el anlisis cualitativo, est
muy extendido el uso del mtodo que se conoce como muestreo terico. (Consulte los
mtodos cuantitativo y cualitativo en 2-2-4 (3) p. 91.)
El muestreo terico se aplica generalmente para generar teoras y categoras con
base en los resultados de la evaluacin que tienen fundamento en el mundo emprico.
Indica a los evaluadores donde recopilar el tipo de datos que responden a varios conceptos
y que todava estn en proceso de construccin. En otras palabras, el muestreo terico es
el proceso de identificar muestras a travs de la repeticin de la recopilacin y anlisis
relacionados con los conceptos y categoras.
Por ejemplo, cuando se mide el efecto directo de un proyecto de cooperacin tcnica,
es frecuente que se investiguen los aspectos cualitativos de los cambios de actitud y
comportamiento de los beneficiarios y las organizaciones objetivo. En ese caso, se puede
utilizar el mtodo de muestreo terico junto con un modelo lgico para realizar una
evaluacin. Los evaluadores pueden identificar primero un grupo clave de informantes que
tericamente estn considerados como una fuente de informacin importante y efectiva, y
despus realizar entrevistas o discusiones del grupo de control para evaluar sus cambios
de actitud o comportamiento. Cuando se analizan los datos recopilados se pueden
identificar otros datos que pueden estar relacionados con los factores e incidentes que
seal la encuesta anterior. Dicho proceso de repeticin se puede terminar cuando ya no
se espera ningn hallazgo nuevo.

80
4. Mtodos de Recopilacin de Datos

(1) Tipos de Mtodos de Recopilacin de Datos

A continuacin se muestran los mtodos principales para la recopilacin de datos.
Algunos mtodos se pueden aplicar para recopilar datos cuantitativos y cualitativos
dependiendo de la estructura de las preguntas y respuestas. Por ejemplo, se pueden
cuantificar datos en una encuesta por cuestionario que tenga opciones de respuesta
preparadas (por ejemplo, 80% de los encuestados estn satisfechos), mientras que slo
se obtienen datos cualitativos si la encuesta se estructura con preguntas con respuesta
obligatoria.

Tipos de Mtodos de Recopilacin de Datos

z Revisin de estadsticas, literatura y datos existentes
z Observacin
z Encuesta por cuestionario
z Entrevistas
z Discusin del grupo de control

La recopilacin de datos requiere tiempo y dinero, as que lo primero que se debe

investigar es la disponibilidad de datos confiables existentes. Cada mtodo tiene pros y
contras, y el evaluador debe seleccionar cuidadosamente los mtodos de recopilacin de
datos. Para su referencia, las tablas 2-2-3 y 2-2-4 muestran las caractersticas de cada
mtodo de recopilacin de datos.

Tabla 2-2-3 Relaciones entre los Tipos de Datos y los Mtodos de

Recopilacin de Datos
Encuesta por
Observacin
Cuestionario
Preguntas Pregun- Encuesta Discusin del Observa-
estructu- tas por Grupo de cin Visitas al
radas directas Entrevista Control Usando la sitio
Lista de
Verificacin
Datos
Cuantita- ? ?* ?
tivos
Datos
Cualita- ? ? ? ?
tivos
* Podemos cuantificar los resultados hasta cierto punto cuando la entrevista est
estructurada.

81
Tabla 2-2-4 Mtodos Principales de Recopilacin de Datos y sus
Caractersticas
Mtodos de Recopilacin
Pros Contras/Consejos
de Datos
1. Revisin de la Literatura
incluyendo Datos Existentes
z La credibilidad de la
Informes del proyecto, z Menos costo en informacin y datos estn en
registros de seguimiento, comparacin con tela de juicio.
literatura sobre los sectores otros mtodos, y por
relacionados, datos lo tanto, eficiente.
z Tal vez no se obtengan los
datos necesarios.
estadsticos, informes de
otros donantes, etc.
2. Observacin Directa z Las habilidades y
La situacin sobre el uso de parcialidades de los
las instalaciones y el equipo, encuestadores influyen en los
la idoneidad de la resultados.
z Poco costo.
infraestructura y los servicios, z Se debe de asegurar
el sitio de capacitacin, la objetivamente combinndolo
forma de comportamiento de con otros mtodos de
la gente, etc. encuesta.
z Para obtener los datos
necesarios se requiere de
habilidades para desarrollar
3. Encuesta por Cuestionario
z Es posible obtener al un cuestionario adecuado.
mismo tiempo z Tal vez no se cubra toda la
(Encuesta Enquete)
informacin sobre un informacin importante si la
tema a partir de
Hacer las mismas preguntas poblacin de la encuesta es
a todos los objetivos median- diversos objetivos. de tamao limitado.
z Las respuestas de
te un cuestionario y analizar z Las tasas de respuesta no
los encuestados se
los datos obtenidos. son predecibles.
pueden comparar
Hay dos tipos de cuestiona-
fcilmente. z No hay oportunidad para que
rios: 1) el cuestionario auto- los encuestadores aclaren las
aplicado que los encuestados z Es relativamente fcil intenciones de las preguntas
analizar las
llenan directamente; y 2) el ya que no hay ocasin para
cuestionario donde un en- respuestas de las
una conversacin directa.
preguntas con
cuestador le hace preguntas (Consejos)
respuesta
a los encuestados y toma
obligatorias ya que
z Formular preguntas con
notas de sus respuestas (no palabras y expresiones
se pueden
se autoaplica). sencillas para que los
cuantificar.
encuestados puedan
comprender las intenciones
de las mismas.

82
 z Prestar suficiente atencin
para escribir una carta de
solicitud en la forma correcta.
z Tomar en consideracin los
Hay dos tipos de preguntas: antecedentes sociales y
1) preguntas con respuestas
culturales y las formas de
obligatorias donde se dan
expresin para que se
opciones de respuesta espe-
transmita correctamente la
cficas; y 2) preguntas de
intencin de las preguntas.
interpretacin abierta donde
los encuestados responden
z Que el volumen no sea muy
grande.
en sus propias palabras.
z Seleccionar los tipos de
respuesta al tiempo que se
toma en consideracin los
mtodos de anlisis de datos.

z Requiere tiempo.
z Las habilidades del
4. Encuesta por Entrevista z Es posible tratar de encuestador influyen sobre
manera flexible con los resultados.
Hay varios tipos de entrevis- los encuestados, z La parcialidad de un individuo
dependiendo de la puede influir sobre los
ta, dependiendo del objetivo -
situacin. resultados.
entrevista individual, de gru-
po, de informante clave, etc. z Es posible obtener z En muchos casos, no es
ms informacin a posible cuantificar los datos y,
partir de las por tanto, generalizar los
Hay tres tipos de entrevistas resultados.
reacciones de los
dependiendo de la estructura
encuestados - por
de las preguntas.
ejemplo, sus expre- (Consejos)
siones faciales, vo- z Crear preguntas suponiendo
Entrevista Estructurada: Se ces, etc. una conversacin agradable.
preparan preguntas espec-
z Es posible hacer z Evitar preguntas largas o
ficas, al igual que en la
preguntas adiciona- demasiadas preguntas.
encuesta por cuestionario.
les para obtener ms z Tratar de obtener informacin
detalles. observando las expresiones
faciales, actitudes, etc. de los
encuestados.

Entrevista semi-estructurada:
Se preparan las preguntas
principales. Se formulan
preguntas adicionales durante
la entrevista cuando es
necesario.

Entrevista Sin Estructura:

nicamente se aclara la
intencin de la entrevista. Se
hacen preguntas libres a cada
encuestado.

83
 z No es adecuada para temas
de naturaleza delica-da.
z Algunos encuestados po-dran
5. Discusin del Grupo de z Es relativamente controlar la discusin.
Control fcil llevarla a cabo. z Los encuestados tal vez no
z Se obtiene expresen sus verdaderos
Un grupo de alrededor de informacin sobre sentimientos si los temas
10 personas con los mismos temas especficos estn relacionados con las
antecedentes discuten sobre desde varios puntos normas sociales.
temas (o preguntas) de vista a partir de la z Las habilidades del mode-
especficas. Se puede obtener interaccin de los rador influyen en las
su percepcin hacia los temas participantes. discusiones (es necesario
o ideas observando la z Es muy fcil tener moderadores capa-ces).
discusin. escuchar las z Seleccionar cuidadosamen-te
objeciones. a los miembros (mximo 12
personas).
z Pida a alguien que lleve un
registro de la discusin.

En la encuesta por cuestionario o en la entrevista, es muy fcil que la forma de hacer

las preguntas influya en los resultados. A menos que las preguntas sean adecuadas y
operativas, es posible que no se obtengan los datos necesarios como se esperaba
aunque la encuesta por cuestionario se realice para toda la poblacin, o para los
encuestados clave que pueden tener informacin importante. A continuacin se
describen algunos consejos sobre cmo preparar los cuestionarios y las preguntas de
acuerdo con los diferentes mtodos de recopilacin de datos.

84
Tabla 2-2-5 Consejos para Preparar Cuestionarios y Preguntas

z Utilice palabras y expresiones claras y sencillas.

z Las oraciones deben ser sencillas y no demasiado largas.
z No pregunte dos o ms cosas en una misma pregunta.
z Evite usar oraciones con doble negacin.
z No utilice preguntas con tendencias.
Encuesta por z Incluya preguntas para realizar una doble verificacin.
Cuestionario z Incluya algunas opciones que permitan al encuestado no
(Encuest responder - por ejemplo, no es aplicable, sin opinin, etc.
a z Mantenga el volumen total modesto, no demasiado grande (dos
Enquete o tres pginas cuando mucho).
) z Estipule el propsito de la evaluacin (el propsito de la
encuesta) y su confidencialidad.
z No olvide expresar su agradecimiento por la cooperacin.
z Se deben considerar totalmente los aspectos sociales y
culturales y evitar expresarse de manera que pueda afectar
sensibilidades.
Entrevistas z Empiece con preguntas generales/simples antes de hacer las
(Aqu se asume el preguntas personales/difciles.
caso de la entre- z Decida el orden de las preguntas suponiendo una conversacin
vista sin estructura; agradable - por ejemplo, organice los temas relacionados de
los consejos para la manera consecutiva (sin embargo, un encuestador puede saltar
entrevista estructu- algunas preguntas dependiendo de las respuestas del
rada son similares a encuestado).
los de la encuesta z Prepare las preguntas principales reflejando la intencin de la
por cuestionario, entrevista y haga preguntas adicionales lgicas. El encuestador
descritos arriba.) siempre debe tener en mente la intencin de la entrevista.
z Se deben considerar totalmente los aspectos sociales y
culturales y evitar expresarse de manera que pueda afectar
sensibilidades.
z De antemano organice su tiempo, el contenido de la entrevista y
el orden de las preguntas para que la entrevista termine dentro
del tiempo lmite.
Discusin del z Establezca una pregunta o tema principal y evite hacer
Grupo de preguntas nuevas hasta que los participantes terminen de
Control discutir sobre la primera.
z No haga preguntas que se deban responder con s o no.
z Haga preguntas que le permitan comprender las razones,
causas y antecedentes del comportamiento u opiniones.
Fuente: Atsuko Isoda (2003), Captulo 3: Joho/Deta no Shushu to Bunsekishuho (Mtodos de
Informacin y Recopilacin de Datos y Anlisis), Ed. NPO Corporation Ayus,
Kokusaikyoryoku Purojekuto Hyoka (Evaluacin de Proyectos de Cooperacin Internacional),
International Development Journal, p. 71-112

(2) Combinacin de Diferentes Mtodos de Recopilacin de Informacin

Para poder aprovechar al mximo los pros y reducir al mnimo los contras de cada
mtodo de recopilacin de informacin es necesario combinar diferentes mtodos. Por
ejemplo, se puede realizar una encuesta por cuestionario para complementar los datos
existentes. O, se puede llevar a cabo una discusin del grupo de control entre la gente de
la localidad para conocer su percepcin una vez que se ha entendido la tendencia

85
general a partir de una encuesta por cuestionario. Tambin es posible realizar una
encuesta utilizando mtodos de recopilacin de datos cuantitativos y cualitativos. Es
importante considerar la combinacin de varios mtodos para reducir las parcialidades de
los encuestadores y los encuestados.

A continuacin se describen algunos ejemplos de combinacin de mtodos.

Combinacin de diferentes mtodos

z Primero facilitar una discusin del grupo de control para formular preguntas para
una encuesta por cuestionario posterior.
<Ejemplos del Uso y los Pros>
Comprender temas importantes al observar a aquellos interesados en un proyecto,
analizar sus percepciones a travs de una discusin del grupo de control, y reflejar
los resultados en una encuesta por cuestionario.
Cuando se establecen opciones de respuesta especficas para una encuesta por
cuestionario, refirase a los resultados de la discusin de un grupo de control.

z Facilite una discusin del grupo de control despus de obtener resultados a travs
de una encuesta por cuestionario o revisin de literatura para poder investigar an
ms la informacin de los antecedentes.
Facilite una discusin de un grupo de control para comprender los factores que
afectaron al proyecto. Una discusin de ese tipo puede ayudar a explicar las
razones y los antecedentes detrs de los resultados de la encuesta por cuestionario
(pregunte a los participantes por qu razn se obtuvieron los resultados).
Pida a los participantes que apoyen la evidencia de los datos en los informes de
seguimiento (es decir, en caso que los resultados sean bajos) y en los factores
influyentes.

z Realice una encuesta por cuestionario al final de la entrevista de grupo.

Es probable que los encuestados comprendan de antemano la intencin de la
encuesta por cuestionario.
Es ms fcil obtener la cooperacin de los encuestados con una encuesta por
cuestionario.

z En una encuesta por cuestionario utilice algunas preguntas con respuestas

obligatorias junto con otras de seleccin mltiple.
Es posible conocer la percepcin del encuestado en una forma que no se hubiera
podido obtener mediante el anlisis de las preguntas con respuestas obligatorias.

z Realice una entrevista de grupo con varios informantes utilizando las mismas
preguntas.
Es posible conocer cmo perciben las partes interesadas un fenmeno especfico.
Los datos podran ser ms confiables.

86
< Cuadro 6: Triangulacin >
La triangulacin se realiza para poder aplicar diversas tcnicas de recopilacin
de datos para aprovechar al mximo los pros y reducir al mnimo los contras de
cada recopilacin. Este enfoque intenta comprender la realidad completa al
examinar un fenmeno desde diferentes ngulos, y que un slo mtodo puede
describir nicamente una parte de la realidad. En las evaluaciones, los siguientes 4
tipos de triangulacin pueden contribuir a la verificacin y validacin de los anlisis
cualitativos.

1. Mtodos de Triangulacin: Verificar la consistencia de los resultados generados

mediante diferentes mtodos de recopilacin de datos

2. Fuentes de Triangulacin: Verificar la consistencia de las diversas fuentes de

informacin dentro de los mismos mtodos

3. Triangulacin de los Analistas: Utilizar varios analistas para revisar los resultados

4. Triangulacin de la Teora/Perspectiva: Utilizar diversas perspectivas o teoras

para interpretar los datos

87
(3) Tipos de Mtodos de Anlisis de Datos

El personal de la JICA no est involucrado directamente en la tarea de analizar los datos

recopilados. Sin embargo, deben tener un conocimiento bsico de los mtodos de
anlisis de datos para que puedan planear estudios de evaluacin y crear los Trminos
de Referencia (TORs) para quienes los consulten. Si estn familiarizados con las
diferentes caractersticas de los mtodos de anlisis de datos, les ayudar a decidir los
planes de trabajo de evaluacin adecuados. Hay dos tipos de anlisis de datos: 1)
anlisis cuantitativo; y 2) anlisis cualitativo - exactamente igual que los tipos de datos.
Se deben utilizar de manera complementaria.
El anlisis cuantitativo demuestra el grado de logro o relaciones causales mediante
datos cuantitativos con bases estadsticas. Intenta presentar los resultados de la
evaluacin tan cientficamente como sea posible.
Por otro lado, el anlisis cualitativo utiliza la informacin cualitativa obtenida de la
revisin de literatura, entrevistas o discusiones del grupo de control, etc. El conjunto de
herramientas analticas no se prepara con anticipacin, y en el proceso del anlisis de
datos es posible construir a partir de la deduccin el significado de los datos, hechos
nuevos o las relaciones entre los factores.
Las parcialidades de los encuestados y los analistas pueden influenciar los resultados
del anlisis cualitativo. Para poder asegurar la objetividad de los resultados, es necesario
incorporar medidas tales como que un tercero realice el anlisis o combinar los mtodos
de recopilacin de datos. Uno de los pros del anlisis cualitativo es su habilidad para
obtener informacin detallada sobre poblaciones objetivo locales y cambios en el
comportamiento de la gente. Los resultados del anlisis cualitativo se pueden utilizar
como evidencia de soporte para los resultados del anlisis cuantitativo, y con ello ayudar
a identificar los diversos factores que influyen en los resultados del proyecto.

88
< Cuadro 7: Mtodos Bsicos de Anlisis Cuantitativo >
z Incorporacin Simple y Anlisis Estadstico Simple
El mtodo de anlisis cuantitativo simple trata con una sola variable. Este mtodo es
adecuado para examinar el grado de logros o comparar esos logros con los valores
objetivo. Aunque es un mtodo sencillo, proporciona datos valiosos y, por lo tanto, es til
para realizar la evaluacin. A continuacin se describen los tipos de anlisis.
Frecuencia (es decir, cuntas personas respondieron s y cuntas no)
Distribucin porcentual (es decir, la proporcin de personas que
respondieron por cada 100)
Tendencia central (la media, el modo, la mediana)
Desviacin estndar (para ver qu tan alejados estn los valores de la
media)
z Incorporacin Cruzada
Este tipo de mtodo de anlisis estadstico observa cmo cada una de las personas
que contestaron de cierta forma a una pregunta responde a otra, o la tendencia de
respuestas dependiendo de la atribucin. Por ejemplo, cuando se crea una tabla (una
tabulacin cruzada) con dos variables: 1) la variable horizontal es la costumbre de
lavarse las manos; y 2) la variable vertical es la participacin en la campaa de
higiene, podemos calcular la frecuencia o proporcin de personas que acostumbran
lavarse las manos con base en su participaron en la campaa o no. Este mtodo es til
para comparar un grupo objetivo con un proyecto y un grupo de control sin proyecto
(con/sin), o para examinar la influencia de un proyecto sobre diferentes grupos.
z Coeficiente de correlacin
Este tipo de mtodo de anlisis estadstico examina si existe o no una relacin lineal
entre dos grupos de valores numricos para dos variables (por ejemplo, los datos del
nivel de ingreso y del nivel de educacin). Hay dos tipos de relaciones en esa direccin:
1) una relacin positiva donde el aumento en el valor de una variable est acompaada
por un aumento en el valor de la otra; y 2) una relacin negativa donde la disminucin en
el valor de una variable est acompaada por un aumento en el valor de la otra.
z Anlisis con mltiples variables
Este tipo de mtodo de anlisis estadstico trata con tres o ms variables. El anlisis
con mltiples variables incluye la regresin mltiple para analizar diversas variables y el
anlisis factorial para analizar el grado de influencia de otros factores sobre una
variable. Este mtodo se utiliza para examinar las relaciones causales entre variables
donde se calcula una correlacin y requiere de un software especial de anlisis.
(Fuente: Atsuko Isoda (2003), Captulo 3: Joho/Deta no Shushu to Bunsekishuho (Mtodos de

Informacin y Recopilacin de Datos y Anlisis), Ed. NPO Corporation Ayus, Kokusaikyoryoku

Purojekuto Hyoka (Evaluacin de Proyectos de Cooperacin Internacional), International Development

Journal, p. ??.)

89
< Cuadro 8: Mtodos Bsicos del Anlisis Cualitativo >

z Explicar la Situacin
Transmitir a los lectores (aquellos que podran utilizar los datos cualitativos) el
panorama general de un proyecto, incluyendo lo que est suciediendo en el sitio del
proyecto, cmo lo perciben las partes interesadas y en qu situacin se estn
implementado actividades o eventos especficos, etc.

z Clasificar la Information de Acuerdo con Patrones y Temas

Encontrar la informacin o los resultados de las observaciones que se pueden
clasificar bajo el mismo tema o concepto y reunirlos en un grupo. Esto es similar a la
tarea de crear ndices en un sistema de archivo. Los datos no slo adquieren un
nombre, sino que se clasifican. Esta labor es muy efectiva cuando la realizan dos o
ms personas por separado y luego comparan cada resultado con el de los otros.
Esto es porque cada persona puede analizar los datos desde puntos de vista
diferentes, y cuando se comparan los resultados se puede reducir las parcialidades
de los analistas. Los datos clasificados se pueden utilizar para identificar las
relaciones entre temas especficos y el proyecto objetivo.

z Examinar las Relaciones en la Informacin

Otro mtodo de anlisis cualitativo es examinar las relaciones que hay dentro de la
informacin. Se pueden comprender la situacin y los temas de un proyecto si se
clasifica de manera lgica los datos cualitativos en categoras tales como el proceso
y los efectos del proyecto. Las tablas o los diagramas de flujo pueden ayudar a
identificar esas categoras y explicar la relacin entre ellas.

90
5. Formulacin de una Tabla de Evaluacin

El ltimo paso para elaborar un plan de evaluacin es reunir el contenido de toda la

planeacin en una Tabla de Evaluacin, una tabla del plan de trabajo de evaluacin
(consulte la tabla 2-2-7 que muestra un ejemplo). Todos los componentes en la tabla de
evaluacin estn correlacionados entre s, y nos ayudan a desarrollar el plan de trabajo
ms adecuado para realizar una evaluacin. En el proceso de crear una tabla de
evaluacin siempre debemos tener en mente cul es la forma ms adecuada de
responder a las preguntas de evaluacin.
La tabla de evaluacin se debe usar con flexibilidad. No hay reglas en la forma de
describir y se puede aadir una nueva columna (por ejemplo, mtodo de muestreo,
proporcin de los gneros, etc.) cuando sea necesario. Lo importante es que se
especifique claramente la manera de responder las preguntas de evaluacin y que se
identifiquen los mtodos ms efectivos dentro de los recursos limitados. Una vez que se
termina la tabla, para realizar la encuesta tambin es importante reflejar el contenido de la
misma en el cuestionario u hoja de preguntas.
En caso que las partes interesadas estn involucradas directamente en la evaluacin
(por ejemplo, una evaluacin conjunta con el pas socio), debern compartir la tarea
comn de los mtodos de evaluacin. Cuando se utiliza la tabla de evaluacin como una
herramienta de comunicacin, aquellos involucrados pueden compartir las ideas de la
evaluacin. Se puede mejorar la calidad de la evaluacin si se utilizan cabalmente los
puntos de vista y las experiencias de las partes interesadas.

Tabla 2-2-6 Formato de la Tabla de Evaluacin

Preguntas de Evaluacin Mtodos
Fuentes
Datos de
Criterios de Bases de de
necesa- Recopila-
Evaluacin Preguntas Preguntas juicio Informa-
rios cin de
principales secundarias cin
Datos

Pertinencia

Efectividad

Eficiencia

Impacto

Sustentabi-
lidad

Otros

91
 Tabla 2-2-7 Ejemplo de una Tabla de Evaluacin:
(Caso: Proyecto de Capacitacin de Maestros de Matemticas y Ciencias)
Preguntas de Evaluacin Fuentes
Datos Mtodos de
Cinco Bases del de
Temas Temas necesa- Recopilacin
Criterios Juicio Informa-
principales menores rios de Datos
cin
Compara- Valor pro- 250 Encuesta por
cin con el medio del maestros cuestionario
valor objeti- ndice para capacita-
vo (el valor medir la dos
Mejoraron medio no calidad de
los mtodos es menor los mto-
de ensean- de 3.0) dos docen-
za de los tes
maestros? Compara-
cin antes/
despus
Percepcin 30 Grupo de
de los ins- instructo- control
La calidad tructores res
de la educa- Comparaci Califica- 250 Prueba
cin en la n con el cin pro- maestros
escuela mo- valor obje- medio de capacita-
Efectividad Mejor el
delo mejor tivo (la cali- la prueba dos
grado de
gracias al ficacin
comprensin
proyecto? promedio
de los
no es me-
maestros en
nor de 80
cuanto al
puntos)
contenido de
los temas?
Compara-
cin antes/
despus
Los maes- Comparaci- Proporcin Documen- Revisin de la
tros capacita- n con el de los tos del literatura
dos partici- valor objeti- maestros proyecto
pan continua- vo (80 por que siguen
mente en ac- ciento si- involucra-
tividades de guen invo- dos
educacin? lucrados)

92
Captulo 3 Interpretacin de Datos e Informacin de los
Resultados de la Evaluacin

Este captulo explica cmo interpretar los datos y cmo reunir los resultados de la
evaluacin.

Consejos!
- La evaluacin no termina con la recopilacin y anlisis de datos. Tambin es muy
importante continuar con la interpretacin de los mismos e informar sobre los
resultados llegando a un consenso sobre ellos con las partes interesadas.

- La interpretacin de datos se realiza para evaluar el proyecto desde el punto de vista

amplio de los cinco criterios y llegar a una conclusin. Esto es el proceso de juicio de
valor.

- En la interpretacin de datos tambin se analizan los factores que dificultan o

contribuyen. Es necesario identificar los factores influyentes utilizando los conceptos
de falla de la implementacin o falla de la teora.

- Las recomendaciones y lecciones aprendidas deben ser especficas y prcticas, y

fundamentadas con evidencia. Es importante tener la oportunidad de llegar a un
consenso con los usuarios potenciales cuando se hacen las recomendaciones y se
establecen las lecciones aprendidas a partir de los resultados.

- El evaluador necesita escribir un informe que sea lo suficientemente lgico para

comunicarse con terceras partes que no tuvieron una participacin directa en el
proceso de la evaluacin.

93
1. Interpretacin de Datos

La evaluacin no termina con la recopilacin y anlisis de datos para determinar el valor

medio o el grado de satisfaccin Con base en esos resultados de anlisis, es necesario

adoptar algunos juicios de valor de acuerdo con los criterios de evaluacin. Al mismo

tiempo, para poder hacer recomendaciones y lecciones aprendidas tiles, es necesario

analizar a fondo los factores influyentes que afectaron los resultados. Esta tarea se

conoce como interpretacin. Como hemos visto hasta ahora, el estudio de evaluacin

sigue el proceso que empieza con la recopilacin de datos pasa por el anlisis de

datos y llega hasta la interpretacin de los resultados.

El proceso de interpretacin tiene dos pasos: 1) adoptar juicios de valor sobre un

proyecto de acuerdo con los Cinco Criterios de Evaluacin; y 2) llegar a una conclusin

con base en dichos juicios.

(1) Evaluacin Mediante los Cinco Criterios

La primera tarea es evaluar un proyecto mediante los cinco criterios y especificar los

factores que llevaron a los resultados de la evaluacin. Por ejemplo, supongamos que

evaluamos la efectividad de un proyecto de suministro de agua y que sta se examina

con base en el anlisis de datos donde la respuesta a la pregunta qu porcentaje de

aldeanos pudieron tener acceso al agua potable gracias al proyecto? es 60 por ciento

de todos los aldeanos pudieron tener acceso al agua potable. En caso que el evaluador

juzgue que la efectividad no es lo suficientemente alta porque no se alcanz el valor

objetivo (80 por ciento de los aldeanos), ser necesario analizar los factores que

inhibieron el logro del objetivo. Puede existir un problema con la ubicacin donde se

instalaron los trabajos de agua, o que el comit de manejo del suministro de agua no est

funcionando correctamente.

Cuando se explican los factores que dificultan o contribuyen, es necesario presentar a

las partes interesadas evidencias especficas tomadas de los resultados de la encuesta.

94
De lo contrario, podra disminuir la credibilidad de la evaluacin. Y por ello, menos gente

estara convencida de utilizar los resultados de la evaluacin.

Si la conclusin nicamente indica que la efectividad es alta sin analizar los factores

que dificultan o contribuyen, o si los informa la puntuacin de cada criterio, es posible que

no se puedan utilizar los resultados para mejorar el proyecto. Slo cuando se identifican

los factores influyentes se pueden proponer recomendaciones y lecciones aprendidas

tiles.

(2) Conclusin

El siguiente paso es llegar a una conclusin para cada uno de los cinco criterios con base

en los resultados de la interpretacin. En una evaluacin que utiliza los cinco criterios, el

evaluador percibe un proyecto desde el punto de vista de cada criterio individual. No

obstante, para llegar a una conclusin, el evaluador debe emitir un juicio de valor por

cada propsito de la evaluacin desde un punto de vista integral, tomando en

consideracin todos los criterios. Por ejemplo, en una evaluacin ex-ante, un equipo

encargado de la evaluacin decide si es vlido o no realizar un proyecto y si el contenido

de los planes es adecuado o no. En caso de una evaluacin final, un equipo juzga si un

proyecto tiene xito y si se debe concluir la asistencia. El equipo tambin debe brindar

evidencia para el juicio a partir de los resultados.

Cuando se llega a una conclusin, se puede aplicar el siguiente enfoque para volver a

examinar un proyecto: 1) las relaciones causales supuestas entre la implementacin del

proyecto y los efectos fueron adecuadas o no; y 2) el proceso de implementacin fue el

adecuado o no. Por ejemplo, si la efectividad es baja a pesar de que la eficiencia (la

relacin entre los insumos y los productos) es alta en un proyecto, pueden existir algunos

problemas en el proceso de planeacin que especificaba las relaciones causales que

produciran los efectos esperados (o los planes originales). O, en caso que no se

produzcan los efectos aunque se considere adecuada la estructura del proyecto (las

95
relaciones causales lgicas), puede haber problemas en el proceso de implementacin (o

en la forma de implementar un proyecto, incluyendo los insumos y el sistema de gestin).

Volver a examinar esos temas en un proyecto aclara quin es responsable de qu, y

permite formular recomendaciones y proponer las lecciones aprendidas ms

especficamente. Este anlisis es esencial para la evaluacin interna cuyo objetivo

principal es la retroalimentacin de los resultados de la evaluacin a quines son

responsables o estn interesados para mejorar la gestin y operacin del proyecto.

96
2. Recomendaciones y Propuestas de las Lecciones Aprendidas

Se hacen recomendaciones y se proponen lecciones aprendidas con base en la

conclusin. Las Recomendaciones incluyen medidas especficas, sugerencias y

consejos sobre un proyecto objetivo para la JICA o para aquellos interesados en las

agencias de implementacin. Las Lecciones se pueden aprender a travs de la

experiencia de un proyecto objetivo y retroalimentar a proyectos similares vigentes o al

proceso de bsqueda y planeacin de un proyecto en el futuro.

Es importante alcanzar algn consenso entre las partes interesadas (incluyendo los

funcionarios del gobierno de un pas socio) sobre las recomendaciones y lecciones

aprendidas. Al involucrar a los usuarios potenciales de los resultados de la evaluacin,

se espera que se practiquen las recomendaciones y lecciones aprendidas, y

consecuentemente, se harn algunas mejoras en la gestin y operaciones del proyecto.

Si las recomendaciones y lecciones aprendidas no fueran suficientemente especficas

o prcticas, no mucha gente las utilizara. Es en extremo importante transmitir mensajes

claros ofreciendo evidencia de apoyo obtenida de los resultados de la evaluacin. Es

necesario examinar los siguientes temas cuando se hagan las recomendaciones y se

propongan las lecciones aprendidas.

Temas a examinar
z Es necesario hacer las recomendaciones/lecciones aprendidas con base en la
informacin obtenida a travs del proceso de anlisis e interpretacin de datos. El
contenido debe satisfacer el propsito de la evaluacin.
z Las recomendaciones/lecciones aprendidas deben estar dirigidas a los usuarios
potenciales de los resultados de la evaluacin.
z Evite recomendaciones/lecciones aprendidas vagas y poco prcticas.
z Las recomendaciones deben ser especficas y estar clasificadas por prioridades con
un marco de tiempo determinado (por ejemplo, a corto o largo plazo) hasta donde
sea posible para que las siguientes medidas se puedan adoptar fcilmente.
zLas lecciones deben ser generalizadas y estar conceptualizadas para que se puedan
aplicar ampliamente.

97
Tabla 2-3-1
Flujo de Interpretacin de Datos y las Recomendaciones/Lecciones
Aprendidas
z Valor numrico de los datos segn el anlisis cuantitativo
Anlisis de Datos z Temas e incidentes obtenidos a travs del anlisis
cualitativo

z Juicios basados en cada uno de los Cinco Criterios de

Resultados de la
Evaluacin: - pertinencia, efectividad, eficiencia, impacto
Evaluacin Mediante los y sustentabilidad
Cinco Criterios de
Evaluacin
z Brindan evidencia para el juicio y analizan los factores
que dificultan o contribuyen

z Respuestas a las preguntas de evaluacin

z Juicio con el propsito de evaluacin desde un punto de

vista amplio con base en los resultados de los cinco
criterios

9 Evaluacin Ex-ante: si es vlido implementar un

proyecto especfico y si el contenido de sus planes
es adecuado o no
9 Evaluacin Intermedia: si un proyecto est
produciendo los efectos esperados y si hay
necesidad de modificar sus planes o no
Conclusin
9 Evaluacin Final: si un proyecto se considera una
buena prctica o un fracaso
9 Evaluacin Ex-post: si los efectos producidos estn
sustentados o si el proyecto vali la pena o no
9 Juicios para otros propsitos de evaluacin

z Brinda las bases

Examina si se puede atribuir el problema a la forma en
que se especificaron las relaciones causales (una
cuestin derivada de la planeacin del proyecto) o al
proceso de implementacin (una cuestin derivada de la
implementacin de un proyecto)

z Medidas especficas, sugerencias y consejos sobre un

Recomendaciones proyecto objetivo que aquellos interesados deben tomar
en consideracin
z Lecciones aprendidas a travs de la experiencia de un
proyecto objetivo (informacin til para determinar y
Lecciones Aprendidas
formular proyectos en el futuro o para la gestin de otros
proyectos vigentes)

98
3. Envo de Informacin sobre los Resultados de la Evaluacin

Es necesario reportar los resultados de la evaluacin de manera sencilla y clara a los

usuarios potenciales. Si el informe es difcil de entender, los resultados de la evaluacin

no se retroalimentan y utilizan fcilmente. Ocasionando que se termine por desperdiciar

los recursos (sobre todo tiempo y dinero) invertidos en la evaluacin. Los informes deben

explicar los temas clave de manera clara para aquellos que no participan directamente en

el estudio de evaluacin, para que puedan seguir y entender los resultados con facilidad.

En la JICA, los resmenes tales como la Tabla de Evaluacin Ex-ante y la Tabla del

Resumen de los Resultados de la Evaluacin se anexan al informe de la evaluacin (o al

documento de un proyecto en el caso de la evaluacin ex-ante). Adems, los resmenes

se deben preparar en ingls para retroalimentar a los pases socios. Estos resmenes de

los resultados de la evaluacin se publican en la pgina de la JICA para demostrar la

responsabilidad. (Consulte las tablas 2-3-2, 2-3-3 y 2-3-4 que muestran ejemplos de los

formatos de estos documentos.)

A continuacin se muestran consejos sobre como informar adecuadamente los

resultados de la evaluacin.

Consejos para preparar un informe

z Evite un informe redundante. Limite el tamao de la parte principal a unas 30 o 40 pginas.
Asegrese de hacer un resumen de los resultados de la evaluacin.
z Escriba un informe usando expresiones especficas de manera simple, enfatizando los temas que
desea transmitir. Evite utilizar trminos tcnicos con mucha frecuencia.
z Cuando explique los datos, utilice tablas y figuras de manera adecuada y simple para que los
lectores puedan recibir el mensaje que se quiere transmitir a travs de ellos.
z Establezca las limitaciones del estudio de evaluacin.
z Proporcione las bases de los juicios en los resultados de la encuesta de evaluacin.
z Estipule las fuentes de los datos mencionados.
z En un apndice incluya la tabla de evaluacin, el contenido del cuestionario y los datos
recopilados.

99
Tabla 2-3-2 Ejemplo del Contenido de un Informe de Evaluacin (en una
Evaluacin Final)

ndice
Prlogo

Mapa del Sitio del Proyecto

Fotografas

Abreviaturas

Resumen de los Resultados de la Evaluacin

Captulo 1 Alcance del Estudio de Evaluacin

- Antecedentes y Objetivo del Equipo encargado de la Evaluacin

- Equipo encargado de la Evaluacin y Marco de Tiempo

- Descripcin General del Proyecto, etc.

(por ejemplo, Antecedentes del Proyecto, Marco Lgico, etc.)

Captulo 2 Mtodos de Evaluacin

- Preguntas de Evaluacin, Datos Necesarios e Indicadores

- Mtodos de Recopilacin de Datos

- Mtodos de Anlisis de Datos

- Restricciones y Limitaciones del Estudio de Evaluacin

Captulo 3 Logros del Proyecto

- Insumos y Productos

- Propsito del Proyecto

- Proceso de Implementacin

100
 Tabla 2-3-2 (continuacin)
Captulo 4 Resultados de la Evaluacin

4-1 Evaluacin de Cada uno de los Cinco Criterios

- Describe los resultados del anlisis de datos, los resultados y bases de la

evaluacin y los factores que dificultan o contribuyen relacionados con cada
uno de los Cinco Criterios de Evaluacin

4-2 Conclusin

- Examine los factores que dificultan o contribuyen y emita juicios sobre la

evaluacin de resultados a partir de un punto de vista amplio

- Resuma los temas ms notables cuando sea necesario

Captulo 5 Recomendaciones y Lecciones Aprendidas

5-1 Recomendaciones

- Describa las medidas especficas, sugerencias y consejos relativos a un

proyecto objetivo o a un programa de cooperacin relacionado.

- Describa las recomendaciones de cada usuario potencial, en orden de

prioridad, y de ser posible, en un marco de tiempo.

5-2 Lecciones Aprendidas

- Describa informacin til, obtenida a partir de los proyectos objetivo, para

determinar proyectos y formular proyectos similares o la implementacin y
la gestin de otros proyectos vigentes.

- Describa informacin til para formular un programa de cooperacin en el

rea relacionada.

Apndice:

1. Programa del Estudio

2. Entrevistados Principales
3. Minutas
4. Tabla de Evaluacin
5. Cuestionario, Temas en Cuestin, etc.
6. Recopilacin de Datos y Resultados del Anlisis
7. Lista de Literatura y Documentos Recopilados
8. Otros Materiales Relacionados

101
 Tabla 2-3-3 Ejemplo del Resumen de una Evaluacin Intermedia y
Final
I. Lineamientos del Proyecto
Pas: Ttulo del Proyecto:
Problema/Sector: Esquema de cooperacin:
Divisin a cargo: Costo total: _____ yenes
Divisin del Departamento Costo por participante: _____ yenes
Porcentaje de la contribucin de Japn: _ %
(R/D): Organizacin de Implementacin del Pas Socio:
Perodo de (Extensin): Organizacin de Apoyo en Japn:
Cooperacin (F/U) :

Cooperacin
Relacionada:

1 Antecedentes del Proyecto

2 Descripcin General del Proyecto

(escriba brevemente una descripcin del proyecto/programa de capacitacin en una o dos oraciones)

(1) Meta General (Copie su meta general, propsito del proyecto, productos de su PDMe)

(2) Propsito del Proyecto

(3) Productos

(4) Insumos
Del lado japons:
Experto de largo plazo ______ Equipo Yenes
Experto de Corto Plazo ______ Costo local Yenes
Becarios recibidos ______ Otros Yenes

Del lado de _____________:

Contraparte ______ Equipo ______divisa local (______ yenes)
Terreno e Instalaciones ______ divisa local (______ yenes) Costo local ______divisa local (______
yenes)
Otros ______ divisa local (______ yenes)

II. Equipo de Evaluacin

Miembros del Equipo
de Evaluacin
Perodo de Da/mes/ao ~ da/mes/ao Tipo de Evaluacin: Final o Ex-post
Evaluacin
III. Resultados de la Evaluacin
1 Resumen de los Resultados de la Evaluacin
(1) Pertinencia

(2) Efectividad

(3) Eficiencia

(4) Impacto

(5) Sustentabilidad

102
2 Factores que promueven la sustentabilidad y el impacto

(1) Factores relativos a la Planeacin

(2) Factores relativos al Proceso de Implementacin

3 Factores que dificultan la sustentabilidad y el impacto

(1) Factores relativos a la Planeacin

(2) Factores relativos al Proceso de Implementacin

4 Conclusin

5 Recomendaciones

6 Lecciones Aprendidas

7 Situacin del Seguimiento

103
Tabla 2-3-4 Hoja de Evaluacin Ex-ante (Proyectos de Cooperacin
Tcnica)
1. Ttulo del Proyecto:
2. Descripcin General de la Cooperacin
(1) Descripcin general del objetivo y productos del proyecto
(2) Perodo de Cooperacin
(3) Monto total de la cooperacin (Japn)
(4) Agencia de Implementacin en el Pas Socio
(5) Agencia de Cooperacin en Japn
(6) Grupo Objetivo y Beneficiarios
3. Necesidad y posicin de la cooperacin
(1) Situacin actual y Problemas
(2) Posicin dentro de las polticas nacionales del gobierno del pas A
(3) Posicin dentro de la poltica japonesa de asistencia para el extranjero y del plan de la
JICA para la implementacin de programas por pas
4. Marco de Trabajo de la Cooperacin
(1) Objetivo de la Cooperacin (Efectos Directos)
i) Objetivos a alcanzar al final de la cooperacin (Propsito del Proyecto)
ii) Objetivos que se espera alcanzar despus del final de la cooperacin (Meta General)
(2) Productos y Actividades
(3) Insumos
i) Del lado japons
ii) Del lado del pas socio
(4) Factores externos (suposiciones importantes que deben concretarse)
5. Resultados de la Evaluacin con base en los cinco criterios de evaluacin
(1) Pertinencia
(2) Efectividad
(3) Eficiencia
(4) Impacto
(5) Sustentabilidad
6. Consideracin de los problemas de Pobreza, Gnero y Medio Ambiente
7. Lecciones Aprendidas de Experiencias Pasadas
8. Plan de Evaluacin para el Futuro

104
 Parte III
Gestin de la Evaluacin
del Proyecto

105
Captulo 1 Problemas en la Gestin de Evaluaciones

Este captulo explica cmo debe la JICA gestionar los proyectos de evaluacin (es decir,
su mtodo) y los problemas que se deben abordar. En muchos casos, consultores
manejan la recopilacin de datos y el anlisis de las evaluaciones; sin embargo, los
departamentos operativos del proyecto deben gestionar el estudio de evaluacin -
incluyendo la contratacin de consultores - para asegurar que ste se realiza de acuerdo
con el propsito de la evaluacin.

Consejos!
- La gestin empieza con la preparacin del aviso pblico sobre el contenido de la
evaluacin. Este aviso debe aclarar el propsito y antecedentes de la evaluacin y
las preguntas de la evaluacin. Cuando se est preparando el aviso es til referirse
a un TOR.
- Es extremadamente importante seleccionar el personal adecuado para asegurar la
calidad de la evaluacin.
- Cuando se est preparando y manejando la Tabla de Evaluacin, el departamento
operativo del proyecto debe brindar informacin y asesora adecuada al equipo de
evaluacin ya que tiene mayor acceso a la informacin que sobre la que la tabla se
basa.
- Cuando se coordine con el personal del sitio, es necesario incluir en la evaluacin
cualquier consejo que el gobierno de la contraparte brinde sobre la tabla.
- Al hacer los preparativos previos a la evaluacin, es importante enviar cuestionarios y
hacer citas con el personal interesado. En este momento se debe confirmar si el
cuestionario refleja o no el contenido de la tabla y si las personas que se entrevistaron
en las citas son fuentes de informacin adecuadas o no. Tambin es muy importante
tener suficiente tiempo para los preparativos.
- En el estudio de campo, es muy importante crear un consenso con los socios en
relacin con el diseo de la evaluacin y sus resultados.
- La compilacin de los resultados de la evaluacin (que incluye la formulacin de
recomendaciones y lecciones aprendidas) es un proceso vital que influye en cmo se
aplica la evaluacin. Es necesario hacer esfuerzos para confirmar que los resultados
de la evaluacin se presenten como la base para formular recomendaciones y
lecciones especficas y prcticas.
- El departamento operativo del proyecto es responsable de examinar los resultados de
la evaluacin y retroalimentarlos a los proyectos.

106
1. El Papel de los Departamentos Operativos del Proyecto de la JICA

Las evaluaciones de la JICA, desde la etapa ex-ante hasta la ex-post, se realizan con el
propsito de gestionar la operacin del proyecto; y por ello es necesario que los
resultados de la evaluacin se retroalimenten directamente a la toma de decisiones. Para
que esto suceda, el personal de la JICA, (supervisores del proyecto, jefes de evaluacin y
supervisores de departamento) que pertenezca a un departamento a cargo de un
proyecto especfico debe encargarse personalmente de realizar las evaluaciones. Es
ms, dicho personal adquiere el doble papel de evaluador y de gerente de evaluacin
para que puedan ayudar al lado evaluador como miembros del equipo de evaluacin.
Por lo general, el perodo de evaluacin se puede dividir en tres sub-perodos: el
perodo preparatorio, el perodo de evaluacin en el sitio y el perodo de
consolidacin. En cada uno, el departamento operativo del proyecto y el equipo de
evaluacin realizan principalmente las siguientes tareas.

(1) Perodo preparatorio

Durante el perodo preparatorio de una evaluacin, se disea un plan de evaluacin
general que cubra el alcance de la evaluacin y los mtodos que se van a utilizar. Este
trabajo se divide principalmente en dos reas: 1) formulacin de un aviso pblico y 2)
preparacin previa a la evaluacin.
Antes de formular el aviso pblico, se realiza un estudio sobre el propsito de la
evaluacin con base en los materiales del proyecto pertinente y sobre el alcance y
mtodos de la evaluacin. Se prepara un TOR (Trminos de Referencia - un documento
que seala los puntos contrados por los evaluadores) donde se incorporan los resultados
del estudio arriba mencionado. Despus, tomando el aviso pblico que se prepar con
base en el TOR y otros procedimientos (aprobacin de los funcionarios del gobierno, etc.),
se realizan las operaciones de gestin que cubren todas las reas de la preparacin
previa a la evaluacin. Esto incluye la seleccin del personal del equipo de evaluacin,
preparacin de una Tabla de Evaluacin, coordinacin con el personal local y el envo de
los cuestionarios antes de la evaluacin. Sin embargo, se debe destacar que el aviso
pblico de la JICA sustituye al TOR, y por ello es en extremo importante preparar un
aviso pblico adecuado.

(2) Perodo de evaluacin en el sitio

La actividad durante el perodo de evaluacin en el sitio se centra en la preparacin de un
marco de trabajo para la evaluacin, y en que el equipo de evaluacin recopile datos y
lleve a cabo su anlisis/interpretacin. Si los resultados de la evaluacin se deben vaciar
en minutas, el equipo de evaluacin y el personal del pas objetivo llevan a cabo
discusiones sobre las conclusiones, recomendaciones y lecciones aprendidas, y el
107
departamento operativo utiliza este proceso para promover el consenso dentro del equipo
de evaluacin. En el caso de las evaluaciones de proyectos especficos, hay casos
donde el anlisis de datos no se termina ya que la evaluacin en el sitio se limit a dos o
tres semanas3, y hay casos donde el anlisis e interpretacin de datos contina en el
perodo de consolidacin despus que el equipo regresa a Japn.

(3) Perodo de consolidacin de los resultados de la evaluacin

El perodo de consolidacin de los resultados de la evaluacin incluye la interpretacin de
datos (cuando es necesario) y hacer el Informe de Evaluacin por escrito. La
responsabilidad de escribir el informe se divide para aprovechar al mximo el papel que
desempea cada miembro del equipo.
Los resultados de la evaluacin se deben retroalimentar al proceso de toma de
decisiones de la organizacin. Por eso, una vez que se recibe el Informe de la
Evaluacin, el departamento operativo debe dar a conocer la informacin a travs de
instrucciones, seminarios y otros eventos y debe poner en uso los resultados. La tabla 3-
1-1 muestra los pasos del trabajo de evaluacin.
Los departamentos operativos de la JICA son responsables de gestionar estas
actividades de manera adecuada. Bsicamente, esto significa que son responsables por
el trabajo que asegurar la calidad de la evaluacin (es decir, el control de calidad). Este
captulo presenta los siguientes cinco puntos que los departamentos operativos deben
asumir como papel para asegurar la calidad de la evaluacin.

Los papeles de los departamentos de la JICA encargados de la evaluacin son los

siguientes:
- Preparacin de un aviso pblico
- Gestin de los preparativos previos a la evaluacin
- Manejo de la evaluacin en el sitio
- Preparacin de informes
- Retroalimentacin de los resultados de la evaluacin
Tabla 3-1-1: Tareas del departamento operativo de la JICA (evaluacin
del proyecto)
Flujo de la evaluacin Tareas (lista de verificacin o lista de pendientes)
Planeacin de la evaluacin Preparacin de la publicidad de un contrato
*La preparacin empieza - Coordinacin con el personal en el sitio (solicitudes de
aproximadamente 2 meses informacin, recopilacin de materiales, etc.)
antes de la evaluacin en el - Proceso de los objetivos de evaluacin
sitio - Establecimiento de los propsitos de la evaluacin
- Estudio y determinacin de las preguntas de
*Se estipulan los consultores evaluacin
un mes antes de la - Estudio del alcance y mtodos de la evaluacin (marco

3
El perodo de evaluacin ex-post de las evaluaciones de programas por pas, las
evaluaciones de programas y otros es largo
108
evaluacin en el sitio de trabajo de la evaluacin)
- Estudio de la composicin del equipo de evaluacin
- Preparacin de la publicidad de un contrato

Preparacin previa a la evaluacin

- Seleccin del personal del equipo (incluyendo el
anuncio de los consultores)
- Preparacin de la Tabla de Evaluacin
- Envo por adelantado de los cuestionarios
- Coordinacin en el sitio (programa, establecimiento de
citas, etc.)
- Evaluacin en Japn, si es necesario (entrevistas con
los expertos que regresan, los miembros del comit de
apoyo nacional, etc.)
- Discusiones y acuerdo sobre el diseo de evaluacin
- Recopilacin de datos
Evaluacin en el sitio - Anlisis de datos
(2 a 3 semanas)* - Interpretacin de datos
- Acuerdo bsico sobre los resultados de la evaluacin
(minutas, etc.)
Preparacin del Informe de - Anlisis de datos (si es necesario continuar)
Evaluacin - Interpretacin de datos (si es necesario continuar)
(1 a 2 semanas) - Preparacin del Informe de Evaluacin
Informe de Evaluacin/ - Instrucciones y seminarios celebrados
retroalimentacin - Retroalimentacin al gobierno socio y las agencias
interesadas
- Reflexin sobre el proceso de toma de decisiones
- Decisiones sobre los proyectos objetivo
- Planeacin de proyectos similares
- Formulacin de programas de cooperacin
*El perodo de evaluacin total para las evaluaciones ex-post en el caso de las
evaluaciones de programas por pas, evaluaciones de programas, etc., tiende a ser ms
largo.

109
2. Preparacin de la Publicidad de un Contrato

La gestin de la evaluacin empieza con la preparacin de un TOR (Trminos de

Referencia - un documento que seala las responsabilidades que contraen los
evaluadores). La presentacin del TOR aclara el alcance de la evaluacin y sus
enfoques desde el punto de vista de quin haya pedido la evaluacin. En el caso de las
partes contratadas, el TOR aclara el alcance de su autoridad y responsabilidad. El
proceso de preparacin de un TOR incluye aclarar los antecedentes y propsito de la
evaluacin, examinar la composicin del equipo de evaluacin que sea mejor para
realizar una evaluacin consistente con el propsito, y formular una imagen conceptual de
los efectos finales. La tabla 3-1-2 muestra ejemplos de los puntos que se pueden incluir
en un TOR. Se debe observar que cuando se anuncia pblicamente la seleccin de
consultores, es importante tener en mente todos estos puntos al preparar el borrador del
anuncio as como de los pedidos por escrito.
Como se puede observar al examinar los puntos muestra, el proceso de preparacin de
un TOR o el anuncio de un contrato es igual que el proceso utilizado para el diseo de
una evaluacin. Especficamente, el departamento operativo debe describir con claridad,
los antecedentes y propsitos de la evaluacin y las preguntas principales de la
evaluacin". Si las preguntas Qu es lo que queremos aprender a travs de esta
evaluacin? y Quin debe recibir la retroalimentacin de los resultados? no se
responden con claridad no se puede considerar que la evaluacin tenga sentido.
A continuacin se renen los puntos que el departamento operativo debe estudiar
cuando prepara el aviso de un contrato. (En estos lineamientos hay referencias que
describen metodologas relacionadas.)

(1) Confirmacin de los antecedentes y propsito de la evaluacin

Primero que nada, es necesario confirmar el objetivo y propsito de la evaluacin. El
propsito y los objetivos de retroalimentacin supuestos de una evaluacin difieren
dependiendo de la etapa en que se realiza dentro del ciclo del proyecto. Adems, existen
casos donde se evala una serie de proyectos de manera transversal para cubrir un tema
determinado (por ejemplo, gnero, pobreza o el medio ambiente). Las preguntas
Cules preguntas de evaluacin son importantes? Qu tipo de datos se deben
obtener? y Cmo se deben evaluar los datos? reciben respuestas diferentes
dependiendo del propsito de la evaluacin. Por ello, es importante tener siempre en
mente el propsito cuando se procede con la evaluacin. Es de vital importancia evitar
que la implementacin de la evaluacin se convierta en el propsito. (Ver 2-2-2.)

110
Tabla 3-1-2: Ejemplos de los Puntos incluidos en los TORs de Evaluacin
1. Antecedentes y Propsito
- Descripcin del proyecto que se va a evaluar
- Propsito de la evaluacin
- Objetivo/receptor esperado de los resultados de la evaluacin (es decir, el usuario de
los resultados de la evaluacin)
2. Preguntas Principales de la Evaluacin
- Cinco criterios de evaluacin (incluyendo las razones cuando se incluyen criterios de
prioridad)
- Preguntas de la evaluacin (Qu se debe aprender a travs de la evaluacin? y
preguntas principales relacionadas)
3. Mtodos de Evaluacin Sugeridos/Requeridos
- Presentacin de un marco de trabajo para el mtodo de evaluacin dentro de un
alcance viable (es decir, comparacin con reas sin proyecto, comparacin
antes/despus de los grupos de implementacin, evaluacin participativa, anlisis
estadsticos, anlisis de la eficiencia de costos, anlisis cualitativo, etc.)
- Presentacin de los mtodos de recopilacin de datos especficamente deseables, si
los hubiere (por ejemplo, cuestionarios, entrevistas, grupos de control, etc.; incluya
fuentes de informacin y muestras objetivo si es posible)
- Lista de las fuentes de informacin existentes
4. Miembros del Equipo y Papeles
- Papeles de los miembros del equipo; divisin de responsabilidades
- Habilidades que necesita cada miembro del equipo (por ejemplo, conocimiento
necesario de un experto sobre la evaluacin arriba mencionada, capacidad analtica,
experiencia, habilidades de lenguaje, etc.; si hay requisitos deseables, se deben
enumerar junto con los requisitos mnimos)
5. Calendario de las Tareas Principales
- Tareas principales y calendarios especficos para el perodo preparatorio, la evaluacin
en el sitio y el perodo de consolidacin
6. Productos esperados
- Tipos de productos esperados, personas a recibir los productos y plazo lmite
- Temas propuestos para incluir en el Informe de Evaluacin
- Otros materiales
7. Presupuesto
- Desglose del presupuesto y monto total

(2) Determinacin de las preguntas de la evaluacin

Para poder realizar una evaluacin que est alineada con su propsito, se deben
considerar aquellos puntos cuya evaluacin podra ser benfica. En caso de las
evaluaciones que se realizan para mejorar un proyecto objetivo, es importante hacer
preguntas que identifiquen sentimientos relativos a temas y problemas cotidianos en
conexin con varios temas obtenidos a partir de los informes y de la informacin de
supervisin. En cuanto a las evaluaciones ex-ante que contribuyen a la formulacin de

111
planes de proyecto, hay una probabilidad alta de que las preguntas de evaluacin se
concentren en el contenido del plan del proyecto, su pertinencia, su pertinencia ante otros
programas y su eficiencia. Despus de considerar preguntas que sern la base de la
evaluacin, es posible pensar en preguntas an ms especficas desglosando estas
preguntas; sin embargo, este paso se puede dejar pendiente hasta la seleccin de los
miembros del equipo. Como la JICA ha generado normas de evaluacin (los Cinco
Criterios de Evaluacin), es posible tomar en consideracin preguntas de evaluacin
especficas utilizando estas normas como referencia. (Ver 2-2-1.)

(3) Examen del marco de trabajo del mtodo de evaluacin

Una vez que se determinan el propsito y las preguntas de la evaluacin, el siguiente
paso es estudiar el mtodo de evaluacin. Los puntos que se examinan aqu incluyen
mtodos de recopilacin, anlisis y evaluacin de datos (por ejemplo, la comparacin
entre regiones con/sin intervencin, evaluacin participativa, anlisis estadstico, anlisis
de efectividad de costos, anlisis cualitativo, etc., as como encuestas por cuestionario,
entrevistas, discusiones de los grupos de control, etc.) (ver 2-2-2, 2-2-3 y 2-2-4)
En este momento slo se debe describir el mtodo adecuado ya que el equipo de
evaluacin llevar a cabo la evaluacin segn su propia experiencia. Lo importante es
estudiar el marco de trabajo del mtodo de evaluacin de forma que considere todos los
tipos de habilidades que se requerirn de los miembros del equipo (incluyendo los
consultores), el tiempo que ser adecuado, etc.

(4) Estudio de la composicin del equipo

Despus de estudiar el marco de trabajo del mtodo de evaluacin, es importante
considerar las especialidades de los miembros del equipo. Como se explic en el
Captulo 1 de la Parte I Criterios para una Buena Evaluacin, se requiere de personal
muy confiable y que pueda llevar a cabo una evaluacin justa. Por ello, se requiere
experiencia en los campos pertinentes, el conocimiento de los esquemas de asistencia, el
conocimiento de la teora de evaluacin y la capacidad de investigacin. En algunos
casos, una sola persona puede brindar la experiencia en todas estas reas, en otros, se
requiere un equipo de dos o ms personas. Es importante elegir los recursos humanos
adecuados tomando en consideracin el contenido del proyecto pertinente, el propsito
de la evaluacin, el mtodo de evaluacin que se planea utilizar y otros puntos.4
Por ejemplo, es importante que un equipo de miembros tenga capacidades en el
anlisis estadstico y las encuestas sociales si se tiene pensado hacer una encuesta por
cuestionario para una poblacin grande. Si la evaluacin se va a centrar en la
participacin pblica, los miembros debern tener experiencia en evaluaciones

4
Incluso para las evaluaciones internas, es necesaria la perspectiva de un tercero para mantener la
objetividad. Por ello, las terceras partes que no estn involucradas en la implementacin del proyecto se
pueden emplear como lderes del equipo o miembros.
112
participativas y habilidades en el anlisis cualitativo y la moderacin. El examen de las
habilidades que los miembros del equipo deben poseer es una labor en extremo
importante ya que tiene un impacto directo sobre la calidad de la evaluacin.

(5) Verificacin de la imagen conceptual de los productos esperados y el

presupuesto de la evaluacin
Es importante aclarar el contenido del informe final, los puntos que se deben incluir en l
y el plazo final. Adems, es importante confirmar todo el presupuesto para el proyecto de
evaluacin. Como en muchos casos es necesario determinar previamente el monto de
dinero que se puede aplicar a la evaluacin, es frecuente que estos puntos se conviertan
en condiciones que influyan la forma en que se estudian las preguntas de la evaluacin y
la escala de la misma. Si el presupuesto es ajustable, es posible tomar en consideracin
las acciones adecuadas a la escala de la evaluacin. Por ejemplo, despus de ver el
propsito de la evaluacin y sus preguntas, podra ser necesario ajustar el presupuesto o
el calendario si es que se deben contratar consultores locales o realizar una encuesta
ms grande. La parte contratada para realizar la evaluacin debe considerar en trminos
concretos los tipos de evaluacin que puede realizar con base en el propsito de la
misma, los productos esperados y los materiales de evaluacin.

Referencia: Empleo de consultores locales

Hay casos en los que el equipo de evaluacin que manda Japn no puede obtener por s
mismo suficientes datos si se va a implementar una investigacin social para medir el
impacto sobre los residentes locales, si el objetivo de la evaluacin es grande, o si se va
evaluar el impacto sobre los beneficiarios, En esos casos, es necesario contratar un
consultor local y crear un marco de trabajo de inicio parcial de la encuesta antes que
llegue el equipo de evaluacin y adoptar un enfoque donde el consultor local y el equipo
realicen la evaluacin juntos, etc.

Ventajas de contratar un consultor local

z Como el consultor local conoce la situacin local, es posible que incluya la perspectiva
local no slo en la implementacin de la evaluacin, sino tambin en el anlisis de
datos.
z El consultor local domina el idioma local.
z Es ms fcil obtener la cooperacin de la gente objetivo de la evaluacin.
z Se puede emplear al consultor local de tal manera que satisfaga las condiciones
locales de muestreo/recopilacin de encuestas por cuestionario, etc.

Puntos a recordar cuando se contrata a un consultor local

z Se debe elegir un consultor que tenga las habilidades de evaluacin y la experiencia
necesarias.
z Antes de la evaluacin, el consultor debe comprender cabalmente el diseo de la
evaluacin (propsito de la evaluacin, preguntas, mtodos, etc.).
z Se debe definir claramente la escala de la evaluacin (mtodo de compilacin de
resultados y productos esperados).
z Durante la evaluacin se debe llevar a cabo una supervisin.

113
Despus de estudiar aquellos puntos como los arriba presentados, es importante
reflejarlos en un aviso pblico adecuado. El contenido del aviso debe diferir de acuerdo
con el propsito de la evaluacin, las preguntas de la evaluacin, el mtodo supuesto de
recopilacin de datos, etc. Es inconcebible que cada evaluacin tenga un aviso pblico
que presente la misma metodologa. Para poder llevar a cabo una evaluacin til, la
parte que solicita la evaluacin debe considerar qu tipo de metodologa es deseable,
qu tipos de tecnologa se necesitan y quin debe administrar estas tecnologas.
La tabla 3-1-3 presenta los puntos del aviso pblico que se utilizan en los contratos de
servicio actuales de la JICA as como su relacin con los temas de estudio. Aunque la
imagen conceptual de los productos esperados y otros elementos estudiados no se
deben incluir necesariamente en el aviso pblico, estos puntos se deben compartir de
manera adecuada entre el personal interesado una vez que se hayan determinado los
miembros del equipo.

114
Tabla 3-1-3: Ejemplos de puntos en los avisos pblicos y su relacin con
los puntos de estudio

*Por favor consulte la tabla 3-1-2 para ver ejemplos de los puntos del TOR.

Puntos Muestra de la Relacin con los puntos de estudio Relacin con

Publicidad del Contrato previos a la evaluacin el contenido*
(Contenido a reflejarse en la del TOR
Publicidad del Contrato)
1. Consultor Puntos de Estudio de la composicin del equipo: 4. Miembros
que se va a responsabilidad, experiencia necesaria para la del Equipo y
contratar aos de evaluacin, aos de experiencia Papeles
experiencia
(despus de
haberse
graduado de la
universidad)
2. Perodo Perodo Estudio del marco de trabajo de la 5. Calendario
programado preparatorio, evaluacin: perodo necesario de de las Tareas
de perodo de evaluacin (por ejemplo, un Principales
operaciones envo, perodo cuestionario de gran escala requiere
de ms tiempo del usual)
consolidacin,
etc.
3. Vacunas Necesarias/
necesarias innecesarias
4. Propuesta Nmero de
bsica copias que se
deben enviar,
perodo para
enviarlas, etc.
5. Puntos a Idiomas, pas/ Estudio de la composicin del equipo: 4. Miembros
recordar regin objetivo, es necesario tener experiencia en los del Equipo y
cuando se operaciones campos de la evaluacin (no Papeles
hagan las similares simplemente experiencia en
descripciones evaluacin, sino tambin experiencia
en encuestas sociales y manejo
estadstico, experiencia en reas
objetivo, etc.)
6. Posibilidades de
Condiciones refuerzo,
condiciones de
remuneracin,
etc.

7. Composicin del Estudio de la composicin del equipo: 3. Mtodos de

Composicin equipo de es necesaria la experiencia del Evaluacin
del personal evaluacin personal despus de considerar el Sugeridos/Req
propsito de la evaluacin y el marco ueridos
de trabajo de evaluacin 4. Miembros
del Equipo y
Papeles
8. Propsito Antecedentes de Estudio de los antecedentes del 1.
general la evaluacin, proyecto, confirmacin del propsito y Antecedentes y
descripcin del examen de las preguntas principales Propsito
proyecto, de la evaluacin: propsito para aplicar 2. Preguntas

115
 propsito de la los resultados de la evaluacin y Principales de
evaluacin, etc. preguntas principales de la evaluacin la Evaluacin
que deben verificar esta solicitud (El
objetivo no es conducir una evaluacin
bajo los Cinco Criterios de Evaluacin)
9. Responsa- Mtodo de Estudio del marco de trabajo de la 3. Mtodos de
bilidades evaluacin, evaluacin: mtodos principales de Evaluacin
responsabilidad evaluacin Sugeridos/Req
es especficas ueridos
10. Otros Necesidad de Es necesario considerar los puntos
temas intrpretes, etc. que no se mencionaron arriba pero
que tienen un peso importante sobre
las habilidades del consultor

116
3. Preparacin Preliminar de la Evaluacin

Antes de empezar realmente con una evaluacin, el departamento operativo de la JICA

debe elegir a los miembros del equipo de evaluacin (y a los consultores), preparar la
Tabla de Evaluacin y coordinarse con el personal en el sitio.

(1) Seleccin de los miembros del equipo

Los miembros del equipo de evaluacin que tienen la experiencia y habilidades
adecuadas se deben elegir de acuerdo con el diseo de evaluacin que se estudi
durante el proceso de preparacin del aviso pblico. La seleccin de consultores se
basar en el proceso establecido en el aviso pblico.

(2) Preparacin de la Tabla de Evaluacin

En la preparacin preliminar, se deber preparar como parte del diseo de evaluacin
una Tabla de Evaluacin que se enfoque en el equipo de evaluacin. (Consulte el
Captulo 2, Parte II, para ver la metodologa bsica de cada punto dentro de la Tabla de
Evaluacin.) Como el departamento operativo tiene mayor acceso a la informacin del
proyecto necesaria para el diseo de evaluacin, el departamento debe gestionar el
proceso de formulacin del diseo de evaluacin al tiempo que comparte la informacin
arriba mencionada con el equipo.
El departamento operativo proporcionar la informacin necesaria para preparar la
Tabla de Evaluacin al tiempo que presta atencin a las siguientes cuestiones para
asegurar la calidad de la evaluacin.

Enfoque del departamento operativo

para la preparacin de la Tabla de Evaluacin
Preguntas de evaluacin
- Confirmar el propsito de la evaluacin y los objetivos de retroalimentacin, y
presentar preguntas generales de evaluacin.
- En caso de las preguntas generales de evaluacin, es necesario revisar que se hayan
considerado preguntas especficas desglosndolas en sub-temas, etc.

Criterios y mtodos
- Presentar los criterios y mtodos de la evaluacin (por ejemplo, los valores objetivo,
mtodos de comparacin, etc.)
- Si no hay valores objetivo en el marco lgico o si se considera que los indicadores no
son adecuados, discutir nuevos criterios (para sustituir los valores objetivo) e
indicadores con las personas interesadas.

Datos necesarios
- Prestar materiales relativos a los datos existentes (informacin de seguimiento,
estadsticas, etc.)

Fuentes de informacin y mtodos de recopilacin de datos

- Brindar asesora sobre quin puede proporcionar los datos necesarios y dnde se
puede acceder a dicha informacin.
- Confirmar si las fuentes de informacin y los datos son imparciales.
117
- Brindar informacin sobre todo acerca de los informadores clave y
personas/organizaciones que se deben evaluar.
- Verificar si el diseo es lo suficientemente claro para responder a las preguntas de
evaluacin.

(3) Coordinacin con el personal en el sitio

Es necesario llevar a cabo una coordinacin preliminar adecuada con el personal del sitio
antes de la evaluacin en el sitio. Especficamente esto incluye actividades tales como la
coordinacin del calendario de evaluacin, la obtencin de consejos de la oficina local de
la JICA en relacin con la Tabla de Evaluacin, distribucin de cuestionarios y puntos de
entrevista, solicitud de citas con las fuentes de informacin, etc. En cuanto al contenido
de la Tabla de Evaluacin, la asesora de la oficina local debe ser muy valiosa para
asegurar fuentes de informacin, brindar antecedentes culturales y sociales, mostrar los
mtodos de recopilacin de datos de manera adecuada, etc. Adems, como las
evaluaciones de proyectos normales se realizan en perodos cortos (dos o tres semanas),
es necesario asegurar un tiempo cuando se puedan distribuir los cuestionarios antes de
la evaluacin y en el cual el equipo de evaluacin pueda realizar cierto nivel de anlisis
durante su misin.
Si todas estas operaciones son consistentes, ser conveniente que el perodo de
preparacin sea lo ms largo posible.

118
4. Gestin de las Evaluaciones en el Sitio

La evaluacin en el sitio empieza cuando se termina la planeacin de la evaluacin

(enfocada a la Tabla de Evaluacin). Existen tres tareas necesarias para gestionar las
evaluaciones en el sitio: 1) la promocin de un consenso relativo al diseo de la
evaluacin, 2) la recopilacin de datos y el anlisis de los resultados de la evaluacin, y
3) la promocin del consenso relativo a los resultados de la evaluacin (preparacin de
las minutas, etc.).

(1) Promocin del consenso relativo al diseo de evaluacin (mediante reuniones

con el Comit de Evaluacin Conjunta)
Cuando el equipo llega al sitio de la evaluacin, se realizan reuniones con el lado del
socio para llegar a un acuerdo y compartir informacin sobre el contenido de la
evaluacin con base en la Tabla de Evaluacin que desarroll Japn.5 En el caso de lo
los proyectos de cooperacin tcnica, se establece un Comit de Evaluacin Conjunta
para conducir una evaluacin conjunta con el gobierno socio. Se debe crear consenso
sobre el diseo de la evaluacin con los siguientes objetivos:

Objetivos de la creacin de consenso

- Compartir el propsito de la evaluacin entre el personal interesado
Es extremadamente importante compartir el propsito de la evaluacin con el lado del
socio. Como existe la percepcin fuerte de "la evaluacin es igual a una libreta de
calificaciones", es importante comprender que la evaluacin (incluyendo los medios
para aplicar los resultados de la evaluacin), es una parte de la gestin del proyecto.
- Fomentar la comprensin del mtodo de evaluacin
Los medios para evaluar un proyecto se deben compartir con el lado del socio. Aqu,
es necesario explicar las perspectivas para confirmar las condiciones de
implementacin y los Cinco Criterios de Evaluacin, el pensamiento detrs de los
modelos de relaciones causales, los mtodos para recopilar y analizar datos, etc.
- Correccin del diseo de evaluacin
Es necesario intercambiar opiniones con la parte del socio sobre el contenido de la
Tabla de Evaluacin, y se deben realizar los cambios necesarios cuando sea factible.
Esto ser una oportunidad para obtener opiniones de la parte del socio sobre las
condiciones locales y para discutir sobre una evaluacin eficiente y efectiva
(incluyendo si hay algn problema en la determinacin de los mtodos de muestro o
con la regin objetivo, o no).

5
Si la evaluacin cuenta con un elemento de participacin fuerte, es conveniente llevar a cabo talleres
para que el personal interesado pueda participar en la labor de diseo de la evaluacin. Consulte el
Anexo II para obtener informacin sobre la evaluacin participativa.
119
(2) Recopilacin y anlisis de datos
Una vez que empieza la evaluacin, se debe confirmar el progreso (por ejemplo, se est
realizando la recopilacin de datos sin retrasos? Hay algn problema en la tasa de
respuestas?). El proceso de analizar y evaluar los datos recopilados incluye la
evaluacin de acuerdo con los Cinco Criterios de Evaluacin, la formulacin de una
conclusin y la preparacin de recomendaciones y lecciones aprendidas. Adems de lo
anterior, la administracin debe asegurar que se realiza un anlisis apropiado desde los
siguientes puntos de vista.

Puntos a verificar para evaluar los Cinco Criterios de Evaluacin y

formular las conclusiones
- Se dio respuesta precisa a las preguntas de la evaluacin?
- Se estn analizando los factores que dificultan/promueven?
- Las conclusiones apoyan el propsito de la evaluacin?
- Se estn analizando los elementos vinculados con las recomendaciones y lecciones
aprendidas?

Puntos a verificar cuando se preparan las recomendaciones y lecciones

aprendidas
- Los datos recopilados y los resultados del anlisis se mencionan como la base de las
recomendaciones/lecciones aprendidas?
- Se han aclarado los problemas de retroalimentacin?
- Las recomendaciones/lecciones aprendidas son especficas y realistas?

(3) Creacin de un consenso fundamental relativo a los resultados de la evaluacin

(Comit de Evaluacin Conjunta)
Cuando se termina la evaluacin, se celebra una reunin para discutir los resultados de la
evaluacin y se realiza la creacin de un consenso fundamental con el personal del pas
socio. En el caso de los resultados de la evaluacin (incluyendo las recomendaciones y
lecciones aprendidas) cuya informacin sea insuficiente o que no se pueda llegar a un
consenso a raz de diferencias de interpretacin, el hecho de que haya limitaciones en los
datos se debe mencionar especficamente. Con base en esto, cada una de las opiniones
expresadas se deber reflejar en el Informe de Evaluacin (es decir, se presentan juntos
los puntos de vista de ambas partes) cuando ste se prepare posteriormente.
Los efectos finales secundarios que se obtienen al compartir los resultados de la
evaluacin son 1) una mejor comprensin de parte del socio de los mtodos de
120
evaluacin, y 2) una mejor aplicacin de las recomendaciones y lecciones aprendidas por
parte de las organizaciones en el pas socio. La parte del socio es un objetivo de
retroalimentacin importante. Se puede esperar un mejor sentido de propiedad de los
resultados de la evaluacin de parte del socio si se le incluye en el proceso de evaluacin.

(4) Preparacin de las Minutas de las Juntas

Cuando se llega a un consenso sobre los resultados de la evaluacin en el Comit de
Evaluacin Conjunta, se preparan las "minutas" que renen los puntos que ya se han
acordado. Entonces se firma este documento y se intercambia entre el equipo y el pas
socio. Este documento contiene los puntos acordados al momento de la evaluacin en el
sitio. Posteriormente, una vez que el equipo regresa a Japn, se prepara el Informe de
Evaluacin con base en las Minutas. Aunque las minutas (Resumen del Estudio de
Evaluacin) no son ms que un registro de los puntos bsicos de acuerdo alcanzados en
el sitio de la evaluacin, el Informe final de la Evaluacin es un documento amplio que
cubre la presentacin de datos, conclusiones, recomendaciones/lecciones aprendidas,
etc. que sirvieron como base para la evaluacin.
En la Tabla 3-1-4 se presenta una composicin muestra de las minutas. Es importante
observar que surgirn algunas diferencias de acuerdo con el propsito de la evaluacin.

121
Tabla 3-1-4: Composicin Muestra de unas Minutas
- Documento de consenso
- Anexo: Resumen del Informe del Estudio de Evaluacin

Introduccin
-Objetivo del Estudio de Evaluacin
-Miembros del Equipo de Evaluacin
-Calendario del Estudio

1. Descripcin General del Proyecto

-Antecedentes del Proyecto
-Resumen del Proyecto

2. Metodologa de la Evaluacin
-Preguntas e Indicadores de la Evaluacin
-Mtodo de Recopilacin y Anlisis de Datos
-Limitaciones del Mtodo

3. Logros del Proyecto y Proceso de Implementacin

4. Resultados de la Evaluacin
-Pertinencia
-Efectividad
-Eficiencia
-Impacto
-Sustentabilidad

5. Conclusin

6. Recomendaciones y Lecciones Aprendidas

122
5. Preparacin del Informe de Evaluacin

Una vez que el equipo regresa a Japn, se renen los resultados de la evaluacin en una
Tabla de Evaluacin Ex-ante o Tabla de Resumen de los Resultados de la Evaluacin
y en un Informe de la Evaluacin. Si no fue posible finalizar el anlisis e interpretacin de
datos lo suficiente durante el perodo de la evaluacin en el sitio, ser necesario continuar
con el anlisis. Se preparar un resumen del informe en el idioma oficial del pas
objetivo y se enviar a las organizaciones interesadas en ese pas. La preparacin de un
informe fcil de entender es una parte extremadamente importante de la evaluacin. No
hay posibilidades de retroalimentar los resultados de la evaluacin si no se presentan
apropiadamente. Un miembro del personal del departamento operativo del proyecto
actuar como miembro del equipo para escribir el informe, sin embargo, para poder
mantener la calidad del informe ser importante que el departamento verifique si el
informe fue escrito con claridad o no. Especficamente se debe poner atencin en los
siguientes puntos (consulte la Tabla 2-3-2 sobre el formato del informe).

Puntos que se deben verificar al preparar el Informe de la Evaluacin

- El informe es demasiado largo?
- Est escrito de manera especfica y concisa?
- Se elabor haciendo nfasis en los temas de comunicacin deseados?
- Se especifica claramente que las bases de los juicios se derivan de los resultados de
la evaluacin?
- Se utilizan las grficas y tablas correctamente para explicar los datos?
- Se indica claramente cules son las fuentes de los datos citados?
- Se mencionan claramente los factores limitantes en la evaluacin?
- La Tabla de Evaluacin, los cuestionarios, datos recopilados, etc., se anexan como
materiales de referencia?

123
6. Retroalimentacin de los Resultados de la Evaluacin

El informe que prepara el equipo de evaluacin representa un medio para brindar

informacin para la retroalimentacin y para rendir cuentas. Su objetivo es mejorar el
efecto de aprendizaje sobre el mejoramiento operativo y la rendicin de cuentas a travs
de la correcta aplicacin de los resultados de la evaluacin. Una vez que se termina el
informe, el departamento encargado de la JICA brinda informacin a las partes
interesadas a travs de los siguientes medios. Las partes que recibirn la informacin
incluyen las organizaciones interesadas en el pas objetivo; por lo tanto, es necesario
preparar el resumen en ingls.

(1) Retroalimentacin de informacin en el proceso de toma de decisiones

- El departamento operativo da forma concreta a las recomendaciones y lecciones
aprendidas, toma decisiones sobre medidas para abordarlas y se hace responsable
de reflejarlas en la gestin del proyecto.
- Los resultados de la evaluacin se aplican principalmente a nivel del supervisor a
travs de su anotacin en documentos relacionados con el proyecto (por ejemplo,
Programas por Pas de la JICA, documentos del proyecto, etc.).

(2) Asegurar la retroalimentacin y rendicin de cuentas en el proceso de

aprendizaje organizativo
- El personal interesado comparte conocimientos a travs de reuniones de evaluacin.
Estas reuniones se deben realizar en momentos oportunos y deben asistir las
personas adecuadas (es decir, los usuarios de la informacin de la evaluacin).
- Es necesario realizar seminarios de retroalimentacin sobre los temas tomados de las
recomendaciones/lecciones aprendidas que se sabe han tenido importancia especial
en otros proyectos similares. De esta manera, se brindar informacin a un conjunto
ms amplio del personal interesado.
- El informe se deber preparar dentro de un perodo de tres meses. Se debe colocar
en la pgina Web de la JICA y distribuir al personal interesado. Se debe preparar un
resumen en ingls para las organizaciones interesadas en el pas objetivo.

124
Captulo 2 Temas en la Evaluacin Ex-ante y Ex-post

Descripcin General de este Captulo:

La evaluacin de proyectos en la JICA tiene cuatro tipos de ciclos de proyecto:
evaluacin ex-ante, evaluacin intermedia, evaluacin final y evaluacin ex-post. Como
cada tipo de evaluacin tiene propsitos diferentes, los puntos de vista y enfoques de los
Cinco Criterios de Evaluacin tambin difieren ligeramente entre ellos.
Este captulo describe las caractersticas y puntos a recordar de cada tipo de estudio
de evaluacin, y tambin muestra ejemplos de casos, sobre todo para la tabla de
evaluacin y la interpretacin de la evaluacin. El concepto bsico de la evaluacin, el
flujo de las investigaciones y las teoras de los mtodos de evaluacin son los mismos
para todos los tipos de estudios de evaluacin.

En las evaluaciones de proyectos, los exmenes se realizan bsicamente desde el punto

de vista de los Cinco Criterios de Evaluacin, pero la percepcin de cada punto es
diferente, dependiendo del momento en que se realiza el estudio de evaluacin. Por
ejemplo, en la evaluacin ex-ante antes de empezar un proyecto, se puede examinar la
pertinencia de acuerdo con la situacin real, pero desde otros puntos de vista, la
encuesta slo se puede realizar con base en predicciones y prospectos. En una
evaluacin intermedia despus de haber iniciado el proyecto, la pertinencia y la
eficiencia se pueden evaluar de acuerdo con la situacin real y los resultados, pero la
efectividad y el impacto slo se pueden examinar de acuerdo con lo que se considera
necesario y posible en ese momento para la evaluacin, y eso depende del grado en que
se haya producido algn efecto en el plazo intermedio. La tabla 3-2-1 resume estas
diferencias de puntos de vista para la evaluacin segn cada tipo de estudio de
evaluacin.
La profundidad y enfoque del examen de cada uno de los Cinco Criterios de
Evaluacin tambin puede variar de acuerdo con las caractersticas de un proyecto y los
problemas a los que se enfrente. Por ejemplo, para proyectos pequeos tal vez no sea
adecuado realizar una encuesta con cuestionarios costosos, sino utilizar otro mtodo
sencillo. O, si las partes interesadas saben que hay problemas de eficiencia que afectan
un proyecto, tal vez sea necesario realizar el estudio dando mayor enfoque al examen de
la eficiencia.
La figura 3-2-1 presenta un resumen de los mtodos de evaluacin y su aplicacin en
cada tipo de estudio de evaluacin explicado en los Captulos 1 al 3, Parte II.

125
Tabla 3-2-1 Diferencias entre los Puntos de Vista segn el Tipo de
Proyecto de Evaluacin
Evaluacin Seguimien- Evaluacin Evaluacin Evaluacin
Nota 2
Ex-ante to Intermedia Final Ex-post
Confirmacin
de los Nota 1 z z z
resultados
Comprensin
del proceso
z z z
de implemen-
tacin
<Cinco Criterios de Evaluacin>
Pertinencia
z - z z

Efectividad
- z -

Eficiencia - z z -

Impacto - z

Sustentabi-
- z
lidad

z: Examen con base en la situacin y resultados reales

: Examen con base en predicciones y prospectos
: Examen de acuerdo con lo que se considera necesario y posible para la evaluacin
- : Todava no es posible realizar un examen completo, o se termin en una fase
anterior.

Nota 1: En caso de una evaluacin ex-ante, esto significa realizar un estudio de base o
establecer indicadores.
Nota 2: Por lo general, un examen con base en los Cinco Criterios de Evaluacin est
fuera del alcance del seguimiento, pero para su operacin y gestin, es
importante tener siempre en mente los puntos de vista de estos Cinco
Criterios de Evaluacin.

126
 Figura 3-2-1 Mtodos de Evaluacin de Proyectos y su Aplicacin en los
Estudios de Evaluacin

De la aplicacin a la Flujo de la
Evaluacin Ex-ante Confirmacin del marco lgico
Evaluacin

Creacin del Confirmacin del

evaluacin ex-ante

Comparacin con los resultados de la

Uso del
marco lgico marco lgico
marco lgico

Estudio de base Confirmacin de

Comprensin de la los resultados
Prediccin sobre el proceso situacin real del
de implementacin proyecto Confirmacin del proceso
z Resultados
de implementacin
z Proceso de
Implementacin
Juicio de valor con base z Relaciones
en los Cinco Criterios de causales Juicio de valor con base en los
Evaluacin/prediccin Cinco Criterios de
del efecto producido y Evaluacin/prediccin del
Cinco Criterios de efecto producidor y factores
factores que dificultan
Evaluacin que dificultan

Determinacin de la Conclusin Juicio sobre el xito

necesidad/ o fracaso del
pertinencia del <Juicio general > proyecto
proyecto

Formulacin de los
Creacin de la tabla de
documentos del resumen de los
proyecto* Presentacin de resultados de la
Formulacin de la evaluacin y el informe
los Resultados de la evaluacin
Tabla de la
Evaluacin Ex-ante Recomen- Lecciones
daciones Aprendidas

Implementacin Retroalimentacin
Uso
Dar a conocer los Dar a conocer los
resultados resultados

127
1. Puntos Clave de los Estudios de Evaluacin Ex-ante

(1) Papel de los Estudios de Evaluacin Ex-ante

En general, los estudios de evaluacin ex-ante de la JICA tienen dos propsitos: i)
planeacin del proyecto y ii) planeacin de la evaluacin. En la JICA, las evaluaciones ex-
ante se planean y realizan de acuerdo con los Cinco Criterios de Evaluacin. Los
resultados de las evaluaciones ex-ante se utilizan para mejorar el plan y para determinar
la pertinencia del proyecto. La evaluacin ex-ante brinda informacin que servir como
base para dar seguimiento y evaluacin despus que empieza un proyecto y es un paso
indispensable hacia la adecuada gestin de un proyecto a lo largo de su ciclo.
El producto de la evaluacin ex-ante consiste de documentos del proyecto, que
incluyen el marco lgico (PDM en la JICA) y la Tabla de Evaluacin Ex-ante. Los
factores inhibidores o limitantes que se identifican en la evaluacin ex-ante se reflejan en
la planeacin del proyecto segn sea necesario, o se escriben en las columnas de los
Cinco Criterios de Evaluacin en la Tabla de Evaluacin Ex-ante como puntos a recordar
despus que empez un proyecto.
Este documento describe principalmente la parte de evaluacin del estudio de
evaluacin ex-ante. No trabaja sobre la teora de planeacin. La teora de planeacin
incluye mtodos de estudio base y la teora del marco lgico, as como la forma de crear
un marco lgico (ver Anexo 1), de establecer indicadores, de establecer metas, y
mtodos de anlisis de riesgos. Este captulo de los Lineamientos de la Evaluacin utiliza
ejemplos de casos para explicar principalmente lo mtodos para examinar los conceptos
del proyecto que se planearon a travs de estos procesos mediante los Cinco Criterios de
Evaluacin y cmo crear una Tabla de Evaluacin Ex-ante.
Observe que incluso en los casos donde se implementa la evaluacin ex-ante en
forma simplificada, por ejemplo donde no se enva un equipo de estudio para la
evaluacin ex-ante y no se crean documentos para el proyecto, se debe realizar la
evaluacin con base en el concepto y puntos de vista de evaluacin que se indican aqu,
y los resultados se debern incorporar en el plan de implementacin.

128
Figura 3-2-2 Los Dos Papeles de los Estudios de Evaluacin Ex-ante

Establecimiento del plan Plan de

implementacin

Documentos del

proyecto

Tabla de Eva-
luacin Ex-ante
Evaluacin ex-ante del plan

(2) Propsito y Puntos de Vista de Evaluacin de los Estudios de Evaluacin Ex-

ante

Las evaluaciones ex-ante evalan planes antes de iniciar un proyecto. Los resultados de
la evaluacin se utilizan para mejorar el plan y para juzgar la pertinencia del proyecto. Por
tanto, la evaluacin primero se realiza haciendo nfasis principalmente en la pertinencia.
Evaluacin de pertinencia quiere decir examinar si la cooperacin de la JICA es
pertinente desde el punto de vista de i) necesidad - existe la necesidad en la regin,
sociedad y entre los residentes aplicables?, ii) prioridad - la poltica de desarrollo del
pas socio coincide con las prioridades de Japn?, y iii) la idoneidad del proyecto como un
medio - por qu se eligi un proyecto con este tipo de objetivo? La regin objetivo y el
grupo objetivo son adecuados? - y otros. Cuando se evalan los otros criterios de
evaluacin (efectividad, impacto, sustentabilidad, etc.) el punto que difiere ms de los
estudios de evaluacin de la intermedia y de las evaluaciones posteriores a ella es que la
evaluacin se basa en predicciones y prospectos en lugar de logros y datos del proceso
de implementacin anteriores. En concreto, el examen es sobre si realmente se producir
o no un efecto cuando se implemente el proyecto segn este plan, y si el proyecto est

129
planeado de tal manera que el efecto se puede comprender y verificar de manera
confiable o no6.
Los exmenes que no evalan los logros sino la validez de un plan con base en las
predicciones y prospectos incluyen esencialmente dos aspectos. Uno es examinar si cada
componente de un proyecto es claro y razonable o no. Aqu, se consideran la idoneidad
de los indicadores y metas establecidos, qu tan apropiados son los medios para obtener
los indicadores, y otros puntos con base en su relacin con los datos de base. El examen
considera si el efecto pronosticado se puede lograr y es conveniente. Cuando se observa
su relacin con los datos de base, es importante primero utilizar un mtodo de
investigacin para obtener esos datos y luego considerar si es posible un seguimiento
posterior. Si los medios para obtener los indicadores son demasiado costosos para ser
prcticos, esos datos no se podrn utilizar. Cuando se hacen recomendaciones sobre los
indicadores adecuados, metas y los medios para obtener los indicadores a travs de este
tipo de examen, tambin se construye una base para el seguimiento y la evaluacin
despus que empez un proyecto. (Refirase a 2-1-3 (4) sobre cmo verificar los
indicadores y valores bjetivo.)
El otro aspecto es examinar si la estructura del plan del proyecto (es decir, la relacin
entre el propsito y los medios) est formulada de manera adecuada y si hay prospectos
de alcanzar el objetivo esperado. Este punto de vista cuestiona la lgica de las relaciones
causales entre los componentes individuales de un proyecto. Tambin es necesario
realizar un examen profundo sobre si las actividades planeadas para cierto objetivo son
adecuadas. Para estos exmenes, se puede utilizar el concepto de modelo lgico, una
teora de evaluacin descrita en la Parte II, Captulo 1 (refirase a 2-1-3). Cuando se trata
de examinar el plan del proyecto segn un marco lgico (el modelo de causa y efecto
donde los insumos conducen a las actividades, que a su vez conduce a los productos y
que finalmente conducen al objetivo), tal vez el producto para obtener un objetivo, o las
actividades o insumos para alcanzar un producto sean insuficientes. La valoracin
tambin puede descubrir que el enfoque que se tiene pensado para un proyecto no es
eficiente ya que, comparado con la inversin, su efecto ser pequeo. Otra posibilidad es
que suposiciones /riesgos importantes sean demasiado altos y que su influencia en el
proyecto sea demasiada. El dar retroalimentacin sobre los resultados de esos exmenes
al trabajo de planeacin para poder desarrollar un plan mejor y ms apropiado conduce a
la gestin efectiva del proyecto.

(3) Lista de Verificacin de la Evaluacin Ex-ante

6
Un mtodo para los estudios de evaluacin que incluye el punto de vista de si el efecto se puede
verificar y comprender es la Determinacin de la Evaluabilidad. Este mtodo utiliza investigacin
cualitativa enfocada en la lgica del proyecto, en qu tan claro es el objetivo y en los indicadores
establecidos, tratando de identificar si el proyecto evaluado satisface las condiciones mnimas de
evaluabilidad. (Para obtener ms informacin refirase a Rossi, PH., Freeman, H.E., Lipsey, M.W.,
Evaluacin - Un enfoque sistemtico (Evaluation A systematic approach), 6a ed, 1999, SAGE
Publication, p. 157.)
130
Los estudios de evaluacin ex-ante son principalmente sobre planes, y por lo tanto, la
planeacin y la investigacin necesarias para realizar una evaluacin se conducen y
determinan simultneamente. Por esta razn, no se realiza ningn trabajo de acuerdo con
un diseo de evaluacin predeterminada como en los dems estudios de evaluacin. Las
tablas siguientes son listas de verificacin de los puntos de vista para una evaluacin con
base en un borrador de un plan de proyecto.
Es necesario referirse a estas listas de verificacin antes de la evaluacin en el
sitio en el estudio de evaluacin ex-ante, para poder confirmar si los temas de la encuesta
estn completos. Luego, esto se debe reflejar en el plan del estudio. Sin embargo,
observe que los siguientes slo son los principales puntos de verificacin. Se deben
agregar puntos a las encuestas que correspondan con el contendido del proyecto,
conforme sea necesario.

131
Tabla 3-2-2 Principales Puntos de Verificacin en los Estudios de
Evaluacin Ex-ante (los puntos que se muestran con fondo gris se examinan con
base en la situacin y logros reales)
Puntos de Puntos de Verificacin de la Evaluacin
Evaluacin
Plan
La meta general, el objetivo del proyecto y el producto son claros?
Cada indicador expresa de manera precisa su significado respectivo?

Planeacin La objetividad y la posibilidad de reproduccin (se puede recopilar

repetidamente el mismo tipo de datos) estn aseguradas en los mtodos
para obtener cada indicador?
* Algunos puntos
El grupo objetivo est establecido claramente?
son los mismos
que en los puntos
de evaluacin que Relaciones causales
aparecen ms Las relaciones actividades producto objetivo del proyecto
adelante. De todas meta general son relaciones de medios propsito?
maneras se
Las suposiciones importantes para la produccin del producto estn
mencionan en el
establecidas adecuadamente? La lgica actividades suposiciones
encabezado de
importantes producto es correcta?
esta tabla como
puntos a confirmar Las suposiciones importantes para el logro del objetivo del proyecto
primero en una estn establecidas adecuadamente? La lgica producto
evaluacin ex-ante suposiciones importantes objetivo del proyecto es correcta?
Las suposiciones importantes para el logro de la meta general estn
establecidas adecuadamente? La lgica objetivo del proyecto
suposiciones importantes meta general es correcta?
Hay algn problema en el sistema de gestin del proyecto (sistema de
seguimiento, proceso de toma de decisiones, etc.)?
El proyecto tiene un buen reconocimiento en la agencia de
implementacin o contraparte?
Proceso de Se colocar una contraparte adecuada?
Implemen- El insumo para realizar actividades segn lo planeado est

tacin garantizado?

(Prospecto) El grupo objetivo o las organizaciones relacionadas participan en el

proyecto en gran medida? El proyecto es altamente reconocido? O,
se espera un aumento en participacin o reconocimiento?
Hay algn otro tema o factor que dificulta las actividades y stos se
debieran recordar en el proceso de implementacin del proyecto

132
(Principales Puntos de Verificacin en los Estudios de Evaluacin Ex-ante - continuacin)
Puntos de Puntos de Verificacin de la Evaluacin
Evaluacin
<<Cinco Criterios de Evaluacin>>
Necesidad
El proyecto es consistente con las necesidades del pas, regin o
sociedad objetivo?
El proyecto es consistente con las necesidades del grupo objetivo?
Prioridad
El proyecto es consistente con la poltica de desarrollo del pas socio?
El proyecto es consistente con la poltica de asistencia para el
extranjero de Japn y del plan de la JICA para la implementacin de
programas por pas?
Sustentabilidad como un medio
El proyecto es adecuado como estrategia para producir un efecto con
Pertinencia respecto a los temas de desarrollo del campo y sector objetivo del pas
socio? (El enfoque y la regin objetivo del proyecto son adecuados?
Qu efectos de sinergia hay para brindar ayuda con la cooperacin de
otros donantes?)
La seleccin del grupo objetivo es adecuada? (Meta, volumen,
distribucin de gneros, etc.)
Hay algn efecto de difusin ms all del grupo objetivo?
Los beneficios del efecto y la carga de los costos estn distribuidos
equilibradamente?
Japn tiene una ventaja tecnolgica? (Japn tiene conocimientos
(know-how) acumulados sobre la tecnologa objetivo? Es posible
aprovechar las experiencias de Japn? etc.)

Objetivo del proyecto

El objetivo del proyecto est claramente mencionado?
Los indicadores del objetivo del proyecto expresan con exactitud el
objetivo?
Los indicadores y metas del objetivo del proyecto son adecuados de
acuerdo con los datos de base?
Los medios para obtener los indicadores del objetivo del proyecto son
adecuados? (Se han medido los indicadores necesarios? No son
demasiado costosos? Se pueden reproducir? Se pueden utilizar como
medios de seguimiento? etc.)
Efectividad
(Prospecto)
Relaciones causales
Se alcanzar el objetivo del proyecto como efecto de ste una vez que
se complete?
Se ha planeado suficiente producto para alcanzar los objetivos del
proyecto?
Las suposiciones importantes del producto al objetivo del proyecto se
perciben correctamente? Existe una posibilidad alta que las
suposiciones importantes sean verdad?
Hay factores que obstruyen el logro del objetivo del proyecto?

133
(Principales Puntos de Verificacin en los Estudios de Evaluacin Ex-ante - continuacin)
Puntos de Puntos de Verificacin de la Evaluacin
Evaluacin
Producto
Los indicadores del producto expresan con exactitud su significado?
Las metas para el producto son adecuadas?
Los medios para obtener los indicadores del producto son adecuados?
(Se han medido los indicadores necesarios? Son demasiado
costosos? Se pueden reproducir? Se pueden utilizar como medios de
seguimiento? etc.)

Relaciones causales
Se han planeado suficientes actividades para producir el producto?
Se tiene planeado un insumo de una cantidad y calidad adecuada para
realizar las actividades?
Las suposiciones importantes de las actividades al producto se
perciben correctamente? Existe una posibilidad alta que las
suposiciones importantes sean verdad?
Eficiencia
(Prospecto) Momento oportuno
Se plane correctamente el momento del insumo?

Costo
El producto justifica el costo que se va a invertir si se compara con
proyectos similares (comparacin con el costo total o los costos unitarios
de proyectos similares de la JICA y otros donantes o con proyectos
similares realizados por el pas en cuestin)? (Hay algn medio
alternativo para obtener los mismos resultados a menor costo? Es
posible alcanzar un nivel de logro ms alto con el mismo costo?)
El objetivo del proyecto justifica el costo que se va a invertir si se
compara con proyectos similares (comparacin con el costo total o los
costos unitarios de proyectos similares de la JICA y otros donantes o
con proyectos similares realizados por el pas en cuestin)? (Hay algn
medio alternativo para obtener los mismos resultados a menor costo?
Es posible alcanzar un nivel de logro ms alto con el mismo costo?)

134
(Principales Puntos de Verificacin en los Estudios de Evaluacin Ex-ante - continuacin)
Puntos de Puntos de Verificacin de la Evaluacin
Evaluacin
Meta general:
Los indicadores de la meta general la expresan con exactitud?
Los indicadores y objetivos de la meta general son adecuados de
acuerdo con los datos de base?
Los medios para obtener los indicadores de la meta general son
adecuados? (Se han medido los indicadores necesarios? Son
demasiado costosos? Se pueden reproducir? Se pueden utilizar como
medios de seguimiento? etc.)

Relaciones causales
Se espera alcanzar la meta general como un efecto del proyecto?
La relacin y lgica entre la meta general y los temas de desarrollo son
claras?
Las suposiciones importantes del objetivo del proyecto a la meta
general se perciben correctamente? Existe una posibilidad alta que las
Impacto suposiciones importantes sean verdad?
(Prospecto) Hay factores que obstruyen el logro de la meta general?

Efectos de difusin
Se asume que hay algn efecto o influencia ms all de la meta
general? Se estn tomando medidas para contrarrestar influencias
especialmente negativas?
* Influencias sobre el establecimiento de polticas y sobre la
preparacin de leyes, sistemas, normas y similares
* Influencias sobre los aspectos sociales y culturales tales como
gnero, derechos humanos, ricos y pobres
* Influencia sobre la proteccin ambiental
* Influencia derivada de cambios tecnolgicos
* Influencias econmicas sobre la sociedad objetivo, las partes
del proyecto, los beneficiarios, etc.
Existen diferentes influencias positivas y negativas debido a las
diferencias entre gneros, grupos tnicos, o estratos sociales?

135
(Principales Puntos de Verificacin en los Estudios de Evaluacin Ex-ante - continuacin)
Puntos de Puntos de Verificacin de la Evaluacin
Evaluacin
Polticas y sistemas
La asistencia de la poltica continuar una vez que termine la
cooperacin?
Los reglamentos y sistemas legales pertinentes estn preparados?
Hay planes para su preparacin?
En el caso de proyectos dirigidos a sitios piloto, se cuentan con
esfuerzos asegurados para ayudar posteriormente con la difusin?

Aspectos organizativos y financieros

Se tiene la capacidad organizativa para implementar actividades que
produzcan efectos una vez que termine la cooperacin? (Colocacin de
Sustenta- recursos humanos, proceso de toma de decisiones, etc.)
bilidad Se tiene suficientemente asegurado el sentido de conciencia de la
iniciativa propia hacia el proyecto en la agencia de implementacin antes
(Prospecto) del inicio del proyecto?
El presupuesto (incluyendo los gastos de operacin) est asegurado?
* Aquello Se han tomado medidas presupuestarias suficientes del lado del pas
indispensable aplicable?
para asegurar Qu tan alta es la probabilidad de que aumente el presupuesto en el
la sustenta- futuro mediante la implementacin del proyecto? Las medidas para
asegurar los presupuestos son suficientes?
bilidad
(continuidad
Tecnologa
del efecto) Los mtodos de transferencia de tecnologa empleados en el proyecto
depende del son aceptables? (Nivel de tecnologa, factores sociales y
contenido del convencionales, etc.)
proyecto. Se El plan de mantenimiento y manejo del equipo que se introducir en el
debe realizar proyecto es adecuado?
El proyecto contiene un mecanismo para su difusin?
el estudio con Cul es la probabilidad de la agencia de implementacin poder
esto en mantener el mecanismo para su difusin?
mente. En el caso de proyectos dirigidos a sitios piloto, la tecnologa es del
tipo que se puede difundir a otros sitios?

Sociedad, cultura y medio ambiente

Hay alguna posibilidad de inhibir un efecto sostenido por la falta de
consideracin hacia las mujeres, los pobres y los socialmente
vulnerables?
Hay alguna posibilidad de obstaculizar un efecto sostenido debido a la
falta de consideracin hacia el medio ambiente?

Otros
Hay algn otro factor que pudiera obstaculizar la sustentabilidad?
(Considerado con base en los resultados de la evaluacin
anterior)
Es posible lograr el objetivo del proyecto en la situacin actual
(cambios en el grupo o sociedad objetivo)?
Necesidad de
Es necesario ajustar los insumos, actividades y productos?
ajustes Hay alguna nueva suposicin importante que influya en el proyecto?
Cmo han cambiado los problemas, puntos, riesgos, etc. que se
sealaron en la evaluacin ex-ante?
Qu puntos se deben recordar para el futuro?

136
(4) Interpretacin y Resumen de los Datos de la Evaluacin Ex-ante
La interpretacin de los datos de la evaluacin ex-ante se centra en los Cinco Criterios de
Evaluacin. La interpretacin se resume en la Tabla de Evaluacin Ex-ante. En los
estudios de evaluacin ex-ante, es necesario reflejar los factores que dificultan y
obstaculizan el proyecto identificados en el proceso de evaluacin en los planes que se
incluyen en los documentos del proyecto. Adems, es necesario proponer el proyecto de
tal manera que, hasta donde sea posible, no lo afecten estos factores. Por otro lado, los
asuntos que se juzg se deben revisar despus que inici el proyecto se escriben en el
tema aplicable de la columna de los Cinco Criterios de Evaluacin en la Tabla de
Evaluacin Ex-ante. Estos temas a recordar se implementan tambin como metas de
seguimiento una vez que empez el proyecto y es necesario ubicarlas como temas
sujetos a seguimiento, junto con una verificacin del nivel de logro de los objetivos y
productos.
La Tabla de Evaluacin Ex-ante resume una descripcin del informe de los
resultados de la evaluacin ex-ante. Las bases del por qu se realiz la interpretacin de
esta manera, etc., se deben enviar como anexos de los documentos del proyecto (por
ejemplo, resultados de las entrevistas, resultados del anlisis del material, resultados de
la encuesta por cuestionario y otros resultados).
La Tabla 3-2-3 ofrece una descripcin de cada punto en la Tabla de Evaluacin
Ex-ante y resume los puntos a recordar cuando se llena la tabla. El caso 1 presenta un
ejemplo de cmo llenar una Tabla de Evaluacin Ex-ante.

137
Tabla 3-2-3 Tabla de Evaluacin Ex-ante: Contenido y Temas a Recordar
(para proyectos de cooperacin tecnolgica medianos y grandes)

Tema Contenido Puntos a Recordar

1. Ttulo del El ttulo del proyecto
Proyecto
2. Describe brevemente el contenido del z Tenga cuidado de no escribir
Descripcin proyecto de la evaluacin ex-ante demasiados detalles. El plan
General de detallado se describe despus.
la [Temas Principales] z Es suficiente que el lector,
Cooperacin (1) Descripcin general principalmente incluyendo un tercero, pueda
del objetivo y productos del comprender una descripcin general
proyecto de lo que trata la evaluacin ex-ante.
(2) Perodo de Cooperacin z Los beneficiarios en (6) son los
(3) Monto total de la cooperacin beneficiarios a nivel del objetivo del
(Japn) proyecto (grupo objetivo).
(4) Agencia de Implementacin del Pas z Si es necesario, incluya un mapa o
Socio fotografas del sitio del proyecto
(5) Agencia de Cooperacin en Japn
(6) Grupo objetivo, Beneficiarios,
tamao, etc.
3. Describe brevemente no slo los z Describa claramente los temas
Necesidad y antecedentes de la solicitud, sino que importantes que son los
posicin de tambin procesa la cooperacin de antecedentes del proyecto y la
la Japn y la razn, etc. ubicacin del proyecto para poder
cooperacin [Temas Principales] solucionarlos.
(1) Situacin actual y problemas z Si es necesario, incluya un mapa o
(2) Ubicacin dentro de las polticas fotografas explicando la situacin
nacionales del gobierno en el pas actual y los problemas.
socio.
(3) Relacin dentro de la poltica de
asistencia para el extranjero de
Japn, ubicndolo dentro del plan
de la JICA para la implementacin
de programas especficos por pas
(ubicacin dentro de los programas
de la JICA).
4. Marco de Aqu describe brevemente el contenido z Trate de escribir de tal forma que un
Trabajo de del marco lgico. La descripcin aparece tercero pueda entender la
la en el orden que se muestra a descripcin
Cooperacin continuacin para que tambin lo puedan
entender las personas que no saben del z El objetivo a alcanzar al final de la
marco lgico. cooperacin es el objetivo del
proyecto
[Temas Principales]
(1) Objetivo de la Cooperacin (Efectos z El "objetivo que se espera alcanzar
Directos) despus del final de la cooperacin
i) El objetivo a alcanzar al final de la se refiere a la meta general.
cooperacin (objetivo del proyecto),
indicadores y metas z Los productos se deben escribir en
ii) El objetivo que se espera alcanzar al secuencia junto con sus actividades,
final de la cooperacin (meta general), indicadores y metas
indicadores y metas correspondientes. No es necesario
(2) Productos y Actividades mencionar todas las actividades.
i) El producto, las actividades para Ofrezca una descripcin que resuma
lograrlo, indicadores y metas las actividades principales
ii) (ejemplos).
(3) Insumos
i) Japn (monto total: yenes)
Envo de expertos, equipo

138
 proporcionado, aceptacin de
becarios, otros
ii) Pas A (monto total: yenes)
Gastos del personal de la contraparte,
arreglos para las instalaciones y
terrenos, otros
(4) Factores externos (suposiciones
importantes que se espera que se
realicen).

i) Condiciones previas
ii) Suposiciones importantes para alcanzar
el producto
iii) Suposiciones importantes para alcanzar
el objetivo del proyecto
iv) Suposiciones importantes para alcanzar
la meta general
5. Resume la interpretacin de los datos, el z Describa claramente las bases y
Resultados juicio sobre el valor del proyecto y los razones de cada evaluacin. Sin
de la factores que limitan cada uno de los embargo, los resultados del anlisis
Evaluacin Cinco Criterios de Evaluacin. y los datos se deben anexar por
de acuerdo separado.
con los [Temas Principales]
Cinco (1) Pertinencia z Los temas a recordar cuando se
Criterios de (2) Efectividad implemente el proyecto se deben
Evaluacin (3) Eficiencia escribir en palabras concretas junto
(4) Impacto con sus bases. stos tambin sern
(5) Sustentabilidad importantes como temas de
seguimiento una vez que empiece el
proyecto.

6. Menciona los impactos negativos tales

Considera- como pobreza, gnero, medio ambiente,
cin de los guerra y paz, etc. y la estrategia del
problemas proyecto para abordarlos.
de Pobreza,
Gnero y
Medio
Ambiente
7. Lecciones Menciona lo qu se aprendi de los z Utilice los informes de la evaluacin
Aprendidas resultados de la evaluacin de otros (recomendaciones, lecciones
de proyectos similares y cmo se reflejaron aprendidas) anteriores o del
Experiencias para mejorar el proyecto. conocimiento del sitio de la JICA, etc.
Pasadas como fuentes para obtener
informacin sobre las lecciones
aprendidas a partir de objetos
similares.
8. Plan de Escriba el calendario para la evaluacin z Si hay algn comentario especial en
Evaluacin intermedia, la evaluacin final y la relacin con el plan de evaluacin,
para el evaluacin ex-post. escrbalo aqu (por ejemplo, la
Futuro implementacin de un estudio de base
despus del inicio del proyecto, etc.).

139
 Caso 1: Resumen de la Evaluacin Ex-ante

Proyecto para Reforzar la Educacin Secundaria

en materia de Ciencias y Matemticas en el Pas A
(Este ejemplo se basa en un caso de evaluacin ex-ante real, pero para este documento se hicieron

algunos cambios y adiciones.)

1. Ttulo del Proyecto

Proyecto para Reforzar la Educacin Secundaria en materia de Ciencias y
Matemticas en el Pas A
2. Descripcin General de la Cooperacin
(1) Descripcin general del objetivo y productos del proyecto
Establecer un sistema para entrenar a becarios en la regin Occidental (cinco
prefecturas), implementar capacitacin de estos becarios a los maestros en servicio, y
establecer un centro de recursos para mejorar la educacin en materia de ciencias y
matemticas en el pas A.
(2) Perodo de Cooperacin: (3) Monto total de la cooperacin (Japn)
Septiembre, 2003 a Agosto, 2008 (5 aos) Yenes

(4) Agencia de Implementacin del Pas (5) Agencia de Cooperacin en Japn

Socio Universidad B
Ministerio de Educacin, universidad para la Descripcin de la seriedad del
capacitacin de maestros de ciencias y problema. ste es un punto de vista
matemticas (centro de capacitacin central para evaluar la importancia
y centros de capacitacin del distrito)
(6) Grupo Objetivo y Beneficiarios
Aproximadamente 3,000 maestros de la regin Occidental (cinco prefecturas)
(aproximadamente 650 escuelas secundarias)
(Mapa anexo - se omiti aqu.)
3. Necesidad y posicin de la cooperacin
(1) Situacin actual y problemas
Desde que el pas A obtuvo su libertad en 1963, ha estado trabajando en el desarrollo
educativo a nivel nacional. Para aumentar rpidamente los recursos humanos, se
estableci la expansin y mejoramiento de las instituciones educativas como poltica de
alta prioridad y ms del 30% del presupuesto del proyecto se asign a la educacin. Sin
embargo, la situacin ahora es que se seal una degradacin importante de la calidad,
sobre todo en las reas de ciencias y matemticas a causa de la escasez de libros de
texto, materiales de enseanza, instituciones y la falta de capacidad de los maestros de
ciencias y matemticas. En los antecedentes hay pilas de planes de estudio y problemas
financieros. Para un pas que busca industrializarse, el mejoramiento de la educacin en
materia de ciencias y matemticas es un tema apremiante. Especialmente en las regiones
Occidentales (cinco prefecturas), las habilidades acadmicas de los alumnos y la
capacidad de los maestros son ms bajas que en el resto del pas, y se necesita con
urgencia realizar esfuerzos para mejorarlas.

Razn para la seleccin

Una razn para la seleccin del enfoque (capacitacin
de maestros) de la regin objetivo

(2) Posicin dentro de las polticas nacionales del gobierno del pas A
El mejoramiento de la educacin secundaria en materia de ciencias y educacin
es una poltica principal del plan de desarrollo nacional del pas A. El pas A est

140
 tratando de mejorar la calidad tanto desde el aspecto material como humano,
preparando instalaciones y material de enseanza o expandiendo la capacitacin
de los maestros. Especficamente en cuanto a la capacitacin de los maestros, el
plan maestro de educacin y capacitacin en este pas propone capacitar a los
maestros que estn actualmente en servicio. El documento de estrategia para la
lucha contra la pobreza (PRSP) tambin contiene esta propuesta como parte del
desarrollo de recursos humanos.

(3) Posicin dentro de la poltica japonesa de asistencia para el extranjero y del plan de la
JICA para la implementacin de programas por pas
En Japn, el marco de trabajo general de la AOD y sus polticas a mediano plazo
estn dando una prioridad alta a la asistencia para la capacitacin de recursos
humanos, sobre todo en el campo de educacin en los pases en vas de
desarrollo para reducir la pobreza y promover el desarrollo de la sociedad. El plan
de asistencia por pas para el pas A tambin coloca al desarrollo de la educacin
y de recursos humanos como un rea central. Este proyecto es adems parte del
programa para fortalecer la educacin en materia de ciencias y matemticas en los
planes de implementacin de programas por pas de la JICA.

4. Marco de Trabajo de la Cooperacin

(1) Objetivo de la Cooperacin (Efectos Directos)
i) Objetivos a alcanzar al final de la cooperacin (Propsito del Proyecto)
Es necesario fortalecer la educacin secundaria en materia de ciencias y
matemticas en la regin Occidental.
<Indicadores/metas> El grado de cambio en la instruccin se evaluar mediante la calificacin
de los siguientes puntos de vista, con base en los mtodos de seguimiento y
evaluacin* desarrollados en el proyecto.
z Mejoramiento del comportamiento de los maestros (promedio de ms de 3 en una
evaluacin de 0 a 4).
z Mejoramiento de los mtodos de enseanza (promedio de ms de 3 en una evaluacin
de 0 a 4).
z Mejoramiento del comportamiento de los estudiantes (promedio de ms de 3 en una
evaluacin de 0 a 4).
Indicators are written concretely,

together with targets

* La fuerza de trabajo de seguimiento y evaluacin desarrollar los mtodos de

seguimiento y evaluacin que se van a establecer en el proyecto. Los indicadores
principales para medir el resultado y el efecto del proyecto sern las habilidades
docentes, el grado de cambio en la instruccin y la capacidad de entrenamiento. Se
crearn listas de verificacin detalladas para cada uno de estos indicadores principales.

ii) Objetivos que se espera alcanzar despus del final de la cooperacin (Meta General):
Las habilidades en materia de ciencias y matemticas de los jvenes en el rea de
la capital deben mejorar.

<Indicadores/metas> Para el 2010, la calificacin promedio en los exmenes de ciencias y

matemticas de los jvenes en el rea de la capital debe alcanzar el
promedio nacional.
(2) Productos y Actividades

i) Producto: En el centro de capacitacin central, los instructores adquieren sus habilidades.

Actividades: Implementacin de capacitacin para los instructores de los maestros
<Indicadores/metas> Indicador de la habilidad para capacitar (promedio de por lo menos 3
en una evaluacin de cinco pasos del 0 al 4), 200 personas como

141
 personal de capacitacin, indicador de habilidades mejoradas del
personal de capacitacin (por lo menos dos temas ms despus de la
implementacin que antes de ella)

ii) Producto: En los centros de capacitacin del distrito se establece un sistema de re-
entrenamiento para los maestros en servicio.
Actividad: Implementar un re-entrenamiento para los maestros en servicio impartido por
instructores de maestros de los centros de capacitacin del distrito.
<Indicadores/metas> 300 asistentes en total, indicador de la habilidad de entrenamiento
(por lo menos dos temas ms despus de la implementacin que antes
de ella)

iii) Producto: Se refuerza el papel de los centros de capacitacin como centros de recursos.
Actividad: Desarrollar material docente, reorganizar y distribuir literatura
<Indicadores/metas> Desarrollo de 30 tipos de material docente en el centro de
capacitacin central, publicacin de por lo menos 20 documentos
nuevos en cada centro de capacitacin (cinco lugares),
establecimiento de un sistema de distribucin a las escuelas
secundarias objetivo.

(3) Insumos

i) Japn (monto total: aproximadamente yenes)

z Envo de expertos
Largo plazo: 12 (asesor principal, educacin en materia de fsica, qumica, biologa,
matemticas, evaluacin educativa, servicios clericales y coordinacin)
Corto plazo: planeado para las siguientes reas.
Administracin educativa del gobierno, evaluacin educativa, educacin en materia
de fsica, matemticas, qumica, biologa, ciencias
z Equipo proporcionado (monto total: aproximadamente yenes)
Equipo para producir el material docente, equipo para experimentos, equipo
audiovisual, libros, autos, etc.
z Aceptacin de becarios (monto total aproximadamente yenes)
Alrededor de 8 personas al ao

ii) Pas A (monto total: aproximadamente yenes)

z Gastos del personal de la contraparte (30 personas)
z Arreglos para las instalaciones y terrenos, etc.
Salones de capacitacin y dormitorio en el centro de capacitacin central, oficina
dentro del ministerio de educacin, centros de capacitacin de distrito
z Gastos de las actividades del proyecto (aproximadamente yenes al ao)

(4) Factores externos (suposiciones importantes que deben concretarse)

i) Condiciones previas
(nada en particular)

ii) Suposiciones importantes para alcanzar el producto

z 80% del personal de capacitacin entrenado continuar trabajando en la
capacitacin

iii) Suposiciones importantes para alcanzar el objetivo del proyecto

z Continua el apoyo de las direcciones de educacin regionales
z Los maestros entrenados seguirn trabajando en la educacin en materia de
ciencias y matemticas

iv) Suposiciones importantes para alcanzar la meta general

z Mantenimiento adecuado a las instalaciones y equipo para la educacin en materia
de ciencias y matemticas

142
 5. Resultados de la Evaluacin con base en los Cinco Criterios
de Evaluacin
Como resultado de una evaluacin desde los puntos de vista que se mencionan a
continuacin, juzgamos que es apropiado implementar la cooperacin.

(1) Pertinencia

Este proyecto se debe considerar de alta pertinencia por las siguientes razones:

z Como se mencion en "3. Necesidad y posicin de la cooperacin en esta Tabla de

Evaluacin Ex-ante, el plan de desarrollo nacional del pas A, el plan de desarrollo de la
educacin, el PRSP, etc., indican claramente que es indispensable fortalecer la
educacin en materia de ciencias y matemticas para elevar los recursos humanos y
alcanzar la industrializacin. Tambin existe un compromiso financiero identificable de
parte del gobierno.

z En cuanto a la educacin secundaria en el pas A, el nmero de maestros en relacin

con el nmero de estudiantes es suficiente, incluso al grado que el Banco Mundial y el
FMI recomendaron la reduccin de maestros para reducir el gasto pblico. En el anlisis
de problemas, el aspecto del equipo e instalaciones estuvo incluso mejor. No obstante,
se indic que los problemas de las habilidades y el comportamiento de los maestros son
un asunto serio, y juzgamos que el enfoque de este proyecto, que adopta la estrategia
de volver a capacitar a los maestros en servicio, es apropiado.

z El plan de asistencia por pas para el pas A tambin coloca el desarrollo de la educacin
y los recursos humanos como un tema central, y sobre todo el fortalecimiento de la
educacin en materia de ciencias y matemticas como una cuestin de desarrollo.

z Las regiones Occidentales son el objetivo de este proyecto porque aqu se puede
observar un deterioro de la educacin en comparacin con el resto del pas. La prioridad
y necesidad son extremadamente altas, y es muy adecuado haber seleccionado esta
regin como objetivo.

z En esta rea, podemos aprovechar las experiencias de Japn en el pasado con el

proceso de desarrollo educativo, esta cooperacin es de alta pertinencia.

(2) Efectividad

Este proyecto promete ser efectivo por las siguientes razones:

z El grupo objetivo consiste de aproximadamente 3,000 maestros en servicio y el

mejoramiento de sus habilidades docentes se estableci como un indicador. Adems, se
llev a cabo el seguimiento para obtener este indicador, y el objetivo del proyecto es
claro.

z Para producir un efecto, es necesario mejorar la capacidad de entrenamiento de los

centros de capacitacin a nivel central y regional. Ya se asignaron 30 miembros del
personal al centro de capacitacin central, y tambin se cre una lista de 200 maestros
que son candidatos para el entrenamiento. Tambin se plane un seguimiento a travs
de un indicador para la capacidad de entrenamiento (indicador de aumento de la
capacidad). ste y otros esfuerzos confiables prometen conducir a la implementacin
efectiva del proyecto.

z Es muy probable que se materialice una de las suposiciones importantes - el apoyo

continuo de los consejos de educacin regionales - porque el compromiso en este
143
 momento es alto.

z A partir de los puntos arriba mencionados, consideramos que se puede lograr una
instruccin de alta calidad para los maestros actualmente en servicio mediante tres
medios: la creacin de un sistema de capacitacin (concentrado en el centro de
capacitacin central), la implementacin de la capacitacin y el mejoramiento del centro
de recursos.

(3) Eficiencia

Este proyecto promete ser eficiente por las siguientes razones:

z Los expertos de largo plazo ya estn arreglados. La mayora de los expertos de largo
plazo tienen experiencia como Voluntarios Japoneses para la Cooperacin con el
Extranjero y se puede esperar que comprendan la situacin real en el pas A y trabajar
de manera eficiente en las actividades de campo.

z Se planea utilizar las instalaciones y equipo existentes en los centros de capacitacin lo

ms que se pueda, y las copiadoras, computadoras personales y equipo para los
experimentos de ciencias y matemticas incluidos en el plan se obtendrn dentro del pas
A, para que el costo del equipo y material ( yenes) sea bajo en comparacin con
proyectos similares.

z Al capacitar a 200 instructores de maestros, se pueden capacitar 3,000 maestros y

probablemente alrededor de 200,000 alumnos se beneficiarn con ello. La relacin
costo-beneficio de este proyecto tambin es alta comparada con otros proyectos
similares (educacin en materia de ciencias y matemticas).

z En este momento, una suposicin importante es la estabilidad de la fuerza de trabajo de

los instructores, pero tambin se est considerando un sistema de calificacin para
instructores, y es altamente probable que 80% de los instructores conserven su puesto.
(4) Impacto

Se espera que el impacto de este proyecto sea el siguiente:

z La meta general para mejorar las habilidades en materia de ciencias y matemticas de

la juventud promete alcanzarse dentro de los tres a cinco aos posteriores a la
terminacin del proyecto mediante la recapacitacin adecuada de los maestros que
estn actualmente en servicio. El riesgo radica en si es posible preparar el equipo
experimental y las instalaciones necesarias para la educacin en materia de ciencias y
matemticas para cada escuela objetivo. Actualmente se estn llevando a cabo los
planes para obtener el equipo relacionado como parte del programa de fortalecimiento
de la educacin en materia de ciencias y matemticas (tema de desarrollo) y
probablemente existirn efectos sinrgicos con esto.

z Mediante la creacin de un sistema de capacitacin en este proyecto, existe la

posibilidad de entrenar maestros a nivel nacional con el mismo tipo de mecanismo y
podemos esperar que la universidad para la capacitacin de maestros tome la iniciativa
de expandir este sistema a otras reas ms all de las ciencias y las matemticas
(impacto sobre las organizaciones y sistemas).

z Un impacto negativo podra ser el aumento de la brecha educativa entre las regiones
Occidentales y las otras regiones. Creemos que para asegurar que los resultados de
este proyecto se expandan a escala nacional, se requiere el apoyo continuo del
ministerio de educacin y la coordinacin con otros donantes tales como el Banco
Mundial.

(5) Sustentabilidad

144
 Como se muestra a continuacin, el gobierno socio promete continuar con los
efectos de este proyecto cuando termine el mismo.

i) Asistencia poltica y financiera

Este proyecto est ubicado como parte del desarrollo de recursos humanos en el
PRSP. Capacita continuamente a los maestros mediante la creacin de un sistema
de capacitacin a nivel central y regional. El compromiso de apoyar las polticas y
sistemas es alto. El plan de desarrollo de la educacin del pas A menciona muy
claro el fortalecimiento de la educacin en materia de ciencias y matemticas, para
que tambin se pueda contar con que el presupuesto quede continuamente
asegurado.

ii) Establecimiento de un sistema nacional de instructores de capacitacin

Es muy importante como incentivo dar a los instructores de los maestros una
calificacin. Esto podra convertirse en un medio no slo para asegurar la
estabilidad de recursos de capacitacin, sino tambin para mantener la calidad de
la capacitacin en el futuro. El pas A estableci que en estos momentos estn
considerando un sistema como ste. Necesitamos ayudar a la introduccin de este
sistema para asegurar las sustentabilidad de este proyecto.

iii) Estrategia participativa

Para asegurar la sustentabilidad, es importante que las partes del pas socio
tengan un sentimiento de conciencia de la iniciativa propia en relacin con este
proyecto. En este proyecto, planeamos adoptar una estrategia que incluya a las
partes de la educacin secundaria de cada regin (la oficinas de educacin
regionales, los directores de las escuelas, maestros, estudiantes y padres)
mediante la participacin para desarrollar una organizacin/sistema de
capacitacin y un plan de capacitacin que est en sincrona con la situacin
real del pas A. Por ejemplo, los instructores de los maestros se eligen por la
recomendacin de los consejos regionales de educacin y, para la operacin y
manejo de la capacitacin, se establecer un comit de organizacin de la
capacitacin que consta de miembros que representan las posiciones de los
centros de capacitacin central y de distrito. Adems incluiremos un
mecanismo para aadir las opiniones de las escuelas en las regiones y llevar a
cabo conferencias regulares. Este tipo de esfuerzos prometen aumentar el
sentido de conciencia de la iniciativa propia, y podemos esperar que se
conviertan en la base de la capacitacin continua y la expansin a nivel
nacional una vez que el proyecto haya terminado.

6. Consideracin de los problemas de Pobreza, Gnero y Medio Ambiente

En consideracin al gnero, el proyecto implementa lo siguiente: i) consideracin del
equilibrio de gneros en la recomendacin de instructores de maestros, y ii) tomar
estadsticas de los gneros de los beneficiarios finales - los estudiantes - y acumularlos
como datos del proyecto.
7. Lecciones Aprendidas de Experiencias Pasadas

Existencia de proyectos similares: s

En proyectos similares pasados, tanto el donante como el lado receptor tenan el punto de
vista estereotipado que la causa del deterioro de la educacin en materia de ciencias y
matemticas era la escasez de instalaciones y equipo educativos. Sin embargo, el
mejoramiento de nicamente las instalaciones y equipo, est vagamente sustentado y una
leccin aprendida es que los aspectos del manejo escolar y las habilidades de los
maestros tambin son importantes. En el estudio de base al inicio del proyecto, se hicieron
investigaciones no slo en relacin con las instalaciones y el equipo. Por el contrario, la
investigacin tambin se enfoc en la actitud de los maestros hacia la instruccin y en los
mtodos de instruccin y el hecho que se descubri es que existen problemas importantes
del lado humano que influyen en cmo se establece la estrategia de este proyecto.
145
 8. Plan de Evaluacin para el Futuro
z Evaluacin Intermedia: alrededor de febrero, 2006
z Evaluacin Final: alrededor de febrero, 2008
z Evaluacin Ex-post: planeada para implementarse alrededor de tres aos despus que
la cooperacin termine

146
2. Puntos del Seguimiento y de los Estudios de Evaluacin Intermedia

(1) Propsito y Concepto Bsico del Seguimiento

El seguimiento es un trabajo de rutina interno del proyecto. Una vez que empieza un
proyecto, el seguimiento verifica si las actividades se realizan y si los productos se
obtienen segn lo planeado, y hace ajustes si es necesario. La supervisin es un pilar del
trabajo de gestin, gestin de los objetivos establecidos inicialmente en el plan y revisin
de las actividades y productos en respuesta a los diversos cambios durante el proyecto
de implementacin.
Para realizar el seguimiento de manera adecuada es necesario establecer un sistema
organizativo dentro del proyecto en la etapa de planeacin. Antes de empezar el proyecto
es necesario conducir consideraciones suficientes sobre quin le da seguimiento a qu y
cundo, y el tipo de proceso de toma de decisiones que se utilizar para que los
resultados se reflejen en ajustes, etc. El seguimiento verifica sobre todo el producto,
actividades, insumos y las suposiciones importantes del marco lgico y lleva un registro
cuidadoso de la situacin real del proceso de implementacin que no se menciona en el
marco lgico. El seguimiento ayuda a considerar si las actividades se deben continuar
segn lo planeado, si existe una probabilidad alta de concretar las suposiciones
importantes y si hay prospectos de alcanzar los objetivos. Al hacerlo, los objetivos,
indicadores de producto y metas establecidas en el estudio de evaluacin ex-ante se
convierten en la base de comparacin con el plan. Los temas a recordar escritos en la
Tabla de Evaluacin Ex-ante deben seguir siendo un enfoque del seguimiento. La tabla 3-
2-4 ofrece un resumen de los temas de seguimiento generales.

147
Tabla 3-2-4 Puntos de Verificacin Principales del Seguimiento
Tema de Puntos de Verificacin Principales del Seguimiento
Seguimiento
Cmo es el insumo real?
Funcionamiento
Hasta qu grado se alcanz el producto?
El producto se gener segn lo planeado?
Las suposiciones importantes de las actividades hacia el producto son
Generacin del verdaderas?
producto Los temas a recordar sealados en la evaluacin ex-ante presentan algn
problema?
Qu factor dificulta la generacin del producto?
Las actividades se implementaron segn lo planeado?
Hay algn problema en el mtodo de transferencia de tecnologa?
Si las actividades no son como se planean, qu factor las dificulta?
Se satisficieron las condiciones previas?
Hay suficiente comunicacin dentro del proyecto?
Hay suficiente comunicacin entre la Oficina Central de la JICA, la oficina
local y el proyecto? La Oficina Central de la JICA y la oficina local adoptan
Actividades y el
medidas adecuadas y brindan asesora pertinente para la operacin y la
proceso de
gestin?
implementacin
El proyecto tiene un buen reconocimiento en la agencia de implementacin o
contraparte? Hay un fuerte sentido de conciencia de la iniciativa propia?
El grado de participacin del grupo objetivo y las organizaciones
relacionadas con el proyecto es alto? El proyecto est altamente
reconocido?
Los temas a recordar sealados en la evaluacin ex-ante presentan algn
problema?
Los insumos se realizan como se plane?
Hay algn problema en la calidad, cantidad y tiempos del insumo?
El insumo se pone a trabajar lo suficiente para generar el producto?
Insumos
Si hay algn problema, cul es el factor que obstaculiza?
Los temas a recordar sealados en la evaluacin ex-ante presentan algn
problema?
(Considerado con base en los resultados del seguimiento de los
temas anteriores)
Es posible lograr el objetivo del proyecto en la situacin actual (cambios en
Necesidad de ajustes el grupo o sociedad objetivo)?
Es necesario ajustar los insumos, actividades y productos?
Hay alguna nueva suposicin importante que influya en el proyecto?
Qu puntos se deben recordar para el futuro?

148
(2) Propsito y Puntos de Vista de la Evaluacin en los estudios de Evaluacin
Intermedios

Las evaluaciones intermedias se realizan a la mitad de un proyecto (en proyectos de

cinco aos, cuando han pasado alrededor de dos aos y medio). Su propsito es verificar
si el proyecto se implement sin problemas y est en camino de producir efectos.
Adems, las evaluaciones intermedias contribuyen al mejoramiento del contenido del
proyecto. Esta evaluacin se conduce a la mitad del perodo de un proyecto y se basa en
la informacin del producto y el proceso de implementacin hasta ese momento.
Concretamente hablando, las evaluaciones intermedias se centran en la pertinencia y la
eficiencia, junto con los factores que dificultan o contribuyen. Tambin se debe llevar a
cabo un anlisis de esos factores que dificultan o contribuyen. En cuanto a cmo se estn
mostrando la efectividad y los impactos, se examinan las tendencias futuras y
factibilidades con base en el resultado del producto y el estado de actividad. La
sustentabilidad se examina con base en los prospectos. Sobre todo en lo que respecta a
la efectividad, se requieren estudios profundos para ver si hay posibilidades de poder
alcanzar la efectividad en la mitad restante del proyecto. (Consulte la tabla 3-2-1.) Si
empiezan a aparecer impactos negativos en el transcurso del proyecto, se modifica la
estrategia del mismo con base en un anlisis de sus causas.
La evaluacin intermedia brinda una muy buena oportunidad de revisar el proyecto.
Incluso en el caso de proyectos que se planearon durante la evaluacin ex-ante, con
frecuencia las condiciones sociales reales y varios factores internos y externos
necesarios para el xito del proyecto se perciben mejor una vez que empiezan las
actividades. Con base en esto, es importante verificar una vez ms si la estrategia del
proyecto est bien como se plane (confirmacin de la pertinencia), si se debe aadir
algo a las actividades para producir un efecto, o si el calendario y la calidad de los
insumos son suficientes. Tambin es importante implementar medidas de mejoramiento
concreto y dar recomendaciones. Si el marco lgico no se compara lo suficiente entre las
partes, o la estrategia o actividades son insuficientes, o el objetivo no es claro, se debe
aprovechar al mximo la evaluacin intermedia para realizar una revisin a fondo. Como
resultado de esas revisiones, muchos proyectos se recuperan e incluso producen efectos
que merecen mencin especial. Tambin es importante que la evaluacin intermedia
detiene errores en la implementacin del proyecto (consulte la Falla de Implementacin:
1-2-2).
Con base en los resultados de la evaluacin intermedia, el proyecto y la divisin de
implementacin de la JICA - los principales receptores de la retroalimentacin - trabajan
en una revisin del proyecto, incluyendo una revisin del marco lgico.

149
Tabla 3-2-5 Principales Puntos de Verificacin en los Estudios de
Evaluacin Intermedia (los puntos que se muestran con fondo gris se examinan con
base en la situacin y logros reales)

Puntos de Puntos de Verificacin de la Evaluacin

Evaluacin
Los insumos se implementaron como se plane? (en comparacin con
los valores planeados)
Verificacin
El producto se gener segn lo planeado? (compare con las metas)
de los logros
Hay posibilidades de alcanzar el objetivo del proyecto? (compare con
las metas)
Las actividades se implementaron segn lo planeado?
Hay algn problema en el mtodo de transferencia de tecnologa?
Hay algn problema en el sistema de gestin del proyecto (sistema de
seguimiento, proceso de toma de decisiones, funcin de la Oficina
Central y la oficina local* de la JICA?
El proyecto tiene un buen reconocimiento en la agencia de
Verificacin implementacin y la contraparte?
del proceso Se asign una contraparte adecuada?
de El grado de participacin del grupo objetivo y las organizaciones
relacionadas con el proyecto es alto? El proyecto est altamente
implementa- reconocido?
cin Se present algn otro problema durante el proceso de
implementacin del proyecto? Cul es la causa?
* Una pregunta para verificar la idoneidad de la capacidad de gestin
de la divisin de implementacin en la JICA y la oficina local. Por
ejemplo, la respuesta rpida y la asesora del seguimiento para los
ajustes durante la implementacin, comunicacin suficiente con el sitio
del proyecto, cooperacin con agencias relacionadas en Japn, etc.
<<Cinco Criterios de Evaluacin>>
Necesidad
El proyecto es consistente con las necesidades del pas, regin o
sociedad objetivo?
El proyecto es consistente con las necesidades del grupo objetivo?
Prioridad
El proyecto es consistente con la poltica de desarrollo del pas socio?
El proyecto es consistente con la poltica de asistencia para el
extranjero de Japn y del plan de la JICA para la implementacin de
programas por pas?
Sustentabilidad como un medio
El proyecto es adecuado como estrategia para producir un efecto con
respecto a los temas de desarrollo del campo y sector objetivo del pas
socio? (El enfoque y la regin objetivo del proyecto son adecuados?
Qu efectos de sinergia hay para brindar ayuda con la cooperacin de
Pertinencia otros donantes?)
La seleccin del grupo objetivo es adecuada? (Meta, volumen,
distribucin de gneros, etc.)
Hay algn efecto de difusin ms all del grupo objetivo?
Los beneficios del efecto y la carga de los costos estn distribuidos
equilibradamente?
Japn tiene una ventaja tecnolgica? (Japn tiene conocimientos
(know-how) acumulados sobre la tecnologa objetivo? Es posible
aprovechar las experiencias de Japn? etc.)
Otros
Se ha presentado algn cambio en el entorno del proyecto
(poltica, sociedad, economa, etc.) desde que se realiz la
evaluacin ex-ante?

150
 Pronstico de Logros del Objetivo del proyecto
Efectividad Observando los resultados de los insumos y productos y la actividad,
(Prospectos) es probable alcanzar el objetivo del proyecto?
Existe algn factor que obstaculice el logro del objetivo del proyecto?

Relaciones causales
Efectividad El producto es suficiente para alcanzar el objetivo del proyecto?
(Prospectos) - En este momento, las suposiciones importantes del producto hacia el
continuacin objetivo del proyecto siguen siendo correctas? Es probable que las
suposiciones importantes se concreten?

Nivel de logro del producto

El nivel de logro del producto es adecuado? (compare el resultado con
las metas)
Hay factores que obstruyen el logro del producto?
Relaciones causales
Las actividades fueron suficientes para producir el producto?
Los insumos fueron suficientes para producir el producto?
Las suposiciones importantes de las actividades al producto tambin
son correctas en este momento? Hay alguna influencia a partir de las
suposiciones importantes?
Momento oportuno
Se realizaron los insumos en cantidad y calidad adecuadas en el
momento adecuado para conducir las actividades segn lo planeado?
Eficiencia Se est implementando?
Costo
El producto justifica el costo que se va a invertir si se compara con
proyectos similares (comparacin con el costo total o los costos unitarios
de proyectos similares de la JICA y otros donantes o con proyectos
similares realizados por el pas en cuestin)? (Haba algn medio
alternativo para alcanzar el mismo producto a menor costo? Fue
posible alcanzar una mayor eficiencia por el mismo costo?)
Hay prospectos de alcanzar el objetivo del proyecto que justifique el
insumo si se compara con proyectos similares (comparacin con el
costo total o los costos unitarios de proyectos similares de la JICA y
otros donantes o con proyectos similares realizados por el pas en
cuestin?). (Hay algn medio alternativo para obtener los mismos
resultados a menor costo? Es posible alcanzar un nivel de logro ms
alto con el mismo costo?)

151
 Prediccin del logro de la meta general
Observando los resultados de los insumos y productos y el estado de
actividad, hay posibilidades de producir la meta general como un efecto
del proyecto? (Es posible verificar el efecto en la evaluacin ex-post?)
Es posible que el logro de la meta general tenga un impacto sobre el
plan de desarrollo del pas socio?
Hay factores que obstruyen el logro de la meta general?
Relaciones causales
La meta general y el propsito del proyecto son consistentes?
Impacto Las suposiciones importantes del objetivo del proyecto hacia la meta
(Prospectos) general tambin son correctas en este momento? Existe una
posibilidad alta que las suposiciones importantes sean verdad?
Efectos de difusin
* Si se pueden
observar impactos Se asume que hay algn efecto o influencia ms all de la meta
negativos, examine general? Se estn tomando medidas para contrarrestar influencias
los factores con especialmente negativas?
base en la * Influencias sobre el establecimiento de polticas y sobre la
situacin real y preparacin de leyes, sistemas, normas y similares
revise el proyecto. * Influencias sobre los aspectos sociales y culturales tales como
gnero, derechos humanos, ricos y pobres
* Influencia sobre la proteccin ambiental
* Influencia derivada de cambios tecnolgicos
* Influencias econmicas sobre la sociedad objetivo, las partes
del proyecto, los beneficiarios, etc.
Existen diferentes influencias positivas y negativas debido a las
diferencias entre gneros, grupos tnicos, o estratos sociales?
Hay algn otro impacto negativo? Qu medidas se han
tomado para eliminarlos?
Polticas y sistemas
La poltica de asistencia continuar an cuando termine la
cooperacin?
Los reglamentos y sistemas legales pertinentes estn preparados?
Hay planes para su preparacin?
En el caso de los proyectos dirigidos a sitios piloto, se puede asegurar
que posteriormente se realizarn esfuerzos para ayudar a difundirlos?

Aspectos organizativos y financieros

Se tiene la capacidad organizativa suficiente para implementar
Sustentabili- actividades que produzcan efectos an cuando termine la cooperacin?
dad (Asignacin de recursos humanos, proceso de toma de decisiones, etc.)
Las agencias de implementacin tienen un sentido de conciencia de la
(Prospectos) iniciativa propia suficientemente asegurado?
El presupuesto (incluyendo los gastos de operacin) est asegurado?
* Es importante Se han tomado medidas presupuestarias suficientes del lado del otro
entender la pas?
sustentabilidad Es probable que aumente el presupuesto en el futuro mediante la
antes de llevar a implementacin del proyecto? Las medidas para asegurar los
cabo la evaluacin presupuestos son suficientes?
ya que puede
diferir entre Tecnologa
proyectos Se estn aceptando los mtodos de transferencia de tecnologa
empleados en el proyecto? (Nivel de tecnologa, factores sociales y
convencionales, etc.)
El equipo se maneja y mantiene apropiadamente?
El proyecto contiene un mecanismo para su difusin?
Es probable que la agencia de implementacin pueda mantener el
mecanismo para su difusin?
En el caso de proyectos dirigidos a sitios piloto, la tecnologa es del
tipo que se puede difundir a otros sitios?
Sociedad, cultura y medio ambiente
Hay alguna posibilidad de inhibir un efecto sostenido por la falta de
152
 consideracin hacia las mujeres, los pobres y los socialmente
vulnerables?
Hay alguna posibilidad de obstaculizar un efecto sostenido debido a la
falta de consideracin hacia el medio ambiente?
Otros
Hay algn otro factor que pudiera obstaculizar la
sustentabilidad?

(Considerado con base en los resultados de la evaluacin

anterior)
Es posible lograr el objetivo del proyecto en la situacin actual
(cambios en el grupo o sociedad objetivo)?
Necesidad de Es necesario ajustar los insumos, actividades y productos?
ajustes Hay alguna nueva suposicin importante que influya en el proyecto?
Cmo han cambiado los problemas, puntos, riesgos, etc. que se
sealaron en la evaluacin ex-ante?
Qu puntos se deben recordar para el futuro?

153
(3) Diseo de la Evaluacin Intermedia
Esta seccin explica los puntos para crear una tabla de evaluacin para la evaluacin
intermedia y presenta el ejemplo de un caso. Por favor consulte el Captulo 2, Parte II
para obtener una descripcin detallada de los mtodos de diseo de la evaluacin.

i) Temas al considerar las preguntas de evaluacin

Las partes involucradas determinan las preguntas de evaluacin tomando en cuenta cul
debe ser el enfoque de la evaluacin para que conduzcan a un mejoramiento del proyecto
y se obtengan recomendaciones y lecciones aprendidas tiles. En vista del propsito de
la evaluacin intermedia, las preguntas de la evaluacin se centran principalmente en si
el proyecto se implement segn lo planeado y cmo se debe revisar el proyecto para
evitar problemas. En principio, los Cinco Criterios de Evaluacin lo cubren todo, pero la
evaluacin se realiza con atencin en las preguntas de evaluacin especficas. (Consulte
el Caso 2.)

Caso 2: Preguntas de Evaluacin para la Evaluacin Intermedia

Proyecto para Mejorar la Vida de los Pobres en el Pas B

(Este ejemplo se basa en un caso de evaluacin ex-ante real, pero para este documento se hicieron

algunos cambios y adiciones.)

<Descripcin general del Proyecto>

El objetivo del proyecto evaluado es el mejoramiento de la capacidad para abordar los
problemas sociales (educacin, pobreza, higiene, etc.) a travs del poder de grupos de
actividades de los residentes de las regiones pobres objetivo. Para alcanzar este
propsito, el proyecto brinda rehabilitacin de los nios de la calle, asesora para los
residentes, capacitacin vocacional, oportunidades de educacin y otros.

<Preguntas de Evaluacin>
En esta encuesta, las partes involucradas acordaron de antemano realizar la evaluacin
con atencin a los siguientes temas. Las preguntas de evaluacin reflejan la creacin de
conciencia de los problemas de las partes involucradas y es clara la intencin de mejorar
el proyecto mediante la evaluacin intermedia.
z Qu problemas hay en el proceso de implementacin del proyecto (organizacin
administrativa, cambio de la percepcin y habilidades mejoradas del personal del
proyecto, etc.)?
z Una vez terminada la cooperacin, el proyecto se puede sustentar sin ayuda del
exterior? Qu puntos se deben atender en el futuro para esto?

Con base en estas preguntas de evaluacin, la evaluacin se realiz con atencin en

la eficiencia y prospectos de sustentabilidad. Para la pertinencia se utiliz
informacin que se pudo obtener al examinar los prospectos de sustentabilidad
(pertinencia del enfoque del proyecto, condicin de la asistencia poltica en el pas B).
Los otros criterios de evaluacin (prediccin de la efectividad e impacto) tambin se
cubrieron en menor grado.

154
ii) Temas al considerar criterios y mtodos de juicio
Para emitir un juicio del valor (es decir, evaluar) con base en los datos recopilados, se
necesita hacer una comparacin antes/despus, una comparacin del nivel de logros y
metas y un anlisis de las relaciones causales. El anlisis de las relaciones causales
cuestiona si realmente se produjo el efecto gracias a la implementacin del proyecto. En
una evaluacin intermedia, se examinan los prospectos del efecto, pero todava no se
pueden examinar las relaciones causales con base en los logros. Por ello, cuando se
juzgan principalmente los resultados e insumos, es vital una comparacin entre el sitio de
implementacin del proyecto y otro sitio (para el mtodo, consulte 2-2-2).

iii) Temas al considerar fuentes de informacin y mtodos de recopilacin de datos

En las evaluaciones antes de iniciar un proyecto, las personas a cargo del proyecto y la
oficina local deben - con base en la implementacin del proyecto hasta este momento -
haber captado el material que se puede utilizar como fuente de informacin importante,
as como identificar personas importantes que puedan convertirse en informantes clave.
El equipo de estudio de la evaluacin elige las fuentes de informacin adecuadas con
base en la informacin que proporcionan las personas a cargo.
Para las evaluaciones intermedias, es necesario utilizar los resultados del seguimiento.
Adems, se realizan entrevistas con las partes involucradas en el proyecto, discusiones
del grupo de control y encuestas por cuestionario, segn sea necesario. Los resultados
de la evaluacin intermedia deben conducir directamente a un mejoramiento del proyecto
vigente. Por ejemplo, se realizan talleres participativos para aislar los problemas y se
toman en consideracin medidas entre las partes involucradas como un medio efectivo
para comprender y luego utilizar las percepciones de las partes involucradas. Los
mtodos de recopilacin de datos, as como las caractersticas y puntos a recordar se
describen en la Parte II, Captulo 2 (2-2-1).

iv) Temas al crear la tabla de evaluacin

Por ltimo, el mtodo de evaluacin se resume en una tabla de evaluacin. La tabla
de evaluacin es una herramienta para pensar cmo se debe conducir el estudio de
evaluacin para que sea adecuado. En consecuencia, existe un formato bsico de la
tabla, pero se pueden aadir columnas segn sea necesario. La tabla de evaluacin se
utiliza para describir en detalle los datos que la evaluacin debe obtener, y tambin
identifica el mtodo de recopilacin de datos para poder visualizar lo que se debe hacer
en el estudio. En el proceso del estudio en s, tal vez no sea posible obtener algunos
datos como se esperaba, y puede haber algunos datos adems de los esperados. Si no
se pueden obtener datos, los evaluadores necesitan volver a trabajar en la tabla de
evaluacin y tomar en consideracin si existen otros medios factibles de verificacin y
cualquier dato til obtenido a partir de otros temas, o cualquier otro dato que se pueda
utilizar.
155
(4) Interpretacin y Utilizacin de los Datos de Estudio de la Evaluacin Intermedia
Tal como se explica en la Parte II, Captulo 3, evaluacin significa interpretar los datos
recopilados y analizados - no es suficiente si slo se enumeran los datos y se aaden los
resultados del cuestionario. Los estudios de evaluacin intermedia evalan un proyecto a
la mitad del mismo; viendo si el proyecto se implement segn lo planeado, cules son
las causas por las cuales las cosas salen mal, qu tiene xito y qu tipo de mejoras se
deben implementar. La interpretacin del estudio de evaluacin intermedia se basa en los
resultados del anlisis de los factores que dificultan y que contribuyen. Los resultados
tambin son una fuente de informacin importante para dirigir a los evaluadores hacia
recomendaciones y lecciones aprendidas concretas y prcticas.
La interpretacin consiste de evaluaciones de cada uno de los Cinco Criterios de
Evaluacin y una conclusin que es un anlisis cruzado de ellos. Si los factores que
dificultan y contribuyen no se analizan lo suficiente en la evaluacin de los Cinco Criterios
de Evaluacin, no habr una base para la conclusin y no se podrn presentar
recomendaciones y lecciones aprendidas concretas. Sobre todo, las evaluaciones
intermedias son una muy buena oportunidad para decidir sistemticamente las
revisiones del proyecto. La efectiva realizacin de la evaluacin intermedia tambin
afecta el xito o fracaso, posterior a ella, del proyecto. Para utilizar de manera efectiva los
resultados de la evaluacin intermedia se debe asegurar tiempo suficiente para consultas
profundas con las partes involucradas sobre los factores del proyecto que dificultan y las
medidas para resolverlos.
El siguiente paso, con base en los resultados de la interpretacin, es hacer un
borrador de las recomendaciones y lecciones aprendidas y crear un informe. Las
recomendaciones presentan medidas concretas, propuestas y asesora sobre el
mejoramiento del proyecto evaluado. Las lecciones aprendidas se identifican a partir de
las experiencias de proyectos aplicables, y se pueden generalizar o conceptualizar hasta
cierto grado. Tambin sirven como referencia de otros proyectos similares vigentes, o
para encontrar y formular proyectos en el futuro.
Como el propsito principal de la evaluacin intermedia es mejorar el proyecto vigente,
las recomendaciones dirigidas al proyecto respectivo constituyen una porcin
relativamente grande. Una vez que las divisiones del proyecto y de implementacin
reciben las recomendaciones, deben tomar acciones inmediatas para concretarlas. El
Caso 3 muestra un proyecto (Proyecto de educacin temprana en el pas C) donde los
resultados de la evaluacin intermedia se utilizaron concretamente, conduciendo a un
efecto que se produjo al final del proyecto.

156
Figura 3-2-3 Uso del Estudio de Evaluacin Intermedia: Ajustes del
Proyecto

Recopilacin de datos y anlisis en

el estudio de evaluacin intermedia

Es difcil extraer recomenda-

Interpretacin (Cinco Criterios de Evaluacin ciones concretas y lecciones
y conclusin) aprendidas si los factores limitantes y
Juicio y anlisis tanto de los factores los contribuyentes no se analizan.
limitantes como de los contribuyentes

Extraccin de las lecciones Extraccin de recomendaciones

aprendidas
Direccin, consejo y propuestas de
mejoramiento con base princi-
Lecciones aprendidas generali-
palmente en el factor limitante
zadas para proyectos similares

Uso de las lecciones aprendidas Ajustes con base en las recomendaciones

Ajustes concretos mediante la divisin

Uso en proyectos similares de implementacin y el proyecto

Conducen a una

implementacin

efectiva del proyecto

157
 Caso 3: Uso de los Resultados de la Evaluacin Intermedia

Proyecto de Fortalecimiento de la Educacin Temprana en el Pas C

(Este ejemplo se basa en un caso de evaluacin ex-ante real, pero para este documento se hicieron

algunos cambios y adiciones.)

z <Descripcin general del Proyecto>

Meta general: Es necesario mejorar la calidad de los servicios de educacin temprana en el
pas C.
Objetivo del proyecto: Es necesario mejorar la calidad de la educacin temprana en las
escuelas objetivo del proyecto (6 escuelas).
Producto: 1. Mejoramiento de la educacin de las maestras de educacin temprana
2. Estandarizacin de la educacin temprana
3. Fortalecimiento de la educacin temprana y cooperacin con las regiones vecinas
4. Mejoramiento del medio ambiente de la educacin temprana

z Conclusin de la Evaluacin Intermedia

El mejoramiento de la educacin temprana para el 2005 es un tema central en el plan de
salud de cinco aos del pas C. Este proyecto est ubicado como parte de este plan. Sin
embargo, al mismo tiempo el gobierno est promoviendo la privatizacin de instituciones
para la educacin temprana, lo que hace que el mejoramiento de la calidad de la
educacin temprana sea todava ms importante. Tomando en cuenta estos antecedentes,
este proyecto es de alta pertinencia. Este proyecto se dirige a todas las escuelas de
educacin temprana en el pas y se considera como el camino ms corto para mejorar la
calidad en las guarderas a nivel nacional. Por lo tanto, la pertinencia del enfoque tambin
es alta.
Con la implementacin del proyecto, se est haciendo progreso en el establecimiento
de sistemas relativos a la educacin temprana - se introdujeron exmenes de certificacin
para la educacin temprana, la introduccin de reuniones regulares del Comit para
Reforzar la Cooperacin de la Prctica Educativa y Clnica y otros, y es claro que el
impacto es grande.
Por otro lado, es necesario reforzar el seguimiento y manejo del equipo para
considerar la sustentabilidad. En las condiciones actuales, el sistema de manejo es
insuficiente y todava hay preocupaciones en relacin con la sustentabilidad del efecto
despus del final de la cooperacin.

z Trabajo de revisin realizado por el proyecto en respuesta a los resultados de la

evaluacin intermedia
El proyecto desarroll las siguientes actividades nuevas adems de las actividades que
haba hasta ese momento con la intencin de fortalecer la sustentabilidad, que se seal

158
 como un problema en la evaluacin intermedia. El nuevo producto y actividades se
aadieron al marco lgico.
(Producto y actividades principales aadidas)
Producto: 5 Promocin de actividades para la sustentabilidad.
Actividades: 5-1 Organizar comits y grupos de estudio para cada tema.
(Ocho comits y cuatro grupos de estudio para crear el borrador del plan de
estudio y de instruccin, libros de texto, material de aprendizaje en video,
educacin y cooperacin con las regiones vecinas, etc., se renen
regularmente y crean guas y manuales.)
5-2 Celebrar seminarios sobre cmo usar y manejar el equipo.
(Crear manuales de usuario para el equipo y celebrar seminarios en
intervalos regulares.)
5-3 Implementar el seguimiento
(Realizar un seguimiento cada medio ao con base en el marco lgico, y
revisar actividades o repetir las guas si es necesario.)

z Efectos de la adicin de actividades nuevas (extracto del informe de la

evaluacin final)
De acuerdo con los resultados de la evaluacin final del proyecto, se encontr que la adicin de

estas actividades tuvo los siguientes efectos.

Cada seis meses, se celebr un taller de seguimiento con base en el marco lgico. A travs de
este taller, la comunicacin continu sin problemas, igual que la gestin del proyecto - y el trabajo

en equipo se fortaleci. Como resultado, tanto los expertos como las contrapartes interactuaron

activamente entre s y trataron de resolver problemas.

La introduccin de un sistema de comit hizo posible la divulgacin de la tecnologa al campo

de la enseanza temprana como un todo y aument la sustentabilidad. El sistema de comit es

un mtodo para desarrollar actividades vibrantes a travs de la participacin de maestras

voluntarias de educacin temprana e ingenieros clnicos que asistieron a los seminarios

(alrededor de 80 personas regularmente) en comits organizados por temas. En entrevistas con

la contraparte, muchos apreciaron el hecho que a travs de este sistema se pudo obtener un

producto concreto al mismo tiempo que se intent diseminar la tecnologa y revitalizar la

comunicacin en todo el campo de la educacin temprana.

No hay problemas particulares en el mantenimiento y manejo del equipo. Consideramos que ste
es el resultado de crear manuales del equipo para el usuario y celebrar seminarios sobre cmo

usarlo y manejarlo (cuatro veces al ao) en respuesta a las recomendaciones de la evaluacin

intermedia.

159
3. Puntos Principales de los Estudios de Evaluacin Final

(1) Propsito y Puntos de Vista de la Evaluacin en los estudios de Evaluacin

Final

Las evaluaciones finales se realizan al trmino de la cooperacin; examinan a nivel

integral si se alcanz el objetivo del proyecto. En consecuencia, se examinan la
pertinencia, eficiencia y efectividad con base en la situacin y resultados reales. Tambin
se examinan el impacto y la sustentabilidad con base en los logros y el estado de
actividades hasta ese punto, y tambin en relacin con las tendencias futuras y la
factibilidad (consulte la tabla 3-2-1). Observe que aunque para fines del impacto y la
sustentabilidad la evaluacin final juzga los prospectos, la evaluacin debe identificar las
bases concretas de juicio para asegurarse que est fundamentado.
Los resultados de evaluacin de las evaluaciones finales se retroalimentan
principalmente a los departamentos operativos de la JICA y a las agencias
gubernamentales pertinentes y a la agencia de implementacin en el pas socio. Se
utilizan para juzgar si es adecuado terminar la cooperacin y para decidir el siguiente
paso. Si el pas socio continua el proyecto, los resultados tambin se utilizan como puntos
a recordar o lecciones aprendidas para proyectos similares.
Cuando se observan los prospectos para la efectividad y el impacto, los
evaluadores deben centrarse en las relaciones causales con el proyecto segn se
describe en la Parte II, Captulo 2 (2-2-2). Las evaluaciones realizadas despus que ha
pasado cierto tiempo a partir del inicio del proyecto deben considerar si el proyecto
provoc los efectos producidos. De ser posible, se debe presentar una evaluacin que
haga una comparacin con las regiones donde el proyecto no se ha implementado, y los
evaluadores necesitan recabar todos los datos que puedan explicar de manera
convincente que el producto y las actividades del proyecto provocaron el efecto.
La tabla 3-2-6 muestra una lista de los puntos de verificacin principales para las
evaluaciones finales.

160
Tabla 3-2-6 Principales Puntos de Verificacin en los Estudios de
Evaluacin Final (los puntos que se muestran con fondo gris se examinan con base
en la situacin y logros reales)
Puntos de Puntos de Verificacin de la Evaluacin
Evaluacin
Se realiz el insumo de acuerdo con lo planeado? (en comparacin con los
valores planeados)
Verificacin de
El producto se gener segn lo planeado? (compare con las metas)
los logros
Se alcanzar el objetivo del proyecto? (compare con las metas)
Hay posibilidades de alcanzar la meta general? (compare con las metas)
Las actividades se implementaron segn lo planeado?
Hay algn problema en el mtodo de transferencia de tecnologa?
Hay algn problema en el sistema de gestin del proyecto (sistema de
seguimiento, proceso de toma de decisiones, funcin de la Oficina Central y la
oficina local* de la JICA?
El proyecto tiene un buen reconocimiento en la agencia de implementacin y la
contraparte?
Verificacin del Se asign una contraparte adecuada?
proceso de El grado de participacin del grupo objetivo y las organizaciones relacionadas
implementacin con el proyecto es alto? El proyecto est altamente reconocido?
Qu factores influyeron los problemas que se presentaron en el proceso de
implementacin del proyecto y en el efecto producido?
* Una pregunta para verificar la idoneidad de la capacidad de gestin
de la divisin de implementacin en la JICA y la oficina local. Por
ejemplo, la respuesta rpida y la asesora del seguimiento para los
ajustes durante la implementacin, comunicacin suficiente con el sitio
del proyecto, cooperacin con agencias relacionadas en Japn, etc.

<<Cinco Criterios de Evaluacin>>

Necesidad
El proyecto es consistente con las necesidades de la regin o sociedad
objetivo?
El proyecto es consistente con las necesidades del grupo objetivo?
Prioridad
El proyecto es consistente con la poltica de desarrollo del pas socio?
El proyecto es consistente con la poltica de asistencia para el extranjero
de Japn y del plan de la JICA para la implementacin de programas por
Pertinencia pas?
Sustentabilidad como un medio
El proyecto es adecuado como estrategia para producir un efecto
respecto a los temas de desarrollo del campo y sector objetivo del pas
receptor? (Se seleccionaron apropiadamente el enfoque del proyecto y
la regin objetivo? Qu efectos sinrgicos se alcanzaron en
cooperacin con otros donantes?
La seleccin del grupo objetivo es adecuada? (Meta, volumen,
distribucin de gneros, etc.)
Hubo algn efecto de difusin ms all del grupo objetivo?
Los beneficios del efecto y la carga de los costos se distribuyeron
equilibradamente?
Japn tena una ventaja en tecnologa? (Japn tiene conocimientos
(know-how) acumulados sobre la tecnologa objetivo? Puede Japn
compartir sus experiencias?, etc.)
Otros
Ha habido algn cambio en el medio del proyecto (poltica, economa,
sociedad, etc.) desde que se hizo la evaluacin intermedia?

Efectividad Logro del objetivo del proyecto

161
 Se alcanz el objetivo del proyecto? (resultado del examen de logros)
Relaciones causales
El resultado fue suficiente para alcanzar el objetivo del proyecto? La
lgica si el resultado se produce, podremos alcanzar el objetivo del
proyecto fue razonable?
Las suposiciones importantes del resultado hacia el objetivo del
proyecto tambin son correctas en este momento? Hubo alguna
influencia a partir de las suposiciones importantes?
Cules son los factores que dificultaron y promovieron el logro del
objetivo del proyecto?
Generacin del resultado
La generacin del resultado es adecuado? (resultado del examen de
logros)
Relaciones causales
Las actividades fueron suficientes para generar el resultado?
Las suposiciones importantes de las actividades al resultado tambin
son correctas en este momento? Hubo alguna influencia a partir de las
suposiciones importantes?
Momento oportuno
Se realizaron los insumos en cantidad y calidad adecuadas en el
momento adecuado para conducir las actividades?
Eficiencia
Las actividades se implementaron en el momento oportuno?
Costo
El producto justifica el costo invertido en comparacin con proyectos
similares (comparacin del costo total o unitario de un proyecto similar
realizado por la JICA u otros donantes en el pas?) (Hay algn medio
alternativo para obtener el mismo producto a menor costo? Se pudo
lograr ms con el mismo costo?
El logro del objetivo del proyecto justifica el costo invertido en
comparacin con proyectos similares (comparacin del costo total o
unitario de un proyecto similar realizado por la JICA u otros donantes en
el pas?) (Hay algn medio alternativo para obtener los mismos
resultados a menor costo? Se pudo lograr ms con el mismo costo?)
Prospectos para el logro de la meta general
Observando los resultados de los insumos y productos y el estado de
actividad, hay posibilidades de alcanzar la meta general como un efecto
del proyecto? (Es posible verificar el efecto en la evaluacin ex-post?)
Es posible que el logro de la meta general tenga un impacto sobre el
plan de desarrollo del pas socio?
Hay factores que obstruyeron el logro de la meta general?
Relaciones causales
Las metas generales y el objetivo son consistentes?
Las suposiciones importantes del objetivo del proyecto hacia la meta
general tambin son correctas en este momento? Existe una posibilidad
alta que las suposiciones importantes sean verdad?
Impacto
Efectos de difusin
(Prospecto) Hubo algn impacto positivo o negativo adems de la meta general?
* Influencias sobre el establecimiento de polticas y sobre la
preparacin de leyes, sistemas y normas
* Influencias sobre los aspectos sociales y culturales tales como
gnero, derechos humanos y pobreza
* Influencia sobre la proteccin ambiental
* Influencia derivada de cambios tecnolgicos
* Influencias econmicas sobre la sociedad objetivo, las partes
del proyecto y los beneficiarios
Hay impactos diferentes dependiendo de las diferencias entre gneros,
grupos tnicos o clases (sobre todo impactos negativos)?
Hay alguna otra influencia negativa?

162
(Principales Puntos de Verificacin en los Estudios de Evaluacin Final - continuacin)
Puntos de Puntos de Verificacin de la Evaluacin
Evaluacin
Polticas y sistemas
La poltica de asistencia continuar an cuando termine la
cooperacin?
Los reglamentos y sistemas legales pertinentes estn preparados?
Hay planes para su preparacin?
En el caso de los proyectos dirigidos a sitios piloto, se cuenta con
esfuerzos confiables para ayudar a difundirlos posteriormente?
Aspectos organizativos y financieros
Se tiene la capacidad organizativa suficiente para implementar
actividades que produzcan efectos incluso an termine la cooperacin?
(Asignacin de recursos humanos, proceso de toma de decisiones, etc.)
Las agencias de implementacin tienen un sentido de conciencia de la
iniciativa propia suficientemente asegurado?
Sustentabili- El presupuesto (incluyendo los gastos de operacin) est asegurado?
dad Se han tomado medidas presupuestarias suficientes del lado del otro
pas?
(Prospectos)
Es probable que aumente el presupuesto en el futuro mediante la
implementacin del proyecto? Las medidas para asegurar los
* Lo que es
presupuestos son suficientes?
importante para la
sustentabilidad
Aspecto tcnico
depende de los Se estn aceptando los mtodos de transferencia de tecnologa
proyectos. El empleados en el proyecto? (Nivel de tecnologa, factores sociales y
estudio se debe convencionales, etc.)
conducir despus El equipo se maneja y mantiene apropiadamente?
de entender esto. El proyecto contiene un mecanismo para su difusin?
Es probable que la agencia de implementacin pueda mantener el
mecanismo para su difusin?
En el caso del proyecto piloto, es posible transferir la tecnologa a otros
sitios?
Sociedad, cultura y medio ambiente
Hay alguna posibilidad de inhibir un efecto sostenido por la falta de
consideracin hacia las mujeres, los pobres y los socialmente
vulnerables?
Hay alguna posibilidad de obstaculizar un efecto sostenido debido a la
falta de consideracin hacia el medio ambiente?
Sustentabilidad en general
Considerando los aspectos anteriores como un todo, la sustentabilidad
es alta o baja?

163
(2) Diseo del Estudio de Evaluacin

Lo siguiente explica los puntos para crear una tabla de evaluacin para la evaluacin final.
Por favor consulte el Captulo 2, Parte II para obtener una descripcin detallada de los
mtodos de diseo de la evaluacin.

i) Temas al considerar las preguntas de evaluacin

Las preguntas de evaluacin en las evaluaciones finales varan desde Vali la pena
implementar el proyecto? y otras preguntas de alto nivel hasta preguntas concretas como
El mtodo de cooperacin tcnica que se introdujo en el proyecto fue efectivo? o El
efecto ser sustentable?. Las partes involucradas determinar las preguntas de
evaluacin en consideracin de cul debe ser el enfoque de la evaluacin para que
conduzcan a recomendaciones y lecciones aprendidas tiles. En principio, los Cinco
Criterios de Evaluacin cubren todo, pero la evaluacin se realiza con atencin en las
preguntas de evaluacin especficas. (Consulte el Caso 4)

ii) Temas al considerar criterios y mtodos de juicio

Al juzgar el valor del proyecto (es decir, evaluarlo) con base en los datos recopilados,
se necesita realizar una comparacin del nivel de logros y metas y un anlisis de las
relaciones causales (realmente se produjo el efecto gracias a la implementacin del
proyecto?). Sobre todo cuando se disea una evaluacin final para verificar la efectividad,
se hacen consideraciones sobre los mtodos que se deben utilizar para verificar las
relaciones causales dentro del proyecto. (Para ms informacin sobre el mtodo consulte
2-2-2.)

iii) Temas al considerar fuentes de informacin y mtodos de recopilacin de datos

En las evaluaciones antes de iniciar un proyecto, las personas a cargo del proyecto y
la oficina local deben - con base en la implementacin del proyecto hasta ahora - haber
captado el material importante que se puede utilizar como fuente de informacin y las
personas importantes que puedan convertirse en informantes clave.
El equipo de estudio de la evaluacin elige las fuentes de informacin adecuadas con
base en la informacin que proporcionan las personas a cargo. Tambin se deben
realizar encuestas de los beneficiarios finales (nivel de la meta general) o residentes
segn sea necesario. Los estudios que se realizan nicamente con respecto a las partes
involucradas harn que slo se observen fuentes limitadas de informacin a partir de
fuentes interesadas; por lo tanto, eso no es suficiente.
Los mtodos de recopilacin de datos, as como las caractersticas y puntos a
recordar se describen en la Parte II, Captulo 2 (2-2-1). Los evaluadores deben estudiar
cmo recopilar los datos eficientemente dentro del tiempo lmite. Primero que nada, se
debe observar detenidamente si ya existen materiales y datos que se puedan utilizar - y
164
stos se deben utilizar tanto como sea posible. Los evaluadores tambin deben
considerar cuidadosamente cmo recopilar los datos que todava no existen y que
necesitan investigarse. El proceso de crear preguntas y hojas de cuestionarios
adecuados tambin es extremadamente importante. Es necesario considerar muchos
puntos al crear cuestionarios - hacer un borrador de las preguntas desde el punto de vista
de la persona que responde para obtener opiniones sinceras, verificaciones cruzadas
sobre una percepcin mediante mltiples preguntas, o el uso de seleccin mltiple para
entender las tendencias a partir de datos cuantificados.*

iv) Temas al crear la tabla de evaluacin

El mtodo considerado desde los aspectos descritos arriba se resume finalmente en la
tabla de evaluacin. La tabla de evaluacin es una herramienta para considerar cmo se
debe realizar el estudio de evaluacin adecuadamente. En consecuencia, existe un
formato bsico de la tabla, pero se pueden aadir columnas segn sea necesario. La
tabla de evaluacin se utiliza para establecer en detalle los datos necesarios para la
evaluacin e identificar el mtodo de recopilacin de datos para poder visualizar lo que se
debe hacer en el estudio. En el proceso del estudio en s, tal vez no sea posible obtener
algunos datos como se esperaba, y puede haber algunos datos adems de los esperados.
Si no es posible obtener datos, los evaluadores pueden regresar a la tabla de evaluacin
y tomar en consideracin si existen otros medios factibles de verificacin, si hay algn
dato til obtenido a partir de otros temas, o si hay cualquier otro dato que se pueda utilizar.
El caso 5 muestra el ejemplo de una tabla de evaluacin en una evaluacin final.
Obviamente, lo que est escrito en la tabla depende de las caractersticas del proyecto y
de la cantidad y calidad de la informacin que el equipo de estudio de evaluacin puede
obtener con anticipacin, y los evaluadores deben tener en mente que las preguntas de
evaluacin y los mtodos de estudios que aparecen en el siguiente caso son slo uno de
los muchos ejemplos. Dependiendo de la fuente de informacin o la cultura y la situacin
de la sociedad objetivo, las entrevistas pueden ser adecuadas en algunos casos, pero en
otros, las encuestas por cuestionario podran ser ms valiosas para obtener los datos.
*En algunos estudios de evaluacin anteriores se cometieron errores rudimentarios. Por ejemplo, se hicieron

cuestionarios que consistan de docenas de pginas (desanimando a la parte receptora a responder) o se hicieron

borradores de preguntas cuya respuesta se poda haber inferido de la literatura y materiales existentes. En el caso de

los estudios de evaluacin reales, se necesita la habilidad de investigadores sociales profesionales. Para obtener ms

detalles sobre los mtodos, consulte la bibliografa anexa Tcnicas y mtodos de encuestas (Survey techniques and

methods).

165
 Caso 4: Preguntas de Evaluacin en la Evaluacin Final

(Este reporte se basa en un estudio de evaluacin real, pero su contenido se ha modificado parcialmente)

<Estudio de Evaluacin Final del Proyecto de Planeacin Familiar/WID>

El objetivo de este proyecto es que se debe practicar cada vez ms la planeacin de la
familia en la regin objetivo principal y en las regiones de seguimiento. Para lograrlo,
realizamos actividades educativas - actividades para mejorar el ingreso y los servicios de
atencin mdica de la gente, entre otros.
En esta encuesta, elaboramos un borrador de las siguientes preguntas de evaluacin
principales como resultados de las entrevistas con las partes involucradas de Japn y
discusiones en un taller de evaluacin local. Con estas preguntas de evaluacin en mente,
pudimos identificar los temas que debamos clasificar como prioritarios en nuestra encuesta
segn fuimos creando la tabla de evaluacin.

z Examen del mtodo de cooperacin tcnica

i) En este proyecto se introdujo el enfoque integrado de sectores mltiples (un
enfoque que observa no slo el aspecto de la atencin a la salud de la mujer, sino
que integra por ejemplo, actividades educativas para toda la regin y actividades
para generar ingresos para las mujeres) para la salud reproductiva (RH).
ii) Este enfoque provocar cambios en el comportamiento de las mujeres y la
conciencia en el medio ambiente?
iii) Cules son los principales factores que dificultan y que contribuyen a lo anterior?
z Examen del grado de contribucin de cada actividad
iv) Las tres actividades (planeacin de la familia/atencin a la salud materno-infantil,
actividades educativas y la generacin de ingresos) contribuyen al logro del
objetivo del proyecto?
v) Cules son los principales factores que dificultan y que contribuyen a lo anterior?
Qu lecciones aprendimos?
z Prospectos de sustentabilidad
vi) El proyecto regional alentar al comit, al comit regional de prstamos y al
equipo de apoyo regional a continuar sus actividades incluso una vez que termine
el proyecto?
vii) La operacin de fondos revolventes a partir de las actividades de generacin de
actividades funcionar incluso despus que termine el proyecto?
viii) Las tres agencias de implementacin (la comisin se poblacin de la tercera
edad, el ministerio de la salud y las ONGs) pueden utilizar las experiencias y
tecnologa adquiridas a travs de este proyecto en otros proyectos?

166
 <Evaluacin final del seguimiento del plan de mejoramiento
de la tecnologa de vaciado>
El objetivo de este proyecto es que el centro de vaciado sea capaz de brindar servicios
tcnicos adecuados a la industria de vaciado. Para ello, realizamos una transferencia de
tecnologa de vaciado, cursos de capacitacin y consultas tcnicas y brindamos equipo.
Como este estudio es para la evaluacin de un proyecto de seguimiento, el borrador de las
preguntas de la evaluacin se realiz tomando en consideracin los antecedentes de la
cooperacin de seguimiento. En otras palabras, la razn de la cooperacin para el
seguimiento fue el hecho de que a travs del proyecto real, la agencia de implementacin no
pudo crear un sistema capaz de brindar servicios tcnicos adecuados a la industria privada de
vaciado, as que el estudio de evaluacin se centr en un examen para ver si se haba
resuelto este punto.
z Preguntas de Evaluacin: Puede ahora el sistema brindar servicios tcnicos
adecuados a la industria privada de vaciado?

167
 Caso 5: Tabla de Evaluacin en la Evaluacin Final

Proyecto para Mejorar la Tecnologa de las Pequeas y Medianas Empresas

de Vaciado en el Pas D
(Este ejemplo se basa en un estudio de evaluacin real, pero para este
documento se hicieron algunos cambios y adiciones.)

z Descripcin general del Proyecto

Meta general: Es necesario mejorar las habilidades tcnicas de la pequea y mediana
empresa de vaciado en el pas D.
Objetivo del proyecto: Es necesario mejorar la calidad de los servicios de capacitacin y
de soporte tcnico que ofrece el centro de tecnologa de vaciado a la pequea y mediana
empresa.
Producto: 1. Fortalecimiento de la operacin del proyecto y de la organizacin
administrativa
2. Mejoramiento de las habilidades tcnicas de la contraparte
3. Instalacin, mantenimiento y manejo del equipo para una expansin de los
servicios de capacitacin.
4. Servicios de capacitacin que reflejen las necesidades de la pequea y
mediana empresa
5. Servicios de soporte tcnico que reflejen las necesidades de la pequea y
mediana empresa

z Agencia de implementacin
Centro nacional de vaciado del pas D
z Perodo de implementacin
Mayo, 1998 a abril, 2002
z Preguntas de Evaluacin
i) Los resultados del seguimiento muestran que el proyecto marcha sin problemas.
La efectividad es realmente alta? De ser as, qu factores contribuyen a
ello?
ii) El aseguramiento independiente de recursos financieros se considera un factor
importante para la sustentabilidad cuando termine el proyecto.
Cules son los prospectos para esto? Qu otras medidas se necesitan para
la sustentabilidad?

168

z Ejemplo de tabla de evaluacin
En muchos casos, si es pertinente, se pueden
utilizar los resultados de evaluaciones
anteriores (Ex-ante, Tabla de Evaluacin,
documentos del proyecto, Informe de la
Evaluacin Intermedia, etc.).

[Pertinencia] * El material que aparece con fondo gris ya se recopil

Preguntas de Evaluacin Crite-
rios y
Datos Fuente de Recopilacin
Pregunta Mto-
Cinco Pregunta Necesarios Informacin de Datos
secundaria dos de
Criterios de
Juicio
Evaluacin
Ubicacin y z Proyecto del Revisin del
Otros contenido del plan de material
El efecto que plan de calidad y
busca el produccin de productivi-
proyecto es vaciado en el dad
consistente plan de calidad y z Divisin a Entrevistas
con la poltica productividad cargo del
nacional del Ministerio
pas D? de Industria

Las z Resultados z Documen- Revisin del

Pertinencia

necesidades del estudio tos del material

de de base proyecto
cooperacin z Personal del Entrevistas
del centro de centro
vaciado son z Percepcio-
altas? nes del Entrevistas
personal del
centro z Gestin de
z Percepcio- las
nes de la pequeas y
pequea y medianas
mediana empresas
empresa
El tamao z Proporcin z Tabla de Revisin del
La seleccin del grupo del grupo Logros del material
del grupo objetivo es objetivo en Proyecto
objetivo es adecuado? compara- z Documen-
adecuada? cin con tos del
todo el pas proyecto
D Entrevistas

z Opinin de z Divisin a
las partes cargo del Grupos de
interesadas Ministerio control
de Industria
z Expertos
z Contraparte
(C/P)
z Gestin de
las
pequeas y
medianas
empresas
El proyecto El proyecto reas de Poltica de Revisin del
es consistente aborda los atencin de la asistencia del material
con la poltica temas asistencia para pas D
de asistencia centrales de Japn al pas D
para el asistencia?

169
extranjero de El proyecto z Existencia Plan de Revisin del
Japn? El aborda el de implementacin material
enfoque del plan de programas del programa por
proyecto es implementaci en el rea pas de la JICA
adecuado n de de vaciado
como medio? programa z Ubicacin
por pas de en los
la JICA? programas

z Experien- z Divisin de Entrevistas

cias en la JICA a
Japn tiene asistencia cargo del
una ventaja en el campo proyecto
tecnolgica en
comparacin
de vaciado z Comisin de
con otros z Experiencia apoyo
pases? s de Japn nacional
en el rea
de vaciado

170
 [Efectividad] * El material que aparece con fondo gris ya se recopil
Preguntas de Evaluacin Crite-
rios y
Datos Fuente de Recopilacin
Pregunta Mto-
Cinco Pregunta Necesarios Informacin de Datos
secundaria dos de
Criterios de
Juicio
Evaluacin
Se alcanz el (segn la Tabla (segn la Tabla Revisin del
Otros producto? de Resultados) de Resultados) material
Est Compa- Desarrollo del Lista de Revisin del
aumentando racin nmero de asistentes del material
el nmero antes/ asistentes centro
de asisten- despus
tes de las
compaas?
El centro El grado de Satisfac Grado de Asistentes Encuesta por
brinda satisfaccin cin satisfaccin anteriores cuestionario
capacitacin de ante la prome- promedio
alta calidad? capacitacin dio de
es alto? cada
curso de
por lo
menos
3.5 (5
niveles)
El grado de Por lo z Nivel de z Encuesta Encuesta por
Efectividad

satisfaccin menos satisfaccin completa de cuestionario

de las 80% de z Razn para todas las
compaas los el compaas
es alto? interro- descontento objetivo (n Entrevistas
El centro gados compaas)
brinda servicios estn z * 10
de soporte satisfe- compaas
tcnico de alta chos entre stas
calidad? La calidad Estn- z Datos de z Libros de Revisin del
de los dares de calidad control de material
productos calidad calidad del
que produce del z Opiniones centro Entrevistas
el C/P es centro expertas z Expertos
alta?
El mejora- z Proporcin z Registros Revisin del
El producto miento de de C/Ps que del centro material
del proyecto habilidades recibieron la z Expertos
contribuye al de los C/Ps transferen- Entrevistas
logro del contribuye a cia de
objetivo del la tecnologa
proyecto? efectividad? z Opiniones
expertas
Se utiliza el Tipos de equipo z Registros Revisin del
equipo? utilizados en los de material
servicios de capacitacin
capacitacin y z Registros
tcnicos, as de servicio Entrevistas
como la z C/P
frecuencia de uso z Expertos
Se Contenido de la
adquieren transferencia de
las tecnologa y
tecnologas planes de estudio
en las
capacitacion
es y
mediante la
capacitacin
y servicio?

171
 Hay otros Opinin de las z C/P Grupos de
factores de partes z Expertos control
contribucin interesadas z Administra-
adems del cin
proyecto? superior de
las
compaas
Informacin del Informe de Revisin del
proceso de seguimiento material
implementacin
La tasa de Tasa de * C/P (cabeza del Entrevistas
separacin separacin del centro)
del trabajo trabajo, razones
en el C/P de la separacin
est del trabajo
Hay factores influyendo?
que obstruyen (Suposicio-
el logro del nes
objetivo del importantes)
proyecto? Hay alguna Opinin de las z C/P Grupos de
otra partes z Expertos control
influencia? interesadas
Informacin del Informe de Revisin del
proceso de seguimiento material
implementacin

172
 [Eficiencia] * El material que aparece con fondo gris ya se recopil
Preguntas de Evaluacin Crite-
rios y
Datos Fuente de Recopilacin
Pregunta Mto-
Cinco Pregunta Necesarios Informacin de Datos
secundaria dos de
Criterios de
Juicio
Evaluacin
Desde el punto La cantidad z Hechos del Tabla de Revisin del
de vista del de expertos envo real logros material
producto enviados, z Actitud de Encuesta por
Otros
obtenido, la sus reas de trabajo de Informe cuestionario
calidad, experiencia los expertos trimestral
cantidad y y la z Opinin de C/P, Entrevistas
oportunidad del oportunidad las partes expertos
producto con que se interesadas
fueron enviaron
adecuadas? fueron
adecuadas?

Los tipos, z Hechos z Tabla de Revisin del

cantidad y sobre el logros material
oportunidad equipo z Equipo, uso Encuesta por
de la proporciona y tabla de cuestionario
instalacin do manejo
del equipo Compa- realmente z C/P, Entrevistas
proporcio- racin z Uso del expertos
nado fueron de los equipo
adecuados? resulta- z Opinin de
dos las partes
reales interesadas
La cantidad con el z Hechos de Tabla de la Revisin del
de becarios plan la acepta- aceptacin material
aceptados, cin real de real de los Encuesta por
las reas, el los becarios becarios cuestionario
Eficiencia

contenido de z Opinin de
Informes de
la capacita- las partes
cin, el las agencias Entrevistas
interesadas
perodo de que
capacitacin aceptaron
y la becarios
oportunidad C/P,
de acepta- expertos
cin de
becarios
fueron
adecuados?
La z Colocacin Tabla de la Revisin del
cantidad, de C/P colocacin material
colocacin y z Opinin de real de C/P Encuesta por
habilidades cuestionario
de los C/P
las partes
interesadas
C/P, Entrevistas
fueron expertos
adecuadas?
Hay algn z Condicin z Esquema Observacin
problema en actual de del equipo Directa
la calidad, los edificios z C/P Encuesta por
tamao y e instalacio- z Expertos Cuestionario
convenien- nes Entrevistas
cia de los z Colocacin
edificios e del equipo
instalacio- z Opinin de
nes? las partes
interesadas

173
 El monto z Costo real z Tabla de Revisin del
de que cubri costos material
presupuesto el socio compartidos
del proyecto z Presupues- reales
fue to anual del z Tabla del
adecuado? centro presupuesto Entrevistas
z Opinin de del centro
las partes z * C/P
interesadas (cabeza del
centro)
z Expertos
El z Proporcin z Registros Revisin del
mejoramien- de C/Ps que del centro material
to de recibieron la z Expertos
habilidades transferen- Entrevistas
de los C/Ps cia de
contribuye a tecnologa
la z Opiniones
efectividad? expertas
Los costos Compa- z Costo C/P (cabeza Entrevistas
generales racin general del centro)
invertidos con los invertido
fueron costos z Tipo de
adecuados? genera- producto y
les in- poblacin
vertidos beneficiada
en pro- de
Los costos yectos
fueron proyectos
simila- similares
adecuados en res
comparacin
El costo Compa- z Costos z C/P Entrevistas
con proyectos
unitario para racin unitarios de z Expertos
similares?
realizar una con los la capacita- z Informes de
sesin de costos cin evaluacin
capacitacin unitarios z Costos de
es de pro- unitarios proyectos
adecuado? yectos para la similares
simila- capacitacin
res en proyec-
tos similares
Hay algn Opinin de z C/P Grupos de
factor que las partes z Expertos control
dificulte la interesadas
eficiencia?

174
 [Impacto] * El material que aparece con fondo gris ya se recopil
Preguntas de Evaluacin Crite-
rios y
Datos Fuente de Recopilacin
Pregunta Mto-
Cinco Pregunta Necesarios Informacin de Datos
secundaria dos de
Criterios de
Juicio
Evaluacin
Otros
Mejoraron Evaluacin z 30 Encuesta por
las tecnolgica compaas cuestionario
habilidades de las representa-
de los compaas tivas en 15
ingenieros representa- estados
en las tivas en 15
pequeas y estados del
medianas pas
Hay compaas?
posibilidades
de alcanzar la
meta general?
Est Desarrollo Material Revisin del
aumentando de los sobre material
el orden? logros de logros de
negocios de negocios en
las 30
compaas compaas
representa- representa-
tivas en 15 tivas
estados del
pas
Cambios en Desarrollo del Estadsticas de Revisin del
Impacto

el volumen Compa- volumen de exportacin material

de racin exportacin
exportacin antes/
de las despus
pequeas y
medianas
compaas
de vaciado
Cambios en Desarrollo de la Estadsticas de Revisin del
la productivi- productividad la industria de material
dad prome- promedio vaciado
dio de las
pequeas y
medianas
compaas
de vaciado
Impacto Opinin de las z Ministerio Entrevistas
Hay algn sobre las partes de la
otro efecto de polticas y interesadas Industria
difusin? sistemas z Personas
relacionados involucra-
con las das en las
compaas compaas
de vaciado z C/P
z Expertos
Hay alguna Papeles de la z Diario de Revisin del
otra industria de vaciado material
influencia vaciado
(positiva o z Ministerio
negativa)? Opinin de las de la Entrevistas
partes Industria
interesadas z Personas
involucra-
das en las
compaas
z C/P
z Expertos

175
 Hay alguna z Papel de las z Agencias Entrevistas
lnea agencias de de capaci-
divisoria con capacitacin tacin rela-
respecto a relaciona- cionadas
las otras das z Ministerio
agencias de de la
capacitacin Industria
relacionadas z Opinin de z Compaas
y hay algn las partes z C/P
efecto interesadas z Expertos
sinrgico?
Cmo z Trabajo 100 Encuesta por
evaluaron el actual personas cuestionario
efecto de la z Auto- que
capacitacin evaluacin terminaron
las personas de las la capaci-
que la personas tacin
terminaron? que termi-
El proyecto naron la
contribuy en capacitacin
gran medida al con
impacto respecto al
producido? cambio en
su nivel de
habilidades
tcnicas
Hay alguna Compa- Opinin de Personas Entrevistas
diferencia en racin las partes involucra-
el resultado con los interesadas das en las
del trabajo trabaja- compaas
de las dores de
personas la mis-
que trabajan ma com-
en la misma paa
compaa que no
entre recibie-
aquellas que ron la
recibieron la capaci-
capacitacin tacin
y las que
no?

176
 [Sustentabilidad] * El material que aparece con fondo gris ya se recopil
Preguntas de Evaluacin Criterios
y Mto- Datos Fuente de Recopilacin
Pregunta
Cinco Pregunta dos de Necesarios Informacin de Datos
secundaria
Criterios de Juicio
Evaluacin z Continuidad z Ministerio Entrevistas
de apoyo de de la
Otros las agencias Industria
relaciona- z Organiza-
das ciones
La z Colabora- industria-
ubicacin del cin con las les
centro en la agencias
industria de relaciona-
vaciado es das
clara? z Papel del
centro

La z Funciones z Reglas Revisin del

organizacin de cada operati- material
tiene potencial divisin vas de la
de operacin z Colocacin organiza-
y de gestin? y estabilidad cin
del personal z Tabla de
z Estableci- coloca-
miento de cin del
un sistema personal Entrevistas
de z Registros
Sustentabilidad

seguimiento de segui-
z Opinin de miento
las partes del centro
interesadas z C/P
(cabeza
La del
organizacin centro),
tiene expertos
potencial La situacin z Situacin Tabla de Revisin del
para financiera es financiera presu- material
continuar el buena? del centro puesto,
negocio? z Opinin de varias Entrevistas
las partes tablas
interesadas financie-
ras
C/P,
expertos
Los z Plan para el z Plan para Revisin del
esfuerzos asegura- el asegu- material
para el asegu- miento in- ramiento
ramiento dependiente indepen- Entrevistas
independiente de recursos diente de
de recursos financieros recursos
financieros z Opinin de financie-
marchan sin las partes ros
problema? interesadas z C/P,
expertos

177
 Mejor la Compa- z Resultados z Expertos Entrevistas
capacidad de racin de la z C/P
entrenamiento antes/ evaluacin Auto-
del C/P? despus de los evaluacin
expertos (encuesta por
z Resultados cuestionario)
de la auto-
evaluacin
del C/P
La z Existencia z C/P Entrevistas
Se tecnologa de capacita- z Expertos
estableci la transferida se cin mutua
tecnologa difundir dentro de la
transferida? dentro de la agencia de
agencia de implemen-
implementa- tacin
cin? z Opinin de
las partes
interesadas
El equipo se z Estado del z Informes Revisin del
maneja y manteni- del man- material
mantiene miento y tenimien-
apropiada- manejo to y del Entrevistas
mente? z Opinin de manejo
las partes z C/P,
interesadas expertos

Cuando los evaluadores examinan la sustentabilidad deben tomar en

consideracin la organizacin, los sistemas, las polticas, la tecnologa, la
sociedad/medio ambiente y otros puntos de vista, pero no es necesario darle la
misma importancia a todos los puntos de vista de manera estereotpica. Ello
debido a que lo que es importante para la sustentabilidad debe variar dependiendo
del proyecto. Los evaluadores debern analizar esto detenidamente y reflejarlo en
las preguntas de evaluacin.

178
(3) Interpretacin del Resumen de los Datos de Evaluacin Final

Tal como se explica en la Parte II, Captulo 3, evaluacin significa interpretar los datos
recopilados y analizados - no es suficiente si slo se enumeran los datos y se aaden los
resultados del cuestionario. Los estudios de evaluacin final se realizan al final de un
proyecto, e incluyen ver si vali la pena implementar el proyecto, por qu algunas cosas
no salieron bien y qu efectos tuvo el proyecto. La interpretacin se basa en los
resultados del anlisis de los factores que dificultaron y contribuyeron al proyecto. Estos
resultados tambin son una fuente de informacin importante que dirige a los evaluadores
hacia recomendaciones y lecciones aprendidas concretas y prcticas.
La interpretacin consiste de una evaluacin de cada uno de los Cinco Criterios
de Evaluacin y una conclusin que es un anlisis cruzado de ellos. Si los factores que
dificultan y contribuyen no se analizan lo suficiente en la evaluacin de los Cinco Criterios
de Evaluacin, no habr una base para la conclusin y la evaluacin no producir
recomendaciones y lecciones aprendidas concretas. En algunos informes de evaluacin,
se presentan las recomendaciones y lecciones aprendidas aunque no se presenten bases
slidas en la evaluacin de los Cinco Criterios. En estos casos, no se refleja ningn
resultado de una investigacin y anlisis amplios con base en los cinco criterios, y las
recomendaciones y lecciones aprendidas carecen de poder de convencimiento.
El siguiente paso, con base en los resultados de la interpretacin y anlisis, es
hacer un borrador de las recomendaciones y lecciones aprendidas y crear un informe.
Las recomendaciones presentan medidas concretas, propuestas y asesora sobre el
mejoramiento del proyecto evaluado. Las lecciones aprendidas se identifican a partir de
las experiencias de proyectos aplicables, y se pueden generalizar o conceptualizar hasta
cierto grado. Tambin sirven como referencia de otros proyectos similares vigentes, o
para encontrar y formular proyectos en el futuro. Tambin es necesario incluir las
recomendaciones para eliminar los factores inhibidores identificados en la interpretacin.
Los factores inhibidores se pueden presentar en proyectos similares como lecciones
aprendidas para que dichos proyectos no repitan los mismos errores. Tambin pueden
aprovecharse como lecciones aprendidas para hacer que los proyectos similares sean
ms efectivos.
Los evaluadores deben establecer claramente a quines se dirigen estas
recomendaciones y lecciones (a los receptores de la retroalimentacin). Las
descripciones concretas tales como la divisin de implementacin, la oficina local, la
agencia de implementacin en el pas socio, las organizaciones residentes, los expertos,
la contraparte, etc., facilitan el seguimiento posterior. Tambin es efectivo dar
recomendaciones por separado, de acuerdo con su trmino de realizacin -
recomendaciones a mediano y largo plazo y recomendaciones a corto plazo.
La tabla 3-2-7 ofrece un resumen de puntos a recordar en la interpretacin.
Despus de la tabla presentamos ejemplos de los Cinco Criterios de Evaluacin y la
conclusin (Casos 6 y 7). Observe que la forma de los casos que se presenta es una de
muchas. No es necesario tener que seguir la forma que presentamos todas las veces.

179
Tabla 3-2-7 Puntos para Recordar cuando se Interpretan los Resultados
del Estudio
Puntos para Recordar Ejemplo/Consejo
[Cinco Criterios de Evaluacin]
z La realizacin de la evaluacin (consulte los casos que aparecen a
(=respuesta a las preguntas) continuacin)
con base en los datos
recopilados y analizados por
separado de cada pregunta de
la evaluacin facilita la
interpretacin y uso efectivo de
la tabla de evaluacin.
z En la evaluacin de cada uno Ejemplo: La capacidad de llevar a cabo
de los Cinco Criterios, la capacitacin es alta y sta se realiz
Compilacin segn lo planeado. Por otro lado, la
asegrese que escribe una
conclusin para cada criterio. evaluacin por parte de los becarios no
fue muy buena.

(No es claro si este comentario significa

que la efectividad es alta o no. Es
necesario mencionar las razones que
puedan convencer a las partes
interesadas.)

z Cuando evale la efectividad y Ejemplo: Aument la cantidad de

el impacto asegrese de madres y mujeres embarazadas que
verificar las relaciones causales visita las clnicas de salud. Por lo tanto,
dentro del proyecto. la efectividad del proyecto es alta".

La efectividad no se puede juzgar sin

analizar si el incremento est
relacionado con el producto del proyecto
y los antecedentes.

Verificacin z Ponga atencin al hecho de que Ejemplo: (En un proyecto de salud

no se puede considerar que el materno-infantil) El equipo de partera
de las tradicional que se introdujo en el
proyecto haya tenido xito
relaciones nicamente por la apariencia de proyecto tambin fue aprovechado por
causales otra agencia de asistencia. Por sta y
los efectos de difusin, sin otras razones, el proyecto tiene un
(Interpreta- mencionar si se alcanz la meta significado importante".
cin de la general o el objetivo del
lgica) proyecto.
(Primero verifique si se comprendi
la meta general - la tasa de
mortalidad de las mujeres
embarazadas y de las mujeres
durante el parto, etc. Varios
impactos positivos no
necesariamente se convierten en la
base para juzgar el xito o fracaso
de un proyecto.)

180
 z Identifique claramente las bases
de la evaluacin en el texto de
la interpretacin. Si es
necesario, proporcione
explicaciones fciles de
entender utilizando, por
ejemplo, tablas o grficas para
aumentar la credibilidad de los
resultados de la evaluacin (sin
Presentacin
embargo, no es necesario incluir
de bases todas las grficas y tablas en el
texto principal. Evite expresar
temas importantes como las
bases del juicio en la
evaluacin, sus resultados, etc.
nicamente en tablas y grficas
o en los resultados de la
investigacin sin explicarlos en
el texto).
z Bsicamente la evaluacin se
debe basar en los datos
cuantitativos, pero los datos
cualitativos tambin son tiles.
Por ejemplo, es posible
presentar resultados a partir de
los factores de anlisis que se
pueden leer en las entrevistas o
de otras bases muy
convincentes (por ejemplo, la
adquisicin del ISO 9000).
z No presente como bases los
datos sin elaborar de los
resultados del estudio sino los
resultados de su anlisis.
Presente los datos relacionados
en anexos.
Presentacin
de bases
z Las bases con base en datos
mltiples aumentan la
credibilidad de los datos y la
objetividad de la evaluacin
(excepto por los datos donde se
puede garantizar la credibilidad
de una fuente de informacin.)
Ejemplo: La mayora de las
personas que terminaron la
capacitacin calificaron muy alto el
curso de capacitacin. Por lo tanto,
la efectividad del proyecto es alta".
(Cunta gente es la mayora y
qu tan alta es su proporcin?
Cules son las bases de la
evaluacin alta?) Todo esto no es
claro. El borrador de la conclusin
tiene que hacerse con referencia en
el anlisis de resultados del estudio.
Ejemplo: Los Resultados de las
entrevistas con expertos muestran
que la buena disposicin de la
contraparte hacia el proyecto y su
compromiso han aumentado.
(Es necesario anotar de inmediato y
presentar como bases los
comportamientos, fenmenos, etc.,
que indican indirectamente que
aument el compromiso.
Ejemplo: El equipo se obtuvo
segn lo planeado, y el
mantenimiento y manejo tambin es
adecuado (ver el Anexo 1).
Si la informacin adicional es el
informe del mantenimiento y el
manejo, no es claro lo que se debe
tomar de ste. Los resultados de un
anlisis del informe (por ejemplo, la
tasa de operacin, tasa de defectos,
tiempo promedio y costo requerido
por reparaciones, etc.) se deben
presentar como bases dentro del
texto principal.
Ejemplo: De acuerdo con la
comisin de abastecimiento de
agua, la construccin del pozo tuvo
un efecto extremadamente fuerte,
as que la efectividad de este
proyecto es alta.
(Faltan los datos de los puntos de
vista de los usuarios del pozo (los
residentes) y de la reduccin de
enfermedades infecciosas
transmitidas por el agua, como
efecto de la construccin del pozo.)
181
 z Junto con las bases para juzgar
la evaluacin, especifique
claramente por qu el resultado
fue como fue y analice los
factores inhibidores y
contribuyentes. Si esto no es
claro, no se pueden desarrollar
recomendaciones o lecciones
aprendidas concretas.
Anlisis de
los factores
inhibidores y
contribu-
yentes
z La expresin ...es adecuado
se usa frecuentemente, pero los
evaluadores deben investigar
qu es apropiado, hasta qu
punto y comparacin con qu y
por qu.
z Los evaluadores pueden
consultar las declaraciones en
Relaciones otros criterios de evaluacin y
entre mencionarlas como bases.
resultados, Como el mismo proyecto se ve
proceso de desde diferentes enfoques, hay
correlaciones estrechas.
implementa-
cin y los
Cinco
Criterios de
Evaluacin
[Conclusin]
z Los resultados de la evaluacin de
los Cinco Criterios de la Evaluacin
(u otros criterios de evaluacin) son
la base para la conclusin.
Observe los resultados de la
Presentacin evaluacin en forma
de las bases interrelacionada. Despus describa
para la brevemente los temas que merecen
comentarios.
conclusin
z La conclusin conduce a
recomendaciones y lecciones
aprendidas concretas.
Ejemplo: Hasta ahora, 150
personas asistieron a los seminarios
de salud para residentes, pero la
cantidad de asistentes est
disminuyendo cada ao (se anexa
una tabla con los cambios a lo largo
de los aos). Como el grado de
satisfaccin y comprensin de los
asistentes hacia la salud es alta, las
actividades del IEC fueron
efectivas.
Al investigar la razn del por qu
est disminuyendo la cantidad de
asistentes, es posible investigar ms
a fondo las percepciones de los
residentes (incluyendo los
antecedentes del por qu asista) y
la idoneidad de los mtodos del
seminario.
Ejemplo: El envo de expertos se
realiz casi segn como se plane y
fue apropiado.
Lo que es apropiado no se puede
juzgar nicamente sobre la base del
criterio segn lo planeado.
Adems, los evaluadores necesitan
analizar los factores contribuyentes
a partir de los resultados del estudio
- qu fue apropiado, en qu forma
y por qu fue bueno?
Por ejemplo:
z La informacin del proceso de
implementacin tal como el
seguimiento o la creacin de
relaciones humanas, se puede
describir como un factor que
aument la efectividad.
z La informacin sobre
suposiciones importantes
relacionadas con la efectividad tal
como la solidez del establecimiento
en la contraparte, pueden
convertirse en una base para la
evaluacin de la sustentabilidad.
Los hechos y causas que no se
mencionan en los resultados de la
evaluacin de los Cinco Criterios de
Evaluacin y en el anlisis de los
factores inhibidores y contribuyentes no
se pueden mencionar nicamente en la
conclusin o en las recomendaciones y
lecciones aprendidas posteriores.
182
 z Si se hace un borrador de las
Respuestas a preguntas de control, contstelas
las preguntas primero en la conclusin.
de evaluacin

183
 Caso 6: Interpretacin de una Evaluacin Final

Proyecto para Mejorar la Tecnologa de las Pequeas y Medianas Empresas

de Vaciado en el Pas D
(Este ejemplo se basa en un estudio de evaluacin real, pero para este documento se hicieron algunos
cambios y adiciones.)

1. Cinco Criterios de Evaluacin

[Pertinencia]
Este proyecto se debe considerar de alta pertinencia por las siguientes razones:

i) La pertinencia de la estrategia del proyecto es alta.

Tal como se seal en las sesiones de estudio y en las entrevistas a expertos durante
el estudio de evaluacin, es un hecho que el desarrollo de las compaas pequeas y
medianas es limitado si slo se realizan esfuerzos de cooperacin tcnica. Sin apoyo
tal como financiamiento para la introduccin de tecnologa nueva, etc., esta meta no
se puede alcanzar. Es necesario examinar la pertinencia de la estrategia para utilizar
transferencia de tecnologa teniendo en mente estos factores. Sin embargo, en el pas
D, el ministerio para la promocin de inversin brinda apoyo sistemtico a la industria
de vaciado ya que est relacionada con la industria automotriz, una industria
representativa del pas. Por ello, consideramos que esto no es un factor inhibidor.
(Figura 1: Desarrollo de financiamiento e inversiones en la industria de vaciado -
omitida aqu.)
Las reas individuales de la cooperacin tcnica cubren adecuadamente la
estructura industrial en el pas D, y la cooperacin fue adecuada como medio para
desarrollar compaas pequeas y medianas en el campo de vaciado. Es bien
conocido en el mundo que la tecnologa de Japn en el rea de vaciado es de primera
clase, y tambin en el rea de asistencia para el desarrollo Japn tiene experiencia en
cooperacin con los pases A y B. Adems, en esta transferencia de tecnologa de
vaciado, se aprovech el apoyo tcnico del Centro de vaciado de Japn - apoyado por
las experiencias del pasado. (Tabla 1: muestra ejemplos del know-how caracterstico
de la cooperacin tcnica y otros - omitida aqu.)
El grupo objetivo - el centro nacional de vaciado - es una institucin de
capacitacin vocacional especializada en tecnologa de vaciado, siendo su misin
contribuir al desarrollo de la industria de vaciado mediante la obtencin de recursos
humanos. El centro se mantiene por contribuciones igualadas de compaas que
tienen grandes esperanzas en el centro como una organizacin industrial. Por lo tanto,
se espera que el efecto de difusin derivado del fortalecimiento del centro sea grande,
haciendo del centro la mejor eleccin como grupo objetivo.

ii) La necesidad del proyecto es alta.

Desde 1990, el pas D ha venido promoviendo la desregulacin de las importaciones,
la introduccin de divisas extranjeras y la privatizacin de las compaas que maneja
el estado, y cada compaa est pasando por momento difciles para sobrevivir. El
mejoramiento de la calidad y productividad son un tema, sobre todo para fortalecer el
poder de competitividad de las compaas pequeas y medianas. La industria de
vaciado consta de aproximadamente 1,000 compaas y 51,000 personas. Entre
stas, 950 compaas estn clasificadas como pequeas o medianas.
Especficamente en el rea automotriz, los productos vaciados tienen una influencia
directa sobre la calidad del auto terminado, y para la industria automotriz que
representa la parte ms grande de la industria del pas D, es extremadamente
importante y muy necesario un mejoramiento en la calidad y productividad de la
industria de vaciado
En el centro nacional de vaciado, el grupo objetivo - las instalaciones y equipo
mostraban signos claros de deterioro y las habilidades del personal se estaban
deteriorando. El centro estaba en una condicin en que no poda cumplir

184
 completamente su papel. La implementacin de este proyecto, que est dirigido a
fortalecer la funcionalidad del centro, es consistente con las necesidades.

iii) El proyecto es de alta prioridad.

El plan de calidad y productividad del pas D, una poltica nacional referente a la
calidad y productividad, menciona la promocin del mejoramiento de la calidad en la
produccin como uno de los temas de enfoque de su programa de integracin del
plan de desarrollo (1995-2000). Sobre todo en trminos de las tcnicas de vaciado, el
producto tiende a ser de baja calidad y la produccin est disminuyendo debido a una
escasez de tcnicos experimentados en comparacin con los pases desarrollados.
La meta general de este proyecto - mejoramiento de las habilidades de los ingenieros
en las compaas de vaciado pequeas y medianas - contribuir, a la larga, a
fortalecer su competitividad internacional gracias al mejoramiento de la calidad y la
productividad y por tanto, es consistente con la poltica nacional.
La poltica de asistencia para el extranjero de Japn ha tomado el desarrollo de las
compaas pequeas y medianas en el rea industrial como uno de los temas
centrales para la asistencia al pas D, por lo que este proyecto es consistente con la
poltica de asistencia japonesa. El proyecto tambin es consistente con el rea de
enfoque del plan de la JICA para la implementacin de programas especficos por
pas - desarrollo de las compaas pequeas y medianas y el control de calidad.

[Efectividad]
La efectividad de este proyecto se considera alta hasta cierto punto debido a las
siguientes razones, pero las revisiones del contenido de la capacitacin son
insuficientes.

i) El nivel de logro del objetivo del proyecto se considera alto hasta cierto punto.
En las evaluaciones de los asistentes a los cursos de capacitacin, el nivel de
satisfaccin promedio con respecto al material de estudio y la sesin supera el 3.5 en
cada curso (Tabla 2 - omitida aqu). La hoja de seguimiento de tecnologa de los
expertos tambin muestra altos niveles de habilidades tcnicas de la contraparte
(consulte el anexo 2).
La cantidad de becarios enviados de las compaas aument gradualmente
durante el tercer ao del proyecto, pero disminuyo en el cuarto ao y en la primera
mitad del quinto ao (Tabla 3 - omitida aqu). En los antecedentes, la cantidad de
asistentes disminuy porque cambiaron las necesidades de la industria (consulte el
anexo 1: Resultados de entrevistas a expertos y compaas). Los expertos sealaron
que con el tamao relativamente pequeo de la industria de vaciado, los esfuerzos
correspondientes a las necesidades de las compaas - tales como la introduccin de
tecnologas nuevas y la planeacin de nuevos cursos de capacitacin - eran
insuficientes.
En cuanto al suministro de servicios tcnicos, el nivel de satisfaccin en la
encuesta de seguimiento que implement el centro de las compaas result alto,
pero los expertos sealaron que los criterios de evaluacin no eran claros, por lo que
decidimos realizar una encuesta por cuestionario y entrevistas como un equipo de
investigacin. En una encuesta por cuestionario de 50 compaas, 36 respondieron
que estaban razonablemente satisfechas con los servicios del centro de vaciado. En
las entrevistas a las compaas (10 compaas), ocho respondieron que estn
utilizando la tecnologa que adquirieron en el centro en sus propios sitios de
fabricacin y que, en general, estn satisfechos con el trabajo del centro.

ii) Suponemos que el producto contribuy en gran medida al logro del objetivo del
proyecto.
La transferencia de tecnologa a la contraparte marcha sin problemas. Sus
habilidades tcnicas son de primer nivel en el pas D, y sus habilidades se utilizan en

185
 la capacitacin y los servicios tcnicos. (Tabla 4: Evaluaciones por habilidad tcnica,
junto con la hoja de evaluacin de los expertos - omitidas aqu.) En cuanto al grado de
contribucin del mejoramiento de habilidades tcnicas de la contraparte, una encuesta
por cuestionario de la contraparte mostr que (a) un promedio de 80% de la
tecnologa transferida se utiliza en los cursos de capacitacin, y (b) 16 de los 22
encuestados contestaron que utilizan la tecnologa transferida para brindar servicios
tcnicos.
El equipo obtenido en el proyecto se utiliza suficientemente tanto en la capacitacin
como para servicios tcnicos. (Tabla 5: Tasa de operacin del equipo - omitida aqu.)
El problema con la tasa de rotacin de la contraparte, que se haba asumido como
un riesgo que obstaculizara el logro del objetivo del proyecto, qued en que tan slo
tres de 25 personas abandonaron su empleo. Considerando que la tasa de rotacin
en otras instituciones del gobierno y del sector privado es de un promedio de 50%,
podemos considerar que aqu la tasa de rotacin no es un factor inhibidor especfico.

iii) Otros factores contribuyentes

Como mtodo para producir un efecto en la cooperacin tcnica, el director del centro,
las contrapartes y los expertos comentaron que es efectivo establecer productos
objetivo para cada campo e implementar la transferencia de tecnologa a travs de la
produccin de dichos productos ya que ayuda a mantener un equilibrio entre la teora
y las habilidades prcticas. Este ejemplo demuestra cmo el establecimiento de una
meta clara puede conducir al xito.

[Eficiencia]
Desde el punto de vista del producto obtenido, los insumos se
manejaron eficientemente.

i) Los expertos se enviaron adecuadamente.

El envo de expertos se realiz segn lo planeado, para que la transferencia de
tecnologa planeada se pudiera llevar a cabo (Tabla 6: Hechos sobre el envo real
de expertos - omitida aqu). En la encuesta por cuestionario con la contraparte, 10
de los 22 encuestados dijeron que desde el punto de vista del producto alcanzado,
el envo de expertos fue adecuado. Sobre todo se evalu altamente la calidad de
los expertos a corto plazo. Esto se debe, por ejemplo, a que se enviaron expertos de
una calidad adecuada en relacin con los cargos de la tecnologa que se pag a sus
patrones mismos que suspendieron su trabajo (en compaas privadas) durante ese
perodo y porque se volvieron a enviar a algunos de los expertos de corto plazo.
Cuando tambin consideramos el tiempo limitado que las contrapartes tenan para
la transferencia de tecnologa (como la mayora de las contrapartes tenan otros
trabajos al mismo tiempo), podemos suponer que el mtodo de transferencia
concentrada de tecnologa mediante expertos de corto plazo fue adecuado.
Muchas de las contrapartes (13 de 22) mencionaron que otro de los factores que
contribuyeron al logro del objetivo hasta el final del proyecto fue el papel que jugaron
los expertos de largo plazo. Los expertos de largo plazo eran expertos con amplio
conocimiento y experiencia en vaciado, as como coordinadores que conocan muy
bien las circunstancias sociales del pas D. Suponemos que los factores que
promovieron el proceso de implementacin para la cooperacin tcnica fueron el
establecimiento de la comunicacin que se bas en una comprensin de la sociedad
y tambin la asistencia tecnolgica.

ii) La obtencin del equipo se realiz adecuadamente.

El equipo se obtuvo segn lo planeado y lo estn manejando correctamente
(Tabla 7: Lista de equipo, Tabla 5 (mostrada arriba) - omitida aqu). Algunos equipos
necesitaron ms tiempo del planeado para su instalacin y no estuvieron listos a
tiempo para el trabajo de los expertos de corto plazo, as que en ciertos campos
(campo X), la transferencia de tecnologa fue imposible. Sin embargo, el efecto
sobre el proyecto como un todo fue pequeo, gracias a clases complementarias que
ofrecieron los expertos de corto plazo cuando el equipo estuvo listo despus de
haber regresado a casa.

186
 iii) La colocacin de las contrapartes fue adecuada en su mayor parte, pero muchos
tenan otro trabajo al mismo tiempo.
Las contrapartes se colocaron segn lo planeado. A la fecha, slo 3 de las 25
personas dejaron su trabajo, as que la estabilidad es buena. De acuerdo con los
planes iniciales, las contrapartes se dedicaran de tiempo completo a su trabajo en
el proyecto, pero en la realidad, casi la mitad de ellos (diez personas) tenan que
hacer otro trabajo al mismo tiempo. Segn las entrevistas con las contrapartes que
tenan otros trabajos al mismo tiempo, el tiempo promedio que le dedicaban a las
actividades del proyecto era alrededor de 41% de su tiempo de trabajo total, y
muchos sealaron que era difcil preparar la capacitacin mientras hacan otro
trabajo. No obstante, el hecho de que el proyecto haya producido un efecto incluso
cuando no todas las contrapartes estaban dedicadas a l tiempo completo (consulte
la pgina de Eficiencia) tambin nos permite juzgar que la eficiencia de la
implementacin fue alta.

iv) El costo total invertido en el proyecto fue tan bajo como el costo de proyectos
similares.
Comparado con el costo total de proyectos similares (proyectos del centro de
vaciado en los pases A y B), el costo de este proyecto fue aproximadamente 20%
ms bajo. Claro que hay diferencias en la situacin financiera de los pases objetivo,
en las etapas de desarrollo y en las mismas actividades, pero cuando observamos
el desglose del costo comparativamente, vemos que existe una diferencia notable
en los gastos de personal para los expertos (Tabla 8: Comparacin del desglose de
costos - omitida aqu). Creemos que en este proyecto, la combinacin eficiente de
expertos de corto plazo provoc la reduccin de costos. El siguiente factor que
redujo el costo general es que una gran parte del equipo se obtuvo localmente
(Tabla 8, mostrada arriba).
Fue imposible hacer una comparacin del costo unitario de la capacitacin ya que
(a) fue difcil sustituir el insumo con un valor econmico numrico para cada
producto, y (b) no existen costos unitarios por capacitacin en proyectos similares
que pudieran servir como comparativo de eficiencia.

[Impacto]
Se puede reconocer el siguiente impacto de la implementacin del proyecto y la
posibilidad de alcanzar la meta general de tres a cinco aos es alta.

i) Suponemos que es muy probable que se alcance la meta general.

Un indicador de la meta general mejoramiento del poder tcnico de las compaas
es el aumento de pedidos debido al mejoramiento de capacidad tcnica. Sin
embargo, en la encuesta por cuestionario realizada con las compaas en la
evaluacin final, no pudimos determinar ese cambio. En la auto-evaluacin de las
compaas realizada por el equipo de estudio de evaluacin, 70% de 50 compaas
respondieron que sus capacidades tcnicas mejoraron en algn rea (Tabla 9 -
omitida aqu). Especficamente muchas compaas que recibieron servicios tcnicos
informaron casos de xito en el mejoramiento de la calidad de los productos gracias
al mejoramiento de las tecnologas X e Y. stos se pueden percibir como el
surgimiento de un impacto a partir del centro de vaciado (consulte la Tabla 10 para
ver los tipos de casos de xito que dieron a conocer las compaas - omitida aqu).
Es necesario que el ministerio de industria en cooperacin con el ministerio de
polticas de la industria y el ministerio de promocin de la inversin aborden el
problema de fondeo de cada una de las pequeas y medianas empresas, que es
una de las suposiciones importantes, pero debido a la importancia de vaciado para
la industria automotriz ya existe un sistema de asistencia y no creemos que esto se
convierta en un problema tan serio.
Con base en estos hechos, es probable que la demanda aumente dentro de tres a
cinco aos.

187
 ii) En entrevistas con las partes interesadas, los siguientes puntos se sealaron
como efectos de difusin positivos por la implementacin del proyecto.
z Fue posible reforzar (impacto en la industria) la colaboracin de agencias
relacionadas (asociacin de ingenieros del pas D, organizaciones industriales).
z Para utilizar la capacidad mejorada de capacitacin por proyecto y expandir el
rea no slo a nivel nacional, se est planeando el esquema de capacitacin para
terceros pases de la JICA.
z La tecnologa X, que se introdujo en el proyecto, incluye consideraciones para el
medio ambiente, y a travs de visitas a la fundicin, aument el inters de la
industria de vaciado del pas D por el medio ambiente (impacto sobre los aspectos
ambientales).

[Sustentabilidad]
Los prospectos de la sustentabilidad del proyecto sern posibles si los recursos
financieros y el equipo se manejan ms adecuadamente.

i) Hay promesas de continuar el apoyo poltico y del sistema.

El centro de vaciado es un instituto de capacitacin vocacional especializado en
la tecnologa de vaciado. Ha brindado recursos humanos a la industria de vaciado
del pas D a razn de ms de 250 personas por ao desde 1983 y es una institucin
importante para las pequeas y medianas empresas. Como centro tcnico para el
vaciado, tambin brinda servicios a gran nmero de compaas de vaciado. Cuando
consideramos el importante papel que juegan la pequea y mediana empresa en la
industria del pas D - que consiste principalmente de la industria automotriz - el
papel del centro de vaciado ser indispensable tambin en el futuro. El ministerio de
polticas de la industria, el ministerio de promocin del medio ambiente, los institutos
de capacitacin vocacional en todo el pas, el Centro de Desarrollo de vaciado (una
organizacin de la industria) y otras agencias relacionadas anunciaron que
continuarn apoyando al centro de vaciado.

ii) El centro de vaciado adquiri capacidades organizativas y operativas, pero hay

preocupacin por la planeacin del personal y el aseguramiento de recursos
financieros.
La percepcin de todos los expertos es que las capacidades operativas y
administrativas han mejorado en gran medida en comparacin con la situacin antes
de iniciar el proyecto.
La tabla 12 muestra la situacin financiera (omitida aqu). As como se invirtieron
grandes sumas en equipo, cada ao se requerirn los gastos de procuracin de
materiales de consumo y piezas necesarias para la operacin y los gastos de
mantenimiento tales como costos de reparacin. Con el aumento de actividades
tambin aumentarn los gastos (Tabla 13 - omitida aqu), y existe la preocupacin
que en el futuro cercano los recursos financieros sean insuficientes. En estos
momentos, la proporcin de recursos financieros obtenidos independientemente en
comparacin con los gastos es de alrededor de 50%, y ser an ms necesario
aumentar los ingresos a partir de los principales recursos financieros actuales -
cuotas de capacitacin y cuotas de servicio tcnico (por ejemplo, revisar el
contenido de las capacitaciones y servicios tcnicos, desarrollar estrategias de
mercado para asegurar clientes, etc.).

iii) Los prospectos de que la tecnologa transferida se va a difundir y establecer

son altos.
La hoja de seguimiento de tecnologa de los expertos tambin muestra que las
contrapartes cuentan con grandes capacidades de capacitacin (consulte el anexo 2
- omitido aqu). Adems, el material de enseanza desarrollado y los productos
objetivo producidos son de alta calidad. Los factores que conducen a la expectativa
que la tecnologa se va a establecer son, por ejemplo, planes del centro de vaciado
para realizar capacitaciones cruzadas de diferentes reas y su capacidad de auto-
desarrollo (tal como inscripcin en el curso de maestros).

188
 En cuanto al mantenimiento y manejo del equipo, se esboz un plan de
mantenimiento preventivo y tambin durante el tiempo que el proyecto est vigente,
esperamos que el mantenimiento y el manejo se implementen de acuerdo con este
plan.

2. Conclusin
Este proyecto se implement en respuesta a la poltica nacional y a las
necesidades de la agencia de implementacin (centro nacional de vaciado) y a las
fuertes necesidades de la industria de vaciado en el pas D con la intencin de
mejorar la tecnologa de vaciado de la pequea y mediana empresa en este pas.
Con el mejoramiento de las capacidades tcnicas del centro nacional de vaciado
Este caso
llega a una ahora se brindan capacitacin y servicios tcnicos de alta calidad, y esperamos que
conclusin a la larga mejoren las habilidades tcnicas de las mismas compaas. Este proyecto
teniendo en tuvo una alta efectividad.
mente Entre los factores contribuyentes podemos mencionar, por ejemplo, el hecho de
preguntas que se hayan implementado las actividades casi como se haba planeado y que la
de
evaluacin agencia de implementacin ya tena capacidad operativa de cierto nivel. Otro factor
de alto es que los recursos humanos se colocaron de manera adecuada. Otro factor
nivel. contribuyente importante es la buena relacin que se construy basada en la
confianza mutua entre los expertos y las contrapartes. El seguimiento se realiz
adecuadamente y ambas partes siguieron las actividades como socios,
compartiendo el objetivo de este proyecto. En nuestro enfoque hacia la cooperacin
tcnica introdujimos de dos a tres productos objetivo por cada rea de transferencia
de tecnologa, y transferimos la tecnologa a travs de la fabricacin de dichos
productos objetivo. Esto ayud a mantener un equilibrio entre la teora y las
habilidades prcticas y tambin comunic una gua prctica a las compaas, al
tiempo que estableca metas claras. Esto result ser efectivo para una transferencia
de tecnologa sin problemas.
Por otro lado, sigue habiendo cierta preocupacin con respecto a la
sustentabilidad. Actualmente, la proporcin de ingreso independiente del suministro
de servicios tcnicos y dems en el centro nacional de vaciado es de 50%, lo que la
hace ser una organizacin con una tasa de autofinanciamiento relativamente alta.
Sin embargo, el valor del equipo proporcionado en este proyecto alcanza los 354
millones de yenes, y esperamos que cada ao se requieran gastos de procuracin
de materiales de consumo y piezas necesarios para la operacin, as como los
gastos de mantenimiento tales como costos de reparacin. Adems, existe la
preocupacin en cuanto a la reduccin de ingresos debido a la disminucin de
asistentes, como se muestra en el estudio de evaluacin que se realiz. En cuanto a
los antecedentes de la disminucin, algunos sealan que no se dio necesariamente
respuesta suficiente a los cambios recientes en las necesidades de capacitacin de
las compaas y es probable que sea necesario reaccionar ms activamente ante
estas necesidades que incluyen la comercializacin. En cuanto al mantenimiento y
manejo del equipo - hasta ahora, los expertos de corto plazo han reparado, ajustado,
En las
etc. parte del equipo. En el futuro, una seccin de los servicios de mantenimiento
recomen-
daciones se tendr que manejarlo independientemente.
incluyen Segn los resultados de la evaluacin utilizando los Cinco Criterios de
detalles ms Evaluacin, ni el plan (estrategia del proyecto, relaciones causales) ni el proceso de
concretos implementacin muestran ningn problema serio, y por ello pudimos confirmar que
sobre cmo
la meta general se va a alcanzar y creemos que la cooperacin se puede terminar
trabajar
para sin problemas. En el futuro, el centro necesita realizar esfuerzos ms slidos para
asegurar asegurar los recursos financieros al mismo tiempo que responde a los cambios de la
recursos situacin.
financieros.

189
 Caso 7: Interpretacin de una Evaluacin Final (2)

Los siguientes ejemplos son interpretaciones de los Cinco Criterios de Evaluacin a

partir de Resmenes de Evaluacin anteriores.
El caso aqu fue que la prioridad era alta, pero haba problemas
con algunas de las necesidades de los beneficiarios (necesidad).
La tecnologa que no est en sincrona con las necesidades puede
[Pertinencia]
convertirse en un factor que obstruya la efectividad y el impacto.

Programa de Desarrollo Agrcola Integral en el Pas A

Propsito del Proyecto: La productividad agrcola en los subsitios del proyecto (los
distritos de demostracin dentro del programa de riego de la regin K que estn
cultivando miembros de la asociacin de riego) aumenta mediante mejoras en el cultivo.

El Ministerio de Agricultura formul un Plan de Mediano plazo para el Desarrollo

Agrcola (1993-1998), y ha estado promoviendo un Programa de Fortalecimiento para
la Produccin de Granos de Cereal, centrndose en el arroz. En el Programa de la
Cosecha Dorada (Golden Harvest Program), una poltica para el desarrollo y difusin
de tecnologa que se adapta a las caractersticas especficas de la regin, el 7 distrito
del Ministerio de Agricultura es una regin designada para aumentar el cultivo de arroz;
y los distritos de riego desarrollados en el Plan de Desarrollo de Riego K y el Plan de
Desarrollo Agrcola B (Fase 1) estn designados como los distritos de ms alta
prioridad para la produccin de arroz. Por las razones antes expuestas, el objetivo del
proyecto y la meta general son consistentes con la poltica de desarrollo agrcola del
pas A, por lo que es de alta pertinencia.
Por otro lado, los agricultores de pequea escala o aquellos con bajos ingresos no
podrn fcilmente aplicar la nueva tecnologa desarrollada en este proyecto. Hubo
inconsistencias con las necesidades de algunos de los beneficiarios del proyecto. Esto
se debe en parte a que las investigaciones bsicas realizadas en la fase de preparacin
no fueron suficientes.

Proyecto del Centro de Tecnologa de Vaciado de Metal en el Pas B

Propsito del Proyecto: El Centro de Vaciado de Metal adquiere la capacidad de brindar
capacitacin y apoyo tcnico para la tecnologa de moldeado de plstico.

En el Plan Nacional de Desarrollo de Mediano Plazo del Pas B (1999-2004) y en el

Plan de Desarrollo de Mediano Plazo para la Ciencia y la Tecnologa (los mismos), el
gobierno del Pas B se enfoc en el desarrollo industrial a travs del mejoramiento de
las habilidades tcnicas, ubicando a la industria de moldeado y a la industria de la
produccin como elementos indispensables. El propsito del proyecto y la meta general
son consistentes con la poltica nacional y las necesidades de los beneficiarios, as que
el proyecto tiene pertinencia.
Al inicio del proyecto, la industria de moldeado de plstico tena un potencial alto, as
que se consider adecuada la cooperacin en el moldeado de plstico dentro de la
industria de moldeado que es tan diversa. Sin embargo, en la actualidad la demanda
del moldeado a presin en el pas B es todava mayor. Por lo anterior, aunque la meta
general y el propsito del proyecto eran consistentes con los planes de desarrollo, las
actividades estaban limitadas al moldeo de plstico, y el proyecto no tuvo una influencia
directa sobre la industria de moldeo como un todo que incluye varias tecnologas
(moldeado de plstico, moldeado a presin, ect.).

El caso aqu fue que la prioridad era alta, pero el plan no era adecuado en algunos puntos como medio
para solucionar problemas. En este caso, un punto de vista importante de la evaluacin es la pregunta
sobre el tipo de influencia que puede tener la baja importancia del plan en la efectividad del proyecto.
Tambin es importante un examen sobre el proceso de implementacin, y si el seguimiento se realiz de
manera adecuada respondiendo a los cambios de la situacin o no.

190
 Aqu las relaciones causales entre el efecto y el
proyecto se evaluaron cualitativamente a travs de
una comparacin con distritos no pilotos (aplicacin
[Efectividad] de un diseo semi-experimental.

Planeacin Familiar y el Proyecto de Salud Materno Infantil en el Pas C

Propsito del Proyecto: La conciencia sobre los cuidados de salud primaria y
reproductiva aumentan a travs del mejoramiento de los servicios de salud primaria y
reproductiva en los distritos pilotos de la tercera regin.

Los siguientes puntos se utilizaron como indicadores objetivo. Muestran las

diferencias importante entre los distritos piloto y los no-piloto. Podemos ver que en los
distritos piloto la conciencia sobre la importancia de las revisiones mdicas y el manejo
continuo de la salud durante el embarazo, el parto y despus del nacimiento provocan
una diferencia en el comportamiento.

Distrito Piloto Distritos No-pilotos

Oportunidad de la primera revisin 1.8 2.3
prenatal de salud (mes del embarazo)
Nmero de revisiones prenatales de 4.3 1.7
salud
Revisiones de salud para bebs y nios 59.0 12.0
pequeos (%)

La razn para esto es la mayor conciencia de los beneficiarios, sobre todo las
mujeres embarazadas y la madres, que es una consecuencia del mejoramiento de
capacidades del personal de atencin mdica y de una revitalizacin de actividades con
participacin ciudadana que, nuevamente, son el resultado de la introduccin de listas
de supervisin para las revisiones mdicas de bebs y nios pequeos (incluyendo el
uso de libretas de abono para maternidad), oportunidades para que mdicos,
enfermeras, parteras y dems partes interesadas discutan actividades y problemas, y el
desarrollo de una amplia variedad de material educativo.

Aqu la relacin causal entre el efecto y el proyecto se evala

cualitativamente de acuerdo con su relacin con el resultado.

Proyecto para la Deteccin Temprana y Cura Rpida del Cncer de Prstata

Propsito del Proyecto: Establecer un sistema de exmenes para el cncer de prstata
en la regin meta.

Se espera alcanzar el propsito del proyecto al final del mismo. Mediante

capacitaciones, seminarios y otras actividades de expertos, las contrapartes adquirieron
la tecnologa bsica para implementar un sistema de examen de cncer de prstata. Al
final del proyecto, la contraparte implement exmenes de cncer de prstata para ms
de 12,000 personas en la ciudad B. De stos, 813 resultaron positivos, 273 de ellos se
sometieron al segundo diagnstico de cncer, y a 69 personas se les diagnostic con
cncer de prstata, as que el proyecto contribuy de manera significativa a la deteccin
temprana y diagnstico de cncer (los datos corresponden hasta Mayo, 2003). Adems,
se reconoci el contenido de seis tesis de investigacin y estn recibiendo subsidios
para la investigacin del departamento de ciencias y tecnologa del pas C, de la
agencia de ciencias y tecnologa del ministerio B y de la universidad B. Como este
proyecto introdujo el primer sistema de examen de cncer de prstata en la regin
meta, podemos considerar que el nivel de logros del propsito del proyecto frente al
cncer de prstata se debe al producto del proyecto.

191
 Aqu, se explican los elementos tanto positivos como
negativos antes que el equipo de estudio de evaluacin
emita su juicio final.
[Efectividad]

Proyecto para Mejorar el Sistema de Seguimiento Agroqumico

Propsito del Proyecto: Se proporciona al mercado alimentos seguros con un nivel
adecuado de residuos agroqumicos.

Como se mencion en el objetivo del proyecto, para realizar un sistema de

seguimiento de residuos agroqumicos y la formulacin de drogas agroqumicas, se
mencionan los siguientes indicadores: (1) datos de registro de agroqumicos
almacenados y organizados, (2) implementacin sistemtica de agroqumicos
residuales, (3) creacin de conciencia en las agencias interesadas sobre la importancia
de la implementacin continua de estas investigaciones, y (4) el reconocimiento de la
importancia del uso efectivo de los resultados de las pruebas de agroqumicos
residuales. Las investigaciones de agroqumicos residuales no cubren todos los
productos del pas D, y en realidad no podemos decir que la Oficina de Cosechas
Agrcolas y la Agencia de Fertilizantes y Agroqumicos reconocen lo suficiente la
importancia de utilizar los datos de anlisis.
Sin embargo, cuando lo consideramos integralmente, los cinco productos casi se
alcanzaron como se plane desde el principio y este proyecto transfiri tecnologa y
know-how sobre elementos importantes para el establecimiento de un sistema de
seguimiento agrcola, de manera que ahora la contraparte puede implementar
independientemente anlisis de agroqumicos residuales, anlisis de formulacin de
drogas, pruebas sobre sustancias qumicas residuales en productos agrcolas, etc. Por
tanto, consideramos que este proyecto prepar las bases para alcanzar el objetivo.

Proyecto de Desarrollo para la Agricultura de Riego a Pequea Escala

Propsito del proyecto: Sistema de cultivo en regiones agrcolas de riego bajo la
jurisdiccin de la Compaa Pblica para el Desarrollo de Riego

Hasta cierto punto, la efectividad es alta. Se realizaron investigaciones y anlisis de la

situacin de cultivo principalmente en las regiones modelo sin ningn problema. Aunque
los niveles de logros varan dependiendo de las tcnicas particulares, cada una se
mejor. Por ejemplo, se eligieron variedades adecuadas para cada campo de cultivo.
En dos regiones modelo se establecieron, y enfatizaron hasta cierto punto, sistemas de
apoyo para cultivo - tales como organizaciones de agricultores y un mecanismo de
diseminacin. El establecimiento de estos sistemas de cultivo modelo contribuyeron en
gran medida al logro del propsito del proyecto.
Sin embargo, no podemos decir que el logro del objetivo sea completamente un
efecto directo del proyecto, ya que hay algunos efectos causados por insumos adems
de este proyecto, como instalaciones de riego construidas con cooperacin financiera
no reembolsable.

Aqu la obtencin del objetivo del proyecto

se deba juzgar con base en contribuciones
que no fueran el proyecto.

192
 Aqu los evaluadores trataron de
[Eficiencia] comparar con proyectos similares
pero no encontraron un proyecto
comparable.

Proyecto para el Desarrollo de Aguas Freticas y Capacitacin para el Suministro de

Agua
Propsito del Proyecto: Se fomentan recursos humanos para el desarrollo de aguas
freticas y el proyecto de suministro de agua, incorporando los puntos de vista del
Genero y Desarrollo.

El insumo humano y fsico tanto de Japn como del pas E en este proyecto se utiliz
eficientemente y contribuy a los productos de las actividades. Hubo un gran insumo de
equipo en este proyecto, ascendiendo a 375 millones de yenes. Esto fue necesario
como la inversin inicial del centro, y potencialmente el equipo se utilizar por mucho
tiempo. Tambin es necesario examinar la eficiencia de este insumo desde un punto de
vista a largo plazo.
Observe que como no se ha realizado ningn proyecto en frica que brinde el mismo
tipo de capacitacin en las mismas reas tcnicas del centro, fue difcil comparar este
proyecto con los costos de otros.

Proyecto de Salud Materno Infantil

Propsito del Proyecto: i) Reducir la mortalidad entre mujeres embarazadas, bebs y
nios pequeos en las regiones piloto (distritos A y B); ii) reducir las enfermedades
epidmicas dentro del alcance del EPI (Programa Extendido de Vacunacin) y erradicar
la polio en el pas T; iii) mejorar los servicios peditricos en el MMC (centro mdico).

La cantidad y oportunidad de insumos del lado japons fue prcticamente adecuada.

Sin embargo, en el rea de salud materno infantil, segn la evaluacin de la contraparte
en cuanto al tiempo y oportunidad de envo de expertos fue bajo. Tambin fue baja la
eficiencia de la actividad para establecer sistemas de referencia para los nacimientos
de alto riesgo ya que los planes de actividades no fueron suficientes debido a que el
manejo y direccin de los consejeros principales no alcanzaron la meta de factores
geolgicos y por una falta de habilidades de coordinacin de los expertos de largo
plazo. Adems, en el servicio peditrico en el centro mdico, las especialidades de los
expertos fueron parcialmente diferentes a las expectativas del pas T. Esto tambin
provoc una baja eficiencia.
En cuanto a los insumos del lado del pas T, hubo dos factores que obstaculizaron la
eficiencia: el pas T no soport una carga de costos suficiente y se asign al gerente de
operaciones para el laboratorio peditrico demasiado tarde.

El caso aqu fue que la insuficiencia de

planes de actividades hacia el resultado
provoc una baja eficiencia.

193
 Aqu los evaluadores detectaron
cambios en los indicadores de la meta
general. Sin embargo, se desconoce
[Impacto] la relacin causal con el proyecto.
Proyecto para la Prevencin de Enfermedades Infecciosas entre los Nios
Propsito del Proyecto: Fortalecer el establecimiento del sistema de prevencin de
enfermedades infecciosas (principalmente polio, pero tambin tuberculosis) que estn
dentro del alcance del EPI (Programa Extendido de Vacunacin).

En los ltimos cinco aos, las tasas de mortalidad de bebs, nios menores de cinco
aos y mujeres embarazadas han disminuido. Creemos que, en gran medida, estas
mejoras se deben a que ha disminuido la cantidad de brotes de enfermedades
infecciosas. Esto se logr a travs del reforzamiento de la aplicacin del sistema de
prevencin de enfermedades del EPI en el proyecto y de las actividades mdicas
materno infantiles que se fortalecieron como parte de las actividades.

1995 2000
Mortalidad de bebs y nios pequeos (por cada 1,000 104 82
nacimientos)
Mortalidad de nios menores de cinco aos (por cada 170 106
1,000 nacimientos)
Mortalidad de mujeres embarazadas y parturientas (por 656 530
cada 100,000 nacimientos) (1993)

Adems, se produjeron los siguientes efectos positivos: (1) el sistema de aplicacin

de vacunas de las provincias que se desarroll en el programa se convirti en el
lineamiento nacional, (2) las actividades de informacin, educacin y comunicacin
(IEC) ayudaron a mejorar el conocimiento de las enfermedades infecciosas del pblico
en general, (3) el Ministerio de Salud realmente no tena la costumbre de llevar registros
y la falta de documentos era una causa de la baja recepcin de vacunas de la UNICEF,
pero el fortalecimiento del sistema de organizacin y manejo de documentacin bsica
elev el nivel de habilidades administrativas del personal en el Ministerio, etc.

Proyecto para Mejorar la Tecnologa de Diagnstico de Enfermedades Infecciosas del

Ganado
Propsito del Proyecto: Obtener tcnicas para la investigacin bsica y aplicada de
mtodos de diagnstico inmunolgico de enfermedades infecciosas.

Hay una gran diferencia entre el propsito del proyecto "fortalecimiento de la

investigacin inmunolgica e inmuno-patolgica" y la meta general desarrollo de la cra
de ganado. Como las actividades del proyecto estn limitadas dentro del centro de
investigacin inmunolgica, en esta etapa no se puede observar ningn impacto
organizativo, econmico o social importante. Para alcanzar la meta general se debern
resolver temas como el diseo e implementacin de polticas de desarrollo agrcola, el
establecimiento de una agencia para la divulgacin de tecnologa de diagnstico y la
organizacin de servicios veterinarios. Sin embargo, desde el aspecto tcnico hubo
efectos de difusin tales como la introduccin de las tcnicas de diagnstico
desarrolladas en el proyecto en el departamento de veterinaria de la Universidad de
Agricultura M y la Oficina de Veterinaria del Ministerio de Alimentos y Agricultura, o la
divulgacin del conocimiento de tcnicas de diagnstico inmunolgico en clnicas
veterinarias regionales y otros laboratorios nacionales de investigacin y agencias
gubernamentales relacionadas. La divulgacin de las tcnicas adquiridas en el proyecto
ser posible si se fortalecen instalaciones tales como los complejos de bio-investigacin
o los centros veterinarios regionales.

Aqu la distancia entre el objetivo del proyecto y la

meta general era tan grande que era imposible una
evaluacin. Es necesario volver a examinar la
pertinencia en la fase de planeacin.

194
 El caso aqu es que desde los aspectos
polticos, tecnolgicos y financieros, la
sustentabilidad es alta aunque existe
todava posibilidades para mejorar.
[Sustentabilidad]
Programa de Mejoramiento para el Centro Mdico y la Seguridad Ocupacional
Propsito del Proyecto: Fortalecer las funciones del Centro de Salud y la Seguridad
Ocupacional.

En cuanto al aspecto poltico, el nuevo Noveno Plan de Desarrollo Nacional incluye la

promocin eficiente de la salud y la seguridad en el sitio de trabajo, y enumera nueve
actividades relativas a la salud ocupacional y la seguridad (actividades educativas, etc.).
El personal que trabaja en el centro tiene experiencia en dar a conocer trabajos de
investigacin, anlisis cientficos y xamenes, y en seminarios de organizacin
relacionados con el rea de la salud ocupacional y la seguridad. El centro adquiri una
gran cantidad de tcnicas y un gran nmero de personal con antecedentes de
educacin de alto nivel. De lo anterior, consideramos que la sustentabilidad tecnolgica
es alta. En cuanto al aspecto organizativo, al momento de la evaluacin final se est
llevando a cabo una reestructuracin organizativa, pero tambin despus de esta
reestructuracin, el centro dice que mantendr la organizacin, actividades y personal
actuales.
Por otro lado, hay un tema importante: asegurar expertos mdicos en el rea de
salud ocupacional y seguridad de otras organizaciones cuya cooperacin es
indispensable, as como asegurar operadores de maquinaria y dems personal de
asistencia en el rea de la salud ocupacional y la seguridad. Actualmente, los
prospectos de estabilidad financiera son buenos, ya que el centro asegur recursos
financieros del presupuesto nacional y se sistematiz el aseguramiento de
presupuestos mediante la fundacin del seguro de lesiones de trabajo.
De lo anterior, creemos que existen suficientes posibilidades de que el centro podr
utilizar de manera efectiva y continua los efectos directos de este proyecto en el futuro y
que tiene una alta sustentabilidad.

Proyecto para el Desarrollo de Produccin de Vegetales en Granjas Pequeas

Propsito del Proyecto: Mejorar la tecnologa de produccin de vegetales de
agricultores de pequea escala en el Laboratorio Nacional de la Oficina del Ministerio
de Agricultura y que los agricultores lderes de pequea escala en la regin meta la
utilicen.

Algunos de los agricultores lderes ahora guan a otros agricultores y esperamos que la
tcnica se divulgue en el futuro. Sin embargo, para seguir investigando y divulgando las
tcnicas en un rea ms extendida, el laboratorio necesita mantener la capacidad de
investigacin de vegetales y la Oficina de Extensin del Ministerio de Agricultura
necesita determinar los detalles de cmo apalancar la iniciativa del sector privado para
la divulgacin y fortalecer la capacidad de manejo.
A lo largo de la cooperacin, no podemos negar que el pas P no adopt una carga
suficiente de los costos locales. Por el momento, el laboratorio planea continuar sus
actividades con presupuestos nacionales. Su propio ingreso se paga por completo al
tesoro nacional, y luego se le regresa al laboratorio. No obstante, como existen muchos
factores de incertidumbre, tales como el calendario y proporcin del reembolso, la
situacin actual hace difcil ver un prospecto brillante para el mantenimiento y desarrollo
del efecto directo del programa y para el desarrollo organizativo y la difusin de la
produccin de vegetales.
En cuanto al aspecto tcnico, la contraparte adquiri slidamente las tcnicas
transferidas, pero en realidad no podemos decir que se han establecido en la
organizacin. Como investigadores, las contrapartes establecieron sus propios temas
de investigacin, pero no han llegado a un nivel en que puedan implementar los
mtodos de investigacin totalmente por s mismos.

Aqu la distancia entre el objetivo del proyecto y la

meta general era tan grande que era imposible una
evaluacin. Es necesario volver a examinar la
pertinencia en la fase de planeacin. 195
4. Temas Principales de las Evaluaciones Ex-post

(1) Propsito y Temas de las Evaluaciones Ex-post

Las Evaluaciones Ex-post verifican si los efectos directos que persegua el proyecto
continan cierto tiempo despus de la terminacin de la cooperacin. Los resultados de
estas evaluaciones se retroalimentan a proyectos similares de la JICA en la fase de
planeacin o a la formulacin de programas a macro nivel, por ejemplo, los Programas
por Pas de la JICA. stos se reflejan en la implementacin efectiva y eficiente de dichos
proyectos.
Como ya termin la cooperacin de la JICA, el resultado de las evaluaciones ex-post
tambin incluye recomendaciones para la organizacin del pas socio que contina las
actividades. Adems, un factor importante es que de la gestin de la organizacin como
un todo se extraen recomendaciones y lecciones aprendidas concretas para los esfuerzos
futuros de la JICA.
En las evaluaciones ex-post, los estudios se enfocan en dos criterios de evaluacin:
impacto - que se espera aparezca despus de cierto tiempo de haber terminado la
cooperacin, y sustentabiidad - donde los evaluadores observan si el efecto se produce
de manera continua despus que termin la cooperacin. Hasta la evaluacin final, estos
criterios siempre se examinaron sobre la base de sus posibilidades, pero en la evaluacin
ex-post, se examinan sobre la base de sus resultados. Si es necesario, las evaluaciones
tambin se realizan desde el punto de vista de la pertinencia (consulte la tabla 3-2-1).
Cuando se evala el impacto, es importante verificar las relaciones causales del
proyecto de cooperacin, igual que en el caso de la efectividad. Otros factores
independientes del proyecto pueden influir con mucha facilidad en el impacto, ya que es
un efecto indirecto esperado a largo plazo. Si el proyecto est ubicado como parte de un
programa, los evaluadores tambin deben observar los impactos desde el punto de vista
de los efectos sinrgicos con otros proyectos.
Cuando se examina la sustentabilidad, es posible realiza el anlisis refirindose al
insumo, actividades y productos continuados del proyecto de cooperacin, sobre todo si
el proyecto sigue dirigido por la misma organizacin que lo dirigi durante la cooperacin.
Por ejemplo, en los proyectos de capacitacin y divulgacin, los evaluadores pueden
captar la sustentabilidad si observan el estado de implementacin de las capacitaciones y
el desarrollo del material de enseanza. Adems, si el trabajo contina de una manera
nueva que es diferente al proyecto de cooperacin y esto muestra un efecto directo, los
evaluadores necesitan considerar si el nuevo sistema se desarroll a partir del efecto
directo de la cooperacin. Por ejemplo, en los proyectos de R/D, es posible examinar la
sustentabilidad captando el proceso de utilizacin de tcnicas desarrolladas para el
siguiente desarrollo.

196
Tabla 3-2-8 Puntos de Verificacin de las Evaluaciones Ex-post
Puntos de Puntos de Verificacin de la Evaluacin
Evaluacin
Nivel de logros de la meta general
Se alcanz la meta general? (compare con las metas)
Qu influencia tiene el logro de la meta general sobre el plan de
desarrollo del pas socio?
Contribuye a la solucin de problemas de desarrollo?
Cules son los factores que dificultaron y promovieron el logro de la
meta general?
Relaciones causales
La meta general es un impacto producido a travs de la
implementacin del proyecto?
Las suposiciones importantes del propsito del proyecto a la meta
Impacto general son correctas? Hay alguna influencia a partir de las
suposiciones importantes?
Efectos de difusin
Hubo algn impacto positivo o negativo adems de la meta general?
* Influencia sobre el desarrollo de polticas, leyes, normas y similares
* Influencias sobre los aspectos sociales y culturales tales como gnero,
derechos humanos, ricos y pobres
* Influencia sobre la proteccin ambiental
* Influencia derivada de cambios tcnicos
* Influencias econmicas sobre la sociedad objetivo, las partes
interesadas, los beneficiarios
Hay impactos diferentes dependiendo de las diferencias entre gneros,
grupos tnicos o estratos sociales (sobre todo impactos negativos)?
La agencia de implementacin del pas socio continua con las
actividades del proyecto? El efecto que persegua el proyecto
(propsito del proyecto o meta general) se produce continuamente con
esto?
Sustenta- Cules son los factores que dificultan y que contribuyen a la
bilidad sustentabilidad?
(Prospectos) Polticas y sistemas
* Continuidad del apoyo poltico
* Lo que es * Desarrollo de estipulaciones y sistemas legales relacionados
indispensable para * En el caso de proyectos centrados en sitios piloto, existen esfuerzos
asegurar la confiables para ayudar a divulgar los efectos directos posteriormente?
sustentabilidad Aspectos organizativos y financieros
depende del z Se tiene suficiente capacidad organizativa para implementar
contenido del actividades que produzcan efectos? (Asignacin de recursos
proyecto. Se debe humanos, proceso de toma de decisiones, etc.)
implementar el z Se tiene un sentido de conciencia de la iniciativa propia en las
estudio con esto en agencias de implementacin?
mente. z Aseguramiento del presupuesto (incluyendo los gastos de operacin)
Tcnicas
z Establecimiento de tcnicas transferidas
z Mantenimiento y manejo del equipo
z Hay algn mecanismo de divulgacin (incluyendo la divulgacin a

197
 otras regiones de proyectos que se implementaron en los sitios piloto?
Sociedad, cultura, medio ambiente
z Hay factores que obstaculizan debido a la falta de consideracin
hacia las mujeres, los pobres y los socialmente vulnerables?
z Hay factores que obstaculizan debido a la falta de consideracin al
medio ambiente?
* Las evaluaciones ex-post examinan los resultados y los procesos de implementacin y
evalan la pertinencia segn sea necesario. Estos puntos de vista de evaluacin se manejan
igual que en las evaluaciones finales.

(2) Diseo de la Evaluacin Ex-post

El diseo de las evaluaciones ex-post tambin sigue el mismo proceso que otros estudios
de evaluacin. Consulte la Parte II, Captulo 2 para obtener explicaciones ms detalladas
sobre el diseo de la evaluacin. Las caractersticas del diseo de la evaluacin ex-post
son las siguientes:
i) Temas cuando se consideran las preguntas de evaluacin
Las principales preguntas de evaluacin comunes a todas las evaluaciones ex-post
son continua el efecto sin apoyo externo despus que termin la cooperacin? y se
produjo un impacto de largo plazo? Desde el punto de vista de los Cinco Criterios de
Evaluacin, impacto" y sustentabilidad son los criterios principales para esta evaluacin.
La evaluacin final termin de verificar la eficiencia y la efectividad y, por principio, la
evaluacin ex-post no verifica estos criterios.
Para hacer un borrador de preguntas de evaluacin ms concretas, los evaluadores
pueden utilizar los informes de las evaluaciones intermedia y final. Como ya se
examinaron los pronsticos de las posibilidades de sustentabilidad e impacto, los
evaluadores pueden obtener claves de lo que es importante verificar.
ii) Temas al considerar criterios y mtodos de juicio
Al examinar el impacto en las evaluaciones ex-post, los evaluadores necesitan
comparar el nivel de logros con las metas y analizar las relaciones causales para
determinar si la cooperacin realmente caus el impacto. A diferencia de los exmenes
de efectividad, con frecuencia los exmenes de impacto cubren amplias reas de la
sociedad objetivo, y en muchos casos, es adecuado captar las tendencias, por ejemplo,
en las encuestas por muestreo (consulte 2-2-2 para informacin sobre mtodos de
comparacin y 2-2-3 para encuestas por muestreo).
iii) Temas relativos a las fuentes de informacin y mtodos de recopilacin de datos
En comparacin con otros estudios de evaluacin es difcil identificar las fuentes de
informacin despus que termin la cooperacin ya que es posible que hayan transferido
a las personas que participaron en la cooperacin o que stas dejen sus trabajos.
Dependiendo del caso, los evaluadores necesitan consultar con anticipacin con la
agencia de implementacin del proyecto que se va a evaluar e identificar las fuentes de
198
informacin adecuadas junto con la agencia (consulte 2-2-1 para informacin sobre los
mtodos de recopilacin, tipos de datos y caractersticas/puntos a recordar).
iv) Temas relativos a la tabla de evaluacin
Al igual que en las otras evaluaciones, es necesario resumir el mtodo de evaluacin
en una tabla de evaluacin. Las evaluaciones ex-post se realizan bajo la iniciativa de la
oficina en el extranjero, para que sea posible consultar directamente a las partes
interesadas del pas socio que participaron en el diseo de la evaluacin. En este
momento, la tabla de evaluacin tambin se puede utilizar como herramienta de
comunicacin. El proceso de compartir el diseo con las agencias socias es importante
tambin para profundizar el conocimiento comn de la evaluacin y para obtener el
compromiso de parte del socio en relacin con el estudio de evaluacin.

(3) Interpretacin y Resumen de los Datos de la Evaluacin Ex-post

Tal como se explica en la Parte II, Captulo 3, evaluacin significa interpretar los datos
recopilados y analizados - no es suficiente si slo se enumeran los datos y se aaden los
resultados del cuestionario. Al igual que en las evaluaciones intermedia y final, el proceso
de interpretacin de las evaluaciones ex-post realiza una "evaluacin de cada uno de los
cinco Criterios de Evaluacin" y luego saca una conclusin. De ella se extraen las
recomendaciones y lecciones aprendidas.
Las metas principales de retroalimentacin de las evaluaciones ex-post son las
organizaciones que implementan el proyecto (el proyecto continua despus de la
cooperacin), la divisin de implementacin respectiva de la JICA, y las oficinas de la
JICA en el extranjero. Sobre todo en el caso de la ltima, los resultados de las
evaluaciones ex-post se convierten en fuentes de informacin importantes para hacer
bosquejos de programas para el rea especfica de ese pas, o cuando se hace el
borrador de proyectos nuevos. Incluso si se vio algn efecto durante la cooperacin
(aunque los resultados de la evaluacin final hayan sido buenos), en algunos casos los
efectos no estn sustentados al final de la cooperacin y no contribuyen al objetivo a
largo plazo que el proyecto persegua. En estos casos, se cuestiona el valor de la
implementacin misma del proyecto, y estos casos brindad lecciones aprendidas valiosas
con respecto a cmo se deben formular los planes y estrategias de un proyecto.
La retroalimentacin a la JICA se utiliza principalmente para las siguientes
consideraciones.
z Establecimiento de estrategias a largo plazo para el rea respectiva
z Programa de cooperacin en el rea respectiva
z Seleccin de las agencias de implementacin adecuadas
z Necesidad de incorporar una estrategia para fortalecer la capacidad
organizativa
z Estrategias efectivas del proyecto
199
 z Implementacin de proyectos relacionados en el rea correspondiente
Observe que, en principio, las evaluaciones ex-post se realizan bajo la iniciativa
de las oficinas en el extranjero.

200
 Preguntas Frecuentes
relativas a la Evaluacin
de Proyectos de la JICA

201
Preguntas Frecuentes Relativas a la Evaluacin de Proyectos de la JICA

1. Preguntas generales sobre la Evaluacin de Proyectos de la JICA

1.1 La evaluacin ex-ante se enfoca en la planeacin del proyecto, pero no entiendo el significado de
la evaluacin que se realiza como parte de sta.
1.2 No entiendo la diferencia entre el mtodo PCM y el mtodo de evaluacin de la JICA.
2. Preguntas de evaluacin
2.1 No entiendo qu son las preguntas de evaluacin.

2.2 No entiendo la relacin entre las preguntas de evaluacin y los Cinco Criterios de Evaluacin.
3. Mtodo de encuestas cuando hay un problema con el marco lgico
3.1 Qu se debe hacer cuando el propsito del proyecto es simplemente una nueva exposicin del
producto?
3.2 Qu se debe hacer cuando la meta general difiere del propsito del proyecto?
3.3 Cmo se evalan los proyectos que tienen dos propsitos?
3.4 Cmo se evalan los proyectos que tienen planos vagos o que difieren de la PDM que se
prepar inicialmente?
4. Indicadores
4.1 Qu se debe hacer cuando no hay suficientes indicadores o no coinciden con el propsito del
proyecto?
4.2 Cmo se debe llevar a cabo la evaluacin cuando se determina que no existen valores objetivo
o son inadecuados?
4.3 Cmo se puede verificar si los valores objetivo son adecuados?
4.4 Es necesario considerar todos los indicadores como cuantitativos?
5. Mtodo de evaluacin
5.1 No me queda claro qu significa la "lgica" del proyecto.
5.2 Cmo se deben presentar los resultados de la evaluacin cuando parece que el proyecto no
podr alcanzar su propsito?
5.3 El proyecto est implementando actividades que no se mencionan en el marco lgico y dichas
actividades estn produciendo productos. Cmo se evalan esos productos? Se consideran
efectos indirectos?
5.4 No entiendo cul es el punto de vista del proceso de implementacin y cmo se utiliza en la
evaluacin.
5.5 Cmo se evalan puntos tales como el nivel de funciones aumentadas, conocimientos/
habilidades mejoradas y empoderamiento?
5.6 Cuando se evala el mejoramiento de capacidad, etc., cmo se evalan los proyectos que no
tuvieron buen seguimiento hasta el momento de la evaluacin?
5.7 Cmo se evalan los proyectos que se implementan en colaboracin con otros donadores o los
proyectos del gobierno de un pas socio que la JICA asume parcialmente?
6. Cinco Criterios de Evaluacin
6.1 Por qu son necesarios los Cinco Criterios de Evaluacin?
6.2 Es necesario examinar los cinco criterios, an en el caso de proyectos pequeos?
6.3 Es suficiente con slo discutir la pertinencia que coincide con el plan de desarrollo y la poltica
de asistencia?

202
6.4 Cuando se verifica la efectividad, cmo se debe considerar la relacin causal con los productos?
6.5 Cmo se debe considerar el impacto cuando se va a determinar si es resultado de la
implementacin del proyecto?
6.6 Cmo se debe considerar la eficiencia de la cooperacin tcnica?
7. Papel de la Tabla de Evaluacin
7.1 Por qu es necesaria la Tabla de Evaluacin cuando existe el marco lgico?
7.2 No entiendo la relacin entre la Tabla de Evaluacin y el marco lgico.
7.3 Cmo evito que los datos necesarios y el alcance de la encuesta ocupen proporciones enormes
cuando prepare la Tabla de Evaluacin?
7.4 Incluso si preparo una Tabla de Evaluacin, no s cmo utilizarla.
7.5 Por qu no se utiliza la PDM?
8. Pas socio
8.1 Es necesaria la participacin del pas socio en la evaluacin?
8.2 Cmo debe proceder en la evaluacin si el pas socio tiene su propio mtodo de evaluacin?
9. Preparacin del Informe de Evaluacin
9.1 Es necesario preparar una versin en ingls del informe?
9.2 Qu puntos se deben tener en mente cuando las personas a cargo verifiquen el informe?

1. Preguntas generales sobre las Evaluaciones de Proyectos de la JICA

1.1 La evaluacin ex-ante se La evaluacin ex-ante de la JICA incluye tanto la Pg. 118
enfoca en la planeacin planeacin del proyecto como la evaluacin del
del proyecto, pero no contenido del plan. El papel de la evaluacin en la
entiendo el significado de evaluacin ex-ante es verificar la idoneidad del
la evaluacin que se proyecto al observar su plan va los Cinco Criterios
realiza como parte de de Evaluacin y retroalimentar a la planeacin
sta. cualquier problema o tema que surja mediante este
proceso. El objetivo es formular un proyecto
adecuado mediante este proceso.
1.2 No entiendo la diferencia 1. El mtodo PCM es una forma de evaluacin
entre el mtodo PCM y el participativa
mtodo de evaluacin de - El mtodo PCM es un mtodo de gestin de
la JICA. proyectos que incorpora el concepto de
participacin. Est compuesto de 1) un mtodo
para formular planes participativos mediante la
implementacin de talleres participativos, y 2)
mtodos de seguimiento y evaluacin. Los PDM que
se utilizan en este proceso y los Cinco Criterios de
Evaluacin tambin se utilizan en el mtodo de
evaluacin de la JICA.
- El mtodo de Evaluacin de Proyectos de la JICA
que se explic en estos lineamientos se desarroll
reuniendo las caractersticas de los proyectos de
cooperacin tcnica de la JICA y los mtodos para
gestionar dichos proyectos. Por lo tanto, combinan

203
 una variedad de tcnicas de evaluacin necesarias
en la evaluacin de la JICA, tales como la aplicacin
del marco lgico con base en un modelo lgico,
verificacin del proceso de implementacin,
preparacin de la Tabla de Verificacin, verificacin
de las relaciones causales, mtodos para llevar a
cabo evaluaciones cuantitativas y cualitativas, etc.
Por consiguiente, las evaluaciones no utilizan
nicamente el mtodo PCM.
- Por ejemplo, los talleres participativos, que son una
caracterstica principal del mtodo PCM, se utilizan
como medio para obtener consenso entre las partes
interesadas en la evaluacin ex-ante y estn
produciendo efectos. Sin embargo, es importante
tomar nota que hacer esto no es tan suficiente como
una evaluacin ex-ante. Cuando se realizan las
evaluaciones ex-ante, adems de las encuestas de
base y las valoraciones de necesidades, es
importante utilizar al mximo las tcnicas de
evaluacin arriba mencionadas.

2. La PDM y el mtodo PCM no son lo mismo

- La PDM, que es una herramienta de gestin de
proyectos utilizada en el mtodo PCM, es una forma
de marco lgico que se produce a partir del modelo
lgico. El marco lgico se utiliza ampliamente como
herramienta para la gestin de proyectos, no slo en
el mtodo PCM sino tambin en otros mtodos de
manejo. Por lo tanto, se debe observar que la PDM y
el mtodo PCM no se refieren a lo mismo.
- La JICA utiliza la PDM (marco lgico) porque realiza
sus evaluaciones utilizando el modelo lgico, que es
una de las teoras de evaluacin.

2. Preguntas de Evaluacin
2.1 No entiendo qu son las
preguntas de evaluacin.
- La evaluacin es una respuesta a las preguntas Pgs. 51 - 54
sobre el proyecto, y las preguntas de evaluacin
son el punto de partida para encontrar dicha
respuesta.
- Las preguntas de evaluacin comparan las
etapas del proyecto evaluado y cada elemento de
su contenido con el propsito del mismo. Se
establecen para cubrir temas que se deben
abordar para su verificacin. El departamento que
est a cargo del proyecto considera cules son los

204
 puntos que se deben verificar y cules podran ser
tiles para corregir y mejorar el proyecto.
2.2 No entiendo la relacin - La JICA utiliza los Cinco Criterios de Evaluacin Pgs. 51 54
entre las preguntas de como base para sus evaluaciones de proyectos y,
evaluacin y los Cinco en esencia, la evaluacin del proyecto (juicio de
Criterios de Evaluacin. valor) se realiza tomando en consideracin los
cinco criterios. Cuando se consideran preguntas
de evaluacin especficas, es ms fcil establecer
preguntas si se observa cada criterio. La persona
a cargo puede seleccionar entre los cinco criterios
aquellos puntos que requieren nfasis y aquellos
que no.
- Sin embargo, en las evaluaciones sobre un tema
especfico, la pregunta de evaluacin y el tema
especfico son lo mismo. En esos casos, los Cinco
Criterios de Evaluacin no se pueden utilizar como
base.

3. Mtodo de encuestas cuando hay un problema con el marco lgico

Al disear la evaluacin, el equipo de evaluacin comprende el contenido y lgica del proyecto haciendo
referencia al marco lgico. Si el equipo observa algo inconsistente con el contenido del marco lgico,
puede adoptar las siguientes acciones.
3.1 Qu se debe hacer cuando - Se pueden asumir dos casos: Primero, los Pgs. 38 - 40
el propsito del proyecto es conceptos de los productos y del propsito del
simplemente una nueva proyecto parecen ser declaraciones de lo mismo
exposicin del producto? ya que las partes interesadas no los entienden
bien. Segundo, hay un problema con la expresin
Ejemplo (las oraciones deben decir cosas diferentes, pero
Propsito del Proyecto: no estn bien expresadas).
Divulgar la tecnologa - Si se est diciendo lo mismo de dos maneras,
adecuada al Pas A a los verifique para ver si el contenido del marco lgico
agricultores modelo refleja correctamente el proyecto real. El mtodo
para llevar esto a cabo incluye una revisin de los
Productos: informes del proyecto y de la informacin de
1) Se desarrolla la seguimiento y entrevistas con el personal
Tecnologa B, que es interesado. Si el propsito y productos del
adecuada para el pas A proyecto se entienden como debe ser (es decir, si
2) Se divulga la Tecnologa se determina que las descripciones en el marco
B a los agricultores modelo lgico no estn reflejadas en el proyecto real),
estos puntos se debern reflejar en las preguntas
de evaluacin en la Tabla de Evaluacin. Si es
necesario llevar a cabo una encuesta de campo
para identificar claramente los conceptos iniciales,
incluya en las columnas de Efectividad y Eficiencia
de la Tabla de Evaluacin inicialmente, cules

205
 eran el propsito y los productos del proyecto?
como pregunta de evaluacin. Despus lleve a
cabo una encuesta enfocndose en entrevistas
con personas interesadas y revisiones de
materiales. Luego, con base en esto, vuelva a
verificar la efectividad y eficiencia del proyecto.
- Por ltimo, hay muchos casos donde los
indicadores difieren, incluso si estn expresados
de la misma manera en la descripcin general del
proyecto. Por lo tanto, es importante ver primero
los indicadores. (En el caso de la columna
izquierda, si el indicador para el Producto 2 se
refiere al nivel de mejoramiento tcnico de los
agricultores y el indicador para el propsito del
proyecto seala hacia el mejoramiento de la
productividad de la cosecha, no se puede decir
que estn describiendo lo mismo con diferentes
palabras.)

3.2 Qu se debe hacer - Observe si la descripcin de la meta general Pgs. 38 - 40

cuando la meta general describe correctamente las condiciones reales del Pg. 192
difiere del propsito del proyecto (por ejemplo, el personal del proyecto
proyecto? tiene una idea de la meta general que coincide con
la descripcin?) Los medios para realizarlo
incluyen revisiones de los informes del proyecto y la
informacin de seguimiento, as como entrevistas
con las personas interesadas. En casos donde el
contenido de la meta general se entiende como se
debe (es decir, se determina que las descripciones
en el marco lgico no reflejan correctamente las
condiciones reales), este punto se debe reflejar en
las preguntas de evaluacin de la Tabla de
Evaluacin. En casos donde esto no se puede
confirmar sin una encuesta de campo, se debe
incluir la pregunta cul debe ser la meta general?
como una pregunta de evaluacin en la columna de
Impacto en la Tabla de Evaluacin. Despus se
debe realizar una encuesta enfocada en las
entrevistas con las partes interesadas y revisiones
de materiales. Luego se debe volver a verificar el
Impacto del proyecto.
3.3 Cmo se evalan los - Se pueden asumir dos casos: Primero, se Pgs. 38 - 40
proyectos que tienen dos presentan dos metas aunque se podran expresar
propsitos? como una sola. Segundo, existen varios proyectos
dentro de un programa.

206
 - En el primer caso, comntelo con las personas
interesadas para que se enfoquen en una sola meta
cuando hagan el diseo de evaluacin. Si las
metas no se pueden unificar, es necesario evaluar
el proyecto por separado, como dos proyectos
diferentes.
- En casos donde hay muchos proyectos, y se
puede asumir que estn reunidos en un solo
programa, realice la evaluacin considerando la
meta del programa. Por ejemplo, si no hay un
programa general que cubre varias reas, y hay
marcos lgicos que se enfocan en cada rea,
verifique los resultados, el proceso de
implementacin, la eficiencia y la efectividad de
cada marco lgico; luego realice una evaluacin
creando un marco lgico para el programa en
general que observe la pertinencia, el impacto y la
sustentabilidad (los grupos del proyecto se
implementan con base en la misma estrategia, as
que les deber ser posible compartir propsitos y
metas generales del proyecto).

3.4 Cmo se evalan los - Si el proyecto tiene un plan vago, primero trate de Pg. 38 - 40
proyectos que tienen arreglar el proyecto a evaluar utilizando al mximo
planos vagos o que difieren el modelo lgico del proyecto y armando un marco
de la PDM que se prepar de trabajo para l. Cuando haga esto, consulte la
inicialmente? informacin cualitativa obtenida mediante las
revisiones de los documentos del proyecto y los
informes relacionados, entrevistas con las partes
interesadas, etc.
- Con base en esto, examine las preguntas de
evaluacin, las normas de juicio, los mtodos de
recopilacin de datos, etc., y prepare una Tabla de
Evaluacin.
- En el caso de proyectos que tienen planes vagos
o que no son lgicos, hay casos donde puede ser
difcil enfocarse en cul de los muchos efectos
directos es el propsito del proyecto y cules son
los efectos indirectos. Esto pasa sobre todo
cuando el proyecto mismo es el resultado directo y
donde no hay conciencia de los resultados a largo
plazo. En esos casos, es imposible realizar una
evaluacin cercana de la Efectividad e Impacto
entre los Cinco Criterios de Evaluacin. Por tanto,
realice la evaluacin dentro de un alcance factible

207
 una vez que decida explicar estas limitaciones en el
Informe de la Evaluacin. Este tipo de evaluacin
no es intil, ya que existe la posibilidad de poder
obtener recomendaciones y lecciones aprendidas
concretas relativas a la etapa de planeacin (por
ejemplo, falta de claridad en los resultados
esperados, falta de conciencia entre el personal del
proyecto y problemas de gestin).

4. Indicadores
4.1 Qu se debe hacer - Si se considera que los indicadores son Pgs. 41 - 43
cuando no hay suficientes insuficientes o inadecuados, el equipo de
indicadores o no coinciden evaluacin debe considerar indicadores nuevos y
con el propsito del llevar a cabo una evaluacin que sea consistente
proyecto? con estos indicadores.
- En este caso, existe una alta probabilidad de que
surjan problemas en los resultados del proyecto que
se comprende mediante el seguimiento. Por lo
tanto, se puede suponer que el enfoque de la
evaluacin no se extender ms all de la
verificacin de resultados debido a las limitaciones
de tiempo. En este caso, es importante observar
claramente dichas limitaciones en el Informe de
Evaluacin utilizando el siguiente tipo de
declaraciones: a) no se pudo realizar una
evaluacin completa sobre la verificacin de la
relacin causal, etc., b) como resultado, el marco de
trabajo de seguimiento y la evaluacin intermedia
fueron insuficientes (en el caso de evaluaciones
finales), y c) como no se pudo implementar la
evaluacin con indicadores inadecuados, es
importante estudiar correctamente la pertinencia de
los indicadores aprovechando las oportunidades
que se presentan no slo en la evaluacin ex-ante,
sino tambin en el seguimiento.
4.2 Cmo se debe llevar a - El equipo de evaluacin puede establecer un Pg. 61
cabo la evaluacin cuando alcance razonable de los criterios de comparacin
se determina que no para la evaluacin (por ejemplo, valores promedio
existen valores objetivo o del pas, normas internacionales de juicio, etc.).
son inadecuados?

4.3 Cmo se puede verificar - Cuando se clasifican de manera general, la

si los valores objetivo son mayora de los problemas con la verificacin de los
adecuados? valores objetivo cae en uno de los siguientes tres

208
 patrones. Por favor consltelos cuando realice las
evaluaciones.
1. Casos donde las necesidades de los
beneficiarios se enumeran como los valores
objetivo sin modificacin. Es importante volver
a determinar si estos criterios son adecuados o
no comparndolos contra la escala y
actividades del proyecto.
2. Casos en donde no es claro cmo se determin
el nmero de personas objetivo. Por ejemplo, si
el valor objetivo es se capacitarn 200
trabajadores de extensin, no hay mencin de
por qu el nmero 200 es pertinente (por
ejemplo, qu impacto tendr sobre el sistema
de divulgacin, etc.).
3. Casos en donde, aunque el nivel de
satisfaccin y otros trminos se cuantifican y se
establecen como valores objetivo, las razones
detrs de esas cantidades no son claras. Por
ejemplo, si el valor objetivo es 50% de los
participantes en la capacitacin estn
satisfechos, la base para la cifra 50% no es
clara.
4.4 Es necesario considerar - Como regla, los indicadores se deben ver como Pgs. 41 - 43
todos los indicadores como cuantitativos para conservar la objetividad. Sin
cuantitativos? embargo, en los casos donde esto es difcil, es
posible realizar una evaluacin indicando las bases
cualitativas que son aceptables para las partes
interesadas. Por ejemplo, es posible utilizar
adquisicin de calificaciones internacionales (por
ejemplo, ISO9000, etc.) o emisin de certificados
de una entidad autorizada.
- El punto importante es confirmar si las partes
interesadas aceptan o no los puntos que se estn
utilizando como bases para la evaluacin.

5. Mtodo de evaluacin
5.1 No me queda claro qu - La evaluacin verifica si los insumos o actividades Pgs. 33- 38
significa la "lgica" del realmente condujeron o no a los resultados que se
proyecto. esperaban al inicio. Los proyectos que se
determina tienen una tasa alta de incidencia se
consideran lgicos. Es importante considerar
planes que tienen las posibilidades ms altas de
producir los efectos finales deseados despus de
haber considerado por completo las suposiciones

209
 importantes del marco lgico (en el rea de la
evaluacin y la investigacin se utiliza con
frecuencia el trmino verosmil).
- Aunque se puede utilizar el enfoque si-entonces
del marco lgico como referencia para confirmar la
lgica, es importante considerar los siguientes
puntos de vista para confirmar la pertinencia de su
contenido:
1. Consulte las experiencias de proyectos similares.
2. Aprenda cules mtodos son efectivos para cada
rea (es necesario tener expertos y consultores
que hagan esto).
3. Estudie los mtodos de implementacin de otros
donadores.
4. Tome en cuenta la experiencia nacional en el
rea objetivo.

5.2 Cmo se deben presentar - Describa las bases de la poca posibilidad de Pg. 40
los resultados de la alcanzar el propsito del proyecto (resultados de las
evaluacin cuando parece mediciones de los indicadores, etc.) y analice y
que el proyecto no podr explique los factores que dificultaron el progreso y
alcanzar su propsito? condujeron a esta situacin. La evaluacin ganar
importancia si stos se reflejan en las
recomendaciones y lecciones aprendidas. Como la
evaluacin se realiza para mejorar el proyecto, es
importante observar claramente las razones por las
que tiene una tasa de logros baja.
5.3 El proyecto est - El hecho que se estn llevando a cabo actividades Pgs. 38 - 40
implementando actividades del proyecto significa que en cierto grado estn
que no se mencionan en el utilizando insumos del mismo, y por tanto, no son
marco lgico y dichas efectos indirectos.
actividades estn - Si estas actividades adicionales se pueden incluir
produciendo productos. como parte de las actividades del proyecto (y si no
Cmo se evalan esos hay problemas en trminos de la lgica), inclyalos
productos? Se en la evaluacin.
consideran efectos - En caso que no exista una conexin directa entre
indirectos? las actividades adicionales y el propsito y
productos del proyecto, estudie los antecedentes
para saber por qu se aadieron estas actividades
y cul es su pertinencia. Por ejemplo, si estas
actividades se implementaron por un exceso de
insumos, esto conduce a preguntas sobre la
pertinencia del plan de insumos y el proceso de
implementacin. O, si las actividades adicionales
estn contribuyendo a la generacin de productos o

210
 a alcanzar el propsito del proyecto, se pueden
evaluar como factores contribuyentes.
5.4 No entiendo cul es el - La informacin sobre el proceso de Pgs. 46- 47
punto de vista del proceso implementacin incluye el estado de
de implementacin y cmo implementacin de actividades y los puntos que
se utiliza en la evaluacin. ocurren en el sitio del proyecto. Por lo tanto, existe
mucha informacin cualitativa en esos puntos, tal
como la comunicacin entre los expertos y las
contrapartes, la relacin entre el proyecto y los
beneficiarios, y la relacin entre la Oficina Central
de la JICA y el proyecto. Aunque algunos de estos
puntos tal vez no se entiendan con slo medir los
valores objetivo de los indicadores, pueden tener un
impacto sobre la gestin del proyecto.
- Con frecuencia se puede utilizar la informacin
sobre el proceso de implementacin cuando se
analizan los factores que dificultan y que
contribuyen en un proyecto (por ejemplo,
identificacin de la falla de implementacin). Por
lo tanto, cuando estudie cada uno de los Cinco
Criterios de Evaluacin, observe la correlacin entre
el proceso de implementacin-la informacin
relacionada y los resultados del estudio de los
criterios. En los casos donde se confirma alguna
correlacin (pero no lo suficiente para demostrar
una relacin causal), realice entrevistas y
cuestionarios para buscar una relacin causal de
mayor profundidad.

5.5 Cmo se evalan puntos - Incluso aquellos puntos que a simple vista Pgs. 41 - 43
tales como el nivel de parecen difciles de medir (aumento de las
funciones aumentadas, funciones, mejoramiento del conocimiento/
conocimientos/ habilidades tecnologa, empoderamiento, etc.), es posible llevar
mejoradas y a cabo evaluaciones estableciendo indicadores
empoderamiento? sustituto, etc. Por ejemplo, en el caso del aumento
de las funciones, considere concretamente la
funcin que se debe aumentar. Si el objetivo es
aumentar la capacidad para implementar la
capacitacin, es posible evaluar el aumento de
habilidad para implementar la capacitacin
observando 1) el proceso de implementacin y la
idoneidad de sus actividades consecutivas,
incluyendo la planeacin e implementacin de la
capacitacin, la auto-evaluacin, y la revisin de los
planes de capacitacin (se necesitar una serie de

211
 indicadores para medir estos puntos), y 2) si los
participantes en la capacitacin y los expertos
comprometidos con la transferencia de tecnologa
consideran la capacitacin adecuada (se
necesitan indicadores detallados para determinar
que tan apropiada la consideran).
- De la misma manera, considere indicadores
sustituto para el mejoramiento del conocimiento/
tcnico y el empoderamiento. En cuanto al
incremento de capacidad de recursos humanos, en
muchos casos (excepto en la educacin bsica),
ste se considera como una herramienta donde la
gente cumple con cierto tipo de meta, y es posible
utilizar indicadores para medir los beneficios
exactos y cambios positivos que han ocurrido. Por
ejemplo, la gente encontr trabajo como resultado
de los esfuerzos para aumentar el conocimiento?
O, aument la influencia de los ciudadanos en la
poltica como resultado de los esfuerzos hacia el
empoderamiento (por ejemplo, el nmero de
recomendaciones de polticas, etc.)? O, de nuevo,
se estimularon las actividades de los grupos de
jvenes de la comunidad como resultado del
empoderamiento (ejemplos de las actividades
reales, etc.)?
- Los siguientes mtodos principales se pueden
utilizar para medir estos indicadores:
1. Medicin del aumento de capacidad comparando
las calificaciones de las pruebas antes y
despus de la implementacin del proyecto.
2. Medicin del aumento de capacidad utilizando
una hoja de clasificacin que se desarroll
antes del proyecto.
3. Comparacin de las habilidades de la gente a la
que se dirigi el proyecto con gente a la que no.
4. Estudio de las calificaciones (evaluaciones
ampliamente reconocidas) obtenidas para
mostrar adquisicin de habilidades.
5.6 Cuando se evala el - Si no se ha implementado una encuesta base o Pgs. 62 - 63
mejoramiento de la seguimiento hasta el momento de la evaluacin, es Pgs. 77 - 78
capacidad, etc., cmo se imposible captar los cambios mediante
evalan los proyectos que comparaciones antes/despus o mediciones
no tuvieron buen regulares. Por consiguiente, la evaluacin ser
seguimiento hasta el poco persuasiva. Sin embargo, es posible hacer
momento de la evaluacin? comparaciones de los cambios con gente o
sociedades en regiones vecinas donde no se

212
 implement el proyecto. Incluso si esto no se
puede hacer, realice encuestas utilizando diferentes
mtodos sobre fuentes de informacin que sean tan
diferentes como sea posible (es decir, verificacin
trilateral) y trate de recopilar datos objetivamente,
etc.
5.7 Cmo se evalan los - En el caso de proyectos que se implementaron en Pgs. 43- 44
proyectos que se colaboracin con otros donadores y gobiernos
implementan en socios, realice la evaluacin considerando el
colaboracin con otros proyecto como parte de un programa.
donadores o los proyectos - En este caso, aunque la meta principal del
del gobierno de un pas proyecto de la JICA sea la meta del programa, en
socio que la JICA asume todos los casos el propsito del proyecto es el
parcialmente? beneficio que se espera se exprese mediante la
implementacin del proyecto de la JICA.
- Es muy probable que las actividades y metas de
los proyectos de otros donadores y gobiernos
socios se conviertan en suposiciones importantes
del proyecto de la JICA. Por lo tanto, es importante
tener comunicacin con estos donadores/gobiernos
sobre la demarcacin de papeles y
responsabilidades. Adems, con el inters de
compartir las metas, es aconsejable tener
discusiones que empiecen al principio de la etapa
de planeacin y que incluyan la validez de la
estrategia del proyecto de cada lado.

6. Cinco Criterios de Evaluacin

6.1 Por qu son necesarios - Los Cinco Criterios de Evaluacin forman la base Pgs. 21 - 22
los Cinco Criterios de de evaluacin del valor del proyecto desde una Pgs. 55- 59
Evaluacin? perspectiva integral. Aunque es posible realizar
una evaluacin sin los Cinco Criterios de
Evaluacin, para la JICA son la base de la
evaluacin (es decir, el nivel mnimo que se debe
estudiar) ya que cubren todos los puntos necesarios
para llevar a cabo una evaluacin general de un
proyecto de asistencia para el desarrollo.
- Por ejemplo, incluso en el caso de proyectos
efectivos que alcanzaron su meta mediante la
implementacin del proyecto desde el punto de
vista de la efectividad, la asistencia para el
desarrollo pierde su importancia si los efectos
finales estn limitados a cierto grupo de personas
(una distribucin injusta: punto de vista de la
pertinencia). Lo mismo se aplica si un proyecto es

213
 efectivo pero tiene costos que son ms altos de lo
necesario (punto de vista de la eficiencia) y por
tanto no se puede esperar que sea sustentable.
Para poder evaluar la validez de los proyectos del
sector pblico-beneficio (que no se pueden medir
utilizando nicamente la tasa de rentabilidad y la
proporcin de las utilidades, como en el caso del
sector privado), es importante realizar verificaciones
desde diversos puntos de vista.
- Por otro lado, la prioridad que se le da a cada uno
de los Cinco Criterios de Evaluacin vara
dependiendo del tipo de proyecto y de los temas
involucrados. Por ejemplo, en el caso de un
proyecto a pequea escala, tal vez no sea
adecuado llevar a cabo una encuesta por
cuestionario, que cuesta dinero, y por tanto se
deben utilizar otros mtodos de verificacin sencilla.
O, si la gente interesada est conciente que la
eficiencia es un punto de inters primario para el
proyecto, tal vez sea necesario realizar una
encuesta que ponga ms nfasis en la verificacin
de la eficiencia.
6.2 Es necesario examinar - Aunque puede haber muchas diferencias en la
los cinco criterios, an en importancia que se le da a los cinco criterios, es
el caso de proyectos necesario examinarlos todos.
pequeos? - En el caso de las evaluaciones ex-ante de
proyectos pequeos, se debe poner atencin
especial a la pertinencia y hasta el ltimo se
deben estudiar las preguntas se producirn los
resultados? y el proyecto es muy caro? en
trminos de la eficiencia y la efectividad para
asegurar la rendicin de cuentas.
- El alcance de la evaluacin y la recopilacin de
datos se deben realizar adecuadamente dentro del
presupuesto. En los casos donde no se pueden
realizar estudios amplios debido a las limitaciones
del presupuesto, revise la documentacin y los
materiales lo ms que le sea posible.

6.3 Es suficiente con slo - No, no es suficiente. Lo que no se debe olvidar es Pg. 56
discutir la pertinencia que el punto de vista que examina si la estrategia y los
coincide con el plan de medios para lograr que el proyecto sea efectivo
desarrollo y la poltica de frente a un problema de desarrollo en el pas socio
asistencia? son adecuados o no. Los ejemplos incluyen
mtodos de transferencia de tecnologa,

214
 establecimiento de actividades y seleccin de
metas y regiones.
- En las evaluaciones ex-ante, evale la pertinencia
de la estrategia con base en las encuestas de base
y la valoracin de las necesidades. Necesitamos
estar siempre concientes que los talleres
participativos por s mismos no siempre son
suficientes.
6.4 Cuando se verifica la - Cuando se observa la relacin causal entre el Pgs. 62 - 63
efectividad, cmo se debe efecto y la implementacin de un proyecto de Pg. 188
considerar la relacin cooperacin tcnica, el mtodo que se usa ms
causal con los productos? comnmente es una combinacin de dos
elementos: 1) comparacin de las condiciones
antes y despus de la implementacin del proyecto,
y 2) evaluacin para determinar si los artculos
producidos, habilidades y servicios que forman el
producto del proyecto se estn utilizando para
satisfacer el propsito del mismo o si estn
vinculados con la realizacin del propsito del
proyecto.
- En las comparaciones antes/despus, se
requieren los datos base que se recopilaron en la
evaluacin ex-ante o inmediatamente despus que
inici el proyecto. Cuando observamos la conexin
con el producto, si el propsito del proyecto es, por
ejemplo, mejorar la habilidad de capacitacin de
las instituciones de capacitacin en el pas socio,
estudie el grado en que se estn utilizando las
nuevas habilidades que se adquirieron a travs del
proyecto (es decir, el producto), el grado al que se
estn enseando las habilidades correctamente,
etc. Tambin es posible verificar si el equipo y los
materiales proporcionados (es decir, el producto) se
estn utilizando.
- Adems, estudie para ver si las suposiciones
importantes mencionadas en el marco lgico, as
como otros elementos externos supuestos estn
influyendo en el proyecto.
6.5 Cmo se debe considerar - Bsicamente se puede utilizar el mismo mtodo Pg. 62 - 63
el impacto cuando se va a descrito en el caso de la efectividad. Sin embargo,
determinar si es resultado en el caso del impacto, es importante tener en
de la implementacin del mente que el impacto es el efecto que surge
proyecto? despus que ha pasado cierto tiempo de la
implementacin del proyecto, y que puede haber
una gran cantidad de influencias de incertidumbres
que no estn relacionadas con el proyecto.

215
 - De los temas incluidos bajo impacto, la meta
general incluye el beneficio que alcanza a los
beneficiarios finales y que cubre un amplio rango.
Por ello, es necesario llevar a cabo las encuestas
por muestreo y las comparaciones con las regiones
y gente a la que no se dirigi el proyecto. Aunque
es difcil especificar dichas regiones y personas, es
posible hacer comparaciones entre la gente,
regiones y organizaciones que tienen cualidades
muy similares dentro de un rango limitado para
recopilar los datos base y ver los cambios del
impacto (incluyendo las comparaciones
antes/despus) antes de la implementacin del
proyecto. Por ejemplo, hubo un caso en un
proyecto para estimular a maestros de ciencias y
matemticas, en que se hicieron comparaciones
entre las calificaciones de las pruebas de alumnos
de matemticas y ciencias, y entre los estudiantes
que tomaban clase con maestros capacitados y con
maestros sin capacitacin. (La prueba se realiz a
nivel nacional y no form parte de un proyecto.)

6.6 Cmo se debe considerar - Eficiencia es un punto de vista que considera si Pg. 57
la eficiencia de la los recursos invertidos llegaron de manera
cooperacin tcnica? oportuna, si se utilizaron lo ms econmicamente
posible y si se obtuvieron efectos finales o no. Por
ejemplo, los juicios los materiales y equipo
necesarios se proporcionaron lo ms
econmicamente posible en el sitio y la cantidad
de expertos de largo plazo se redujo al mnimo
mediante el uso de tantos expertos de un tercer
pas como fue posible representan evaluaciones de
eficiencia. De ser posible, las comparaciones de
costos con casos menos eficientes lo hacen ms
convincente.
- Dentro de una escala factible, realice
comparaciones con proyectos similares utilizando
clculos de costos. Por ejemplo, calcule el costo
unitario de cada producto y vea si est dentro de
lmites apropiados. Si es difcil calcular el costo
unitario, es posible comparar los costos generales
utilizando metas de la misma escala y proyectos
que tengan productos similares.
Actualmente, la JICA no cuenta con una base de
datos suficiente para comparar la eficiencia

216
 (eficiencia de proyectos similares). Por esta razn,
pueden existir casos donde sea imposible realizar
una evaluacin adecuada calculando los costos
(juicio de valor por comparacin). Por tanto,
cuando sea posible, es importante acumular estos
datos expresando los costos en tablas.

Ejemplo: Comparacin del costo del insumo

1. Comparacin de los costos que se necesitan
para diversas estrategias dentro de un proyecto:
- Ahorros en los costos de insumos si se utilizan
equipo y materiales locales (comparacin con la
obtencin del extranjero).
- Ahorros en los costos de insumos limitando la
cantidad de expertos de largo plazo y enviando
expertos de corto plazo oportunamente.
2. Comparacin con proyectos del mismo tamao y
con contenido de cooperacin similar.
- Comparacin de los costos de inversin
generales.

Costo del insumo por cada producto/insumo

(Comparacin con proyectos similares.)
Comparacin del costo necesario para realizar una
sesin de capacitacin (1 sesin), comparacin del
costo necesario para desarrollar tecnologa nueva,
comparacin del costo necesario para construir una
planta de agua potable sencilla (1 ubicacin), etc.

Propsito del proyecto/costo de la inversin

(comparacin con proyectos similares).
Comparacin del costo necesario para capacitar a
un participante para que pueda encontrar empleo
dentro de los seis meses siguientes despus que
termin la capacitacin, comparacin del costo
necesario para que una familia realice un plan
familiar, etc.

7. Papel de la Tabla de Evaluacin

7.1 Por qu es necesaria la - El marco lgico es una herramienta que se debe Pg. 82
Tabla de Evaluacin utilizar cuando se planea y gestiona el proyecto. La
cuando existe el marco Tabla de Evaluacin es una herramienta que se
lgico? debe utilizar cuando se evala el proyecto.
- La Tabla de Evaluacin describe cmo
implementar la evaluacin. Por tanto, cubre las

217
 preguntas de la evaluacin, los datos a recopilar,
los mtodos de recopilacin, las normas de
evaluacin, etc. Por otro lado, el marco lgico es
una tabla que brinda una descripcin general del
plan de proyecto que se va a evaluar; brinda la
informacin que se necesita cuando se estudian los
mtodos de evaluacin.
7.2 No entiendo la relacin - No siempre es posible utilizar en la evaluacin los Pg. 49-50
entre la Tabla de indicadores, valores objetivo y etapas para Pg. 82
Evaluacin y el marco introducir los indicadores que aparecen en el marco
lgico. lgico tal como estn. A veces no son adecuados.
Por lo tanto, el equipo de evaluacin debe examinar
cuidadosamente si es posible utilizar esos puntos
tal como estn.
- Cuando examine el mtodo de evaluacin
mediante la Tabla de Evaluacin, va a necesitar
otra informacin que no est incluida en el marco
lgico. Por ejemplo, cuando observamos la
pertinencia, es necesario utilizar la informacin
sobre el plan de desarrollo, los antecedentes detrs
del establecimiento de la estrategia de asistencia,
etc., que no estn incluidas en el marco lgico. -
Tambin en el rea de impacto, cuando se buscan
efectos indirectos surge la necesidad de identificar
los diversos elementos que rodean al proyecto y
que no aparecen en el marco lgico.
7.3 Cmo evito que los datos - Como generalmente el tiempo y el dinero para las Pg. 82
necesarios y el alcance de evaluaciones estn limitados, es necesario limitar
la encuesta ocupen los mtodos de evaluacin. Para ello, es necesario
proporciones enormes considerar varias perspectivas, incluyendo 1) qu
cuando prepare la Tabla de clase de datos es absolutamente esencial para
Evaluacin? responder a las preguntas de la evaluacin, y 2) si
existe una probabilidad alta de obtener esos datos.
- Cuando prepare un cuestionario con base en la
Tabla de Evaluacin, tenga en mente que la hoja
debe ser prctica (por ejemplo, un cuestionario de
10 pginas no es adecuado).
- Sin embargo, para que los datos sean confiables,
tambin es importante realizar una evaluacin que
combine tantos mtodos como sea posible. Por
ejemplo, cuando observe los efectos que tendr la
construccin de un pozo, no es suficiente con slo
entrevistar a una persona de la agencia de
implementacin; tambin es importante recopilar
datos de muchas otras fuentes, incluyendo los
usuarios, las organizaciones de mujeres en una

218
 comunidad y la asociacin de agua. Limitar los
mtodos de evaluacin no significa seleccionar
nicamente un mtodo.
7.4 Incluso si preparo una - Una vez que prepar la Tabla de Evaluacin, Pg. 82
Tabla de Evaluacin, no s prepare una hoja de estudio y una lista de
cmo utilizarla. documentos a recopilar con base en la tabla y
prepare la evaluacin.
- Cuando realice la evaluacin, utilice la tabla para
verificar si hacen falta datos recopilados o no.
Despus de recopilar los datos, regrese a las
preguntas en la Tabla de Evaluacin para analizar
las respuestas a cada pregunta. Puede compilar
los resultados en el Informe de la Evaluacin.

7.5 Por qu no se utiliza la - Originalmente, se introdujo la PDM como una Pg. 82

PDM? herramienta para verificar las posibilidades de
implementar una evaluacin del proyecto objetivo.
Sin embargo, durante este proceso, algunas veces
ocurra un error operativo - convertir el proyecto en
uno que sea ms fcil de evaluar - lo que con
frecuencia causaba confusin en el sitio del
proyecto.
- Como la PDM convencional es una tabla que
brinda una descripcin general del plan de un
proyecto, tiene la desventaja que no cubre toda la
informacin que se necesita para la evaluacin.
Por eso se decidi disear las evaluaciones
adecuadamente con la preparacin de la Tabla de
Evaluacin.
8. Pas socio
8.1 Es necesaria la - Como los proyectos de la JICA se implementan Pgs. 109-
participacin del pas socio conjuntamente con el pas socio, es absolutamente 110
en la evaluacin? indispensable que la evaluacin tambin se
implemente de manera conjunta con el pas socio.
Todos los pasos - desde el diseo de la evaluacin
hasta la recopilacin de datos; y los resultados del
anlisis y la evaluacin - se realizan de manera
conjunta con discusiones suficientes.
8.2 Cmo debe proceder la - El modelo lgico que utiliza la JICA es una
evaluacin si el pas socio metodologa general de evaluacin. Y muchos
tiene su propio mtodo de donadores utilizan los Cinco Criterios de Evaluacin
evaluacin? del DAC, as que no representan en s una
metodologa especial. Por lo anterior, se supone
que el modelo lgico de la JICA tiene muchos
puntos en comn con los mtodos de evaluacin

219
 que utilizan sus pases socios. No obstante,
despus de examinar detenidamente los mtodos
de evaluacin de ambas partes, es necesario llegar
a un acuerdo sobre un mtodo de evaluacin
comn.
- Como las evaluaciones siempre tienen un
propsito, despus de comparar los propsitos es
posible utilizar correctamente normas de evaluacin
nuevas que se piense son necesarias. Es
importante siempre tener en mente la razn de la
evaluacin para seguir adelante adecuadamente
con las preguntas de la evaluacin y la recopilacin/
anlisis de datos.
9. Preparacin del Informe de Evaluacin
9.1 Es necesario preparar - Es esencial que se prepare una versin en ingls Pg. 113
una versin en ingls del del Informe de Evaluacin para poder compartir los
informe? resultados de la evaluacin con el pas socio y as
poder utilizar los resultados en proyectos y
cooperacin posteriores. Aunque se prepara una
Minuta de las Juntas (M/M) al final de la evaluacin,
hay muchos temas que no se incluyen en las
Minutas. Por ello, se prepara el Informe de
Evaluacin en ingls como paso final.
9.2 Qu puntos se deben - Se debe poner mucha atencin para asegurarse Pg. 113
tener en mente cuando las que el informe incluye los siguientes puntos
personas a cargo principales.
verifiquen el informe? 1. Se comprendieron exactamente los resultados
del proyecto?
2. Se verific la relacin causal entre los efectos y
el proyecto?
3. Se mencionan con precisin las bases de los
juicios de evaluacin?
4. Se analizaron adecuadamente los factores
contribuyentes y los que obstaculizan?
5. Los resultados de la verificacin del proceso de
implementacin se utilizaron en el anlisis de
los factores contribuyentes y que obstaculizan?
6. Las recomendaciones y lecciones aprendidas
se basan precisamente en los resultados de la
evaluacin?

220
 Materiales Anexos
I. Qu es el Marco Lgico?
II. Qu es la Evaluacin Participativa?
III. Qu es la Medicin de Resultados?
IV. Lista de Documentos de Referencia

221
 Material Anexo I: Qu es el Marco de Trabajo Lgico?7

Literalmente, el marco de trabajo lgico (tambin conocido como marco lgico o

logframe) es un marco de trabajo lgico que se utiliza para gestionar un proyecto (Tabla
1-1).8 Utilizado por los Estados Unidos desde la segunda mitad de la dcada de los 60
en el campo de la asistencia para el desarrollo como una tabla para el plan de un
proyecto, actualmente se utiliza en el flujo de gestin basada en resultados (RBM) como
la herramienta principal para aclarar las metas y organizar los indicadores necesarios
para medir los efectos finales.
La JICA utiliza el marco lgico para formular y gestionar los proyectos de
cooperacin tcnica, que son un medio para solucionar problemas de desarrollo. Por
tanto, es importante tomar en consideracin 1) que el marco lgico siempre est colocado
como parte de un problema de desarrollo importante (consulte el Cuadro 1-1) y 2) que el
marco lgico se debe modificar segn se requiera en el seguimiento durante el proyecto
de implementacin y en la evaluacin intermedia. Adems, aunque el marco lgico
muestra el contenido de la composicin del proyecto y la lgica de su plan, simplemente
es un cuadro de descripcin general. Por ello, es importante tener en mente que no
explica todos los puntos (por ejemplo, los antecedentes del proyecto, las actividades
detalladas, la estructura de operacin del proyecto, el contenido detallado de la
cooperacin tcnica, etc.).
El marco lgico es una tabla de resumen del plan del proyecto que compila la
estrategia del proyecto en una matriz de cuatro renglones por cuatro columnas.
Concretamente, muestra los diversos elementos del proyecto (la meta general, el
propsito del proyecto, los productos, las actividades y los insumos), construye la relacin
vinculada entre causas y resultados, y coloca los valores esperados de las metas y
efectos finales en forma de indicadores antes de la implementacin del proyecto. Al
mismo tiempo, identifica las suposiciones importantes que pueden tener impacto sobre
el xito o fracaso del proyecto.

7
Materiales de referencia:
- NORAD (Agencia Noruega de Cooperacin para el Desarrollo): The Logical Framework Approach
(LFA):Handbook for Objective-oriented Project Planning [El Enfoque del Marco Lgico: Manual de
Planeacin de Proyectos por Objetivos] (1990)
- FASID (Fundacin para Estudios Avanzados en Desarrollo Internacional): Project Cycle
Management: Management Tool for Development Assistance [Gestin del Ciclo del Proyecto:
Herramienta de Gestin para la Asistencia para el Desarrollo] (2001)
8
De acuerdo con la definicin de la OCDE-DAC, el marco lgico (logframe) es una herramienta de
gestin utilizada para mejorar el diseo de las intervenciones para el desarrollo. Concretamente, la
Matriz de Diseo del Proyecto (PDM) que utiliza la JICA es una forma de marco lgico, y este documento
se refiere a todas esas matrices con el nombre general de marco lgico en la teora de la evaluacin.
222
Grfica 1-1: Temas de Desarrollo y el Marco Lgico

Mejoramiento de la higiene urbana (reduccin de la tasa

de infeccin de enfermedades transmitidas por el agua)

Mejorar la tasa Se mejora la Se construyen Mejorar la Se elimina la

de extensin de organizacin de plantas de conciencia de basura
la planta de la purificacin de higiene de los debidamente
agua potable administracin agua ciudadanos
del medio
ambiente
urbano Marco lgico de
Marco lgico de un programa de
Marco lgico de Marco lgico de
eliminacin de
un proyecto de un programa un proyecto de
basura
Marco lgico de un para construir educacin
mejoramiento del
proyecto para plantas de sanitaria
servicio de purificacin de
mejorar la
administracin del agua
abastecimiento
medio ambiente
d
urbano

223
 Tabla 1-1: Marco Lgico (Logframe)
(Resumen Narrativo) Indicadores Medios de Suposiciones
Verificables Verificacin Importantes
Objetivamente
Meta General Indicadores y valores Fuentes de Condiciones necesarias
Efectos indirectos, a objetivo para medir los informacin para los para que los efectos del
largo plazo; impacto logros hacia la meta indicadores en la proyecto sean
sobre la sociedad general columna de la sustentables
objetivo izquierda
Propsito del Indicadores y valores Fuentes de Factores externos que
Proyecto objetivo para medir los informacin para los se deben satisfacer
Efectos directos sobre logros hacia e indicadores en la para que el proyecto
el grupo y sociedad propsito del proyecto columna de la pueda contribuir con la
objetivo izquierda meta general, pero que
al mismo tiempo son
inciertos
Productos Indicadores y valores Fuentes de Factores externos que
Bienes y servicios que objetivo para medir los informacin para los se deben satisfacer
son producidos logros hacia los indicadores en la para que el proyecto
mediante la productos columna de la pueda contribuir con el
implementacin de izquierda propsito del proyecto,
actividades pero que al mismo
tiempo son inciertos
Actividades Insumos Factores externos que
Actividades para (Tanto de Japn como del pas socio) se deben satisfacer
generar los productos para que el proyecto
pueda generar
productos, pero que al
mismo tiempo son
inciertos
Condiciones previas
Condiciones que se
deben satisfacer antes
de iniciar las actividades

Composicin Lgica del Marco Lgico (consulte el Cuadro 1-2)

Al centro de la composicin lgica del marco lgico est la relacin vinculada entre
actividades - productos - propsito del proyecto - meta general. Es la lgica de la
hiptesis si-entonces; por ejemplo si se realiza una actividad, entonces se obtendr un
producto; si se obtiene el producto, entonces se cumplir con el propsito del proyecto; y
si se cumple con el propsito del proyecto, entonces contribuir con la meta general. El
proceso de construir esta hiptesis est basado en el conocimiento de la situacin actual
que se obtiene observando las relaciones de causa y efecto involucradas en los
problemas que enfrenta el grupo objetivo y su sociedad, as como las causas de estos
problemas (es decir, anlisis del problema). Mientras ms realista sea la hiptesis, mejor
ser el plan del proyecto. Por tanto, los siguientes puntos son importantes: a) conexin
directa entre los elementos si y entonces (mientras mas directa, mejor), b) control de
varios problemas mediante los esfuerzos del proyecto, y c) actividades efectivas y de bajo
riesgo. Esta lgica se puede utilizar para encontrar las relaciones causales del proyecto y

224
los resultados cuando se realiza el seguimiento y las evaluaciones (consulte la Parte II,
Captulo 1 del texto principal).

Si la lgica si-entonces por s misma fuera suficiente para generar los productos
esperados, no habra necesidad de adoptar pasos posteriores. Sin embargo, como la
lgica si-entonces es el nico medio que tiene el proyecto para solucionar problemas,
existe una variedad de factores externos que pueden tener un impacto sobre el proyecto.
El marco lgico identifica estos factores en la columna Suposiciones Importantes y
aclara el vnculo entre la lgica de las actividades - productos - propsito del proyecto -
meta general y las suposiciones importantes. Esto incluye expresar el contenido
general del plan del proyecto utilizando la lgica si-entonces en la siguiente relacin
vinculada: si se implementa una actividad, y, adems, se satisfacen las condiciones
externas que son importantes pero que el programa no puede controlar (y), entonces se
pueden obtener los productos. (La lgica para el paso productos - propsito del
proyecto - meta general es la misma.) Las condiciones externas son una herramienta
efectiva para la planeacin y formulacin del proyecto desde estas perspectivas: Es
suficiente nicamente implementar el contenido del plan del proyecto? e Incluso si se
implementa el proyecto, habrn elementos externos que obstaculicen la expresin de
los resultados?
Cuando se realiza el seguimiento o las evaluaciones, las suposiciones importantes
juegan un papel importante como meta de las encuestas. El entorno del proyecto est
cambiando siempre. Y en muchos casos, las suposiciones importantes que se
identificaron durante la formulacin del proyecto tienen un impacto que excede lo
predicho en la implementacin del proyecto. Aqu es importante revisar el contenido del
plan y confirmar suposiciones importantes nuevas a travs del seguimiento y la
evaluacin intermedia. En las evaluaciones finales y ex-post, a veces las condiciones
externas son factores que obstaculizaron el logro de las metas. Por eso, el evaluado
debe estudiar si se dio seguimiento a la presencia de dichas condiciones externas
durante la implementacin del proyecto o no. Es necesario evitar que las suposiciones
importantes se manejen como puntos que confunden dnde recae la responsabilidad en
el proceso de implementacin.

225
Cuadro 1-2: Composicin Lgica del Marco Lgico

Resumen Narrativo Suposicin Importante

Meta General Condiciones de

si Sustentabilidad
Objetivo del Proyecto entonces y
si
Productos si y
entonces
Actividades si y
Condiciones Previas
entonces si

Definicin de Cada Columna del Marco Lgico

(1) Resumen Narrativo e Insumos

El resumen narrativo se compone de actividades, productos, propsito del proyecto y
meta general, e incluye elementos que se convierten en el marco de trabajo del plan del
proyecto. Un proyecto requiere de ciertos recursos como insumos (gente, materiales,
dinero, etc.), genera productos a travs de varias actividades y trabaja para alcanzar
objetivos. Y una de las caractersticas del marco lgico es que los objetivos se
perciben en dos niveles: el propsito del proyecto y la meta general.

<<Meta general>>
La meta general es el efecto a largo plazo que se espera alcanzar mediante la
implementacin de un proyecto. Cuando se planea un proyecto es necesario dedicar
suficiente atencin a estudiar cmo contribuir la meta general al tema de desarrollo (es
posible que el tema de desarrollo en s se convierta en la meta general, dependiendo del
proyecto). La JICA percibe la meta general como el impacto que sentir la sociedad
objetivo de tres a cinco aos despus que termin el proyecto.

<<Propsito del proyecto>>

El propsito del proyecto es el efecto directo sobre el grupo objetivo (incluyendo la gente
y las organizaciones) y la sociedad que se espera alcanzar mediante la implementacin
del proyecto. En el caso de la cooperacin tcnica, el propsito del proyecto

226
generalmente se alcanza al final del proyecto. 9 Por tanto, el nivel de logros hacia el
propsito del proyecto es una seal que indica si el proyecto est generando productos o
no y si la implementacin del proyecto tuvo sentido. Cuando los proyectos que
generan productos pero que no expresan beneficio para el grupo objetivo, la inversin de
una gran cantidad de recursos y la implementacin del proyecto en s pierden su
importancia.

<<Productos>>
Los productos son bienes y servicios que genera el proyecto hacia el logro del
propsito del proyecto. A diferencia del propsito del proyecto que indica un cambio
positivo para los beneficiarios, los productos se refieren a cuestiones que generan
aquellos que implementan el proyecto. Si observamos un proyecto que se enfoca en la
capacitacin, por ejemplo, la implementacin de la capacitacin es un producto,
mientras que el propsito del proyecto ser mejoramiento de los conocimientos de los
becarios, aplicacin de la tecnologa adquirida en el sitio de trabajo, etc.

<<Actividades e insumos >>

Los insumos" se refieren a los recursos (personal, materiales y equipo, gastos operativos,
instalaciones, etc.) necesarios para generar los productos y se enumeran como los
recursos tanto de Japn como del pas socio. Las actividades se refieren a una serie de
acciones necesarias adoptadas para generar los productos mediante los insumos, y
son acciones que implementa el equipo del proyecto en el sitio. Como el marco lgico es
una descripcin general del plan del proyecto, los planes de accin detallados se
preparan por separado. Sin embargo, las actividades principales que indican la estrategia
del proyecto se enumeran en el marco lgico.

(2) Indicadores verificables objetivamente y medios de verificacin

Los indicadores verificables objetivamente aplicables a las columnas de Productos,

Propsito del Proyecto y Meta General muestran los indicadores y valores objetivo
utilizados para medir especficamente el nivel de logro de cada una. La columna Medios
de Verificacin indica claramente las fuentes de informacin de estos indicadores. Los
datos que se obtienen de las fuentes de informacin deben ser muy confiables,
accesibles y obtenerlos no debe ser demasiado caro. Con base en estas condiciones, es
importante establecer tantos indicadores y fuentes de informacin como sea necesario
para poder obtener tantos datos objetivos como sea posible.

9
Hay casos, dependiendo del contenido o las caractersticas del proyecto, donde no se obtienen efectos
directos sino hasta cierto tiempo despus que ste termin. En un proyecto de riego, por ejemplo, no se
pueden obtener cambios en la proyeccin del arroz hasta despus que se terminaron las instalaciones
de riego.
227
 Los indicadores y valores objetivo se establecen en las encuestas de base y otras
actividades en la etapa de planeacin. En la evaluacin ex-ante, el estudio de pertinencia
de dichos indicadores, los valores objetivo y los medios para obtenerlos son parte
importante del trabajo de verificacin. Los indicadores deben coincidir con el contenido
de las metas y los productos, y es importante que los medios para medirlos sean
objetivos y reproducibles (es decir, que con el mismo mtodo se puedan obtener los
mismos tipos de datos sin importar quin hace la medicin).
La determinacin de indicadores fciles de entender eleva la transparencia del
proyecto y es una parte esencial de su gestin. Mediante los indicadores es posible
verificar si el proyecto se est implementando de acuerdo con el plan inicial o no (es decir,
realizar un seguimiento). Dependiendo del proyecto, tal vez sea necesario revisar los
valores objetivo iniciales debido a diversos cambios del entorno externo y de las
condiciones de implementacin del proyecto. De acuerdo con esto, tal vez sea tambin
necesario volver a formular el contenido de los insumos, actividades y dems puntos.

(3) Suposiciones importantes y Condiciones previas

Las suposiciones importantes se refieren a los factores externos que el proyecto no

puede controlar, pero que pueden tener un impacto sobre el xito o fracaso del proyecto.
Los proyectos, que se eligen de acuerdo con ciertas normas, representan una manera de
contribuir a solucionar el problema del desarrollo. Por tanto, no cubre todos los factores
necesarios para solucionar los problemas. Cuando se planean los proyectos, es
importante establecer metas que tengan las mayores posibilidades de llevarse a cabo; sin
embargo, en la realidad hay una serie de factores externos que el proyecto no puede
controlar y que tambin lo afectan. Es importante establecer metas y estudiar la
pertinencia de las actividades identificando stos como suposiciones importantes en el
marco lgico durante la etapa de planeacin. Al mismo tiempo, es importante poner
mucha atencin a su impacto como punto de seguimiento durante la implementacin del
proyecto.
Como se indica en el Cuadro 1-3, en la columna de Suposiciones Importantes,
stas se identifican en trminos del grado de importancia para el proyecto, posibilidades
del proyecto de controlarlas, y la posibilidad de satisfacer las condiciones. Entonces se
marcan en el marco lgico como condiciones satisfechas. Adems, si es posible, se
debe anotar en trminos cuantitativos el grado en que se deben satisfacer las condiciones.
Esto facilitar la deteccin de cambios en las suposiciones importantes y el impacto en el
proyecto durante el seguimiento y la evaluacin (por ejemplo, 80% de los maestros
entrenados conservaron su empleo).

Aunque las suposiciones importantes estn ms all de la responsabilidad del

proyecto, se deben adoptar todos los pasos para evitar establecerlas intencionalmente
228
como medios para evadir responsabilidades en caso que el proyecto no marche bien. Es
importante discutir las suposiciones importantes como parte de la planeacin del proyecto
para determinar las actividades y metas que se deben establecer para que el proyecto
sea ms efectivo y tenga menos riesgos.
Las condiciones previas se refieren a las condiciones que se deben satisfacer
antes de implementar el proyecto. Se refieren a las condiciones que, si se satisfacen,
permitirn el inicio de las actividades (y no obstaculizarn las operaciones una vez que
inicie el proyecto).

229
Cuadro 1-3: Mtodos para Determinar las Suposiciones Importantes

La condicin es importante No es una suposicin

para el proyecto? NO importante

No es una suposicin
El proyecto puede controlar
SI importante
la condicin?

Casi es No es una suposicin

Hay alguna posibilidad de un hecho
importante
satisfacer la condicin?
Es probable,
pero no es
seguro
Se puede modificar el Es una suposicin
contenido del proyecto? importante (incluida
en el marco lgico y
NO se le da seguimiento)

Modificar partes del proyecto

para que la condicin no lo
afecte
1. Peor
suposicin: el
proyecto no
tendr xito

230
Material Anexo II: Qu es la Evaluacin Participativa?10

La evaluacin participativa es un mtodo de evaluacin que ha atrado considerable

atencin desde la dcada de los 70. Es un medio para elevar la calidad de los resultados
de evaluacin mediante la participacin de las principales partes interesadas en un
proyecto en la evaluacin. La teora y mtodo de este tipo de evaluacin vara
grandemente de acuerdo con los propsitos y procesos que se desean enfatizar en la
evaluacin.11 Aunque la definicin de evaluacin participativa difiere dependiendo de la
agencia de asistencia, una filosofa comn en el campo de la asistencia para el desarrollo
es que se trata de 1) una evaluacin que se realiza conjuntamente con las personas
interesadas, incluyendo los residentes locales que son los beneficiarios, y 2) es una
evaluacin donde una amplia gama de personas participan de manera activa en todos los
procesos - desde el diseo de la evaluacin hasta la recopilacin y anlisis de la
informacin y la retroalimentacin de los resultados de la evaluacin. Sin embargo, el
alcance de las personas interesadas con el proyecto y el grado de participacin difieren
dependiendo de la agencia de asistencia y del proyecto.

Con estas caractersticas, las evaluaciones participativas difieren en trminos de

metodologa de las evaluaciones convencionales, donde los expertos en evaluacin y
ciertos equipos de expertos realizan las investigaciones. En las evaluaciones
participativas, las personas que emiten los juicios de valor son las mismas partes
interesadas; el mtodo de evaluacin (incluyendo las normas de evaluacin), la encuesta
de evaluacin y la conclusin de los resultados de la evaluacin se realizan mediante el
consenso de todos los interesados. Este proceso vinculado conduce al incremento de la
capacidad entre los interesados y tiene un impacto positivo sobre operaciones posteriores.
Por tanto, los expertos en evaluacin en la evaluacin participativa descartan el papel
tradicional de asesor. En su lugar adoptan los papeles de convocadores de juntas,
proveedores de oportunidades, auxiliares, catalizadores y apoyo. Los evaluadores
actan como auxiliares brindando apoyo lateral que permite a las partes interesadas
realizar la evaluacin.

Las evaluaciones participativas no funcionan bien si no es hasta que se incorpora dicha

participacin en la etapa de evaluacin. Esto se debe a que es difcil que las partes
interesadas compartan el sentido de la importancia de la evaluacin participativa si no
estn involucradas tambin en los procesos de planeacin e implementacin.

En el ejercicio fiscal del 2000, el Instituto de Cooperacin Internacional emiti un informe

titulado Basic research on participatory evaluation [Investigacin bsica sobre la
evaluacin participativa], que define y explica este tipo de evaluacin como la JICA la
lleva a cabo de la siguiente manera.

Evaluacin participativa segn la JICA

La evaluacin participativa es una evaluacin que se lleva a cabo con la mayor

participacin posible de una amplia variedad de partes interesadas (incluyendo los

10
Materiales de referencia:
- Instituto de Cooperacin Internacional, Agencia de Cooperacin Internacional del Japn:
Participatory Evaluation and International Cooperation [Evaluacin Participativa y Cooperacin
Internacional] (2001)
- Cousin, J.B. y Whitmore, E.: Framing Participatory Evaluation, Understanding and Practicing
Participatory Evaluation, New Direction for Evaluation, [Construccin de la Evaluacin Participativa,
Conocimiento y Prctica de la Evaluacin Participatica, Nueva Direccin de la Evaluacin] American
Evaluation Association [Asociacin Norteamericana de Evaluacin], Jossey Bass, San Francisco;
pgs. 5 23

11
Entre los ejemplos podemos mencionar Stakeholder-based Evaluation [Evaluacin con base en las
Partes Interesadas], Democratic Evaluation [Evaluacin Democrtica], Utilization-focused Evaluation
[Evaluacin por Uso] y Empowerment Evaluation [Evaluacin del Empoderamiento]
231
beneficiarios finales). Esta participacin est incluida en actividades tales como la
preparacin de los planes de evaluacin; abastecimiento, recopilacin y anlisis de
informacin; y modificacin de los planes iniciales del proyecto. Aqu evaluacin no
se refiere nicamente a las evaluaciones realizadas al trmino de los proyectos, sino
tambin a las evaluaciones ex-ante, el seguimiento durante la implementacin del
proyecto, las evaluaciones finales y las evaluaciones ex-post.

Cuando la JICA implementa las evaluaciones participativas tiene por objetivo

obtener los siguientes efectos:
- Aumento de la capacidad de gestin
- Fortalecimiento de la conciencia de la iniciativa propia
- Retroalimentacin ms efectiva
- Rendicin de cuentas mejorada

232
Material Anexo III: Qu es la medicin de Resultados?12

(1) Antecedentes detrs de la Medicin de Resultados

En palabras sencillas, la medicin de los logros es la medicin regular de los efectos

finales y eficiencia de la poltica pblica y los programas pblicos (en adelante los
programas. En japons se le conoce con trminos tales como gyoseki kanshi
(supervisin de resultados), jimu-jigyo hyoka (evaluacin de la operacin) y jisseki hyoka
(evaluacin de resultados).
La teora detrs de la medicin de resultados fue desarrollada por Harry P. Hatry y
Joseph S. Wholey del Urban Institute (Instituto Urbanista), organizacin que analiza los
asuntos sobre poltica norteamericana, entre otros. Ellos concluyeron que en la
evaluacin de programas a gran escala mediante el mtodo de diseo experimental,13
que se utilizaba en EU para evaluar las polticas en esa poca, no era posible tener los
resultados de la evaluacin dentro del lmite de tiempo que requieren quienes hacen las
polticas y quienes implementan el proyecto en el sitio. Con esto en mente, aadieron a
la evaluacin de programas un aspecto de gestin administrativa con base en la nueva
administracin pblica, y luego investigaron y desarrollaron el marco de trabajo para la
medicin de resultados, que combina una evaluacin ms sencilla con una accin
administrativa mejorada. La medicin de resultados permite la implementacin oportuna
de evaluaciones a bajo costo, as como la generacin de resultados de la evaluacin que
son fciles de entender tanto para los contribuyentes como para las agencias de
implementacin de proyectos. Esto conduce a una mejor accin administrativa.

(2) Caractersticas y beneficios de la Medicin de Resultados

En la medicin de resultados se definen claramente los efectos finales de un programa, y

se mide el grado en que los objetivos numricos iniciales se ha alcanzado mediante el
establecimiento de indicadores que determinan resultados y objetivos numricos. Estos
indicadores y objetivos se miden regularmente y el resultado de la medicin se refleja en
el mejoramiento del proyecto y en la toma de decisiones. La gestin basada en los
marcos de trabajo lgicos que introdujeron la JICA y otras agencias de asistencia tambin
tienen su base en la filosofa detrs de la medicin de resultados.
La parte novedosa de la medicin de resultados radica en que: agrega a la
medicin de evaluacin tradicional, que se centraba nicamente en los insumos (tales
como los gastos) y los productos, una medicin con nfasis en los beneficios y efectos
finales para los beneficiarios y clientes (quienes expresan los resultados de la
implementacin del programa). 14 De la misma manera, al observar la eficiencia, la
medicin de resultados no toma en cuenta la relacin entre insumos y productos, sino
que se centra en el efecto final. Por ejemplo, en lugar de calcular el costo necesario para
implementar una clase que ayude a la gente a dejar de fumar y luego calcular la eficiencia,
la medicin de resultados observa la eficiencia estudiando el costo de la inversin por
cada participante en la clase que realmente ha dejado de fumar. En otras palabras, la
eficiencia de la implementacin del programa se debe ver como la relacin con el
beneficio que se expresa a travs de la implementacin del proyecto.
Otra caracterstica de la medicin de resultados es la medicin comn. Mientras
que desde el punto de vista del manejo del presupuesto es suficiente implementar

12
Materiales de referencia:
- Hatry, H.P.: Performance Measurement: Getting Results [Medicin de Resultados: Cmo Obtener
Resultados], Urban Institute, Washington D.C. (1999)
- Sasaki, R. y Nishikawa- Sheikh, N.: Current Development and Prospects of Performance
Measurement [Desarrollo Actual y Prospectos de la Medicin de Resultados] The Japanese Journal
of Evaluation Studies, Vol. 1, No. 2 (2001); pgs. 45 - 52
13
Evaluacin del programa en este contexto se refiere a la evaluacin de polticas pblicas, programas
pblicos, etc.
14
Las definiciones de los diversos elementos de los programas (impacto, actividad, producto y efecto
final) son las mismos que se presentan en el modelo lgico en el texto principal (consulte la Parte II,
Captulo 1).
233
verificaciones aproximadamente una vez al ao, se requieren verificaciones frecuentes
para determinar si determinadas acciones administrativas estn teniendo xito o no,
dnde estn los problemas, y si se estn generando resultados finales o no. Esto con el
fin de incitar a las partes interesadas a dar pasos hacia el mejoramiento del proyecto. Por
tanto, la medicin de resultados se aplica fcilmente cuando se realizan evaluaciones que
slo observan los cambios dentro de la regin objetivo, sin los grupos comparativos que
tipifican al mtodo de diseo experimental. Adems, como incluye la medicin comn de
indicadores desde los perodos previos al proyecto hasta los posteriores a ste, permite
una retroalimentacin rpida de los resultados.
Estas caractersticas hacen que la medicin de resultados sea apropiada para los
proyectos que brindan servicios pblicos. Esto se debe a que en los servicios pblicos es
necesario verificar constantemente la calidad de los beneficios que reciben los clientes y
beneficiarios y la eficiencia de dichos beneficios. Sin embargo, la medicin de resultados
no es muy adecuada para el sector de investigacin bsica o los proyectos que requieren
de una planeacin a largo plazo.

(3) Limitaciones y puntos que se deben recordar

Existen tres limitaciones y puntos que se deben recordar en relacin con la medicin de
resultados. Primero, como recopila datos nicamente de la regin objetivo de un
programa sin utilizar grupos de comparacin, es difcil verificar las relaciones causales
con el programa. En otras palabras, no se puede ignorar el impacto de elementos
externos sobre el programa. Adems, si slo se percibe el nivel de logros del efecto final,
es imposible identificar las razones por las que se alcanz dicho nivel, lo que dificulta el
diseo de estrategias para mejorar el programa. Ya se seal que para contrarrestar
estas limitaciones lo ms posible cuando se realiza la medicin de resultados, es
necesario proporcionar suficientes detalles alrededor de la implementacin del proyecto y
explicaciones de los datos del efecto final.
Segundo, hay casos en que no es posible medir directamente los efectos finales.
Uno, por ejemplo, es la medicin de la reduccin de puntos indeseables, tales como la
reduccin de la criminalidad o del consumo de drogas. En casos como stos, es
necesario medir los cambios en el nmero de incidentes y desarrollar indicadores
substituto que puedan captar la reduccin de la criminalidad identificando las tendencias.
Tercero, la informacin de evaluacin que ofrece la medicin de resultados es tan
slo una parte de la informacin utilizada en la toma de decisiones y no es una
informacin que pueda afectar directamente los procesos de toma de decisiones sobre la
distribucin del presupuesto, el personal, etc. El objetivo principal de la medicin de
resultados es plantear preguntas, no presentar contramedidas o soluciones.
Aunque hay varias aplicaciones de la gestin de resultados, el mtodo de
evaluacin que utiliza la USAID (Agencia Norteamericana para el Desarrollo
Internacional) de los Estados Unidos representa una aplicacin que se combina con los
mtodos de evaluacin tradicional. Desde 1994, la USAID ha estado implementando la
medicin de resultados en todos sus programas. Al mismo tiempo, ha estado haciendo
una lista de programas extremadamente exitosos y de programas fallidos, realizando
evaluaciones tradicionales de dichos programas e identificando cursos de accin
utilizando el anlisis detallado para buscar las causas. ste es un ejemplo de la medicin
de resultados de bajo costo y fcil implementacin combinada con evaluaciones
detalladas muy costosas, y est recibiendo atencin como un mtodo para utilizar los
presupuestos de evaluacin de manera efectiva.

234
Material Anexo IV: Bibliografa
(** Aqu se enumeran los libros y materiales en ingls. Por favor consulte los Lineamientos
para la Evaluacin de Proyectos de la JICA - edicin japonesa para informacin sobre los
libros y materiales de referencia en japons.

Teoras Generales de Evaluacin

z Evaluation: a systematic approach [Evaluacin, un enfoque sistemtico], 6a ed.

Rossi, Peter H., Reeman, Howard E., y Lipsey, Mark W., Sage Publications, 1999
z Evaluation [Evaluacin], 2a ed.
Weiss, Carol H., Prentice-Hall, 1998
z Handbook of Practical Program Evaluation [Manual de Evaluacin Prctica de
Programas]
Wholey, J.S., Hatry H.P. & K.E. Newcomer, Jossey-Bass, 1997
z Evaluation for the 21st Century: A Handbook [Evaluacin para el Siglo 21: Un
Manual]
Chelimsky, E. y Shadish W.R., Sage Publications, 1997
z Evaluation Thesaurus [Diccionario de Evaluacin] 4a ed.
Scriven, M., Sage Publications, 1991
z Evaluability Assessment: Developing Program Theory [Valoracin de la
Evaluabilidad: Desarrollo de la Teora de Programas]
Wholey, J.S., Jossey-Bass, 1987
z Theory-Driven Evaluation [Evaluacin con Base en la Teora]
Chen, Huey-Tsth, Sage Publication 1990
z Utilization-Focused Evaluation [Evaluacin Dirigida al Uso],
Patton M.Q., The New Century Text [El Texto del Nuevo Siglo], 3a edicin, Sage
Publications, 1997

Mtodo de Evaluacin de las Agencias de Asistencia

z JICA
- Lineamientos de la Evaluacin de Proyectos de la JICA
Oficina de Evaluacin, Departamento de Planeacin y Evaluacin, Japan
International Cooperation Publishing Co., Ltd., 2002
- Pgina Web de Evaluacin http://www.jica.go.jp/evaluation/index.html
z Ministerio de Asuntos Exteriores (Japn)
- Pgina Web de la AOD http://www.mofa.go.jp/policy/oda/index.html
z JBIC
- Informes de Evaluacin Ex-Post
- http://www.jbic.go.jp/english/oec/post/index.php-
z DAC
Glosario de los Principales Trminos sobre Evaluacin y Gestin Basada en
Resultados del DAC, OCDE, 2002
- http://www.idcj.or.jp/JES/DACyougoshu0214.pdf -
z ADB
- Lineamientos para la Preparacin de los Informes de Auditoria de los Resultados de
un Proyecto
(http://peo.asiandevbank.org/Documents/Guidelines/P.par/dpc)
- Pgina Web http://www.peo.asiandevbank.org/
z AusAID
- Pgina Web de Evaluacin
http://www.ausaid.gov.au/about/pia/Quality_Assurance_Page.cfm
z CIDA
- CIDA Evaluation Guide [Gua de Evaluacin de la CIDA], Jan.2000
- Asian Branch: A Guide for Self-Assessment and Monitoring [Oficina Asitica: Gua
para la Auto-Evaluacin y el Seguimiento], Ene. 2000.
z DANIDA
- Evaluation Guidelines [Lineamientos de Evaluacin] Febrero 1999 (2a edicin,
revisada 2001)

235
 - http://www.um.dk/danida/evalueringsrapporter/eval-gui/index.asp -
- Pgina Web de Evaluacin http://www.um.dk/danida/evalueringer/
z EC
- Evaluation in the European Commission: A Guide to the Evaluation Procedures and
Structures Currently Operational in the Commissions External Co-operation
Programmes [Evaluacin en la Comisin Europea: Una Gua hacia los
Procedimientos y Estructuras de Evaluacin Actualmente en Uso en los Programas
de Cooperacin Exterior de la Comisin]
http://europa.eu.int/comm/europeaid/evaluation/methods/guidelines_en.pdf
- Pgina Web de Evaluacin
http://europa.eu.int/comm/europeaid/evaluation/methods/index.htm
z GTZ
- Project Monitoring: An Orientation for Technical Cooperation Projects [Seguimiento
de Proyectos: Una Orientacin sobre los Proyectos de Cooperacin Tcnica], 1998.
z UNICEF
- A UNICEF Guide for Monitoring and Evaluation: Making a Difference [Gua de la
UNICEF sobre Seguimiento y Evaluacin: Para Hacer la Diferencia], 1991
- Pgina Web de Evaluacin http://www.unicef.org/reseval/
z USAID
- Performance Monitoring and Evaluation TIPS [CONSEJOS sobre Seguimiento y
Evaluacin de Resultados]
http://www.usaid.gov/pubs.usaid_eval/#02
http://www.dec.org/partners/eval.cfm
z Banco Mundial
- Assessing Development Effectiveness: Evaluation in the World Bank and the
International Finance Corporation [Evaluacin de la Efectividad del Desarrollo:
Evaluacin en el Banco Mundial y en la Corporacin Financiera
Internacional],1998.
- Pgina Web de Evaluacin http: //www.worldbank.org/html/oed/evaluation
z OCDE DAC
- Pgina Web de Evaluacin http://www.oecd.org/dac/Evaluation/index.htm
- Red de Evaluacin del DAC
http://www.oecd.org/dac/Evaluation/htm/evallinkmem.htm

- Cinco Criterios de Evaluacin del DAC

http://www.oecd.org/dac/Evaluation/htm/evalcrit.htm
z The United States General Accounting Office
Evaluation Research and Methodology [Investigacin y Metodologa de la Evaluacin]
z Pginas Web de Evaluacin de las Siguientes Agencias de Asistencia
-IFAD http://www.ifad.org/evaluation/index.htm
-UNDP http://undp.org/eo/index.htm
- UNFPA http://www.unfpa.org/publications/evaluation/index.htm
-UNHCR http://www.unhcr.ch/evaluate/main.htm
-FAO http://www.fao.org/pbe/
z Pginas Web de las Asociaciones de Evaluacin
- Japan Evaluation Society [Sociedad de Evaluacin del Japn]
http://www.idcj.or.jp/JES
- American Evaluation Association [Asociacin Norteamericana de Evaluacin]
http://www.eval.org/

Mtodo de Evaluacin

<< Marco de Trabajo Lgico >>

z Program Logic: An Adaptable Tool for Designing and Evaluating Programs
[Lgica del Programa: Una Herramienta Adaptable para Disear y Evaluar
Programas]
Funnell, S. Evaluation News y Commnet, Vol.6 (1). pgs 5-7
z Program Theory in Evaluation: Challenges and Opportunities [Teora de
Programa en la Evaluacin: Retos y Oportunidades]

236
 New Directions for Evaluation [Nuevas Direcciones de Evaluacin], No.87, Jossey
Bass
<< Medicin de los Resultados >>
z Performance Measurement: Getting Results [Medicin de los Resultados: Cmo
Obtener Resultados]
Hatry, H.P., Urban Institute, 2000
z Clarifying Goals, Reporting Results [Aclarando Metas, Dando a Conocer
Resultados]
Wholey, J.S. y Newcomer, K.E., In Katherin Newcomer, Using Performance
Measurement to Improve Public and Nonprofit Programs [Uso de la Medicin de
Resultados para Mejorar los Porgramas Pblicos y No Lucrativos], New Direction for
Evaluation [Nueva Direccin de Evaluacin], 1997
<< Mtodo de Diseo Experimental >>
z Social Experimentation [Experimentacin Social], Sage Classics 1
Campbell, D.T. y Russo, M.J., Sage Publications, 1999
z Quasi-experimentation: Design and analysis issues for field settings [Semi-
experimentacin: Diseo y anlisis de temas para el ambiente de campo]
Cook, T.D. y Campbell, D.T., Rand McNally, 1979
<< Evaluacin Cualitativa >>
z Qualitative Research & Evaluation Methods [Investigacin Cualitativa y
Mtodos de Evaluacin]
Patton, M.Q., Sage Publications, 2002
z Qualitative Data Analysis: An Expanded Sourcebook [Anlisis Cualitativo de
Datos: Un Libro de Consulta Expandido] (2a ed.)
Miles, M.B. y Huberman, A.M., Sage Publications, 1994
<< Estudio de Caso >>
z The Art of Case Study Research [El Arte de la Investigacin del Estudio de
Caso]
Stake, R. E., Sage Publications, 1995
z Case Study Research [Investigacin del Estudio de Caso]
Yin, R.K., Sage Publications, 1984
<< Evaluacin del Programa de Desarrollo >>
z Monitoring and Evaluating Social Programs in Developing Countries: A
handbook for policy makers, managers, and researchers [Seguimiento y
Evaluacin de Programas Sociales en los Pases en Vas de Desarrollo: Un
manual para quienes hacen las polticas, gerentes e investigadores]
Valadez, J. y Bamberger, M., Banco Mundial, 1994
z Evaluating Country Development Policies and Programs: New Approaches for a
New Agenda [Evaluacin de las Polticas y Programas de Desarrollo de los
Pases: Nuevos Enfoques para una Nueva Agenda]
New Directions for Evaluation [Nuevas Direcciones de Evaluacin], No. 67, Jossey-
Bass
<< Evaluacin Participativa >>
z Foundation of Empowerment Evaluation [Bases de la Evaluacin del
Empoderamiento]
Fetterman, D.M., Sage, 2001
z Participatory Evaluation in Education; Studies in Evaluation Use and
Organizational Learning [Evaluacin Participativa en la Educacin; Estudios del
Uso de la Evaluacin y el Aprendizaje Organizativo]
Cousins, J.B. y Earl, L.M., Falmer, 1995
z Partners in Evaluation: Evaluating Development and Community Programs with
Participants [Socios en la Evaluacin: Evaluacin de los Programas para el
Desarrollo y Comunidades con Participantes]
Feuerstein, M.T., MacMillan, 1986
z Evaluating the Arts in Education: A Responsive Approach [Evaluacin de las
Artes en la Educacin: Un Enfoque Responsivo]
Stake, R. E., Merrill, 1975
z Participatory Evaluation and International Cooperation [Evaluacin
Participativa y Cooperacin Internacional]

237
 Institute for International Cooperation [Instituto de Cooperacin Internacional], JICA,
2001
<< Evaluacin Organizativa >>
z Self-Assessment Tools for Nonprofit Organization [Herramientas de Auto-
Valoracin para la Organizacin no Lucrativa]
Druchker, P.F.Foundation, Joseey-Bass, 1993
<< Paquete de Evaluacin >>
z Program Evaluation Kit [Paquete de Evaluacin de Programas], 2a Ed., Sage
Publications, 1987
1) Evaluators Handbook [Manual del Evaluador]
2) How To Focus An Evaluation [Cmo Enfocar una Evaluacin] (Stecher B.M. y
Davis W.A.)
3) How To Design A Program Evaluation [Cmo Disear un Programa de
Evaluacin] (Fitz-Giboon C.T. y Morris L.L.)
4) How to Use Qualitative Methods in Evaluation [Cmo Utilizar los Mtodos
Cualitativos en la Evaluacin] (Patton M.Q.)
5) How to Assess Program Implementation [Cmo Evaluar la Implementacin del
Programa] (King J.A., Morris L.L. y Fitz-Gibbon C.T.)
6) How to Measure Attitudes [Cmo Medir las Actitudes] (Henerson M.E., Morris L.L.
y Fitz-Gibbon C.T.)
7) How to Measure Performance And Use Tests [Cmo Medir los Resultados y
Utilizar las Pruebas] (Morris L.L, Fitz-Gibbon C.T. y Lindheim E.)
8) How to Analyze Data [Cmo Analizar los Datos]
9) How to Communicate Evaluation Findings [Cmo Comunicar los Resultados de la
Evaluacin] (Morris L.L, Fitz-Gibbon C.T. y Freeman M.E.)

Tcnicas de Evaluacin

<< Discusin de los Grupos de Control >>

z The Power of Focus Groups for Social and Policy Research [El Poder de los
Grupos de Control para la Investigacin Social y de Polticas]
Billson, J., Skywood Press, 2002
z Focus Groups [Grupos de Control] 3a ed.
Krueger, R.A. y Casey, M.A., Sage Publications, 2000
<< Anlisis Estadstico >>
z Practical Sampling [Muestreo Prctico]
Henry, G., Sage Publications, 1990
z Statistical Methods in Education and Psychology [Mtodos Estadsticos en
Educacin y Sicologa] 3a ed.
Glass, G. & Hopkins, K., Allyn y Bacon, 1996
z Design Sensitivity: Statistical Power for Experimental Research [Sensibilidad de
Diseo: Poder Estadstico de la Investigacin Experimental]
Lipsey, M. W., Sage Publications, 1990
<< Investigacin de Calidad - Metodologa de Entrevistas, Grupo de Control y
Observacin>>
z Qualitative Forschung [Investigacin Cualitativa]
Flick U., Rowohlt Taschenbuch Verlag GmbH, 1995
z Qualitative Research in Health Care [Investigacin Cualitativa en la Atencin a la
Salud], 2a ed.
Pope C. & Mays N., BMJ Books, 2000-
z Silverman, David, Doing Qualitative Research: Practical Handobook
[Investigacin Cualitativa: Manual Prctico] Sage Publication 2000

Diarios
z Japan Evaluation Research: Japan Evaluation Society [Investigacin de
Evaluaciones del Japn: Sociedad de Evaluacin del Japn]
z American Journal of Evaluation: The American Evaluation Association [Diario
Norteamericano de Evaluacin: La Asociacin Norteamericana de Evaluacin]

238
239