3 - Mixed Methods in Impact Evaluation (SPANISH)

Notas sobre la Evaluacin de Impacto
N. 3. agosto de 2012
INTRODUCCIN A LOS MTODOS MIXTOS

DE LA EVALUACIN DE IMPACTO
Por Michael Bamberger
Esta es la tercera gua de orientacin de una serie de cuatro partes de guas relacionadas con la evaluacin
de impacto desarrolladas por InterAction y con el apoyo financiero de la Fundacin Rockefeller. Las otras
guas de esta serie son: Introduccin a la Evaluacin de Impacto; Relacin entre el Monitoreo y la Evaluacin
con la Evaluacin de Impacto y Uso de los Resultados de la Evaluacin de Impacto. Puede encontrar la serie
completa en el sitio web de InterAction : http://www.interaction.org/impact-evaluation-notes.
Foto: Alissa Everett
CONTENIDOS
Introduccin 1
Parte I: Por qu mtodos mixtos?
1.1. Qu es un diseo de evaluacin de impacto con mtodos mixtos? 3

1.2. Las limitaciones de una dependencia exclusiva en enfoques de evaluacin CUANT o CUAL 4
1.3. Los beneficios de un enfoque de mtodos mixtos 4
Parte II: El enfoque de mtodos mixtos
2.1. Cuatro decisiones para disear una evaluacin de mtodos mixtos 9

2.2. Aplicacin de enfoques de MM en cada etapa de la evaluacin 13
Parte III: Aplicaciones de los diseos de mtodos mixtos
19
3.1. Estrategias de muestreo para evaluaciones con MM orientadas CUANT y CUAL 19

3.2. Uso de mtodos mixtos para evaluar intervenciones complejas 21
3.3. Evaluacin de procesos de cambio de comportamiento 25
Parte IV: Administracin de evaluaciones con mtodos mixtos
27
4.1. Los diseos de mtodos mixtos requieren un enfoque de administracin especial 27

4.2. Consejos para que las ONG con recursos limitados movilicen la experiencia profesional y los recursos requeridos para
realizar evaluaciones con mtodos mixtos 30
Parte V: Estudios de caso que ilustran las diferentes aplicaciones de los diseos de mtodos mixtos
32
Referencias 37
TABLAS
Tabla 1. Les Los mtodos mixtos se utilizan de manera diferente para diseos de evaluacin en los que predomina una
orientacin CUANT o CUAL
11
Tabla 2. Mtodos CUANT y CUAL de recoleccin de datos ms usados
16
Tabla 3. Tipos diferentes de triangulacin utilizados en evaluaciones con mtodos mixtos
17
Tabla 4. Ejemplos del anlisis de datos con mtodos mixtos
18
Tabla 5. reas adicionales de experiencia profesional en investigacin que se pueden requerir en equipos con una
orientacin CUANT o CUAL para realizar evaluaciones con MM.
29
Tabla 6. Ejemplos de evaluaciones con MM resumidas en el Anexo 10
36
CUADROS
Cuadro 1. Cmo se utilizan los trminos impactos y evaluacin de impacto en las guas de orientacin
Cuadro 2. Beneficios operativos por el uso de mtodos mixtos
Cuadro 3. Anlisis de atribucin, contribucin y sustitucin
22
Cuadro 4. Los resultados del programa se ven afectados por la manera en que los beneficiarios responden a los servicios y
cmo reacciona el personal ante las respuestas de los beneficiarios. Estudio del cambio de comportamiento en un
programa de alimentacin escolar en Nicaragua.
25
Cuadro 5. Planificacin y presupuesto de tiempo y recursos adicionales que pueden requerirse para una evaluacin con
mtodos mixtos
28
Cuadro 6. Realizacin de evaluaciones de impacto con mtodos mixtos con pocos recursos: Consejos para las ONG con
recursos limitados y poca experiencia profesional en evaluaciones
31
| Introduccin a los Mtodos Mixtos de la Evaluacin de Impacto |
FIGURES
Figura 1. Uso de un marco de muestra nacional de hogares para garantizar la representatividad y credibilidad de una
evaluacin de estudios de caso CUAL
Figura 2. Uso de estudios etnogrficos CUAL de pueblos y hogares para ayudar a interpretar los hallazgos de una encuesta
nacional de muestra CUANT
8
Figura 3. Diseo de mtodo mixto secuencial con un enfoque predominantemente cuantitativo: Estudio de transferencias
entre hogares como una estrategia de supervivencia de hogares de bajos ingresos en Cartagena, Colombia
12
Figura 4. Diseo de mtodo mixto secuencial con un enfoque predominantemente cualitativo: Evaluacin de la adopcin de
nuevas variedades de semillas por parte de diferentes tipos de agricultores
12
Figura 5. Diseo de mtodos mixtos en varios niveles: Evaluacin de los efectos de un programa de alimentacin escolar en
la asistencia y el desempeo
14
Figura 6. Uso de diseos de mtodos mixtos para evaluar intervenciones complejas
23
ANEXOS (disponibles en ingles en: http://www.interaction.org/impact-evaluation-notes)

Anexo 1.
Ventajas y desventajas de diseos de evaluacin cuantitativos
Anexo 2.
Ventajas y desventajas de diseos de evaluacin cualitativos
Anexo 3.
Ejemplos de diseos de evaluacin en cada punto del continuo CUANT - CUAL
Anexo 4.
Caractersticas de enfoques CUANT y CUAL en diferentes etapas de la evaluacin
Anexo 5.
Cmo los enfoques CUANT y CUAL se complementan entre s en diferentes etapas de una evaluacin
Anexo 6.
Comparacin entre mtodos de muestreo aleatorios y dirigidos
Anexo 7.
Variedad de enfoques cuantitativos, cualitativos y basados en la teora para definir lo contrafactual
Anexo 8.
Estrategias para reducir los costos de la recoleccin y el anlisis de datos
Anexo 9.
Ejemplo de triangulacin: comparacin de estimaciones de ingresos de hogares y pobreza de diferentes fuentes
Anexo 10. Estudios de caso de diseos de evaluacin con MM equilibrados y con orientacin predominantemente CUANT o CUAL
Anexo 11.
Cmo los mtodos mixtos pueden afianzar los diseos de evaluacin CUANT
Introduccin
Las evaluaciones con mtodos mixtos (MM) procuran integrar las
disciplinas de las ciencias sociales con enfoques predominantemente cuantitativos (CUANT) y predominantemente cualitativos
(CUAL) a la teora, la recoleccin, el anlisis y la interpretacin de
los datos. El objetivo es aumentar la confiabilidad de los datos y la
validez de los hallazgos y las recomendaciones, adems de ampliar
y profundizar la comprensin de los procesos a travs de los cuales
se logran los resultados e impactos de un programa, y cmo estos
se ven afectados por el contexto en el que se implementa tal programa. Aunque ahora los mtodos mixtos se utilizan comnmente en
la evaluacin de programas, y las solicitudes de propuestas de evaluacin con frecuencia exigen el uso de dichos mtodos, muchos
evaluadores no aprovechan todo el potencial del enfoque de MM.
Esta gua de orientacin explica los elementos
esenciales del enfoque de MM y cmo se puede
utilizar en una evaluacin de impacto (EI), adems
de resaltar los posibles beneficios y aplicaciones
para las ONG. La Parte I aborda la pregunta: Por
qu mtodos mixtos? Analizamos lo que es un
diseo de evaluacin de impacto con MM, qu lo
diferencia de un diseo de evaluacin de impacto
CUANT o CUAL y por qu el enfoque es til para
comprender las evaluaciones de desarrollo y las
complejidades del mundo real en el que se implementan (Seccin 1.1). La creciente popularidad de
los MM se debe al reconocimiento de las limitaciones de una dependencia exclusiva en uno de los
dos mtodos, CUANT o CUAL, (Seccin 1.2) y en

los posibles beneficios que se pueden lograr cuando ambos enfoques se combinan adecuadamente
(Seccin 1.3). Aunque los MM se pueden emplear
como parte de una evaluacin de impacto extensa
y bien financiada, los mtodos tienen la flexibilidad
de ser igualmente tiles para muchas ONG que
requieren evaluaciones crebles de sus programas,
pero cuyos recursos y experiencia profesional para
realizar evaluaciones de impacto son limitados.
Despus de haber expuesto el caso de los MM,
la Parte II describe cuatro decisiones clave que
se deben tomar al disear una evaluacin con
| 1 |
MM (Seccin 2.1): en qu etapas de la evaluacin

se emplearn los MM; si el diseo de MM es
secuencial o concurrente; si el diseo ser predominantemente CUANT o CUAL, o se utilizar un
diseo equilibrado que otorgue igual importancia
a ambos enfoques; y si el diseo se implementar
en un solo nivel o si ser una evaluacin en varios
niveles. La Seccin 2.2 explica cmo se pueden
usar los MM en cada etapa del diseo, la implementacin y el anlisis de una evaluacin, no solo
como una manera de diversificar los mtodos
de recoleccin de datos, como suponen muchos
evaluadores.
La Parte III revisa algunas aplicaciones de los
diseos de MM. La Seccin 3.1 analiza estrategias
de muestreo con MM cuando se usan diseos
predominantemente CUANT o CUAL y demuestra
de qu manera los MM pueden favorecer ambas
clases de diseo de muestras. La Seccin 3.2 describe el uso de los MM para evaluar intervenciones
de desarrollo complejas y la Seccin 3.3 expone la
manera en que los diseos de MM pueden ayudar
a evaluar programas que incluyen procesos de
cambio de comportamiento.
La Parte IV aborda temas concernientes a la administracin de evaluaciones con MM. La Seccin 4.1
explica por qu es necesario un enfoque de administracin especial, y la Seccin 4.2 analiza cmo
las ONG pueden utilizar los MM con eficacia
para las evaluaciones que se realizan con pocos
recursos (es decir, con restricciones de tiempo y
presupuesto, y con una experiencia profesional
limitada en lo que concierne a la investigacin).
La Seccin V presenta tres estudios de caso que
muestran cmo se utilizan los MM en evaluaciones predominantemente CUANT o CUAL, y
en una evaluacin equilibrada que otorga igual
importancia a ambos enfoques, CUANT y CUAL.
El Anexo10 presenta 17 ejemplos de evaluaciones con MM que ilustran una gran variedad de
enfoques e incluyen tanto evaluaciones extensas y
bien financiadas como evaluaciones realizadas con
limitaciones de presupuesto, tiempo y datos.
Un desafo en la preparacin de esta gua de
orientacin (GO) fue la gran cantidad de material bibliogrfico que existe sobre MM, parte del
cual es muy tcnico o especializado. Tratamos de
mantener el texto accesible para un pblico amplio
y no especializado, a la vez que incorporamos
un conjunto de anexos (disponibles en ingles en
http://www.interaction.org/impact-evaluation-notes)
con informacin ms detallada.
| 2 |
Parte I: Por qu mtodos mixtos?

1.1. Qu es un diseo de evaluacin de impacto
con mtodos mixtos?
Diferentes evaluadores utilizan los trminos impacto y evaluacin de impacto de diferentes maneras. Por lo tanto, a fin de asegurarnos de que todos
estemos en la misma pgina, el Cuadro 1 resume
cmo se utilizan estos trminos en estas guas de
orientacin. Los mtodos mixtos tienen los mismos
objetivos, formulan muchas de las mismas preguntas y emplean todas las herramientas y tcnicas de
evaluacin de impacto descritas en la gua de orientacin 1 (GO1) de esta serie, adems de basarse en los
sistemas de evaluacin y monitoreo de proyectos de
la manera descrita en la GO2. Al igual que otros diseos de evaluacin de impacto, los MM se pueden
aplicar en cualquier nivel, desde la evaluacin de un
proyecto que funciona en un solo pueblo hasta una
iniciativa de desarrollo nacional de varios componentes que involucra muchas agencias nacionales e
internacionales diferentes.
Es poco frecuente encontrar una nica metodologa de evaluacin que pueda contemplar absolutamente todas las complejidades del funcionamiento
de los programas en el mundo real. En consecuencia, los evaluadores deben hallar maneras creativas
de combinar diferentes marcos, herramientas y
1
tcnicas de evaluacin ; esto explica el creciente
1 Un tema relacionado importante concierne a la eleccin del
diseo de evaluacin apropiado. Debido a las muchas clases de
programas diferentes que se evalan, los contextos variados en
los que funcionan y la diversidad de preguntas de evaluacin de
relevancia para las partes interesadas, no existe un nico diseo
de evaluacin que sea el mejor para todas las situaciones. La
eleccin del diseo de evaluacin requiere un anlisis exhaustivo de la naturaleza del programa, el objetivo y el contexto de la
evaluacin, y el entorno en el que funciona. Consulte Bamberger,
Rugh y Mabry (2012), Captulos 2 y 11 para obtener un anlisis
de las estrategias para seleccionar el diseo de evaluacin ms
apropiado. Consulte tambin Stern et al (2012) para encontrar un
anlisis detallado de la eleccin de los mtodos.
inters por los enfoques de MM. La caracterstica

nica de los enfoques de mtodos mixtos (MM)
es que procuran integrar las disciplinas de las ciencias sociales con enfoques predominantemente
CUANT y predominantemente CUAL a la teora y a
la recoleccin, el anlisis y la interpretacin de los
datos. Aunque, actualmente, muchos evaluadores
utilizan una variedad de mtodos como rutina, Lo
que distingue una evaluacin con mtodo mixto
es el uso intencional o planificado de diversos
mtodos por los fines particulares de los mtodos
mixtos utilizando diseos particulares de mtodos mixtos (Greene 2005:255). Es muy habitual
combinar mtodos de recoleccin de datos para
realizar una evaluacin con MM, pero tambin es
posible combinar marcos conceptuales, desarrollos de hiptesis, anlisis de datos o marcos para
la interpretacin de los hallazgos de la evaluacin.
CUADRO 1. CMO SE UTILIZAN LOS TRMINOS IMPACTOS Y EVALUACIN DE IMPACTO EN LAS GUAS DE ORIENTACIN
La gua de orientacin 1, Introduccin a la evaluacin de impacto (pgina 2), define impactos
como:
los efectos positivos y negativos, deseados y no
deseados, directos e indirectos, primarios y secundarios, que produce una intervencin. (Definicin
del Comit de Asistencia para el Desarrollo de la
OECD).
Normalmente, se entiende que los impactos
ocurren despus, y como consecuencia, de resultados intermedios. La diferencia entre resultados
e impactos puede ser relativa, y depende de los
objetivos establecidos de una intervencin. De
acuerdo con nuestra definicin, una evaluacin de
impacto incluye:
cualquier evaluacin que investigue de manera

sistemtica y emprica los impactos que produce
(yque se pueden atribuir a) una intervencin.
| 3 |
1.2. Las limitaciones de una dependencia exclusiva

en enfoques de evaluacin CUANT o CUAL
Cuando se utilizan de forma aislada, ambos mtodos de evaluacin, CUANT y CUAL, tienen ventajas y desventajas. El objetivo de los MM es aprovechar las ventajas de ambos enfoques, CUANT y
CUAL, e integrarlos para superar sus desventajas.
A pesar de los muchos beneficios convincentes
de la recoleccin de datos y mtodos de anlisis
CUANT, tambin tienen una serie de limitaciones
inherentes (Anexo 1). Muchas de las crticas se
refieren a la reduccin de datos narrativos en nmeros, y diseos y procedimientos de mtodos de
recoleccin de datos inflexibles que son difciles de
adaptar a circunstancias cambiantes. Las categoras estandarizadas en cuestionarios y codificacin
de datos a menudo no pueden captar los matices
de las comunidades o los grupos estudiados, y
suele suceder que el anlisis carece de la profundidad y del detalle de los mtodos CUAL. El riesgo
de la evaluacin CUANT es la descontextualizacin,
es decir, que ignore cmo afectan a los programas
las caractersticas econmicas, polticas, institucionales y socioculturales de las poblaciones estudiadas. Otra crtica frecuente a muchas evaluaciones
CUANT es que suponen que los programas funcionan tal como se los planific y que todos reciben
el mismo paquete de servicios (tanto en trminos
de cantidad como de calidad). Esto es a menudo
conocido como enfoque de caja negra, ya que la
evaluacin no mira dentro de la caja negra del
proyecto.
Los mtodos CUAL tambin son herramientas

eficaces para la recoleccin y el anlisis de datos.
No obstante, cuando se los utiliza exclusivamente, los diseos de evaluacin CUAL tambin tienen una serie de desventajas posibles (Anexo2).
Las evaluaciones CUAL a menudo se centran en
temas y situaciones particulares, y es ms difcil
generalizar a partir de los hallazgos. Muchos evaluadores CUAL tambin creen que cada evaluacin
es especfica de cada contexto y no es posible o
apropiado generalizar. Muchas, pero ciertamente
no todas, evaluaciones CUAL utilizan un enfoque holstico; por lo que resulta ms difcil aislar
elementos y factores particulares, y comprender la
contribucin especfica de diferentes componentes
o enfoques del programa. Algunos clientes tambin
se sienten incmodos cuando se depende demasiado de la opinin y la perspectiva del evaluador, sin
dejar margen para que el lector revise fcilmente las
grandes cantidades de datos escritos y registrados
en las que se bas el evaluador. Un ltimo punto es
que las evaluaciones CUAL no suministran la clase
de documentacin detallada respecto de la metodologa que, por lo general, presentan los informes de
evaluacin CUANT y, por lo tanto, es difcil verificar
la validez de la recoleccin de datos y los procedi2
mientos de anlisis.
1.3. Los beneficios de un enfoque de mtodos
3
mixtos
Existen cinco razones principales para utilizar diseos de mtodos mixtos (Greene 2005:25556):
Triangulacin de los hallazgos de la evaluacin: aumentar la validez o credibilidad de

los hallazgos de la evaluacin al comparar
la informacin obtenida a partir de diferentes mtodos de recoleccin de datos (por
ejemplo, comparar respuestas a preguntas
2 Por ejemplo, muchas evaluaciones CUAL no incluyen documentacin detallada sobre cmo se seleccionaron los integrantes de
un grupo de discusin, y solo algunas pueden proporcionar transcripciones de las entrevistas (para considerar el costo y el tiempo);
de modo que, por lo general, no es posible para el lector revisar
los datos de manera independiente y evaluar cmo se obtuvieron
los hallazgos y las conclusiones.
3 Para obtener informacin reciente sobre los beneficios de los
enfoques de mtodos mixtos, consulte Adato (2012).
| 4 |
de encuestas con las observaciones directas

del entrevistador). Cuando las estimaciones
de diferentes fuentes convergen y coinciden,
esto aumenta la validez y la credibilidad de
los hallazgos o la interpretacin. Cuando
las diferentes estimaciones se contradicen, el investigador sigue explorando para
comprender la razn de las contradicciones
(consulte el Anexo 9).
Desarrollo: utilizar resultados de un mtodo
para ayudar a desarrollar la muestra o la instrumentacin de otro.
Complementariedad: extender la exhaustividad
de los hallazgos de la evaluacin a travs de
resultados de diferentes mtodos que amplan
y profundizan la comprensin obtenida.
Iniciacin: generar nuevas apreciaciones en
los hallazgos de la evaluacin a travs de
los resultados de los diferentes mtodos
que divergen y, de esta manera, requieren de

una conciliacin a travs de anlisis adicionales, reformulaciones o un cambio en la
perspectiva.
Diversidad de valor: incorporar una variedad
de valores ms amplia a travs del uso de diferentes mtodos que en s mismos proponen
diferentes valores. Esto fomenta una mayor
toma de consciencia respecto de las dimensiones de los valores de la evaluacin.
Un beneficio adicional es que un enfoque de MM
tiene ms probabilidades de aceptacin entre evaluadores y usuarios que tienen predileccin tanto
por enfoques CUANT como por enfoques CUAL.
El Cuadro 2 resume algunos de los beneficios
operativos de usar un enfoque de MM.
CUADRO 2. BENEFICIOS OPERATIVOS POR EL

USO DE MTODOS MIXTOS

Comprender cmo los factores contextuales

locales ayudan a explicar las variaciones en la implementacin y los resultados de los programas.
Reconstruir datos de base para evaluaciones

CUANT cuando no es posible realizar una
encuesta de base. Muchas evaluaciones se
encargan hacia el final del programa y no tienen
informacin muy confiable sobre las condiciones
del proyecto y los grupos de comparacin en el
momento en que se inici el programa. Esto hace
difcil determinar si las diferencias observadas al
final del proyecto se pueden atribuir a los efectos
del programa o si estas diferencias podran deberse, al menos en parte, a diferencias preexistentes
entre los dos grupos. Por ejemplo, las mujeres
que solicitan prstamos para pequeas empresas
pueden provenir de familias que brindan ms
apoyo a las mujeres propietarias de pequeas
empresas que la mayora de las familias, o
pueden ya tener ms experiencia comercial que
las mujeres que no solicitan prstamos. Si no se
identifican estas diferencias preexistentes, existe
el riesgo de sobrestimar los efectos del programa
de prstamos. Por lo general, es posible utilizar
tales tcnicas CUAL como entrevistas exhaustivas, entrevistas a informantes clave o grupos de
discusin para obtener informacin acerca de las
caractersticas de los beneficiarios y no beneficiarios del programa en el momento de inicio
del programa. Esta clase de informacin, que a
menudo es muy simple y econmica de obtener,
puede aumentar en gran medida la validez de los
datos de una encuesta exclusivamente CUANT.

Fortalecer la representatividad de los estudios

CUAL exhaustivos (por ejemplo, al vincular la
seleccin de estudios de caso con el marco de
muestreo CUANT) puede facilitar la comparacin
de los hallazgos con los datos de la encuesta
CUANT.
Aportar sentido comn respecto de la validez y

el valor de diferentes clases de datos CUANT y
CUAL.
Promover una mayor comprensin de las perspectivas de las partes interesadas acerca de la
naturaleza de la intervencin o cmo se espera
lograr sus objetivos. Esto propicia un enfoque
ms participativo y una mayor coordinacin entre
partes interesadas y evaluadores.
| 5 |
Figura 1. Uso de un marco de muestra nacional de hogares para garantizar la representatividad y credibilidad de
una evaluacin de estudios de caso CUAL
Coordinacin con el
Instituto Nacional de
Estadsticas (National
Institute of Statistics,
NIS) para utilizar su
marco de muestra
nacional de hogares a
fin de garantizar que
la muestra de pueblos
seleccionada para la
evaluacin de centros
de salud rurales sea
representativa en
lneas generales de las
regiones estudiadas.
Los estudios de caso

se realizan en los
pueblos seleccionados para evaluar el
uso de los servicios de salud y los
impactos en la salud.
Estudios de caso
completen-tados por
registros de centros
de salud y otras
fuentes secundarias.
Acuerdo con el
NIS respecto de la
cantidad mnima de
pueblos requeridos para permitir
generalizaciones de
los pueblos en los
estudios de caso.
Para ilustrar algunos de estos beneficios, examinemos el ejemplo de una evaluacin de impacto
de centros de salud rurales sobre la salud de la
poblacin rural, en especial de mujeres y nios.
Una preocupacin en particular es la accesibilidad
de los servicios de salud a sectores pobres y vulnerables de la poblacin. En este primer ejemplo, la
evaluacin adopta un enfoque predominantemente CUAL. La finalidad de la evaluacin es influir en
las polticas de salud nacionales al identificar algunas de las razones por las cuales las familias pobres y minoritarias no utilizan los centros de salud.
El equipo de evaluacin sabe que el Ministerio de
Salud ha criticado las evaluaciones CUAL previamente por haberse concentrado intencionalmente
en comunidades con problemas particulares consabidos, lo que implica que los hallazgos no son
representativos de todo el pas y desprestigiarn al
Ministerio de Salud. Los evaluadores tambin saben que el Ministerio algunas veces utiliz la falta
de representatividad estadstica como una excusa
conveniente para ignorar crticas vlidas, y desean
cerciorarse de que su estudio no sea descartado
por ese motivo. Por consiguiente, el equipo de
evaluacin coordina con el Instituto Nacional de
Estadsticas y utiliza su marco de muestra nacional
de hogares para garantizar que la muestra de las
comunidades que seleccionan sea representativa
en lneas generales de todo el pas (o la regin
El informe agradece
la asistencia del NIS
para garantizar que
los pueblos en los
estudios de caso
sean representativos de las regiones
estudiadas.
donde se realiza el estudio). La evaluacin utiliza

los mismos mtodos CUAL, pero ahora es posible
indicar que la muestra de comunidades es representativa en lneas generales de todas las comunidades en las regiones estudiadas (vea la Figura 1).
Ahora bien, supongamos que la misma evaluacin
ser realizada por un equipo diferente que planea
usar un enfoque CUANT basado en una encuesta
de muestra de hogares representativos a nivel nacional. Aunque una encuesta bien diseada puede
obtener estimaciones razonablemente confiables de
la proporcin de la poblacin que utiliza los centros
de salud (no obstante, incluso en ese caso existe la
posibilidad de un informe errneo), los evaluadores
son totalmente conscientes de que la encuesta no
explicar por qu los hogares utilizan o no los centros de salud. Por lo tanto, invitan a un etngrafo a
incorporarse al equipo y realizar estudios exhaustivos en una cantidad reducida de comunidades.
Los estudios etnogrficos explorarn las actitudes
y creencias relacionadas con la salud de diferentes
grupos etnogrficos y los factores que influyen en
su decisin de utilizar o no los centros de salud. Los
estudios tambin examinarn los factores econmicos, polticos, organizacionales, culturales y ecolgicos que afectan el funcionamiento de los centros
de salud en diferentes comunidades. La primera
parte del anlisis abordar las diferencias culturales
| 6 |
generales que pueden afectar a todos los centros de

salud, y la ltima parte (el anlisis contextual) ayudar a explicar los factores que afectan el funcionamiento de diferentes centros (Figura 2). El director
de la evaluacin sabe que los diseos de mtodos
mixtos funcionan bien solo cuando hay respeto y
comprensin, y una sensacin de igualdad entre
los miembros del equipo de diferentes profesiones,
de modo que se invit al etngrafo a incorporarse
al equipo desde el mismo momento en que se
realiz la primera reunin de planificacin. Las
siguientes son algunas de las formas en las que los
enfoques CUANT y CUAL se pueden integrar a esta
evaluacin:
Los estudios etnogrficos rpidos (CUAL) se
realizan en comunidades seleccionadas para
comprender los temas que se deben tratar
en la encuesta y para ayudar a formular las
preguntas.
A continuacin, se realiza una encuesta
CUANT de hogares utilizando una muestra
representativa a nivel nacional.
El anlisis de la encuesta de hogares puede
producir una tipologa de hogares de acuerdo
a su nivel de uso de los centros de salud o
sus razones para no utilizarlos. Se seleccionar una muestra de cada tipo para preparar
estudios de caso. Los estudios de caso a menudo revelarn que el uso que se aleg o los
motivos por no usar los centros de salud no
son correctos. Por ejemplo, las mujeres generalmente no mencionan el acoso sexual para
responder a la encuesta y, en su lugar, pueden
alegar que las horas de atencin al pblico no
son convenientes.
Se utilizar la triangulacin con el fin de
obtener estimaciones CUANT y CUAL independientes para variables clave (como el uso
de instalaciones sanitarias y actitudes hacia
estas instalaciones). Una caracterstica clave
de la triangulacin es que los procedimientos

se integran para identificar contradicciones
en diferentes estimaciones y para realizar un
seguimiento a fin de comprender la razn
de las diferencias. Por ejemplo, se observar
cmo se recibe a las personas que ingresan a
la clnica o se conversar informalmente con
las familias acerca de si utilizan las clnicas y
cundo lo hacen para comparar estos datos
con las respuestas a la encuesta.
Se prepararn borradores de informes CUANT
y CUAL independientes, y luego los equipos
se reunirn para identificar las reas en las
que hay aparentes diferencias en los datos o
la interpretacin. En el ejemplo de las contradicciones entre las respuestas a la encuesta
sobre la utilizacin de los centros de salud y
los datos de las observaciones y entrevistas
exhaustivas, los investigadores CUANT y
CUAL se reunirn para analizar las razones
de tales contradicciones. Pueden llegar a un
acuerdo respecto de que una u otra fuente de
informacin es ms confiable. Por ejemplo, las
entrevistas exhaustivas con mujeres cuando
ningn otro miembro del hogar est presente pueden considerarse ms confiables. No
obstante, si no est claro qu fuente es ms
confiable, los investigadores podran volver al
campo a recolectar ms datos o se podran
buscar otras fuentes de informacin, como
por ejemplo, una revisin de los registros de
los centros de salud sobre visitas de pacientes
o consultas a informantes clave, como lderes
de la comunidad, enfermeros, etc.
En los dos casos presentados, los MM pueden
favorecer la evaluacin. Sin embargo, el foco
de atencin es muy distinto cuando los MM se
utilizan para afianzar diseos predominantemente
CUAL (Figura 1) que cuando se usan para afianzar
diseos predominantemente CUANT (Figura 2).
| 7 |
Figura 2. Uso de estudios etnogrficos CUAL de pueblos y hogares para ayudar a interpretar los hallazgos de una
encuesta nacional de muestra CUANT
Estudios etnogrficos exhaustivos

realizados en una
muestra pequea
de pueblos
para identificar
problemas que se
estudiarn en la
encuesta de muestra de hogares
CUANT.
Se realiza la entrevista a la muestra de

pueblos y hogares
representativa a
nivel nacional para
calcular la proporcin
de mujeres que usan
los centros de salud
rurales y los factores
que determinan las
decisiones de uso o
no uso. Una tipologa
de pueblos y hogares
se define en trminos
de tipos de respuesta
a los centros de
salud, y se selecciona
una muestra representativa de cada
tipo para un anlisis
CUAL exhaustivo.
En trminos generales, un enfoque de MM es

particularmente til para:
Examinar las interacciones entre los factores
contextuales complejos y cambiantes que pueden influir en la implementacin y los impactos del programa.
Definir y medir indicadores de los factores culturales, histricos, polticos, legales, ambientales y psicosociales que afectan la implementacin. Se requieren diferentes metodologas
para medirlos.
Captar procesos complejos de cambios organizacionales y de comportamiento (secciones
3.2 y 3.3).
Tener en cuenta cmo cambian los programas
en respuesta a cmo son percibidos y utilizados por diferentes sectores de la poblacin
Estudio CUAL de
actitudes y creencias
que afectan el uso de
los centros de salud
rurales.
Anlisis CUAL de
factores culturales,
econmicos y otros
factores contextuales que afectan los
ndices de utilizacin de centros de
salud en diferentes
pueblos.
Observacin CUAL
e informantes
clave para evaluar
la validez de los
ndices registrados
de utilizacin de
centros de salud.
El informe presenta
el anlisis estadstico de los hallazgos
de la encuesta. Los
datos etnogrficos se
integran sistemticamente para ayudar
a interpretar los
hallazgos, evaluar la
validez de los datos
CUANT y contribuir a
explicar las variaciones en los ndices
de utilizacin de
centros de salud en
diferentes reas.
objetivo. La experiencia de los primeros usuarios y sus comentarios a vecinos pueden afec4
tar radicalmente la evolucin de un programa.
Muchos procesos y resultados son difciles
de observar o, en algunos casos, incluso es
difcil saber si existen. Esto es particularmente
importante para evaluar la situacin de grupos
vulnerables y para programas que afectan
actividades ilegales o socialmente desaprobadas, como el uso de drogas, trabajo sexual o
la inmigracin legal. Todas estas dificultades
se multiplican en los programas humanitarios, posteriores a conflictos y otras clases de
programas de ayuda ante emergencias.
4 Realist evaluation (Evaluacin realista) (Pawson 2006) proporciona un marco til para el anlisis del cambio de comportamiento
y para el anlisis de cmo los programas funcionan realmente en
el campo.
| 8 |
Parte II: El enfoque de mtodos mixtos

2.1. Cuatro decisiones para disear una
evaluacin de mtodos mixtos
Cuando se planifica una evaluacin con MM, se

requieren cuatro decisiones:
1. En qu etapa o etapas de la evaluacin se
utilizarn los MM?
2. Los mtodos CUANT y CUAL se emplearn
de manera secuencial o concurrente?
3. Se otorgar igual importancia a los mtodos CUANT y CUAL, o predominar una
metodologa?
4. El diseo ser de un solo nivel o de varios
niveles?
Decisin 1: En qu etapas de la evaluacin se utili-
zarn los mtodos mixtos?

La mayora de las evaluaciones con MM solo
combinan mtodos CUANT y CUAL en una
o quizs dos etapas de la evaluacin, por lo
general, en la recoleccin de datos. No obstante, un diseo de MM es mucho ms eficaz
si se integran los enfoques CUANT y CUAL en
varias etapas de la evaluacin (o idealmente en
todas). La Seccin 2.2 explica cmo se pueden
emplear los MM para afianzar cada etapa de
una evaluacin, el Anexo 4 compara enfoques
CUANT y CUAL en cada etapa de una evaluacin y
el Anexo5 presenta ejemplos de cmo se complementan los enfoques CUANT y CUAL para que
cada etapa de la evaluacin sea ms efectiva.
Decisin 2: El diseo de MM es secuencial o
concurrente?
Diseos de mtodos mixtos secuenciales
En los diseos secuenciales, los mtodos CUANT
y CUAL se utilizan en fases. Por ejemplo, la evaluacin puede comenzar con un estudio exploratorio
CUAL para tratar de comprender los problemas
clave y cmo los perciben las poblaciones afectadas. Esto sirve para disear una encuesta CUANT,
que luego se administra en una muestra seleccionada al azar. A continuacin, los datos podran
analizarse utilizando mtodos de anlisis CUANT
o CUAL, o ambos. En otro ejemplo, podra utilizarse una encuesta CUANT rpida para identificar
y cuantificar los principales tipos de granjas y
actividades agrcolas. Esta informacin luego se
usara para seleccionar una muestra representativa
de granjas para la preparacin de estudios de caso
CUAL exhaustivos. Los estudios de caso probablemente se analizaran utilizando mtodos CUAL
y la encuesta de muestra se analizara utilizando
tcnicas CUANT. La Figura 3 es un ejemplo de un
diseo secuencial para evaluar transferencias entre
hogares como una estrategia de supervivencia
de familias pobres. Esta evaluacin comenz con
un estudio etnogrfico (CUAL) para comprender
las caractersticas de las comunidades, seguido
de una encuesta CUANT a hogares y un anlisis
economtrico de los hallazgos.
Diseos concurrentes
En los diseos concurrentes, los enfoques CUANT
y CUAL se utilizan al mismo tiempo. Un ejemplo
de un diseo concurrente es uno en el que los
datos CUANT y CUAL se recolectan de forma simultnea, utilizando la triangulacin para comparar la informacin de los resultados, los impactos
y otros indicadores clave de distintas fuentes independientes. Otro ejemplo es cuando se utilizan
mtodos CUAL para realizar un anlisis contextual
del lugar de un proyecto (o las reas circundantes)
al mismo tiempo que se lleva a cabo una encuesta
| 9 |
de muestra CUANT a hogares o personas. Esto

brinda la posibilidad de realizar un anlisis muy
profundo pero ms complicado en el que se analizan las interacciones entre el entorno (contexto) y
el proceso de implementacin del proyecto.
Consideraciones operativas para decidir entre un
diseo secuencial y un diseo concurrente
Una ventaja de los diseos secuenciales es que la
logstica es generalmente ms fcil de organizar.
La recoleccin de datos que hace uso de cuestionarios estructurados a menudo requiere un equipo
grande de entrevistadores en el campo que sigan
un cronograma de seleccin de hogares definido
con precisin y una cantidad de entrevistas que
se debern realizar cada da. Los supervisores de
campo deben saber dnde est trabajando cada
enumerador porque el control de calidad por
lo general incluye visitas de seguimiento a una
submuestra de hogares. El supervisor tambin
debe estar disponible para responder las preguntas de los enumeradores. En contrapartida, los
mtodos etnogrficos y muchas otras clases de
mtodos CUAL tienen un cronograma mucho ms
flexible en trminos de duracin y en el que los
investigadores estarn disponibles en cualquier
momento dado. Por este y otros motivos, con frecuencia los diseos de MM concurrentes pueden
ser difciles de administrar, en particular para equipos de evaluacin con unos pocos supervisores
experimentados. Los diseos concurrentes pueden
ser un problema en particular en reas donde la
planificacin logstica (por ejemplo, traslados a
los sitios, lugares donde alojarse, la seguridad)
puede tornarse difcil de coordinar; tambin son
ms complicados en cuanto al manejo de opiniones y comentarios, ya que se tendran que realizar

ajustes con mayor rapidez que en el caso de los
diseos secuenciales. Por otro lado, los diseos
concurrentes tienen la ventaja de que la recoleccin y el anlisis de los datos se pueden realizar
ms rpidamente.
Decisin 3: El diseo de MM ser predominantemente CUANT o CUAL, o se utilizar un diseo
equilibrado?
Resulta til pensar en una representacin de
los diseos de evaluacin como un continuo de
enfoques que va desde enfoques exclusivamente CUANT pasando por enfoques que otorgan
igual importancia a los mtodos CUANT y
CUAL hasta enfoques exclusivamente CUAL
(Bamberger et al 2012 pp. 324-34; Greene y
Caracelli 2003). Esto es importante ya que diferentes evaluadores, quienes quizs comenzaron
sus carreras con una orientacin predominantemente CUANT o CUAL, pueden tener expectativas muy diferentes respecto de lo que implica
una evaluacin con MM. Tambin reviste
importancia porque, debido a la orientacin profesional de los evaluadores, en la mayora de las
evaluaciones con MM predomina un enfoque
CUANT o CUAL (en lugar de uno equilibrado).5
La Tabla 1 ilustra cmo se utilizan los MM en

evaluaciones en las que el enfoque predominante es CUANT o CUAL, y el Anexo 3 ofrece
ejemplos de diseos de evaluacin en diferentes
puntos de este continuo.
5 Est emergiendo una nueva generacin de evaluadores que se

capacitaron en MM como un enfoque de evaluacin integrado,
y comienzan a aparecer algunos estudios con un enfoque ms
equilibrado sin una orientacin predominante, aunque an son la
minora. El Journal of Mixed Method Research es una buena fuente
de ejemplos de diseos equilibrados.
| 10 |
Tabla 1. Les Los mtodos mixtos se utilizan de manera diferente para diseos de evaluacin en los que
predomina una orientacin CUANT o CUAL
Qu enfoque predomina?
Cmo funciona el enfoque predominante?
Cmo se utiliza la otra orientacin para

afianzar el diseo?
CUANT
Por lo general, la evaluacin administra un

cuestionario estructurado a una muestra seleccionada al azar de individuos, grupos, instituciones o comunidades, y el anlisis depende
principalmente de mtodos economtricos u
otros mtodos cuantitativos.
Se utilizan entrevistas exhaustivas,

observaciones y entrevistas grupales
para disear el cuestionario. Muestras
reducidas de casos seleccionados a partir
de la muestra principal tambin pueden
brindar una comprensin ms profunda
de las relaciones estadsticas halladas en
el anlisis CUANT. Los casos pueden ser
representativos de cada categora principal
identificada en el anlisis o utilizados para
estudiar observaciones atpicas u otros
grupos seleccionados a propsito.*
Se otorga igual importancia a enfoques CUANT y

CUAL
Las encuestas CUANT se combinan con una variedad de tcnicas CUAL diferentes. A veces,
estas ltimas se centran en el proceso y el anlisis contextual; en otros casos, el foco de atencin est en la misma unidad de anlisis que las encuestas (por ejemplo, individuos, hogares,
comunidades, organizaciones), pero se utilizan diferentes mtodos de recoleccin de datos.
CUAL
Estudios de caso, entrevistas exhaustivas y

otras tcnicas CUAL se aplican a muestras
relativamente pequeas de individuos, hogares,
comunidades o grupos.
Una encuesta CUANT rpida se usa para

identificar los problemas o grupos que se
abordarn en estudios CUAL exhaustivos
o bien, para demostrar que una muestra
CUAL es razonablemente representativa de
la poblacin total.
* Consulte el Anexo 6 y Bamberger et al 2012 pp. 360-61 para obtener una descripcin de muestreo dirigido.
La Figura 3 describe un diseo secuencial con un

enfoque predominantemente CUANT. Este es un
estudio de transferencias de dinero y bienes entre
hogares como estrategia de supervivencia de hogares urbanos pobres en Colombia (Wansbrough,
Jones y Kappaz 2000). El objetivo del estudio fue
describir los patrones de transferencias y estimar
si eran lo suficientemente importantes para actuar
como una red de seguridad social informal que
brinda ayuda a los sectores ms pobres de la
comunidad en pocas de necesidad. Estas transferencias entre hogares son difciles de identificar
y d medir. Por tal motivo, un antroplogo vivi
en la comunidad durante un mes para estudiar

los patrones de transferencias y colaborar con el
diseo del cuestionario para una encuesta CUANT
que luego se administr en cientos de hogares.
Los datos se analizaron utilizando anlisis economtricos CUANT.
La Figura 4 ilustra un diseo secuencial con un
enfoque predominantemente CUAL. Describe una
evaluacin hipottica para analizar la adopcin de
nuevas variedades de semillas por parte de diferentes tipos de familias rurales. Los mtodos de
recoleccin de datos principales son cualitativos:
| 11 |
Figura 3. Diseo de mtodo mixto secuencial con un enfoque predominantemente cuantitativo: Estudio de
transferencias entre hogares como una estrategia de supervivencia de hogares de bajos ingresos en Cartagena, Colombia
CUAL
Estudio etnogrfico
de cuatro semanas
para comprender las
estrategias de supervivencia, los mecanismos de transferencia
entre hogares y el
concepto de hogar en
esta comunidad.
CUANT
CUANT
Anlisis economtrico
para cuantificar transferencias e identificar
los factores que determinan la direccin
y la magnitud de las
transferencias.
Encuesta a cientos
de hogares para
recolectar datos
sobre condiciones
socioeconmicas a
fin de cuantificar el
volumen y los tipos
de transferencias
entre hogares dentro
de la comunidad y
con familiares de
otras partes del pas
o de otros pases.
Figura 4. Diseo de mtodo mixto secuencial con un enfoque predominantemente cualitativo: Evaluacin de
la adopcin de nuevas variedades de semillas por parte de diferentes tipos de agricultores
CUANT
Encuesta cuantitativa rpida de una

muestra de hogares
en todos los pueblos
del proyecto para
calcular el tamao
y la distribucin de
los diferentes grupos
tnicos, obtener
informacin sobre las
condiciones econmicas de los hogares
y estimar el producto
y el rendimiento
agrcola.
CUAL
CUAL
Recoleccin de
datos CUAL que
emplea entrevistas,
grupos de discusin,
observaciones y preparacin de estudios
de caso en hogares
y comunidades
agrcolas.
Anlisis de
datos CUAL que
utiliza anlisis dentro
y entre casos, y el
mtodo comparativo
constante.
entrevistas, grupos de discusin, observaciones y

estudios de caso de hogares individuales y pequeas comunidades agrcolas. Los mtodos de
anlisis principales tambin son cualitativos: anlisis dentro y entre casos, y el mtodo comparativo
constante. Sin embargo, para obtener informacin
sobre la distribucin tnica de los hogares, las

condiciones econmicas de los hogares y la produccin agrcola, la evaluacin comienza con una
encuesta CUANT rpida que cubre una muestra
de hogares en todos los pueblos incluidos en el
proyecto de extensin agrcola. Los hallazgos de
| 12 |
este estudio se utilizaron para identificar los tipos

de hogares que se deben estudiar en ms profundidad a travs de mtodos de recoleccin de datos
CUAL, y para garantizar que los casos seleccionados sean representativos en lneas generales del
total de la poblacin de la encuesta.
Cualquiera de los dos diseos de evaluacin anteriores se podran haber modificado para otorgar
igual importancia al enfoque CUANT y al enfoque
CUAL. En el caso del estudio de transferencias entre hogares, la encuesta a hogares se pudo haber
complementado con estudios de caso CUAL sobre
familias o redes de transferencias informales.
Estos se pudieron haber integrado en el anlisis
para comparar la descripcin y la interpretacin
de las funciones y la operacin de las redes de
transferencias obtenidas a partir de los estudios
CUAL con los hallazgos del anlisis economtrico.
En el segundo ejemplo, se pudo haber realizado
un estudio CUAL o CUANT de puntos de marketing para calcular los cambios en las ventas
del producto agrcola de las reas del proyecto y,
posiblemente, los cambios en la compra de bienes
de consumo por parte de las familias de las reas
del proyecto.
El ejemplo 3 de la Parte V describe un diseo
equilibrado (integrado) de evaluacin con MM
utilizado para evaluar un extenso programa de desarrollo comunitario en la India. El diseo otorga
igual importancia a los enfoques CUANT y CUAL
en todas las etapas de la evaluacin.
Decisin 4: El diseo de MM ser en un nico
nivel o se utilizar un diseo de varios niveles?
Los diseos que presentamos hasta ahora funcionan en un nico nivel, como la granja o el hogar.
No obstante, los MM tambin son una herramienta eficaz para la evaluacin de sistemas de entrega de servicios (por ejemplo, departamentos de
educacin distritales, servicios de salud estatales

o un programa nacional para fortalecer los gobiernos municipales) que requieren la descripcin y el
anlisis de los vnculos entre los diferentes niveles.
Estas evaluaciones se pueden tornar muy complejas y costosas. Los diseos de mtodos mixtos
que combinan datos CUANT y CUAL en cada nivel
pueden a menudo proporcionar hallazgos vlidos
y crebles sobre la base de muestras ms pequeas y ms econmicas.
La Figura 5 ilustra un diseo de mtodos mixtos
en varios niveles para evaluar los efectos de un
programa de alimentacin escolar en el desempeo y la asistencia. La evaluacin debe recolectar
datos a nivel del distrito escolar, una muestra de
escuelas, una muestra de clases y docentes en
cada escuela y una muestra de alumnos y familias.
En cada nivel, se recolectan datos cuantitativos y
cualitativos, y se comparan. Los mtodos CUAL
(como las observaciones, los grupos de discusin
y las entrevistas con informantes clave) tambin
pueden ayudar a examinar las conexiones entre los
diferentes niveles (por ejemplo, interacciones entre
funcionarios del distrito y docentes y administradores escolares).
2.2. Aplicacin de enfoques de MM en cada etapa
de la evaluacin
Esta seccin explica las diferentes maneras en las

que generalmente se aplican los enfoques CUANT
y CUAL en cada etapa de una evaluacin, y cmo
los dos enfoques se pueden combinar en un diseo de MM. Los Anexos 4 y 5 proporcionan ms
detalles. Al leer esta seccin, se debe comprender
que para una evaluacin con MM extensa y bien
financiada, el equipo podra incluir la contratacin
de uno o ms integrantes por sus conocimientos
CUANT o CUAL especficos (por ejemplo, muestreo estadstico para un estudio a gran escala
| 13 |
Figura 5. Diseo de mtodos mixtos en varios niveles: Evaluacin de los efectos de un programa de
alimentacin escolar en la asistencia y el desempeo
Mtodos
cualitativos
Mtodos
cuantitativos
Nivel
Entrevistas exhaustivas a administradores de distrito
Distrito escolar
Entrevistas exhaustivas con administradores y directores

escolares
Muestra de escuelas
Anlisis CUANT de
asistencia y resultados
de exmenes
Entrevistas exhaustivas a docentes sobre

cmo los programas
de alimentacin
afectan la asistencia
Muestra de clases y
docentes
Observaciones CUANT del nmero de

alumnos que reciben
comidas y asisten a
la escuela
Entrevistas de
grupo de discusin a
alumnos
Muestra de alumnos
Administracin de
encuesta CUANT a
muestra de alumnos
Entrevistas exhaustivas a familias y observacin de nios,

por ejemplo cuando
viajan a la escuela
Muestra de familias
Encuesta CUANT a
hogares
sobre mala nutricin o entrevistas CUAL exhaustivas sobre temas sensibles como la violencia
domstica). Sin embargo, muchas evaluaciones
(quizs la mayora) no pueden darse este lujo y
los integrantes del equipo debern aplicar ambos
enfoques, CUANT y CUAL, segn se requiera. Es
obvio que, incluso para las evaluaciones extensas, es deseable que todos los integrantes de un
equipo estn familiarizados con todos los mtodos de evaluacin que se usarn. Los prrafos
siguientes ilustran cmo los mtodos CUANT y
CUAL se pueden integrar en diferentes etapas de
la evaluacin.
Anlisis CUANT de
registros escolares
Formulacin de hiptesis. Las evaluaciones

CUANT derivan hiptesis deductivamente de
teoras existentes o publicaciones bibliogrficas, mientras que las evaluaciones CUAL
elaboran hiptesis inductivamente a medida
que progresa el estudio. Los MM combinan
ambos enfoques. Por ejemplo, una hiptesis
desarrollada deductivamente utilizando un
enfoque CUANT se puede estudiar y perfeccionar a travs de enfoques CUAL, como
entrevistas u observaciones. Por otro lado,
las etapas iniciales de la recoleccin de datos
CUAL pueden describir procesos y problemas
| 14 |
que un enfoque CUANT puede probar a travs

de datos recolectados en una encuesta de
muestra.
Muestreo. Por lo general, las evaluaciones
CUAL utilizan una cantidad relativamente
pequea de temas seleccionados deliberadamente (muestreo terico) para garantizar
que se incluyan todos los grupos importantes. Por el contrario, las evaluaciones
CUANT habitualmente usan una muestra
seleccionada al azar, lo que permite la
generalizacin en poblaciones ms grandes
y la comparacin estadstica de diferentes
grupos (por ejemplo, los grupos del proyecto y de comparacin). El muestreo de MM
utiliza el mismo marco de muestreo para
generar una muestra de encuesta CUANT
extensa y seleccionar una muestra pequea
pero representativa para un anlisis CUAL
exhaustivo. Garantizar que las muestras
CUAL sean razonablemente representativas
del total de la poblacin de muestra es una de
las contribuciones ms importantes de los diseos de MM. El ejemplo de la evaluacin de
los centros de salud ilustra cmo se pueden
complementar los enfoques CUANT y CUAL
aplicados al muestreo. El Anexo 6 resume las
diferencias entre las estrategias de muestreo
CUANT y CUAL.
Diseo de evaluacin. La mayora de las evaluaciones CUANT emplean uno de una pequea
cantidad de diseos aleatorios o cuasiexperimentales. Siempre que sea posible, se entrevista a las muestras representativas del proyecto y a los grupos de comparacin en dos o
ms puntos durante el transcurso del proyecto
para comparar los cambios en resultados o
indicadores de impacto. Por el contrario, las
evaluaciones CUAL tratan de describir procesos constantes de cambio que a menudo son
afectados por diferentes factores y que afectan
a diferentes individuos o grupos en diferentes
maneras. Algunas evaluaciones CUAL procuran entender el programa a travs del anlisis
de relaciones entre muchos elementos diferentes de la comunidad u otro entorno en el que
funciona el programa, mientras otros adoptan
un foco de atencin ms profundo en temas
individuales sin necesariamente centrarse en
el contexto ms amplio. En algunas evaluaciones bien financiadas, el evaluador puede vivir
en la comunidad o visitarla con frecuencia
durante un tiempo, pero en la mayora de los
casos esto no es posible, y se pone el nfasis en los grupos de discusin, entrevistas
exhaustivas, informantes clave, etc. Por lo
general, las evaluaciones CUAL no tratan de
establecer una relacin de causa y efecto directa entre las intervenciones del proyecto y los
resultados. Una de las muchas maneras en las
que se pueden combinar dos enfoques es emplear mtodos CUAL para estudiar el proceso
de implementacin del proyecto y la influencia
de variables contextuales en el rendimiento del
proyecto en algunas de las comunidades donde se est realizando una encuesta CUANT a
6
los participantes del proyecto.
Mtodos de registro y recoleccin de datos.
La Tabla 2 enumera algunas de las tcnicas
CUANT y CUAL de recoleccin de datos ms
usadas. Mientras que las evaluaciones CUANT
recolectan datos numricos estandarizados,
las evaluaciones CUAL a menudo utilizan mtodos de recoleccin de datos menos estructurados que proporcionan mayor flexibilidad y
procuran entender las complejidades de una
situacin. Aunque la ventaja de los mtodos
CUANT de recoleccin de datos es que producen datos estandarizados que miden cambios
en el tiempo o entre grupos, estos mtodos
6 Existe una cantidad de tcnicas para transformar descripciones

CUAL de factores contextuales en variables CUANT (por ejemplo,
variables ficticias [Dummy]) que se pueden incorporar al anlisis
de regresin (consulte la Tabla 4).
| 15 |
Tabla 2. Mtodos CUANT y CUAL de recoleccin de datos ms usados

CUANT
CUAL
Encuestas estructuradas de hogares, granjas,

usuarios de servicios pblicos, etc.
Guas de observacin estructuradas
Medidas antropomtricas de altura y peso
Anlisis de HIS y anemia mediante exmenes
y recoleccin de muestras de sangre
Recuentos automticos (por ejemplo, personas que ingresan a un edificio)
Anlisis sociomtrico **
GIS (generacin y anlisis de mapas de
GPS)**
Programa Sistema de Informacin para la
Gestin sobre datos de entradas y salidas
Revisin de datos institucionales: historias
clnicas, registros escolares, etc. **
Entrevistas exhaustivas
Informantes clave
Observaciones de participantes
Observaciones de no participantes**
Estudios de caso
Entrevistas al salir los cliente**
Estudios de pacientes ficticios
Grabacin de videos o audio**
Fotografa
Anlisis de documentos**
Artefactos
Entrevistas grupales (p.ej., grupos de discusin, reuniones de la
comunidad)**
Tcnicas grupales participativas (p.ej., evaluacin rural significativa,
cambios ms importantes)
Entrevistas por Internet
Tcnicas de encuesta para estudiar la formacin de grupos, cmo se difunde la informacin, identificacin de lderes
de opinin y otros patrones de organizacin social en un grupo o en una comunidad.

** Indica que estas tcnicas se pueden utilizar tanto cuantitativa como cualitativamente. Estn ubicadas en la columna
correspondiente al mtodo que las utiliza ms comnmente.
no son adecuados para obtener informacin sobre temas sensibles o para entrevistar grupos que son difciles de abordar. La
recoleccin de datos con MM saca provecho
de las ventajas de los datos CUANT, a la vez
que examina con mayor profundidad, obtiene
datos sensibles y estudia procesos y el cambio
de comportamiento.
Triangulacin. Una caracterstica clave de
los MM es el uso sistemtico de la triangulacin (Anexo9). Mientras que tanto los
evaluadores CUAL como CUANT utilizan la
triangulacin para obtener dos o ms estimaciones independientes de variables de resultados clave, los MM tienden a utilizarla ms
sistemticamente y como parte integral del
diseo de la evaluacin.
Las evaluaciones CUANT utilizan la triangulacin
para incluir verificaciones de coincidencias en
los instrumentos de encuesta o para comparar
fuentes de datos secundarias con la informacin

provista por los encuestados. Las evaluaciones
CUAL emplean la triangulacin de una manera
ms general, pero generalmente con un nfasis
en profundizar y ampliar la comprensin a travs
de las diversas perspectivas obtenidas de diferentes fuentes de informacin, en lugar de una
verificacin de coincidencias. Los diseos de MM
triangulan estimaciones CUANT y CUAL (consulte
la Tabla 3). Los MM utilizan la informacin obtenida a travs de la triangulacin para: aumentar
la confiabilidad y la validez de las estimaciones
de indicadores clave al comparar informacin de
diferentes fuentes; profundizar la comprensin del
significado de las relaciones estadsticas identificadas en el anlisis cuantitativo y garantizar que se
capten y se comparen las perspectivas de todas las
partes interesadas clave, con particular nfasis en
grupos pobres y vulnerables. Si las estimaciones
obtenidas de diferentes fuentes coinciden, esto
aumenta la validez y la credibilidad de los datos,
| 16 |
Tabla 3. Tipos diferentes de triangulacin utilizados en evaluaciones con mtodos mixtos

Mtodo
Ejemplos
Uso de diferentes
marcos conceptuales
Comparar marcos de anlisis feministas, de derechos humanos, de exclusin social o

econmicos (p.ej., costo-beneficio)
Diferentes mtodos de
recoleccin de datos
Comparar encuestas estructuradas, observaciones directas, datos secundarios, artefactos
Diferentes
entrevistadores
Comparar sexo, edad, origen tnico, condicin econmica, vestimenta, lenguaje del
entrevistador, etc., en las respuestas
Diferentes momentos
Comparar respuestas u observaciones en diferentes momentos del da, das de la semana,

pocas del ao
Diferentes lugares y
contextos
Comparar respuestas y observaciones cuando las entrevistas se realizan en el hogar en

presencia de otras personas, en lugares donde el entrevistado puede hablar con mayor
libertad, en la calle y otros lugares pblicos, en el trabajo, en el aula
particularmente de las estimaciones basadas en

muestras pequeas, y produce estimaciones ms
confiables que si todos los dems recursos se
hubieran invertido en una tcnica particular, como
la encuesta a los hogares.
Anlisis de datos. Los evaluadores CUAL
emplean una amplia variedad de mtodos
de anlisis de datos para identificar patrones
y relaciones generales a fin de obtener una
visin holstica de las complejas interacciones
entre un proyecto y el entorno en el cual est
insertado. El objetivo del anlisis CUANT, por
otro lado, es describir las caractersticas estadsticas de variables clave para determinar
la importancia estadstica de las diferencias

entre el grupo del proyecto y el grupo de comparacin, e identificar factores que contribuyen a la magnitud y direccin del cambio. El
anlisis de datos con mtodos mixtos emplea
anlisis CUAL para tratar de comprender el
significado que otorgan los diferentes sujetos o grupos a las asociaciones estadsticas
halladas en el anlisis CUANT y para proporcionar casos y ejemplos a fin de ilustrar
los hallazgos. Por otro lado, se puede usar el
anlisis CUANT para evaluar cmo los casos
incluidos en los estudios CUAL representan al
total de la poblacin de inters y qu sectores
no se incluyeron.
| 17 |
Tabla 4. Ejemplos del anlisis de datos con mtodos mixtos

Enfoque
Descripcin
Ejemplo
A. Anlisis paralelo
de datos con mtodos mixtos
Esto incluye dos procesos de anlisis

independientes: los datos CUANT se
analizan utilizando mtodos CUANT
convencionales (como tablas de
frecuencia, tablas cruzadas, anlisis
de regresin, etc.) mientras que se
realiza otro anlisis independiente
de datos CUAL utilizando mtodos
CUAL, como el anlisis del contenido.
Luego se comparan los hallazgos de
los dos conjuntos de anlisis.
En la Evaluacin de la pobreza de 2003 del Banco

Mundial en Guatemala, equipos independientes fueron
los responsables de recolectar datos CUAL y CUANT.
El anlisis CUAL se realiz en 5 pares de pueblos, que
representaban los principales grupos tnicos. Los datos
CUANT del mismo conjunto de pueblos se analizaron
por separado y los dos conjuntos de datos se integraron
solo en la etapa final del anlisis. La combinacin de los
dos anlisis independientes proporcion un contexto
poltico e histrico ms amplio para comprender los
impactos del funcionamiento del programa (Teddlie y
Tashakkori [2009] Cuadro 11.5).
B. Anlisis de
datos con mtodos mixtos de
conversin
a. Los datos CUAL se convierten en

indicadores CUANT (se cuantitativizan) utilizando calificacin, puntaje y escalas* para que se puedan
usar tcnicas de anlisis CUANT.
b. Los datos CUANT se convierten
en indicadores CUAL (se cualitativizan) para que se puedan usar
procedimientos de anlisis CUAL.
c. a. Los datos sobre el contexto poltico, econmico,

social, ambiental, legal y administrativo en el cual
funciona un proyecto a menudo se presentan en forma cualitativa y redactada. Los indicadores se pueden
cuantitativizar a travs de una conversin a variables ficticias (Dummy). Por ejemplo: la economa
est creciendo = 1, la economa no est creciendo
= 0. Estas variables ficticias se pueden incorporar al
anlisis de regresin.
d. b. En la Figura 4, una tipologa cuantitativa de agricultores se podra cualitativizar al elaborar descripciones redactadas de las diferentes actitudes hacia la
adopcin de nuevas variedades de semillas.
C. Anlisis de datos secuencial con

mtodos mixtos
a. Despus del anlisis de datos CUAL

sigue el anlisis CUANT.
b. Despus del anlisis de datos
CUANT sigue el anlisis CUAL.
c. Diseos de MM iterativos. El anlisis incluye pasos CUANT y CUAL
secuenciales.
a. a. En la Figura 3, el estudio de las estrategias de

supervivencia comienza con un anlisis cualitativo de
informes redactados sobre los patrones de transferencias entre hogares que funcionan como soporte
de hogares vulnerables. El anlisis CUAL colabora
con el diseo de la encuesta CUANT de trasferencias
entre hogares, que luego se analiza mediante tcnicas economtricas.
D. Anlisis con
mtodos mixtos en
varios niveles
Las tcnicas de anlisis CUANT y

CUAL se utilizan en diferentes niveles
de un diseo de evaluacin de varios
niveles.
La Figura 5 ilustra el uso de un anlisis con MM en varios niveles para evaluar los impactos de un programa
de alimentacin escolar en el desempeo y la asistencia. Tanto el anlisis CUANT como el anlisis CUAL se
realizaron de manera secuencial en el nivel del distrito,
la escuela, el aula, el alumno y la familia. Esto permiti un anlisis de las conexiones entre los diferentes
niveles.**
* Por ejemplo, los informes redactados acerca de las actitudes de los grupos polticos locales hacia un programa de desarrollo social se
podran convertir en una escala numrica donde: 3 = el grupo poltico tiene una actitud favorable hacia el programa; 2 = el grupo poltico
no est a favor ni se opone y 1 = el grupo se opone al programa. La calificacin, el puntaje o las escalas son maneras un tanto diferentes
de realizar la conversin.
** Por ejemplo, el anlisis de los registros en el nivel del distrito puede identificar las escuelas que estn por encima o por debajo de los
promedios de asistencia o puntajes de desempeo. Esta informacin se puede utilizar para seleccionar las escuelas por encima y por debajo del promedio que se incluirn en la muestra. De manera similar, se podran utilizar entrevistas exhaustivas con docentes para seleccionar
una muestra de alumnos con caractersticas particulares de inters para incluirlos en los grupos de discusin.
Fuente: Adaptado de C. Teddlie y A. Tashakkori 2009, Foundations of Mixed Methods Research (Fundamentos de la investigacin con mtodos
mixtos). Captulo 11, Sage Publications (con autorizacin). La mayora de los ejemplos fueron desarrollados por este autor.
| 18 |
Parte III: Aplicaciones de los diseos de

mtodos mixtos
3.1. Estrategias de muestreo para evaluaciones con
MM orientadas CUANT y CUAL
Modelo 1: Uso de mtodos mixtos para afianzar

una evaluacin principalmente CUANT
Con la mayora de los diseos de evaluacin
CUANT, las encuestas de muestras se administran
antes y despus de la intervencin del proyecto
con un grupo de control o de comparacin. El
tamao de muestra requerido para las encuestas
CUANT se calcula a travs de la dimensin del
7
efecto y la capacidad estadstica. Los mtodos
CUAL se pueden emplear para afianzar el diseo
en uno o ms de los siguientes puntos:
Estudios exploratorios o diagnsticos para
comprender el contexto y los problemas
antes de desarrollar los instrumentos de la
encuesta. Estos pueden ser estudios cualitativos rpidos con una duracin de solo unos
das o estudios ms prolongados en los que
un antroplogo o socilogo se queda a vivir
en una comunidad durante un perodo de
semanas o meses. En un proyecto grande,
que funciona en diferentes regiones geogrficas o ecolgicas, podran necesitarse estudios
diagnsticos en una cantidad de regiones o
comunidades diferentes. A veces, los estudios
sern llevados a cabo por un investigador solo
7 La dimensin del efecto se refiere a la dimensin del cambio o

del impacto que se calcula. Cuanto mayor es el cambio que se estima, menor es el tamao requerido para la muestra. La capacidad
estadstica se refiere a la probabilidad de que la prueba estadstica
identifique correctamente que existe un impacto real. Cuanto
ms alto es el nivel de confianza requerido, mayor deber ser el
tamao requerido para la muestra. Consulte Bamberger et al 2012,
Captulo 15, Seccin 4 para obtener un anlisis de la estimacin del
tamao de la muestra.
(un investigador por comunidad o regin)

mientras que en otros casos el investigador
principal podra recibir ayuda de un equipo de
asistentes para realizar encuestas rpidas o
estudios de observacin de participantes o no
participantes sobre, por ejemplo, sistemas de
transporte de la comunidad, el uso del tiempo
por parte de las mujeres, o sistemas de
produccin y marketing. Aunque los estudios
pueden tardar varios das o semanas, la unidad de muestreo primaria, por lo general, ser
una comunidad o un grupo, y normalmente
solo se estudiarn algunos grupos o comunidades. No obstante, es posible entrevistar
a grandes cantidades de personas utilizando
tcnicas de recoleccin de datos no estructurados o semiestructurados y, en algunos
casos, tambin se pueden realizar encuestas
de muestras rpidas.
Grupos de discusin formados por diferentes
segmentos de la poblacin objetivo. Estos
pueden llevarse a cabo durante la etapa preparatoria de la evaluacin o despus de que
se hayan analizado las encuestas cuantitativas
y se hayan identificado los grupos de inters
principales. Idealmente, se debern realizar
tres o cuatro grupos de discusin con cada
grupo econmico o demogrfico de inters
para la evaluacin (Teddlie y Tashkkori 2009,
Tabla 8.5), aunque la cantidad de grupos, por
lo general, es menor cuando se trabaja con
limitaciones de tiempo y de presupuesto.
Se pueden agregar mdulos semiestructurados y especializados a una encuesta de
muestra, y administrar a una submuestra
de encuestados. Por ejemplo, se puede
| 19 |
administrar la encuesta principal al jefe/a del

hogar (quien en muchas culturas suele ser un
hombre), pero en una submuestra de hogares
se puede entrevistar al cnyuge. A veces, el
mismo entrevistador puede administrar el
mdulo especial al cnyuge (u otro integrante del hogar), pero en muchos casos ser
necesario preparar una entrevista aparte, a
menudo en un lugar o en un momento cuando el marido u otros integrantes del hogar no
estn presentes. Por lo general, los mdulos
se administran del 10 al 25 por ciento de la
muestra original.
Preparacin de estudios de caso para complementar la encuesta. A menudo, resulta til
preparar estudios de caso en una muestra pequea de encuestados para proporcionar una
comprensin ms acabada de los temas de
inters para la evaluacin. Por ejemplo, en la
evaluacin de un programa de agricultura, se
podran elaborar estudios de caso con el fin de
ilustrar diferentes clases de sistemas agrcolas.
Para un proyecto educativo, los casos podran
comprender familias con ingresos ms altos
y ms bajos, familias que viven cerca y lejos
de la escuela o familias de diferentes grupos
tnicos o religiosos. Una vez ms, el nmero
de casos normalmente ser bastante reducido,
aunque la duracin puede ser bastante prolongada. Cuando se preparan estudios de caso
en organizaciones (como escuelas o cooperativas agrcolas) o comprenden comunidades
enteras (por ejemplo, para ilustrar los efectos
de sistemas de transporte mejorados), el
estudio ser ms complicado y, por lo general,
se entrevistar a una cantidad significativa de
personas para cada caso.
Modelo 2: Uso de diseos de mtodos mixtos
para afianzar una evaluacin CUAL
Los diseos de mtodos mixtos tambin se
pueden usar para afianzar una evaluacin CUAL

que utiliza grupos de discusin, observaciones de
participantes, observaciones de no participantes
y preparacin de estudios de caso. Un desafo
para muchos de estos diseos es el peligro de la
parcialidad si las muestras de individuos o grupos
no son representativas. Por ejemplo, a menudo
las personas que asisten a los grupos de discusin
son aquellas que estn muy a favor o en contra
de un proyecto, aquellas que tienen el tiempo y
los recursos para participar (pueden tener que
hacer arreglos de transporte), o bien, en algunos
casos (por lo general, sin que lo sepa el evaluador), algunos participantes pueden ser enviados
por el gobierno local u otro grupo con un inters
particular. En consecuencia, es difcil incorporar
mucha informacin valiosa y esclarecedora al
informe de evaluacin de una manera creble. De
modo similar, muchos investigadores se sienten
ms cmodos al hablar con ciertos grupos que
con otros; es as que puede haber cierta parcialidad en la seleccin de los estudios de caso. Por lo
general, la muestra es relativamente pequea pero
la cantidad de entrevistas vara segn el tamao
de la poblacin estudiada y el nivel de precisin
8
requerido para los hallazgos.
8 Consulte Bamberger et al. 2012, Tabla 15.6, p. 389 si desea

obtener reglas generales para calcular el tamao de las muestras
para diferentes clases de mtodos de recoleccin de datos CUAL.
No obstante, el tamao de las muestras vara segn el tamao y
la complejidad del programa que se est evaluando y el nivel de
precisin requerido para las estimaciones. Si se deben realizar
generalizaciones a partir de los estudios de caso, grupos de discusin u otros mtodos, es importante asegurar que se seleccionen
casos que sean razonablemente representativos y tambin que se
incluyan suficientes casos para que los hallazgos se consideren
crebles. De modo que, aunque uno o dos casos puedan ser valiosos para ilustrar procesos o comportamientos, rara vez resulta
apropiado utilizar una muestra tan pequea para realizar afirmaciones como La mayora de los agricultores sintieron que o
La mayora de las madres crean que los centros de salud. No
es posible usar procedimientos estadsticos convencionales para
calcular el tamao de muestra apropiado con una cantidad tan
reducida de casos, de modo que, inevitablemente, la opinin se
debe combinar con la consulta a las partes interesadas respecto de
qu tamao de muestra se considerara razonable o creble.
| 20 |
El muestreo con mtodos mixtos garantiza que se

seleccionen casos CUAL e informantes que sean
representativos en lneas generales de la poblacin
total. Esto afianza la validez de los hallazgos generales. Las tcnicas cuantitativas, como una encuesta
de muestra rpida, pueden ser una forma til de
comparar las caractersticas socioeconmicas de
los individuos o grupos incluidos en los estudios
cualitativos con las caractersticas de la poblacin
total. Por lo general, el tamao de muestra CUANT
es relativamente pequeo, ya que la encuesta solo
se utiliza para garantizar que los estudios de caso
u otros datos CUAL sean razonablemente representativos. Pero si se requieren estimaciones ms
precisas, se pueden emplear los procedimientos de
clculo del tamao de la muestra analizados en la
seccin anterior.
Modelo 3: Uso de un diseo de mtodo mixto
equilibrado (integrado)
Aunque en la mayora de los casos, los diseos de
mtodo mixto se utilizan para complementar un
diseo predominantemente CUANT o CUAL, hay
casos en los se podra utilizar un diseo de mtodo mixto integrado que otorgue igual importancia
a ambos enfoques. Estos diseos pueden consistir
en la combinacin de tcnicas cuantitativas y cualitativas, adems de tcnicas de mtodos mixtos
especficos, en diferentes etapas de la evaluacin.
La estimacin de los tamaos de muestra requeridos debe combinar los procedimientos CUANT
para las encuestas de muestra y la reglas generales
analizadas en la seccin anterior para los componentes CUAL. La combinacin de ambos requiere
un criterio basado en la experiencia. El ejemplo 3
de la Parte V describe un diseo de MM equilibrado (integrado) utilizado para evaluar un programa
en la India a gran escala cuya finalidad es aumentar la capacidad de las comunidades para administrar subvenciones de los gobiernos estatales.
Las encuestas de muestra, utilizadas para obtener
estimaciones cuantitativas de los resultados de
un programa, se combinaron con la recoleccin

de datos cualitativos a travs de visitas peridicas
a una muestra de comunidades del proyecto y de
control para observar los procesos de cambio y
para realizar entrevistas en una pequea muestra
de hogares, as como a funcionarios locales y a
informantes clave. Se emple el mismo marco de
muestreo tanto para las muestras CUANT como
las CUAL, y se seleccionaron estas ltimas para
garantizar que fueran representativas.
3.2. Uso de mtodos mixtos para evaluar
intervenciones complejas
Por lo general, se define a las intervenciones de

9
desarrollo complejas como intervenciones que
tienen algunas de las siguientes caractersticas:
Planificacin y evaluacin dirigidas por el pas.
El programa progresa de una manera no lineal.
Muchos componentes o servicios y varios
objetivos.
Hay resultados cuantitativos y cualitativos.
Las poblaciones objetivo son difciles de identificar o controlar.
Se brinda apoyo presupuestario general sin
una definicin clara de los servicios que se
financiarn.
Varios donantes y agencias.
Se emplean procesos de implementacin y
planificacin participativa y, por consiguiente,
los resultados e impactos son difciles de definir de manera anticipada y pueden cambiar
constantemente.
El contexto es complejo.
La situacin cambia de manera constante
y la intervencin trata de adaptarse a estos
cambios.
9 Para obtener ms informacin sobre intervenciones complejas

y su evaluacin, consulte Funnell y Rogers (2011), Patton (2011) y
Bamberger et al, (2012), Captulo 16.
| 21 |
CUADRO 3. ANLISIS DE ATRIBUCIN, CONTRIBUCIN Y SUSTITUCIN

Aunque la evaluacin del proyecto a veces puede aplicar
diseos experimentales o cuasiexperimentales que puede
controlar para brindar explicaciones alternativas de los
cambios observados (resultados o impactos) en el grupo
del proyecto, rara vez es posible lograr el mismo nivel
de rigor en la evaluacin de los efectos de intervenciones complejas. En consecuencia, los evaluadores de los
efectos de intervenciones complejas deben decidir cul
de los siguientes niveles de anlisis se pueden aplicar:
Anlisis de atribucin: se establece correspondencias
entre el grupo del proyecto y el grupo de comparacin de
modo que se pueden controlar (eliminar) las explicaciones alternativas de los cambios observados. Si hay diferencias estadsticamente significativas entre el grupo del
proyecto y el grupo de comparacin, esto se toma como
evidencia de que la intervencin del proyecto contribuy
a estos cambios.
Existen procesos complejos de cambio de

comportamiento que abarcan a la poblacin
objetivo, los proveedores de servicios y otras
agencias, por ejemplo, la polica, el ejrcito y
el poder judicial (Seccin 3.3).
Mientras que algunas intervenciones complejas son extensas, otras son relativamente reducidas pero comprenden procesos
complejos de cambio de comportamiento o
poblaciones que son difciles de identificar o
estudiar.
Los diseos de mtodos mixtos son aptos para
evaluar las intervenciones complejas, ya que
se puede combinar el diseo estandarizado, la
recoleccin de datos y el anlisis con herramientas que pueden captar las complejidades del
entorno del programa, la naturaleza cambiante
de este y los resultados y procesos de cambio de
comportamiento deseados que estn teniendo
lugar. Tambin es posible combinar las perspectivas de diferentes partes interesadas con
indicadores cuantitativos objetivos, y existe
Anlisis de contribucin: el anlisis evala la contribucin de una agencia de desarrollo particular al logro
de los cambios generales que son el resultado de las
intervenciones financieras y tcnicas de una cantidad
de agencias de desarrollo diferentes que ofrecen su
colaboracin. A veces, el anlisis tambin incluir los
programas de agencias nacionales (gubernamentales y
de la sociedad civil).
Anlisis de sustitucin: se realiza una evaluacin del
aumento neto en recursos en el programa o sector objetivo que resulta de la contribucin de una agencia de desarrollo en particular. Esto tiene en cuenta las desviaciones
de recursos a otras actividades por parte del gobierno
nacional (reduciendo el aumento neto en recursos) o
cualquier efecto multiplicador (incrementando el aumento en recursos).
Fuente: adaptado de Bamberger et al 2012, Cuadro 16.3
pp. 403-4.
una variedad de herramientas CUAL para recolectar datos sensibles de poblaciones difciles
de abordar. Al mismo tiempo, los MM ofrecen
maneras de calcular los impactos cuantitativos
de la forma ms creble posible en circunstancias difciles y de utilizar la triangulacin para
aumentar la validez del constructo de los resultados calculados y de la interpretacin de lo que
realmente est sucediendo en el terreno.
La Figura 6 resume la amplia variedad de herramientas y tcnicas a las que puede recurrir un
diseo de MM al seleccionar el diseo apropiado
para evaluar una intervencin compleja (todas las
tcnicas enumeradas en esta figura se describen
en el Anexo 7. Un elemento central del enfoque
de mtodos mixtos es ampliar las maneras en las
10
que se puede definir y calcular lo contrafactual.
Lo anterior se hace en dos pasos.
10 La GO1 (p. 1) define lo contrafctico como un clculo de lo

que habra pasado si la intervencin no hubiese ocurrido [] por
ejemplo, comparaciones con un grupo que no recibi la intervencin.
| 22 |
Figura 6. Uso de diseos de mtodos mixtos para evaluar intervenciones complejas

Los diseos de mtodos mixtos emplean y
combinan todos estos enfoques
Enfoques inducidos por la

teora
Modelos lgicos
Anlisis histricos
Teora de eliminacin general
Mtodos cuantitativos
Diseos experimentales y
cuasiexperimentales
Diseo en desarrollo
Asignacin de conceptos
Anlisis estadstico de pases
de comparacin
Tarjetas de informes de
ciudadanos y encuestas al
consumidor
Anlisis de redes sociales
DEFINICIN DE LO
CONTRAFACTUAL
Escalas de calificacin
Criterios de OECD/DAC 5
Muchas agencias utilizan
una versin modificada
1. Niveles de anlisis
(segn el grupo de comparacin disponible)
Anlisis de atribucin
Anlisis de contribucin
Anlisis de sustitucin
2. Enfoque para definir

lo contrafactual
Estadstico
Basado en la teora
Participativo
Escalas de calificacin
Tcnicas para afianzar los diseos contrafactuales

Desglose de programas complejos en componentes
evaluables
Anlisis de cartera
Reconstruccin de datos de base
Uso creativo de datos secundarios
Aprovechamiento de otros estudios
Triangulacin.
Mtodos cualitativos
Evaluacin realista
Evaluacin rural participativa
y otras tcnicas de grupo
participativas
Anlisis estadstico de pases
de comparacin
Comparacin con otros
sectores
Criterio de expertos
Informantes clave
Comparaciones con el sector
pblico
Seguimiento de gasto pblico
Nota: Todas las tcnicas

enumeradas en esta tabla
se explican en elAnexo 7
| 23 |
Paso1: Segn el tipo de grupo de comparacin

que est disponible, la evaluacin realizar el
11
anlisis en uno de los siguientes niveles (consulte
el Cuadro 3):
Anlisis de atribucin
Anlisis de contribucin
Anlisis de sustitucin
Luego, el Paso 2 selecciona el enfoque, o la combinacin de enfoques, que se utilizar para definir y
calcular lo contrafactual:
Grupo de comparacin estadstica: se utiliza un
grupo de comparacin o control estadsticamente correspondiente.
Basado en la teora: el proceso de implementacin y los resultados definidos en la teora
de cambio se comparan con lo que se observa en el terreno. Cuanto ms estrecha es la
correspondencia entre la realidad y la teora de
cambio, ms fuerza cobra el supuesto de que
la intervencin contribuy a los resultados.
No obstante, tambin es importante definir y
comprobar explicaciones alternativas de los
12
cambios observados (hiptesis rival).
Basado en la participacin: los efectos del
programa se calculan a travs de la evaluacin
por parte de los beneficiarios a quienes est
dirigido el programa y otras partes interesadas. Un ejemplo de este enfoque es el Cambio
11 Consulte la GO1, seccin 9, para obtener ms informacin

sobre una amplia variedad de enfoques para evaluar la atribucin
y la contribucin. Bamberger el al (2012) pp. 403-405 proporciona
un debate ms extenso que incluye un anlisis de sustitucin.
12 Un punto dbil de muchas teoras de cambio es que no identifican explicaciones alternativas de los resultados observados. Si
los cambios coinciden con la teora de cambio, esto se toma como
evidencia de que los cambios se pueden atribuir a los efectos del
proyecto, lo que no es una conclusin vlida. Una teora de cambio debera identificar explicaciones alternativas (hiptesis rivales)
y crear en el modelo formas de comprobar estas explicaciones
rivales de las causas de los cambios observados.
ms importante, y otro es el uso de la evaluacin rural participativa, adems de otras

tcnicas de anlisis de grupo.
Escalas de calificacin: se les pide a expertos o
a partes interesadas que califican el funcionamiento del programa o el grado de cambio producido por la intervencin segn un conjunto
de escalas de calificacin. Las escalas del DAC
y de la OECD para evaluar la relevancia, la eficiencia, la efectividad, el impacto y la sostenibilidad son un ejemplo de escalas de calificacin
de uso comn.
Los diseos de mtodos mixtos pueden combinar, segn corresponda: enfoques inducidos por
la teora, enfoques cualitativos y estadsticos, y
escalas de calificacin. El Anexo 7 enumera la
variedad de opciones disponibles para cada uno
de estos enfoques. Se puede emplear una cantidad
de tcnicas para afianzar el diseo contrafactual
(desglose de intervenciones complejas, anlisis
de cartera, reconstruccin de datos de base, uso
creativo de datos secundarios y aprovechamiento
de otros estudios). La validez del constructo de las
estimaciones de todas estas fuentes se refuerza
por medio de la triangulacin.
No existe un nico enfoque que sea el ms indicado
para una evaluacin con mtodos mixtos, ya que
los evaluadores deben seleccionar un conjunto de
herramientas y tcnicas que sean las ms adecuadas segn las limitaciones polticas, de presupuesto, de tiempo y de datos, y los objetivos de cada
evaluacin. Los estudios de caso enumerados en la
Parte V ilustran la variedad de enfoques de mtodos
mixtos que se utilizaron para diferentes evaluaciones. La creatividad, el conocimiento de una amplia
variedad de enfoques CUANT, CUAL y basados en
la teora, y la predisposicin para recurrir a diferentes disciplinas son requisitos esenciales de las
evaluaciones con mtodos mixtos.
| 24 |
CUADRO 4. LOS RESULTADOS DEL PROGRAMA SE VEN AFECTADOS POR LA MANERA EN QUE LOS
BENEFICIARIOS RESPONDEN A LOS SERVICIOS Y CMO REACCIONA EL PERSONAL ANTE LAS RESPUESTAS DE LOS BENEFICIARIOS. ESTUDIO DEL CAMBIO DE COMPORTAMIENTO EN UN PROGRAMA DE ALIMENTACIN ESCOLAR EN NICARAGUA.
Se organiz un programa de desayuno escolar en una zona
rural inseguro respecto de los alimentos en Nicaragua
para aumentar la matrcula escolar. En algunas escuelas,
los docentes tambin alimentaban a los hermanos ms
pequeos que llegaban con las madres que llevaban a los
alumnos a la escuela. Se corra la voz entre las madres y a
medida que la aumentaba la cantidad de hermanos, algunos docentes les daban el desayuno a todos los hermanos
y otros docentes no lo hacan. La decisin dependa en gran
medida no solo de la actitud de cada docente, sino tambin
de la predisposicin de las madres a preparar los desayunos y de los agricultores locales, a donar ms alimentos.
En algunas comunidades, estas respuestas de comporta-
3.3. Evaluacin de procesos de cambio de

comportamiento
Existen muchos proyectos en los que el proceso

de implementacin est menos definido y es
menos lineal de lo que pareca al principio. Esto
significa que la evaluacin de impacto debe tener
en cuenta estos procesos de cambio de comportamiento, ya que a menudo generan programas
que tienen una cantidad de resultados e impactos
no deseados. Estos son algunos de los motivos
por los que esto ocurre:
En la mayora de los casos, los supuestos beneficiarios deciden activamente si participarn
o no en el programa y, a menudo, elijen qu
servicios utilizarn y cules no.
Por lo general, los programas se modifican
segn la manera en que los beneficiarios iniciales perciben y responden a los servicios y las
opiniones que brindan a otros. Muchos diseos
de programas se modifican como resultado
de estas interacciones dentro de la poblacin
objetivo y entre la poblacin y los prestadores
de servicios (consulte el Cuadro 4).
El personal del proyecto tiene una actitud propia hacia diferentes grupos, creencias sobre
miento transform el programa de desayuno escolar en un

programa de nutricin importante que implic la movilizacin de alimentos de los agricultores locales, hombres que
ayudaban a transportar grandes cantidades de alimentos,
la construccin de cocinas escolares y, en algunos casos, la
instalacin de energa elctrica en las aulas, mientras que
las madres organizaban los desayunos y, a veces, hacan
huertas escolares. Los resultados finales en cada escuela
y las lecciones aprendidas solo se pudieron determinar
mediante la observacin exhaustiva del comportamiento de
los docentes, los padres y las comunidades, y pareci variar
segn las actitudes individuales, las condiciones econmicas locales y, en ocasiones, el origen tnico.
quines se beneficiarn y quines no, y una

manera propia de interactuar con la comuni13
dad. Aunque el personal reciba una capacitacin rigurosa, cada persona reaccionar de
una manera levemente distinta.
Cada proyecto funciona en un entorno nico
donde la implementacin y los resultados son
afectados por un conjunto nico de factores
sociales, econmicos, polticos, ambientales y
14
legales, entre otros.
13 Una revisin de los factores que afectan el xito de los sistemas

educativos estatales brasileros en aumentar el acceso de las
familias de bajos ingresos determin que muchos docentes crean
que los nios de hogares pobras tenan una alta probabilidad
de abandonar la escuela, e incluso si continuaban en la escuela,
tendran malas notas y mala disciplina. Por consiguiente, muchos
docentes no sentan que valiera la pena el esfuerzo de ayudar a
alentar a nios de hogares pobres. Bamberger y Segone (2011) alegan que muchas causas de inequidad se determinan socialmente
ya que los gobiernos y la opinin pblica pueden no desear alentar
el acceso de diferentes grupos de inmigrantes o minoras tnicas a
los servicios pblicos.
14 El anlisis de sistemas proporciona marcos tiles para comprender el funcionamiento de estos actores contextuales y tambin
para entender cmo la historia afecta las actitudes y expectativas
de las partes interesadas y las comunidades con respecto a las
nuevas intervenciones del proyecto. El espacio no permite tratar el
anlisis de los sistemas. Si desea obtener una breve introduccin
al anlisis de sistemas y cmo puede utilizarse en la evaluacin de
impacto, consulte Bamberger (2011), How to design and manage
equity focused evaluations (Cmo disear y administrar evaluaciones orientadas al capital), Seccin 5.2.C.
| 25 |
Las siguientes son algunas de las maneras en que

los diseos de mtodos mixtos pueden evaluar
estos programas:
Un estudio de diagnstico rpido realizado
al inicio de la evaluacin puede contribuir a
aclarar el entorno en el cual se implementa
el programa y los factores contextuales que
probablemente afectarn la implementacin.
El estudio tambin puede describir la estratificacin social e identificar grupos marginales
y vulnerables que podran estar excluidos
del acceso a los beneficios del proyecto. El
anlisis CUAL inicial se puede combinar con
una encuesta CUANT rpida para calcular la
magnitud y la distribucin de, por ejemplo,
grupos vulnerables.
El alcance del monitoreo del programa convencional se puede extender para proporcionar ms informacin CUANT detallada acerca
de las caractersticas de los grupos sociales
que usan y no usan los servicios del proyecto.
El marco de anlisis de cuello de botella desarrollado por UNICEF puede ofrecer un marco
ms riguroso para el anlisis de los factores
que determinan qu sectores tienen y no
tienen acceso al proyecto, y los factores que
actan sobre la oferta y la demanda, y condi15
cionan el acceso.
Hay una serie de tcnicas CUAL disponibles
para observar lo que realmente sucede durante la implementacin de un proyecto, cmo
responden los diferentes grupos al proyecto
y cmo el diseo y el plan de implementacin originales se ven modificados por la
interaccin entre diferentes sectores de la
poblacin objetivo y el personal del proyecto.
Estas tcnicas incluyen, pero no se limitan
a: observacin de participantes; estudios de
panel en los que se visita peridicamente a
una pequea muestra de individuos, hogares
o comunidades durante todo el proyecto; grupos de discusin, tcnicas de evaluacin rural
16
participativa o autoinformes.
15 Consulte Bamberger y Segone (2011), How to design and

manage equity-focused evaluations (Cmo disear y administrar
evaluaciones orientadas al capital), pp. 45-50. UNICEF. Disponible
en http://mymande.org/?q=equity_focused_evaluations_intro.
16 Los ejemplos de las tcnicas de autoinforme incluyen solicitar
a una pequea cantidad de participantes que lleven diarios personales donde registren experiencias y actividades de relevancia
para el proyecto, o pedirles a las familias que lleven un registro de
ingresos y gastos. En algunos estudios, se distribuyen telfonos
celulares entre los participantes para que llamen e informen, por
ejemplo, sus patrones de viaje, lugares donde se sienten inseguros
o tentados a comprar drogas, etc.
| 26 |
Parte IV: Administracin de evaluaciones

con mtodos mixtos
4.1. Los diseos de mtodos mixtos requieren un
enfoque de administracin especial
Aunque algunas aplicaciones de diseos de mtodos mixtos implican solo incorporar mtodos de
recoleccin de datos adicionales a un diseo predominantemente CUANT o CUAL, una estrategia de
evaluacin con MM totalmente integrada implica
mucho ms que esto. Para disfrutar de todos los beneficios de combinar enfoques y mtodos CUANT
y CUAL, es necesario planificar una estrategia de
evaluacin con MM desde el primer da. Esto exige
un compromiso de la gerencia para garantizar el
tiempo y los recursos adicionales requeridos en una
implementacin eficaz del enfoque, y para defenderlos de las presiones administrativas de recortar
presupuestos y tiempo. Esto, por lo general, requiere de una campaa energtica por parte del gerente
de la evaluacin para asegurar la aceptacin de la
gerencia snior y las agencias financiadoras. Las
instrucciones en las reuniones de administracin,
los informes breves o capacitaciones sobre mtodos, los boletines informativos, videos breves, etc.,
pueden ser tiles herramientas de defensa.
El equipo de evaluacin tambin debe poder
producir evidencia convincente para demostrar
que los MM generan beneficios adicionales. Por
ejemplo, se podra seleccionar una cantidad reducida de evaluaciones tpicas con tiempo y recursos
adicionales aprobados para evaluar el enfoque de
MM y para comparar los resultados con enfoques
de evaluacin estndar utilizados en programas similares. Es posible demostrar que el tiempo y los
recursos adicionales requeridos para un enfoque
de MM agregan valor?
Adems de asegurar suficiente tiempo y recursos,

la administracin de una evaluacin con MM
necesita atencin especial a las siguientes reas
(consulte el Cuadro 5):
Composicin del equipo de investigacin. Un equipo
de investigacin ideal debera incluir investigadores
principales de dos o ms disciplinas (por ejemplo,
antropologa, medicina, derecho, sociologa, economa). No obstante, para la mayora de las evaluaciones, las limitaciones de recursos no permitirn
esto y se deben encontrar maneras de asegurar que
los integrantes del equipo de evaluacin puedan
manejar todas las herramientas y tcnicas CUANT
y CUAL bsicas. Un desafo para el gerente de la
evaluacin es contribuir a que se adquieran estos
conocimientos bsicos, por lo general, con el apoyo
de consultores u otras agencias. Cuando los integrantes del equipo tienen aptitudes y orientaciones
profesionales diferentes, es importante permitir
cierto tiempo y brindar oportunidades para que
cada investigador se familiarice con la metodologa de los dems y que los integrantes del equipo
desarrollen confianza y respeto mutuo. Esto es an
ms importante cuando el equipo de evaluacin
est formado por especialistas de diferentes pases,
adems de diferentes disciplinas. La Tabla 5 indica
algunas de las reas adicionales de experiencia profesional en investigacin que se pueden requerir en
equipos con una orientacin CUANT o CUAL.
Administracin de enfoques de mtodos mixtos

durante el diseo de la evaluacin. El apoyo de la
gerencia puede ser necesario para asegurar que el
marco de la evaluacin emplee todas las disciplinas incluidas y que las preguntas y los temas
| 27 |
CUADRO 5. PLANIFICACIN Y PRESUPUESTO DE TIEMPO Y RECURSOS ADICIONALES QUE PUEDEN

REQUERIRSE PARA UNA EVALUACIN CON MTODOS MIXTOS
Las evaluaciones con MM suelen necesitar tiempo (p.

ej., para la formacin de equipos) y dinero adicionales.
El gerente debe decidir si los recursos extras estn
justificados y, si es as, garantizar que se incluyan en el
presupuesto.
Composicin e integracin del equipo de investigacin:
El gerente de la evaluacin desempea un papel fundamental en asegurar que los integrantes del equipo de
diferentes disciplinas trabajen juntos con eficacia. Esto
requiere tiempo y esfuerzo extras, y ser necesario.

Dar tiempo a los investigadores para que desarrollen

la comprensin y el respeto por las disciplinas y el
trabajo de los dems. Asegurar que todos los integrantes del equipo conozcan el material bibliogrfico
bsico y los debates actuales del otro campo.
Seleccionar mtodos de recoleccin de datos

CUANT y CUAL que se complementen entre s, y
especificar cmo se combinarn en el trabajo de
campo y el anlisis.
Elegir al menos dos mtodos de clculo independientes para hiptesis e indicadores clave.
Asegurar la documentacin completa de todos los

mtodos de seleccin de muestra, recoleccin de
datos y anlisis.
Anlisis de datos y posible seguimiento en el campo:

El gerente debe garantizar que se haya elaborado un
plan de anlisis de datos con MM desde el inicio de la
evaluacin. Esto incluye:

Presentar anlisis separados de hallazgos CUANT

y CUAL para destacar diferentes interpretaciones y
hallazgos, y preparar un informe integrado a partir
de todos los datos.
Utilizar un procedimiento de triangulacin sistemtica para verificar si existen contradicciones o

interpretaciones diferentes.
Presupuestar los recursos y el tiempo para realizar

visitas de seguimiento en el campo.
Asegurar que se convoque a investigadores de

diferentes disciplinas en la etapa del diseo
de la evaluacin o aproximadamente al mismo
tiempo, de modo que todos sientan que estn
haciendo una contribucin importante a la evaluacin general y no crean que son simplemente
la frutilla del postre. Esto es especialmente
importante cuando predomina una disciplina.
Destacar las diferentes interpretaciones y hallazgos de los distintos mtodos, y analizar cmo
estos enriquecen el estudio. Los resultados diferentes, y en apariencia contradictorios, se deben
considerar como una ventaja importante del
enfoque integrado, en lugar de ser un obstculo.
Presentar casos y material CUAL para ilustrar o

comprobar los hallazgos CUANT.
Garantizar que la evaluacin utilice las teoras y

enfoques de todas las disciplinas comprendidas
en la evaluacin (p.ej., antropologa, medicina,
derecho, sociologa, economa, demografa),
cada una usada para enriquecer y ampliar las
dems.
Presentacin y difusin de los hallazgos: El gerente

debe alentar al equipo a ampliar la variedad de mtodos de presentacin y difusin para garantizar que se
capte la totalidad de lo que los datos de MM pueden
ofrecer. Esto incluye:
Asegurar que los conceptos y mtodos no se

saquen de contexto, sino que hagan uso de los
debates intelectuales y los enfoques de las disciplinas respectivas.
Garantizar formacin de equipo y conexiones

similares para los investigadores locales.
Enfoques integrados durante el diseo de la evaluacin: El gerente de la evaluacin debe alentar activamente a todos los integrantes del equipo a aprovechar
al mximo los nuevos marcos, la recoleccin de datos
y las herramientas analticas. Para lograrlo, deber:

Recoleccin de datos y uso de la triangulacin:

Muchas propuestas de evaluacin se refieren a la
triangulacin, pero no suele utilizarse de manera sistemtica. La triangulacin es un componente clave de
un enfoque de mtodos mixtos y es responsabilidad del
gerente garantizar su pleno uso. El gerente deber:
Combinar los informes escritos convencionales y

las presentaciones en PowerPoint con ms mtodos de presentacin participativa. Desarrollar ms
informes innovadores y fciles de utilizar para
evitar extensos informes tcnicos para pblicos
sin conocimientos tcnicos.
Ampliar la heterogeneidad de partes interesadas

invitadas a las presentaciones de hallazgos para
incluir grupos de la comunidad y de la sociedad
civil que no suelen ser consultados en muchas
evaluaciones CUANT.
| 28 |
Tabla 5. reas adicionales de experiencia profesional en investigacin que se pueden requerir en equipos con una
orientacin CUANT o CUAL para realizar evaluaciones con MM.
EVALUACIONES CON ORIENTACIN CUANT
EVALUACIONES CON ORIENTACIN CUAL
Conocimiento de mtodos de recoleccin de datos

CUAL bsicos (p.ej., entrevistas exhaustivas, tcnicas de
entrevistas grupales, tcnicas de observacin)
Conocimiento de la cultura local
Experiencia con programas de desarrollo organizacionales y comunitarios, y evaluacin de estos
Uso sistemtico de la triangulacin
Mtodos de muestreo estadstico

Administracin de la recoleccin de datos CUANT, en
particular, la gestin de cuestionarios estructurados
Anlisis de datos estadsticos
de investigacin incorporen cada una de estas

metodologas. Esto puede ser importante para
organizaciones que tradicionalmente han dependido de mtodos principalmente CUANT o CUAL
y donde el equipo de evaluacin quizs tuvo que
ser estimulado para garantizar que se otorgara
igual importancia a los marcos y mtodos de
disciplinas recientemente introducidas.17
Garantizar el uso de MM durante la recoleccin de
datos. La decisin acerca de utilizar una recoleccin
de datos secuencial o concurrente es, en parte, un
tema tcnico, pero incluye consideraciones de administracin. La recoleccin de datos CUANT y CUAL
consecutiva puede ahorrar una importante cantidad
de tiempo, lo que tambin puede ahorrar dinero,
pero esto necesitar sistemas de gestin eficientes
para coordinar equipos de recoleccin de datos
CUAL y encuesta CUANT que pueden tener diferentes mtodos de operacin. Cuando la recoleccin de
datos est restringida por dificultades logsticas y de
seguridad, el uso de la recoleccin de datos consecutiva puede requerir de una administracin eficiente
del transporte para llevar y traer a los investigadores
de diferentes reas, adems de una coordinacin con
17 Suele suceder que no se convoca a profesionales de disciplinas

nuevas hasta que el diseo de evaluacin ya se haya definido, y
solo se les pedir que recolecten datos que se ajusten a diseos
de evaluacin ya establecidos. La experiencia muestra que las
evaluaciones orientadas CUANT suelen emplear investigadores
con una orientacin CUAL solo para que dirijan algunos grupos
de discusin o realicen estudios de caso a fin de demostrar que
la evaluacin est utilizando mtodos mixtos, pero sin integrarlos
realmente en el diseo de evaluacin general.
la polica y el ejrcito en situaciones donde se debe

obtener permiso para visitar comunidades y preparar
y aprobar itinerarios precisos.
Administracin de anlisis de datos con mtodos
mixtos. Con un diseo predominantemente CUANT,
por lo general, el anlisis de datos no comienza
hasta que todos los datos, o su mayora, se hayan
recolectado, ingresado en la base de datos y limpiado. Sin embargo, el anlisis de datos CUAL puede
ser un proceso constante que comienza apenas los
investigadores ingresan al campo. La administracin de datos se torna ms dificultosa porque se
trata de un proceso interactivo ms que lineal. Los
hallazgos iniciales del anlisis de datos CUAL se
suelen utilizar para disear preguntas para encuestas CUANT, y el anlisis de datos CUANT inicial se
suele utilizar a fin de seleccionar las muestras para
el anlisis CUAL exhaustivo. Esto presenta una serie
de desafos de administracin especiales: (a) la
recoleccin de datos se debe realizar con mayor rapidez para no demorar el inicio de la siguiente etapa
del diseo de evaluacin y recoleccin de datos; (b)
los procedimientos de calidad de los datos son ms
complejos, ya que deben evaluar la calidad tanto de
la recoleccin de datos CUANT como de la recoleccin de datos CUAL y (c) los procedimientos de
triangulacin se deben usar sistemticamente para
verificar la coincidencia de las estimaciones de indicadores de resultados clave obtenidas a partir de
diferentes mtodos de recoleccin de datos, y debe
haber procedimientos para realizar un seguimiento
| 29 |
y determinar los motivos de las contradicciones entre datos de diferentes fuentes. Todos estos desafos
requieren sistemas de administracin de datos ms
eficientes y complejos.
maneras en las que los MM pueden lograr un rigor

metodolgico aceptable y hallazgos crebles. Las siguientes son algunas de las maneras tiles de lograr
hallazgos crebles al trabajar con estas limitaciones:
4.2.Consejos para que las ONG con recursos

limitados movilicen la experiencia profesional
y los recursos requeridos para realizar
evaluaciones con mtodos mixtos
a. Basar la evaluacin en una teora de cambio

bien articulada (tanto la GO1 como la GO2 incluyen
extensos estudios sobre el desarrollo y el uso de la
teora de cambio en el anlisis y el diseo de la evaluacin de impacto). Una teora de cambio que se
desarrolla a travs de consultas participativas a las
partes interesadas puede definir pasos y procesos
a travs de los cuales se lograrn los rendimientos,
los resultados y los impactos, adems de identificar
las suposiciones crticas que se evaluarn. La teora
de cambio debe incluir hitos acordados, de modo
que si se debe realizar una evaluacin cuando an
es demasiado pronto para medir resultados, los
hitos pueden contribuir a mejorar la credibilidad de
la evidencia de que el proyecto est bien encaminado hacia el logro de sus objetivos. Los MM pueden
afianzar la teora de cambio al incorporar indicadores CUANT y CUAL, estudiar lo que sucede durante
la implementacin del proyecto y describir procesos
importantes de cambio de comportamiento.
Las evaluaciones con mtodos mixtos ofrecen una

gran ventaja para las ONG que necesitan informes
de evaluacin de calidad y crebles pero deben
realizar las evaluaciones con pocos recursos, solo
con una limitada experiencia profesional de los
integrantes del equipo en lo que respecta a evaluaciones o con pocos recursos para contratar a expertos externos. Para las muchas ONG que realizan
evaluaciones con estas limitaciones del mundo real,
con frecuencia, se necesitar creatividad para obtener
la experiencia profesional requerida. Esto se puede
lograr a travs de capacitacin adicional para el equipo de investigacin actual o mediante la bsqueda
de la experiencia profesional necesaria a travs de la
colaboracin con otras agencias. No existen reglas
rgidas respecto de los niveles mnimos de requisitos
de experiencia profesional, tiempo y recursos para
realizar una evaluacin con MM metodolgicamente correcta, pero idealmente un nivel mnimo de
experiencia debera estar a disposicin de todas las
reas identificadas en la Tabla 5. El Cuadro 6 ofrece
consejos sobre cmo lograr la experiencia profesional
esencial y movilizar recursos adicionales cuando se
trabaja con un presupuesto limitado.
Todas estas limitaciones afectan la credibilidad de los
hallazgos de la evaluacin. Qu tan creble es una
evaluacin que se tuvo que realizar con un presupuesto ajustado, poco tiempo en el campo, acceso
limitado a los datos y, posiblemente, con problemas
de seguridad? Aunque no hay una solucin mgica
para resolver estas dificultades, existen numerosas
b. Consultar a las partes interesadas para asegurar que consideren los mtodos de evaluacin y
los indicadores clave crebles, y para tener conocimiento de los problemas que puedan surgir y
abordarlos.
c. Utilizar la triangulacin para maximizar la
validez de las estimaciones basadas en muestras pequeas de diferentes fuentes (consulte la
Seccin 2.2).
d. Emplear el muestreo con mtodos mixtos para
garantizar la representatividad de los datos CUAL
de estudios de caso, entrevistas exhaustivas y observaciones (consulte la Seccin 3.1, Modelo 2).
| 30 |
CUADRO 6. REALIZACIN DE EVALUACIONES DE IMPACTO CON MTODOS MIXTOS CON POCOS

RECURSOS: CONSEJOS PARA LAS ONG CON RECURSOS LIMITADOS Y POCA EXPERIENCIA PROFESIONAL EN EVALUACIONES
Aunque los mtodos mixtos se pueden utilizar como
parte de una evaluacin de impacto compleja, costosa y
rigurosa, la mayora de las ONG tienen tiempo y recursos
limitados para invertir en evaluaciones de impacto y
muy poca experiencia profesional en evaluaciones. No
obstante, necesitan evaluar los resultados e impactos de
sus programas de una manera creble. La buena noticia es
que las herramientas y tcnicas con MM son muy flexibles
y pueden contribuir a mejorar la calidad de las evaluaciones de impacto para las ONG que realizan evaluaciones
con pocos recursos. A continuacin, se enumeran algunos
consejos prcticos analizados en esta gua de orientacin.
Comience gradualmente y extienda el alcance a medida
que obtiene experiencia.

Por lo general, es ms simple y ms econmico

comenzar utilizando los MM en una sola etapa
de la evaluacin; por ejemplo, usar al menos dos
mtodos independientes para recolectar datos o
realizar un estudio diagnstico rpido para disear
un cuestionario. Aproveche los datos que ya se
estn generando a travs del sistema de control del
programa. A medida que aumenta su experiencia,
considere extender el alcance.
Habitualmente, es ms fcil empezar usando

diseos de evaluacin de impacto secuenciales, en
lugar de concurrentes (consulte la Seccin 2.2).
Aunque algunos enfoques de mtodos mixtos son

bastante complicados de usar, existen muchas otras
tcnicas que son simples y econmicas, y que el
personal con experiencia limitada en investigacin
puede aprender y usar fcilmente.
Integre el diseo de MM con el sistema de control y

evaluacin (M&E) y aproveche al mximo los datos
recolectados a travs de estos (consulte la GO2).
Asegrese de que los hallazgos sean metodolgicamente correctos y crebles para las partes interesadas.

Para comenzar, concntrese en las clases de datos

que las partes interesadas consideran crebles. No
gaste todos sus recursos en encuestas de muestras
extensas si sus clientes y las partes interesadas prefieren estudios de caso y descripciones exhaustivas
de cmo funciona realmente el programa.
para aumentar la validez. Los estudios de MM

recolectan una amplia variedad de datos cuantitativos y cualitativos, de modo que incluso a partir
de una pequea evaluacin, es posible seleccionar
las clases de evidencia que son ms convincentes
para las partes interesadas.

El muestreo de MM puede asegurar que se pueda

seleccionar una pequea cantidad de estudios de
caso para garantizar que sea representativa en
lneas generales del total de la poblacin objetivo, y
as, aumentar la validez/credibilidad de los hallazgos (consulte la Seccin 2.3).
Al combinar la evidencia de diferentes fuentes, la

triangulacin puede aumentar la credibilidad de
las estimaciones a partir de muestras pequeas
(consulte la Seccin 2.2 y el Anexo 9).
Mantngase dentro de su presupuesto y nivel de experiencia profesional.

Existen muchas maneras de reducir los costos de

la recoleccin de datos y, a la vez, asegurar que los
datos sean confiables (consulte el Anexo 8).
Muchos departamentos universitarios ensean sobre mtodos mixtos y quizs sea posible colaborar
con un miembro del cuerpo docente o estudiante
de forma gratuita o por un costo simblico para
una de sus asignaciones de campo. Muchos
estudiantes de posgrado podran considerar la
preparacin de un estudio de caso como una de las
asignaciones de la carrera.
Obtenga ayuda.

Existen muchos seminarios web y otros recursos en

Internet sobre el diseo y el uso de los MM (http://
www.interaction.org/resources/training es un buen
sitio para empezar).
Muchas de las grandes ONG internacionales tienen

departamentos de evaluacin permanente que pueden estar dispuestos a brindar orientacin gratuita
por telfono o en persona cuando visitan su pas.
Ejemplos del mundo real de diseos de mtodos mixtos econmicos.

Al mismo tiempo, trate de equilibrar las preferencias de las partes interesadas con una combinacin criteriosa de datos CUANT y CUAL, y
con el uso de la triangulacin y otras tcnicas
El Estudio de caso n.7, Evaluacin del Proyecto

educativo de UNICEF en Timor LEste, y el Estudio
de caso n.11, Evaluacin del Fondo de Desarrollo
Comunitario de Eritrea, ilustran cmo se pueden
utilizar los mtodos mixtos cuando es difcil acceder a los datos y los recursos son limitados.
| 31 |
Parte V: Estudios de caso que ilustran las

diferentes aplicaciones de los diseos de
mtodos mixtos
Las tres evaluaciones descritas en esta seccin
ilustran las metodologas utilizadas en: una evaluacin predominantemente CUANT, una evaluacin
predominantemente CUAL y una evaluacin en
la que los mtodos CUANT y CUAL tienen igual
importancia. Juntos, estos tres ejemplos ilustran
una amplia variedad de enfoques de evaluacin
con MM que se pueden emplear. La Tabla 6 (al
final de esta seccin) enumera 17 ejemplos de
diseos de evaluacin con MM que se resumen en
el Anexo10. Las evaluaciones tratan proyectos respaldados por las ONG, agencias de las Naciones
Unidas y el Banco Mundial.
Ejemplo 1: Una evaluacin con orientacin
CUANT: Evaluacin de un programa de reconstruccin postconflicto en Liberia (DFID y el
Comit Internacional de Rescate)
La evaluacin, finalizada en diciembre de 2008,
evalu el impacto de un programa de reconstruccin impulsado por la comunidad, financiado por el
DFID e implementado por el Comit Internacional
de Rescate en el norte de Liberia en 2006-7 despus
del conflicto. En 42 comunidades, el programa de
reconstruccin impulsado por la comunidad utiliz
subvenciones globales, instituciones de toma de
decisin elegidas por el pueblo, proyectos de desarrollo comunitario y planificacin participativa para
mejorar el bienestar socioeconmico, la gestin
local y la cohesin comunitaria. La evaluacin examin si el programa logr sus objetivos.
Se emple un diseo de evaluacin con mtodos
mixtos. La motivacin para utilizar un enfoque
de mtodos mixtos fue el reconocimiento de las
dificultades de evaluar, nicamente sobre la base

de datos de encuesta CUANT, si los cambios en
las actitudes planteadas reflejaban cambios reales.
Se esperaba que la exposicin al proyecto pudiera ensearles a los participantes cules eran las
maneras esperadas de responder a las preguntas
sobre actitudes hacia la cooperacin y la democracia, sin afectar su capacidad real o su propensin a
participar en acciones comunitarias colectivas. Se
dise la evaluacin para abordar estos desafos
mediante la combinacin de datos de encuesta
CUANT sobre cambios en las actitudes y el comportamiento declarado con datos experimentales
de campo que pudieran medir los cambios de
comportamiento reales. Tanto el mtodo de la
encuesta como el mtodo experimental de campo
se basaron en una prueba controlada aleatoria; al
inicio, se eligieron comunidades al azar para que
recibieran tratamientos de centros de investigacin
cooperativa (que desarrollan comits comunitarios y brindan apoyo para programas de impacto
rpido), mientras que una cantidad casi igual de
comunidades de control no recibieron tales programas. Otros mtodos CUANT utilizados incluyeron un cuestionario de capital social para evaluar
cmo los resultados eran afectados por el capital
social existente y cmo el programa afectaba el
capital social, y la recoleccin de datos de encuesta
sobre organizacin social y cohesin social.
Los mtodos CUAL y experimentales de campo
incluyeron la recoleccin de datos sobre organizacin comunitaria y cohesin social a travs de
entrevistas exhaustivas y observaciones sobre el
comportamiento individual en un juego de bienes
| 32 |
pblicos. Seis meses despus de terminado el

programa de reconstruccin impulsado por la
comunidad, se les dio a todas las comunidades de
tratamiento y de control la oportunidad de recaudar fondos de una ONG liberiana para implementar un proyecto de bienes pblicos. Los nicos
requisitos eran que las comunidades eligieran un
proyecto de antemano y nombraran a tres personas para administrar el dinero. Tambin se les
dijo a las comunidades que la cantidad de dinero
que recibiran (de $0 a, aproximadamente, $500)
dependera de los resultados de un juego de bienes
pblicos en todo el pueblo, en el que 24 personas elegidas al azar podan elegir privadamente
conservar una suma de dinero para uso propio o
aportar dicha suma a un fondo comunitario (con
una contribucin equivalente adicional provista por
los investigadores) a fin de utilizarse para el bien
pblico. Luego, los investigadores recolectaron los
datos sobre cmo las comunidades eligieron los
proyectos y a los representantes, y observaron los
patrones de juego en la actividad sobre bienes pblicos. Se consider que los juegos lograron arrojar
una estimacin ms precisa sobre las actitudes y el
comportamiento ya que exista un costo monetario
real en actuar para complacer a terceros.
Ejemplo 2: Una evaluacin con MM de orientacin CUAL: Evaluacin de un programa para prevenir la violencia contra la mujer en El Salvador
(Oxfam Amrica)
El programa de 10 aos para combatir la violencia contra la mujer se inici en 2008. Funciona
a nivel nacional, municipal y comunitario, y
combina campaas de concienciacin pblica
con la organizacin de las mujeres y la sociedad
civil, adems de promover una coordinacin
ms eficaz entre las autoridades pblicas y las
mujeres organizadas. Uno de los principales
desafos concierne a la atribucin de cambios en
las actitudes y el comportamiento respecto de las
estrategias de campaa y defensa nacional y municipal, en particular, entre las agencias del sector
pblico. La cuestin de lo contrafactual es difcil.
Otra dificultad fue la disponibilidad limitada de
buenos datos CUANT sobre niveles y cambios en
la violencia contra la mujer. Los datos policiales,
judiciales y sanitarios no eran confiables ni exactos en cuanto a la cantidad de denuncias. Como
siempre, las vctimas se resistan a denunciar
el abuso. Por lo tanto, el equipo de evaluacin
decidi que la manera ms precisa de medir la
influencia de la campaa era a travs de casos de
comparacin exhaustivos, orientados a objetivos
intermedios y complementados, cuando fuera
posible, por los datos CUANT disponibles.
El diseo de evaluacin con MM se bas en una
teora de cambio. Esta identificaba cmo varios
resultados promovidos en coalicin podran secuenciarse y combinarse para producir los impactos deseados: coordinacin e intercambios entre
agencias regionales; nuevas polticas y normas
(legislacin, programa de estudios escolar, polticas municipales de prevencin); cambios en las
relaciones sociales y el comportamiento a travs
de la toma de conciencia y una mejor aplicacin de
la ley; y bienestar y agencia (mayor conocimiento;
mujeres con ms confianza en s mismas para
tomar medidas; mujeres que se benefician con
servicios mejorados; mujeres, jvenes y aliados influyen sobre quienes toman decisiones). Se defini
un conjunto de 11 indicadores a largo plazo para
evaluar resultados e impactos en un perodo de 10
aos, y se determinaron objetivos de referencia
cada tres aos.
La evaluacin se bas en un conjunto de principios de proceso (enfoque de mtodos mixtos y
equipo multidisciplinario, institucin de investigacin regional, diseo de colaboracin y consulta a
todos los colaboradores, y uso de triangulacin y
| 33 |
consulta para validar los hallazgos). Los elementos

clave del enfoque metodolgico incluyeron:
Estudios de caso comparativos y exhaustivos
en dos municipalidades.
Sntesis de documentos entre partes interesadas importantes.
Entrevistas sobre la efectividad de las elecciones de defensa a nivel nacional.
Atencin a las conexiones entre diferentes
niveles de intervencin (nacional, municipal y
local).
Horizontes temporales diferentes para evaluar
resultados diferentes.
Los caminos de la investigacin y las fuentes de
datos clave incluyeron:
Proporcionar un contexto sobre tendencias generales a travs de la recoleccin de indicadores a nivel nacional y municipal (estadsticas
gubernamentales, estadsticas sobre violencia
contra la mujer, promulgacin e implementacin de leyes sobre violencia contra la mujer,
compromisos presupuestarios).
Dos estudios de caso comparativos y exhaustivos centrados en los resultados en municipalidades especficas, las percepciones de
seguridad de las mujeres, la evaluacin de la
efectividad de las acciones de prevencin, confianza de las mujeres en s mismas para tratar
la violencia ejercida contra ellas. Las fuentes
de datos incluyeron entrevistas exhaustivas,
observaciones, tendencias y estadsticas municipales, y grupos de discusin con mujeres
que informaban sobre los cambios en las
condiciones.
Evaluacin de defensa: trazar el camino de
influencia de la campaa a travs de la revisin
de documentos y entrevistas con los creadores
de polticas y otros actores sobre eventos clave
y puntos de decisin, y preguntar si hubiera

habido avances sin las campaas de defensa.
Evaluar si la campaa influy en la versin final
de la legislacin y la efectividad de los mecanismos de la sociedad civil para influir sobre las
polticas de prevencin. Utilizar datos secundarios para comparar tendencias en las reas
donde operaron y no operaron las campaas.
El anlisis y la interpretacin de los hallazgos
combinaron:
Anlisis de contribucin en el nivel ms
general del programa que utiliz datos de
componentes del proyecto, estudios de caso
y trazado de los caminos de influencia (segn
el marco de la teora de cambio). La causalidad y la atribucin se pueden estudiar para
proyectos de componentes de la coalicin del
programa, pero el foco de atencin en el nivel
del programa sirve para evaluar suposiciones
bsicas de un cuerpo de trabajo sumamente
complejo.
La teora de cambio fue un elemento clave en
la definicin de lo contrafactual y proporcion
un marco para comparar los procesos y los
cambios observados con el proceso de cambio
previsto.
Ejemplo 3: Un diseo de MM equilibrado:
Evaluacin de los impactos del programa de
Reforma de desarrollo comunitario de Gram
Panchayats en la India (Banco Mundial)
El objetivo del programa era delegar poder a los
gobiernos elegidos democrticamente en los
pueblos y promover una mayor participacin
de las mujeres y las castas con reconocimiento
expreso en la Constitucin de la India. Tambin
intentaba mejorar la efectividad del uso de fondos a travs de una mayor participacin de la
comunidad. El gobierno otorg subvenciones que
| 34 |
seran administradas por la comunidad local para

la implementacin de proyectos econmicos y de
infraestructura social elegidos por la comunidad.
El programa en evaluacin era un programa de
capacitacin de dos semanas para ciudadanos
sobre toma de decisin y planificacin participativa, diseado para mejorar la eficiencia con la que
utilizaran las subvenciones. El diseo del programa incluy la asignacin al azar de las comunidades a los grupos de tratamiento y de control (que
reciban subvenciones, pero no capacitacin).
La evaluacin utiliz un diseo equilibrado de
mtodos mixtos que comprendi los siguientes
pasos:
Seleccin de 200 pueblos (Gram Panchayats)
con asignaciones al azar a grupos del proyecto
y de control (CUANT).
Investigacin exploratoria sobre tenencia de
tierras, propiedad de bienes pblicos, participacin y redes sociales (CUAL).
Encuesta de base anterior a los programas de
capacitacin (CUANT).
Anlisis de procesos exhaustivo en cinco
reas del proyecto y cinco reas de control
(CUAL) para observar los cambios en cmo
se organizan las comunidades, planifican
y administran proyectos, y los efectos en la
participacin y la integracin de las mujeres y
las castas con reconocimiento constitucional.
Esto implic visitas de uno o dos das cada
semana durante un perodo de dos aos. Las
visitas combinaron observaciones en el nivel
comunitario, entrevistas con polticos y lderes
de la comunidad, y entrevistas exhaustivas a
20 familias de cada pueblo. Las observaciones
abarcaron: dinmica poltica y social, corrupcin, cambio econmico y afiliacin a redes.
Repeticin de la encuesta de base despus de
dos aos (CUANT).
Se utiliz la triangulacin en todo momento

para comparar las estimaciones CUANT y
CUAL de los cambios e impactos.
Algunas de las ventajas del enfoque de MM
incluyeron:
El recordar los procesos y debates en las
reuniones de los pueblos no resulta fidedigno;
por eso, asistan observadores a las reuniones
y transcriban las actas y la dinmica de las
reuniones.
Estudios previos han hallado que las encuestas producen estimaciones muy variables de
inequidad (la variacin es demasiado grande
para poder usar los hallazgos en anlisis estadsticos), de modo que se emplearon tcnicas
de evaluacin rural participativa, en las que se
seleccionaron participantes que fueran representativos de la poblacin total, con el fin de
complementar los datos de la encuesta.
El desarrollo comunitario, la participacin, la
corrupcin y otros procesos clave son difciles
de captar en las encuestas; por lo tanto, los
datos de la encuesta se compararon con las
observaciones, informantes clave y entrevistas
grupales participativas.
Al mismo tiempo, fue esencial obtener estimaciones cuantitativas de la relacin costoefectividad de los programas de capacitacin,
ya que este era un programa piloto para
informar decisiones respecto de si el progra18
ma se debera reproducir en otros estados.
Por consiguiente, las estrategias de muestreo
aseguraron que los estudios de caso cualitativos y otros datos se pudieran vincular a la
encuesta de muestra CUANT para garantizar
que los hallazgos de la evaluacin se pudieran generalizar.
18 La evaluacin incluy una comparacin con otros cuatro estados (no incluidos en este resumen).
| 35 |
Tabla 6. Ejemplos de evaluaciones con MM resumidas en el Anexo 10.

Ttulo
Agencias que apoyan el programa y realizan o encargan

la evaluacin
A. Diseos de evaluacin con orientacin cuantitativa

1. Reconstruccin posconflicto en Liberia.
DFID y Comit Internacional

de Rescate
2. Evaluacin a largo plazo del programa de Tostan para reducir la circuncisin feme- UNICEF
nina en aldeas de Senegal.
3. Evaluacin de un programa de transferencia de efectivo condicional en Kazajstn.
Save the Children
4. Evaluacin de impacto del trabajo de rehabilitacin y emergencia de la FAO en el

desarrollo de comunidades rurales.
FAO
B. Diseos de evaluacin con orientacin cualitativa

5. Evaluacin de los impactos de un programa de prevencin de la violencia de
gnero en El Salvador.
Oxfam Amrica
6. Programa de seguridad alimentaria para la vida y la subsistencia en Bangladesh.
USAID, Save the Children y

TANGO International
7. Evaluacin del Programa de educacin de UNICEF en Timor-LEste.
UNICEF
8. Evaluacin de resultados de capital del proyecto Educacin para todos en Nepal.
UNICEF, NORAD y otros

colaboradores
9. Evaluacin de resultados de capital del proyecto de Sanidad total impulsado por la UNICEF
comunidad en Camboya.
10. Evaluacin entre agencias en tiempo real de la respuesta humanitaria a la crisis
de desplazamiento de 2009 en Pakistn.
UNICEF y diversos
colaboradores
11. Evaluacin del componente de construccin de carreteras del Fondo de

Desarrollo Comunitario de Eritrea.
Banco Mundial
12. Evaluacin del proyecto de Escuelas comunitarias de Egipto.
UNICEF
13. Evaluacin del proyecto de Facilitacin judicial comunitaria de Tanzania.
UNICEF
14. Evaluacin de la Respuesta de UNICEF, en el rea de Proteccin infantil en

Indonesia, al Tsunami del Ocano ndico de 2004.
UNICEF
C. Diseo de evaluacin equilibrado que otorga igual importancia a enfoques CUANT y CUAL
15. Evaluacin del Proyecto de desarrollo a nivel de Kekamatan en Indonesia.
Banco Mundial y Gobierno de

Indonesia
16. Evaluacin del Programa de reforma de Panchayats en la India.
Banco Mundial
D. Meta-anlisis (anlisis secundario de una cantidad de evaluaciones para identificar hallazgos generales)
17. CARE International. Informe de evaluacin de impacto 2005-2010. Latinoamrica
y el Caribe.
CARE International
| 36 |
Referencias
Adato, M (2012) Combining quantitative and
qualitative methods for program monitoring
and evaluation: Why are mixed methods designs
best? in Lopez-Acevado, G; Krause, P & Mackay,
K (editors) Building better policies: The nuts
and bolts of monitoring and evaluation systems.
Wolrd Bank.
Bamberger, M. (2010). Reconstructing baseline data for impact evaluation and results
measurement. No. 4. The Nuts and Bolts of
M&E Series. Poverty Reduction and Equity
Department. The World Bank. http://siteresources.worldbank.org/INTPOVERTY/
Resources/335642-1276521901256/premnoteME4.pdf.
Bamberger, M., Rao, V., & Woolcock, M. (2010).
Using mixed-methods in monitoring and evaluation: Experiences from international development.
In Tashakkori A. and Teddlie C. Sage Handbook
of Mixed- Methods in Social and Behavioral
Research. Sage Publications. pp 613-642.
Bamberger, M., Rugh, J. & Mabry, L. (2012).
RealWorld Evaluation Second Edition. Sage
Publications.
Chen, H. (2005) Practical Program Evaluation:
Assessing and improving planning, implementation, and effectiveness. Sage Publications.
Donaldson, S., Christie, C. & Mark, M. (2009).
What counts as credible evidence in applied research and evaluation practice? Sage
Publications.
Funnell, S. & Rogers, P. (2011). Purposive programme theory: effective use of theories of change
and logic models. Jossey-Bass Publications.
Mayne, J. (2008) Contribution analysis: An
approach to exploring cause and effect. Rome:
Institutional learning and change initiative , ILAC
Brief No. 16. May 2008. http://www.cgiar-ilac.
org/files/publications/briefs/ILAC_Brief16_
Contribution_Analysis.pdf
Organization for Economic Cooperation and
Development. 2010 (Second Edition). Evaluating
Development Cooperation: Summary of Key
Norms and Standards. Paris: OECD. http://
www.oecd.org/dataoecd/12/56/41612905.pdf
Patton, M.P. (2011). Developmental Evaluation: applying complexity concepts to enhance innovation
and use. Guilford Press.
Proudlock, K & Ramalingam, B (2009) Improving
humanitarian impact assessment: Bridging
theory and practice. ALNAP
Rieper, O Leeuw, F & Ling, T (2010). The evidence
book: concepts, generation and use of evidence.
Transaction Publishers.
Salmen, L. (1987). Listen to the People: Evaluation
of Development Projects. New York. Oxford
University Press.
Stern, E; Stame, N; Mayne, J; Forss, K; Davis, R &
Befani, B (2012) Broadening the range of designs
and methods for impact evaluation. DFID
| 37 |
UNICEF (2009a). Children and the 2004 Indian

Ocean Tsunami: Evaluation of UNICEFs response in Indonesia, Sri Lanka and Maldives, 200508. Overall synthesis report.
Weiss 2001. Theory based evaluation: Theories of
change for poverty reduction programs pp. 10314 in Evaluation and Poverty Reduction edited
by O. Feinstein and R. Piccitto. New Brunswick.
Transaction
Williams B. (2005). Systems and Systems Thinking

in Mathison, S (editor) Sage Encyclopedia of
Evaluation pp. 405-412.
Williams, B. & Imam I. (Eds.), (2007). Systems
Concepts in Evaluation: An expert anthology.
American Evaluation Association.
| 38 |

3 - Mixed Methods in Impact Evaluation (SPANISH)

Uploaded by

Document Information

Copyright

Available Formats

Share this document

Share or Embed Document

Sharing Options

Did you find this document useful?

Is this content inappropriate?

Copyright:

Available Formats

3 - Mixed Methods in Impact Evaluation (SPANISH)

Uploaded by

Copyright:

Available Formats

Notas sobre la Evaluacin de Impacto

INTRODUCCIN A LOS MTODOS MIXTOS

Foto: Alissa Everett

1.1. Qu es un diseo de evaluacin de impacto con mtodos mixtos? 3

2.1. Cuatro decisiones para disear una evaluacin de mtodos mixtos 9

3.1. Estrategias de muestreo para evaluaciones con MM orientadas CUANT y CUAL 19

4.1. Los diseos de mtodos mixtos requieren un enfoque de administracin especial 27

Tabla 2. Mtodos CUANT y CUAL de recoleccin de datos ms usados

Tabla 3. Tipos diferentes de triangulacin utilizados en evaluaciones con mtodos mixtos

Tabla 4. Ejemplos del anlisis de datos con mtodos mixtos

Tabla 6. Ejemplos de evaluaciones con MM resumidas en el Anexo 10

Cuadro 2. Beneficios operativos por el uso de mtodos mixtos

Cuadro 3. Anlisis de atribucin, contribucin y sustitucin

| Introduccin a los Mtodos Mixtos de la Evaluacin de Impacto |

ANEXOS (disponibles en ingles en: http://www.interaction.org/impact-evaluation-notes)

Ventajas y desventajas de diseos de evaluacin cuantitativos

Ventajas y desventajas de diseos de evaluacin cualitativos

Ejemplos de diseos de evaluacin en cada punto del continuo CUANT - CUAL

Caractersticas de enfoques CUANT y CUAL en diferentes etapas de la evaluacin

Comparacin entre mtodos de muestreo aleatorios y dirigidos

Variedad de enfoques cuantitativos, cualitativos y basados en la teora para definir lo contrafactual

Estrategias para reducir los costos de la recoleccin y el anlisis de datos

Ejemplo de triangulacin: comparacin de estimaciones de ingresos de hogares y pobreza de diferentes fuentes

| Introduccin a los Mtodos Mixtos de la Evaluacin de Impacto |

dos mtodos, CUANT o CUAL, (Seccin 1.2) y en

| Introduccin a los Mtodos Mixtos de la Evaluacin de Impacto |

MM (Seccin 2.1): en qu etapas de la evaluacin

| Introduccin a los Mtodos Mixtos de la Evaluacin de Impacto |

Parte I: Por qu mtodos mixtos?

inters por los enfoques de MM. La caracterstica

| Introduccin a los Mtodos Mixtos de la Evaluacin de Impacto |

cualquier evaluacin que investigue de manera

1.2. Las limitaciones de una dependencia exclusiva

Los mtodos CUAL tambin son herramientas

Triangulacin de los hallazgos de la evaluacin: aumentar la validez o credibilidad de

| Introduccin a los Mtodos Mixtos de la Evaluacin de Impacto |

de encuestas con las observaciones directas

que divergen y, de esta manera, requieren de

CUADRO 2. BENEFICIOS OPERATIVOS POR EL

Comprender cmo los factores contextuales

Reconstruir datos de base para evaluaciones

Fortalecer la representatividad de los estudios

Aportar sentido comn respecto de la validez y

| Introduccin a los Mtodos Mixtos de la Evaluacin de Impacto |

Los estudios de caso

donde se realiza el estudio). La evaluacin utiliza

| Introduccin a los Mtodos Mixtos de la Evaluacin de Impacto |

generales que pueden afectar a todos los centros de

de la triangulacin es que los procedimientos

| Introduccin a los Mtodos Mixtos de la Evaluacin de Impacto |

Estudios etnogrficos exhaustivos

Se realiza la entrevista a la muestra de

En trminos generales, un enfoque de MM es

| Introduccin a los Mtodos Mixtos de la Evaluacin de Impacto |

Parte II: El enfoque de mtodos mixtos

Cuando se planifica una evaluacin con MM, se

zarn los mtodos mixtos?

| Introduccin a los Mtodos Mixtos de la Evaluacin de Impacto |

de muestra CUANT a hogares o personas. Esto

ms complicados en cuanto al manejo de opiniones y comentarios, ya que se tendran que realizar

La Tabla 1 ilustra cmo se utilizan los MM en

5 Est emergiendo una nueva generacin de evaluadores que se

| Introduccin a los Mtodos Mixtos de la Evaluacin de Impacto |

Cmo funciona el enfoque predominante?