LA FUNCION DE EVALUACION DE POLITICAS SOCIALES EN CHILE

ASESORIAS PARA EL DESARROLLO

Enero 2002

I.

EVALUACION, POLITICAS SOCIALES Y DESARROLLO 1

Por qu el tema de la evaluacin de polticas y programas sociales se ha ido convirtiendo con el paso del tiempo en un problema central de la accin de los gobiernos? Principalmente por tres razones. La primera es que el desarrollo y progreso social que se viven en el nuevo milenio no omiten ni aminoran la severidad de viejos y nuevos problemas sociales: pobreza, exclusin, desigualdad. La segunda, es que a pesar de las innovaciones institucionales y programticas, las soluciones que se han puesto en marcha no arrojan los resultados esperados. La complejidad de nuestras sociedades, que presentan una muy desigual distribucin de las oportunidades, y de los problemas que ello genera, exigen miradas ms acuciosas sobre las polticas y programas que se estn implementando. La tercera se relaciona con la permanente escasez de recursos, cuestin que puede ser mejor enfrentada si la evaluacin permite asegurar el uso eficiente de los recursos. En concreto, el Chile de hoy no es el mismo que el de hace 12 aos, cuando se dio origen a una estrategia de poltica social que se centra en la calidad ms que en la cobertura, prioriza la promocin social y la participacin ciudadana, la colaboracin pblico-privada, y el desarrollo de soluciones que buscan alianzas entre los esfuerzos estatales municipales, comunitarios y de la familia, y de organismos privados con y sin fines de lucro. El sistema de polticas sociales que se est construyendo es ms diverso o heterogneo que el del pasado, busca aliviar y superar situaciones de pobreza y satisfacer necesidades bsicas. Adicionalmente busca construir sociedad, fortalecer actores sociales, reforzar vnculos y colaborar a una convivencia cvica y democrtica. No obstante estos esfuerzos, en nuestro pas (y en Amrica Latina), las tendencias de los indicadores convencionales muestran que la distribucin del ingreso no ha cambiado, que las brechas en calidad de la educacin no se aminoran, que el acceso a la atencin de salud contina siendo dificultoso para estratos medios y bajos, que la justicia no llega oportunamente. Ello ocurre pese a que Chile est en la delantera de los indicadores clsicos de desarrollo humano tales como alfabetismo, escolaridad, mortalidad infantil, expectativas de vida al nacer, e ingreso per capita. El problema es que tambin est en la delantera en materia de desigualdad social. As, segn el Informe sobre Desarrollo Humano (PNUD, 2001) en Chile el quintil de los ms ricos recibe el 62% del ingreso, lo que representa 18 veces la participacin de los ms pobres. La problemtica del desarrollo social y el papel en ella de las polticas sociales se encuentran en una encrucijada. Las metas de crecimiento con equidad e integracin social parecieran no cumplirse. Los pases del norte y del sur, como tambin los organismos multilaterales y de cooperacin tcnica, estn buscando nuevas formas de comprender y encarar el tema social. Chile no ha estado ajeno a este desarrollo. Se impone una permanente mirada tanto retrospectiva -cmo lo estamos haciendo y qu resultados se
Este artculo presenta los aspectos conceptuales del trabajo realizado por Asesoras para el Desarrollo titulado La Funcin de Evaluacin de Polticas Sociales en Chile. , sus autoras son Claudia Serrano y Dagmar Raczynski.
1

obtienen?- como anticipatoria -estos resultados, qu anticipan respecto de los problemas sociales del futuro?-. Esta exigencia se acenta cuando se reconoce que como consecuencia de la globalizacin y del acelerado ritmo de cambio constantemente van cambiando las constelaciones de situaciones de precariedad y exclusin social. Vale decir, es urgente contar con polticas que guiadas por principios y orientaciones estratgicas, sean flexibles para recoger nuevas situaciones y la diversidad de ellas. La descentralizacin de las soluciones y la alianza entre diferentes actores parecieran ser condiciones esenciales en el punto de partida. Bajo esta perspectiva no todo est en manos del Estado. No obstante, el Estado tiene la labor ineludible de evaluar con sus recursos, los procesos que se desencadenan en este mbito y los resultados esperados y no esperados que se obtienen en el corto, mediano y largo plazo, en cuanto a productos, efectos e impacto, y tambin en relacin al costo, monetario y no monetario, de estos resultados. La funcin de evaluacin de las polticas pblicas, incluidas las sociales, se ha ido asentando lentamente en el aparato pblico, el sector privado y el amplio mundo de los organismos no gubernamentales del pas. A comienzos de los aos 90 participamos en un estudio diagnstico sobre las necesidades de capacitacin y evaluacin que se planteaba el sector pblico. La preocupacin por el tema de la evaluacin de las polticas y programas sociales en ese entonces estaba en ciernes (Raczynski, Vergara y Vergara, 1992). Han pasado 10 aos y el panorama es distinto. El tema est instalado como necesidad en el sector pblico y como tpico de formacin y entrenamiento en el mundo acadmico y no gubernamental. Esto no significa que el tema de la evaluacin de polticas y programas est resuelto. Por el contrario, el tema se instal sin seguir un camino explcito, sin consensuar trminos bsicos, sin reflexionar sobre el qu se evala, para quin o quines, con qu propsito, en qu momento, con qu estrategias metodolgicas, etc. La instalacin del tema tampoco ha significado borrar el estigma o fantasma de la evaluacin entendida como control y sancin, aunque sin duda, para que los resultados de las evaluaciones tengan efecto, debe existir un sistema de premios y castigos (Weisner, 1999). El ms efectivo, en nuestros pases, est asociado a las asignaciones presupuestarias. El fin principal de la evaluacin es el aprendizaje respecto de las formas que tiene el Estado en torno a los desafos sociales que impone el desarrollo: enseanzas que aporta la experiencia para hacerlo mejor, lograr polticas y programas ms efectivos, ms eficaces, ms eficientes, ms costo-efectivos, ms sustentables en el tiempo. Es distinta la pregunta por los recursos ejecutados, monetarios y no monetarios, directos e indirectos para concluir sobre el costo efectivo de la poltica o programa y realizar estimaciones de costo-beneficio o de costo-eficacia. Si hay intervenciones que apuntan a los mismos objetivos inmediatos y finales es posible comparar y decidir sobre usos alternativos ms eficiente de los recursos.

Los que se desempean en el nivel central del aparato pblico y los que estn en regiones, tambin la poblacin, los ciudadanos, los beneficiarios, tienen o debieran tener una visin y perspectiva de evaluacin. Pueden y deben participar. Son los informantes ms importantes en temas de satisfaccin e impacto; debieran ejercer control ciudadano sobre la poltica y los programas y exigir accountability. La evaluacin alimenta la rendicin de cuentas, vela por el buen funcionamiento de las instituciones pblicas y sus polticas y programas, y ayuda a controlar los abusos. La diversidad de perspectivas y prioridades en la evaluacin deja en evidencia que ella no es nunca slo un ejercicio tcnico. Tras una evaluacin hay siempre un marco de referencia, un punto de vista, un propsito, que son previos a las decisiones tcnicas y a la rigurosidad metodolgica. stas intervienen despus, una vez definidos el propsito de la evaluacin y el parmetro o estndar segn el cual evaluar. Es tambin en ese momento que se define el tipo de evaluacin que se propone: evaluacin ex-ante o ex-post, de procesos, de resultados, de impacto, con diseo experimental, cuasi experimental o no experimental, de costoefectividad u otras. Ms adelante, en este texto, se revisan los principales tipos de evaluacin. La evaluacin tambin incluye una preocupacin por temas que sobrepasan la evaluacin uno a uno de las polticas y programas y contempla: 1. La preocupacin sobre los principios orientadores que siempre estn detrs de las polticas y programas. En Chile en los aos 90 algunos de estos principios son: equidad, promocin social, distribucin social de las oportunidades, participacin social y descentralizacin. Los principios se plantean porque se postula que conllevarn mayor impacto o un impacto ms sustentable y una mayor eficiencia en el uso de los recursos. Corresponde preguntarse Es as? Siempre o slo en algunas circunstancias o bajo algunas condiciones? Cmo entiende cada poltica o programa estos principios? Cmo los operacionaliza? Qu podemos aprender al respecto? 2. La preocupacin por los resultados que obtienen el conjunto de polticas, programas e iniciativas que se orientan a un mismo fin o propsito y/o a un mismo grupo objetivo: Cul es la oferta de intervenciones? Cules son los principios que la rigen? Cmo se vinculan y eslabonan entre s? Es posible racionalizar esta oferta? 3. Lo ms general y sustantivo es evaluar los resultados que logra la poltica social en su conjunto. El mbito de la evaluacin tiene que ver con la sociedad a la cual se aspira. En los aos 90 en nuestro pas han sido claves los planteamientos en cuanto a crecimiento con equidad, integracin social, ciudadana. En esta perspectiva, el crecimiento de la economa, elevacin del ingreso per capita, reduccin de las cifras de pobreza en ingreso, satisfaccin de necesidades bsicas, son medios que apoyan el logro de una sociedad ms equitativa, menos segregada, con mayor tolerancia a la diferencia y donde los ciudadanos tienen voz y poder decisin. En este marco

valrico y poltico corresponde preguntarse en qu sentido se est construyendo una sociedad que muestra ms equidad, integracin social, ciudadana? Cul es la eficiencia y eficacia de los medios planteados para lograr estos fines, esto es, de las polticas y los programas sociales? En este contexto, el cuadro que se presenta a continuacin, presenta para distintos mbitos de preocupacin, desde lo ms global a lo ms especfico, criterios y preguntas de evaluacin, a modo de ejemplo.
PREOCUPACIONES DE LA EVALUACION CRITERIOS Y OPCIONES A MODO PREGUNTAS DE EVALUACIN DE EJEMPLO A MODO DE EJEMPLO

MBITOS

Integracin social y respeto a la diversidad Reduccin de inequidades Principios orientadores de las Ampliacin de ciudadana polticas sociales Ampliacin de las oportunidades Desarrollo humano sustentable Estrategias generales de intervencin de las polticas sociales: Prioridades Recursos Responsabilidad del Estado, el mercado, la comunidad y la familia Balance entre opciones universales, selectivas y focalizadas Balance entre niveles central, regional y local Decisiones de financiamiento y gasto social Cundo y dnde invertir Cmo invertir, con qu instrumentos Balance entre lo preventivo y la curativo, prevenir o mitigar, asistencial o promocional Invertir en la gente o en bienes e infraestructura Mercado, red pblica de proteccin social, familia/comunidad Opciones estratgicas: el programa ser promocional, asistencial, otro Opciones de focalizacin Opciones de gestin: se externalizar Financiamiento y costos

- Se estn poniendo en prctica los principios? - Cmo interpretan los actores involucrados estos principios? - La sociedad se est acercando o no a estos principios? - Qu tendencias muestran los indicadores relevantes? - Estn claras las prioridades de poltica? - Es costo eficiente la asignacin del gasto? - Existen sistemas de registro y seguimiento de las acciones sectoriales? - Son adecuadas las opciones de focalizacin? - Es adecuado el diseo de la gestin descentralizada de programas sociales? Grado en que el programa genera los cambios buscados (evaluacin de impacto) Calidad de las soluciones que ofrece el programa (evaluacin de dinmica de gestin) y aprendizaje ligado al desarrollo del programa (evaluacin de proceso)

Programas Sociales

II.

CUESTIONES TEORICAS Y PRACTICAS DE LA EVALUACION SOCIAL DE POLITICAS Y PROGRAMAS PUBLICOS

Al examinar la literatura sobre la evaluacin de polticas y programas sociales se observa que las preocupaciones se centran en cuestiones tericas y metodolgicas, institucionales y operativas. Tambin se observa que existen diversos modelos de evaluacin: proceso, resultado, impacto y satisfaccin, as como diferentes tcnicas, ya sea cualitativas o cuantitativas. Quienes se ven concernidos por estas preocupaciones debieran ser, en primer lugar, los ciudadanos que se ven afectados por la implementacin de las polticas y programas. Sin embargo, el foco de las evaluaciones slo recientemente comienza a incluir la preocupacin por el juicio ciudadano. En la mayora de los casos, los actores que participan de las decisiones sobre evaluacin son los directivos y autoridades, as como los operadores de las intervenciones y los profesionales de las ciencias sociales que realizan labores de evaluacin. Esta comunidad de actores requiere participar de un espacio poltico, institucional y terico conocido y compartido con miras a maximizar la capacidad de aprendizaje que deriva de los ejercicios evaluativos. En esta lnea, este captulo pretende aportar sistematizando informacin y proponiendo algunas definiciones que contribuyan a despejar el panorama conceptual, con miras a instalar algunos conceptos bsicos en las principales materias relacionadas con la evaluacin de polticas y programas. 1. Definiciones conceptuales asociadas a la evaluacin

Diversas definiciones sobre evaluacin apuntan a rescatar tres elementos: es una tarea rigurosa y sistemtica, tiene un carcter retrospectivo y emite juicios de valor sobre polticas o programas: a) Una evaluacin de programas sociales es el conjunto ordenado y sistemtico de procedimientos que permiten establecer un juicio u opinin sobre el mrito o valor de un programa para tomar decisiones sobre l que apunten a su mejoramiento (FernndezBallesteros, 1996). b) La evaluacin tiene el propsito de aplicar mtodos y tcnicas de las ciencias sociales para levantar juicios relativos a la utilidad y eficacia de las acciones implementadas, as como a la responsabilidad de las agencias gubernamentales (Conseil Scientifique de lEvaluation, 1997). c) Una investigacin evaluativa es un examen riguroso y sistemtico de los logros de una poltica o programa en relacin a las metas propuestas y los efectos esperados (Sulbrandt, 1993) d) La evaluacin es una valoracin retrospectiva de los mritos, importancia y valor de la aplicacin, productividad y resultados de las intervenciones gubernamentales (Vedung, 1997).

Las definiciones presentadas dejan en claro que la evaluacin examina resultados con una mirada retrospectiva, y no es, por tanto, homologable a las acciones de seguimiento y monitoreo. Juicios de valor resultado de la evaluacin Como se ha sealado, el resultado de una evaluacin es un juicio de valor sobre una poltica o programa, que puede ser del siguiente tipo: a) De pertinencia, entendida como la medida en la cual una poltica o programa, sus opciones metodolgicas y su lgica de intervencin, responden a las necesidades de la poblacin. b) De focalizacin, que se refiere a la medida en que una poltica o programa llega a su poblacin objetivo. c) De cobertura, a cuntos de sus posibles beneficiarios un programa entrega sus beneficios. d) De proceso, el que se refiere a las actividades y procedimientos que se realizan durante la implantacin de la poltica o programa para determinar cmo ste est actuando. e) De eficiencia, determinando si los resultados que se obtienen son adecuados a los medios utilizados. f) De eficacia, se refiere a la medida en la cual existen pruebas de que los objetivos de la poltica o programa se han logrado. g) De efectividad, medida en que una poltica o programa ha alcanzado el conjunto de efectos sobre la poblacin objetivo que se haban previsto. h) De satisfaccin, entendida como el sentimiento subjetivo por parte de los beneficiarios respecto de la poltica o programa. Objeto de la evaluacin Un aspecto que la literatura no suele clarificar se refiere a los diferentes objetos de evaluacin. Es diferente evaluar un programa que evaluar una poltica. Las polticas son la forma en que el Estado satisface la demanda y necesidades sociales (CEPAL 1998). Las polticas establecen prioridades y orientaciones generales e indican poblacin beneficiaria y focalizacin. La evaluacin de polticas afecta a varios campos funcionales orientados por un propsito comn. Se refiere al anlisis sistemtico de un problema y los programas asociados, de modo que quienes disean las polticas puedan seleccionar los programas y polticas ms adecuadas para obtener los resultados deseados. Requiere de definiciones estratgicas de mediano plazo que permitan contrastar avances, logros y dificultades que un conjunto de acciones alcanzan en relacin a los objetivos generales planteados.

La evaluacin de polticas es poco frecuente a nivel internacional y nacional. Sin embargo, esta tarea, que ser retomada ms adelante, es ineludible en el marco de una sociedad en constante cambio que, no obstante los progresos en diversos campos, arrastra viejos y nuevos problemas sociales que demandan respuestas por parte del Estado. Los programas sociales son un conjunto especificado de acciones humanas y recursos materiales diseados e implantados organizadamente en una determinada realidad social, con el propsito de resolver algn problema que atae a un conjunto de personas. Pueden dividirse en subprogramas y stos en acciones o proyectos (Fernndez-Ballesteros, 1996). Los programas no son intervenciones espontneas, sino que responden a una cuidadosa preparacin. Constituyen una propuesta de solucin a determinado orden de cosas que se desea modificar, de forma tal que el diseo de las intervenciones expresa una concepcin y una teora determinada sobre la pobreza y el desarrollo. Evaluar un programa, adems de evaluar procedimientos, productos y resultados, es una forma de conocer si las hiptesis de base del programa, sus conceptos centrales y su particular teora, funcionan para los problemas que este pretende resolver. Para qu sirve evaluar? La principal utilidad que deriva de las evaluaciones tiene relacin con estimar la efectividad y la eficiencia de los programas. La efectividad dice relacin con conocer si la teora implcita en cada programa, con sus correspondientes expresiones metodolgicas y tcnicas (cmo hacerlo, en quines focalizar, por cunto tiempo, etc.) aporta las respuestas que se buscan y genera los cambios que se requieren. Tambin interesa estimar si esta teora pudiera ser aplicable a otros campos o poblacin beneficiaria. Estas materias son de especial inters de los planificadores. La eficiencia tiene relacin con maximizar el impacto del gasto pblico, el que siempre enfrenta desafos asociados al costo de oportunidad de asignar recursos a determinados programas en relacin a otros, en un contexto de variadas y complejas necesidades sociales no satisfechas. Los ejecutivos de las agencias de financiamiento y en especial del Ministerio de Hacienda tienen inters en establecer si los resultados son costo-eficientes en relacin a otras alternativas de asignacin de recursos. La evaluacin no slo es til ex post, tambin lo es durante el desarrollo de los programas. Suele entendrsela como un instrumento til en el contexto del ciclo de planificacin, al momento de cerrar un proceso para extraer lecciones para nuevos diseos. Otra mirada que se ha extendido ampliamente entre los planificadores y directivos de programas, es la que utiliza el instrumento evaluativo en el proceso de desarrollo del programa como un instrumento que contribuye a introducir mejoras en la fase de ejecucin y al rediseo. En este sentido, los programas son cursos de accin que se instalan en contextos marcados por la complejidad, por lo que su desarrollo implicar siempre un espacio de dificultad y conflicto, a partir de cuya evaluacin es posible generar aprendizajes.

Al ordenar el amplio campo de funciones que corresponden a la evaluacin, es posible establecer tres reas principales: colaborar a la toma de decisiones y contribuir a optimizar la gestin pblica; generar conocimiento y aprendizajes en el rea de la planificacin social y aportar al control ciudadano.
EN EL MBITO DE LA GESTIN PBLICA: EN EL MBITO DE PLANIFICACI N SOCIAL:

Respalda y Genera fundamenta la toma EN EL MBITO conocimiento y de decisiones DE LA aprendizaje sobre Fortalece la TRANSPARENC innovaciones responsabilidad de las IA Y EL buenas Identifica agencias CONTROL prcticas gubernamentales CIUDADANO: Identifica laa Contribuye a una Contribuye pertinencia asignacin ms fortalecer lade los diseos eficiente de los gestin y estrategias recursos democrtica metodolgicas Contribuye a la Permite al Permite contabilidad pblica y gobiernoel mostrar contraste facilita nuevas eficienciade hacia teoras decisiones la opinin presupuestarias pblica Informa a los que Contribuye a la disean las polticas responsabilidad Recomienda ciudadana Requisitos para el desarrollo de la evaluacin de programas sociales modificaciones o ajustes a programas No fcil ni puede emprenderse de un momento a otro la realizacin de estudios de en es curso Contribuye a mejorar evaluacin. Es necesario resolver no pocas cuestiones previas. el desempeo de programas y En primer lugar, cuestiones de orden poltico-institucional, que se refieren a la disposicin proyectos efectiva de las autoridades y responsables de los programas a evaluar sus programas, y a Entrega informacin a asumir que ello tener implicancias posteriores sobre los mismos, sin que este los directivos sobre podra la marcha del proceso seaprograma visto como una amenaza sino como una oportunidad. Genera aprendizaje organizacional

En segundo lugar, las cuestiones de orden socio cultural que dicen relacin con el clima cultural y la legitimidad que tienen este tipo de estudios.

En lo propiamente tcnico, es necesario determinar cuestiones tan concretas como conocer si estn claros los objetivos a evaluar, si se dispone de registros e informacin del programa y si existen condiciones prcticas para poder realizar las actividades de investigacin requeridas. Cabe agregar a lo anterior los temas eminentemente prcticos que suelen ser el pan de cada da de las decisiones que se toman al realizar estudios de evaluacin. Por ejemplo, la tarea de un evaluador debe estar orientada por el objetivo de mejorar los programas sociales, pero ello no puede implicar procedimientos sofisticados y complejos que no empalmen en la dinmica (tiempos y prioridades) de la gestin pblica. Deben, por tanto, generar anlisis

y resultados en perodos relativamente cortos de tiempo, lo que los obligar a excluir informacin que no sea de uso prctico para los planificadores. Ser conveniente instalar mtodos de produccin de datos simples, rpidos y que requieran bajo entrenamiento. A continuacin se exponen los requerimientos de los procesos de evaluacin. Han sido tomados de los siguientes autores: Banco Mundial (1994), Bamberger y Hewitt (1986), Valadez y Bamberger (1994) y Baker (2000).
A NIVEL DE PROGRAMA

El programa debe ser una intervencin sistemtica y estructurada. El programa debe especificar qu objetivos especficos sern evaluados. Se debe disponer de informacin preliminar bsica. Es necesario incorporar las perspectivas de los diferentes actores involucrados, incluidos los beneficiarios de los programas. Es necesario delimitar la pregunta, objetivos y campo de accin de la evaluacin. Las evaluaciones deben gozar de credibilidad sustantiva (metodolgica) . Los evaluadores deben ser percibidos como crebles por parte de los policy makers Las evaluaciones deben ser independientes. Se debe identificar quines sern los usuarios de la evaluacin (quin es el cliente) y determinar cules son sus requerimientos. La evaluacin debe generar productos (informes) que sean de utilidad para el proyecto, es decir, que se generen en el tiempo oportuno, que sean de fcil comprensin y manejo y que levanten los puntos claves. La evaluacin debe ser diseada y controlada por profesionales calificados y bien situados en la jerarqua del proyecto. El sistema debe ser adecuadamente simple para no exceder la capacidad de la organizacin de absorber la informacin. Se debe decidir si es necesario, pertinente y relevante realizar una evaluacin, lo que dice relacin con que los programas deben estar bien implantados, con evaluar con especial inters programas innovativos que puedan ser replicables y programas piloto que se pretenda expandir ms adelante. Evaluar la evaluacin, estimando su costo eficiencia y costo eficacia. Debe existir clima poltico y esquemas mentales abiertos a la evaluacin y a informacin nueva Debe existir un clima de inters por generar y difundir aprendizajes en materia de programas sociales

A NIVEL DEL ESTUDIO DE EVALUACIN

A NIVEL DEL CONTEXTO

La preocupacin por evaluar el cumplimiento de objetivos La precisin en la definicin de los objetivos y propsitos de los programas es central para llevar adelante, posteriormente, la evaluacin del mismo. Es as como entre los puntos ms aludidos a la hora de sealar las dificultades inherentes a la evaluacin de polticas y programas sociales, se encuentra la evidencia de que muchos de ellos presentan ambigedad en la definicin de objetivos, lo que dificulta establecer cul es el objetivo de impacto a ser evaluado. Esta indefinicin puede explicarse por la falta de rigor en los diseos y/o de claridad respecto a los resultados especficos que se pretende

10

alcanzar, pero tambin da cuenta de un escenario complejo y multifactico que tiene lugar en la realidad social en mbitos de pobreza y necesidades bsicas insatisfechas. Sin objetivos especficos claros no es posible impulsar una evaluacin orientada a estimar si se alcanzaron los resultados e impactos buscados, lo que suele generar como primera tarea para el evaluador la de reconstruir el objetivo de inters del programa, en otras palabras, establecer cual es su teora respecto de la realidad en la que se instalar. Sin embargo, que los programas cuenten con objetivos claros no implica que evaluar su cumplimiento sea la nica tarea de la evaluacin. Es ms, numerosos especialistas anuncian como una restriccin que se debe evitar la evaluacin con arreglo exclusivamente a cumplimiento de objetivos. Tanto o ms interesante que ello ser, por ejemplo, establecer qu aspectos del diseo o la gestin del programa tienen mayor potencial explicativo de los resultados que se alcanzan, o qu resultados relevantes se estn presentando en la poblacin objetivo, que no necesariamente fueron planteados como objetivos. Este tipo de anlisis interroga el potencial que presenta el programa entendido como una teora respecto a determinado problema social. Las evaluaciones no deben enfocarse exclusivamente a evaluar el cumplimiento de objetivos (eficacia). Deben generar conocimiento que informe acerca de la pertinencia de esos objetivos y los resultados alcanzados dado el problema que se decidi enfrentar. Este planteamiento abre un espacio de discusin poltico-tcnica respecto del problema que se abord y cmo se manifiesta en la poblacin objetivo, que va ms all de establecer variables e indicadores de medicin de cumplimiento de objetivos y metas. El cumplimiento de objetivos no es el nico criterio de valor. La evaluacin implica la valoracin de mrito, importancia y valor de un programa (Verdung, 2000). Una alternativa que permite superar la restriccin que representa detenerse slo en los objetivos del programa y en las actividades que se han diseado para alcanzar los objetivos, es poner atencin en los subobjetivos. Se trata de situar la evaluacin en el contexto del problema y explicitar los subobjetivos del programa, lo que aumenta la utilidad y el potencial de la evaluacin. Deben responderse preguntas tales como: por qu se realiza una actividad o se quiere lograr un subobjetivo? cul es su objetivo o resultado esperado?; cmo lograr que la actividad y el subobjetivo provoquen el resultado esperado? (Mohr, 1995). Evaluacin externa o interna La mayora de los autores argumenta la conveniencia de externalizar las evaluaciones hacia equipos independientes de quienes estn directamente concernidos por los programas, altamente capaces y especializados. Esta modalidad, si bien garantiza la independencia del proceso y otorga mayor legitimidad a sus conclusiones, tiene el riesgo de realizarse alejada de la gestin del programa y de los tomadores de decisiones, con lo que se atenta contra la disponibilidad de stos para suscribir, comprometerse y actuar en consecuencia con los

11

resultados de la evaluacin. En este sentido, es conveniente asegurar la construccin de un vnculo entre quienes evalan desde fuera y quienes son evaluados dentro del programa. Esta modalidad supone que existe un mercado de consultores profesionales con experiencia en materias de evaluacin y que las agencias pblicas tienen facultades y capacidad para actuar como contrapartes tcnicas idneas y acuciosas. A la vez, la externalizacin otorga particular relevancia al instrumento Trminos Tcnicos de Referencia, que es aquel que norma la relacin de trabajo entre quien requiere y solicita una evaluacin y quien la realizar. Institucionalidad Se reconoce que un cierto grado de institucionalizacin debe alcanzarse para que las evaluaciones puedan efectivamente desarrollar un rol en las instituciones pblicas. Es necesario un cuadro que permita sostener la produccin de evaluaciones de alta calidad, que de garantas respecto de su utilizacin y que generen aprendizaje organizacional, en las organizaciones responsables de los programas y aprendizaje institucional a nivel de la instancia del aparato del Estado responsable de la coordinacin general de las tareas de evaluacin. 2. Modelos, enfoques y metodologas de evaluacin

Shadish, Cook y Leviton (1991) distinguen dos generaciones de tericos de la evaluacin. Los de primera generacin optaron por un enfoque sumativo, que utiliza mtodos cuantitativos de evaluacin de impacto, buscando establecer causalidades. Segn los autores, stos se estrellaron contra la realidad de los programas sociales pues, para sus estndares cientficos tradicionales, la informacin disponible era pobre. El propsito de la investigacin evaluativa era medir, en base a tcnicas cuantitativas y experimentales, los efectos de un programa versus las metas, como forma de contribuir a la toma de decisiones y mejorar la programacin futura. Los tericos de segunda generacin focalizaron en la utilidad que poda tener la informacin para el diseo y rediseo programas, en relacin a la naturaleza y causas de los problemas sociales, poniendo nfasis en resultados, procesos y factores organizacionales. Al focalizar en la utilidad de la evaluacin, por un lado se valoriza el conocimiento, la capacidad de identificar el problema y evaluar la capacidad del programa para entregar respuestas adecuadas. Por otro lado, se valoriza la interaccin con los policymakers, como parte de un proceso complejo que incluye experiencia, clima poltico, tecnologas sociales y juicios valorativos. De esta generacin surgen las evaluaciones formativas que entregan elementos para aprender y reorientar la marcha de los programas.

12

Si bien la tendencia ha sido el trnsito desde mtodos o enfoques experimentales para incorporar cuestiones de proceso, contexto y satisfaccin de los usuarios, no est zanjado el debate respecto de cuestiones claves de los procesos de evaluacin: objetividad vs. implicacin; cumplimiento de metas y productos vs. procesos; causalidades vs. anlisis integrales y sistmicos, etc. En otros trminos, surgen numerosas preguntas:

Hasta dnde es posible encontrar una o varias causas para un determinado efecto? Cmo ponderar el impacto en el marco de un entorno marcado por la complejidad social y poltica? Hasta dnde es razonable y conveniente la cercana o implicacin del evaluador con el programa y sus operadores? Aislar variables y establecer relaciones entre ellas omitiendo cuestiones de proceso y gestin es una forma de traicionar el espritu de los programas o a la inversa?

Si bien no existe una respuesta nica a estas preguntas, es sabido que ciertos modelos de evaluacin son adecuados para determinado tipo de programa mientras que no lo son para otros. El tipo de evaluacin que ser recomendable realizar depender de la preocupacin del interesado en la evaluacin, si su atencin apunta a polticas o programas, y de las caractersticas institucionales y los esquemas organizacionales adoptados en el proceso de implementacin de los programas, entre los que se cuentan los datos previos disponibles. Estas consideraciones no escapan a cuestiones de orden poltico, prioridades gubernamentales y magnitud de los problemas que ms preocupan a las autoridades financieras y sectoriales en un momento dado. A continuacin de presentan los modelos de evaluacin de programas y polticas sociales ms reconocidos por la literatura, que establece dos tipos de categoras para analizar los modelos de evaluacin2: a) La que distingue entre evaluaciones sumativas y formativas. La evaluacin sumativa se dirige a proyectos de gran escala. Son evaluaciones de impacto que buscan establecer causalidades mediante metodologas experimentales. Los modelos formativos agregan nuevas preocupaciones adems del impacto, las que principalmente dicen relacin con extraer aprendizaje til para el desarrollo y rediseo de los programas. Incorporan tcnicas cualitativas y se interesan por los procesos, las lgicas de accin y el carcter de las
Cohen y Franco diferencian entre modelos adecuados para programas grandes y modelos adecuados a programas pequeos. Los diseos propios de las evaluaciones de grandes proyectos suelen ser experimentales clsicos, que utilizan complementariamente tcnicas cuantitativas y cualitativas. La evaluacin de proyectos pequeos adopta estrategias cualitativas con nfasis en la comprensin del conjunto y casos individuales. Otros autores no comparten esta distincin por tamao de programa y sealan que es perfectamente posible evaluar grandes programas sociales con mtodos cualitativos. Tcnicamente, ambas alternativas son posibles.
2

13

organizaciones. Al interior de este tipo de evaluaciones es posible consignar tipos heterogneos de modelos de evaluacin, que se diferencian segn la escala de proyectos para los que son apropiados. b) La que propone Briones al dividir los modelos de evaluacin en analticos, que toman al programa como una estructura completa con arreglo a sus definiciones funcionales, y subjetivistas, orientados a comprender procesos tomando en cuenta al conjunto de actores y sus visiones del desarrollo y resultado de los programas y donde los investigadores se ven implicados en el proceso de evaluacin. Interesa destacar la propuesta de modelos integrales, que no se clasifica en los trminos anteriores, pero que rene los ms recientes modelos sobre evaluacin de programas y que intenta superar las dificultades de los modelos comentados, en una perspectiva de carcter sistmico y estratgico. Combina tcnicas cuantitativas y cualitativas, valorizando especialmente la insercin en el contexto inter e intraorganizacional que rodea al programa. Cabe destacar, sin embargo, que la opcin por las tcnicas ms adecuadas de evaluacin de programas sociales no tiene necesariamente que ser dicotmica y ms bien diversos autores recomiendan una seleccin no ortodoxa de las tcnicas de investigacin ms apropiadas y el uso de tcnicas de triangulacin que permiten combinar diferentes aproximaciones para establecer puntos crticos asociados a la implantacin a los resultados de los programas. La triangulacin corresponde a la comparacin sistemtica de datos independientes asociados a diferentes tcnicas de investigacin, y permite estimar los sesgos de cada mtodo (Valadez y Bamberger, 1994). El siguiente cuadro resume y combina las categoras presentadas. Ms adelante se exponen los diferentes modelos mencionados.
ESQUEMA MODELOS DE EVALUACION Modelos sumativos (cuantitativos) Impacto Modelos formativos (tcnicas mixtas) Proceso Resultado Efecto Estratgicas o Integrales - Integral - CEPAL - Marco Lgico Satisfaccin Iluminativa Participativa Focalizada Sin objetivos

Evaluaciones Analticas

No corresponde Evaluaciones Subjetivistas

14

2.1.

Modelos sumativos y formativos

Evaluacin de impacto En trminos generales la evaluacin de impacto se puede aplicar a la evaluacin de polticas y programas sociales, aunque es ms frecuente en evaluacin de programas. Busca determinar si stos logran dar respuestas a la situacin que les da origen, en qu medida esto se logra y qu factores explican estos resultados. La mayor parte de las evaluaciones de impacto neto apuntan a establecer causalidades mediante mtodos experimentales. Procuran determinar qu hubiera ocurrido si el programa no se hubiera implementado mediante mtodos de comparacin entre un grupo de beneficiarios y un grupo de control. Se pretende atribuir causalidad al programa mediante la recreacin de una situacin contrafactual. La metodologa exige controlar rigurosamente los posibles efectos no atribuibles al programa. Las tcnicas empleadas son de carcter cuantitativo. Los mtodos experimentales implican una capacidad de los evaluadores de manipular el contexto de la evaluacin recreando la situacin con y sin programa a objeto de poder comparar. Es requisito que el grupo de control sea efectivamente equivalente al grupo objetivo. Las evaluaciones de impacto suelen incorporar anlisis de costo eficacia y costo eficiencia de los programas sociales. De esta manera, se analizan los costos monetarios y no monetarios, directos e indirectos, asociados al programa y se los relaciona con usos alternativos de los mismos recursos y los beneficios que produce el programa. El problema de este enfoque, es que se trata de evaluaciones costosas, de largo aliento y cuyos resultados suelen llegar tarde, cuando no quedan posibilidades de corregir el rumbo de los programas. Adicionalmente plantean problemas ticos y polticos, como el dejar afuera en forma predeterminada a un grupo de poblacin con afanes de estudio y evaluacin (Fernndez-Ballesteros ,1996). Mtodos cuasi experimentales, son similares a los anteriores, pero conceden menos rigor al patrn de equivalencia entre el grupo de control y el grupo de beneficiarios. Tanto si se usan los mtodos experimentales como los cuasi experimentales, los grupos de control que se usen difcilmente reflejarn fielmente la realidad. Las metodologas experimentales y cuasi experimentales tienen bondades y limitaciones. Entre las primeras se encuentra su gran capacidad de objetivar los resultados y el carcter cientfico y objetivo de los procedimientos. Pero estos mismos factores son su debilidad

15

pues impiden ver aspectos asociados a procesos, a roles sociales de diversos agentes, incidencia que puedan desempear factores de entorno, y en general el contexto institucional y social, que suele ser de suyo complejo en situaciones que han sido consideradas problemticas y que los programas intentan modificar. Otra limitacin dice relacin con el uso de grupos de control, los que no reflejan fielmente la realidad porque en su seleccin siempre est presente algn sesgo. Estos mtodos plantean como indispensable mirar las condiciones contrafactuales. Si stas no se miran, los estudios se limitan a los resultados y no al impacto (Mohr, 1995). Sin embargo, cabe observar que no basta con mirar a los sujetos afectados por el programa, tan importante como stos es la poblacin en riesgo, lo que implica mirar la cobertura de los programas. Los modelos experimentales y cuasi experimentales no son adecuados para programas de pequea escala, para programas con objetivos especficos insuficientemente definidos ni para programas con nfasis en aspectos cualitativos y no materiales del desarrollo. Lnea de base. Un modelo alternativo es el que considera la construccin de un acabado registro de la situacin inicial de acuerdo a determinados indicadores, de modo de producir una lnea de base contra la cual comparar posteriormente los resultados del proyecto. En este caso, la comparacin se da para un mismo grupo de beneficiarios en dos o ms distintos momentos del tiempo. Este instrumento es de extrema utilidad y se encuentra desperfilado porque normalmente los programas no se piensan para ser evaluados, por lo que no realizan la tarea inicial de construir una lnea de base. Evaluacin de resultados A diferencia de la evaluacin de impacto, que busca establecer si el programa produce los efectos deseados en la situacin problemtica que gener la intervencin, la evaluacin de resultados se preocupa de establecer el cumplimiento de los objetivos y metas de los programas y de consignar los productos que derivan de su implementacin (bienes y servicios producidos en trminos del tipo, nmero, cantidad y calidad de los beneficios que otorga). Esta informacin, si bien da cuenta de las realizaciones, nada dice respecto de en qu medida estos beneficios contribuyen al logro de los objetivos del proyecto y al programa en su conjunto. Evaluacin de efecto Algunos autores introducen una categora intermedia entre la evaluacin de impacto y la evaluacin de resultado, esta es la evaluacin de efectos, que va ms all del registro de los productos, procurando establecer las transformaciones imputables a un programa. En esta

16

ptica est ausente el factor causal y contrafactual propio de las evaluaciones de impacto. A la vez, esta es una evaluacin que trasciende el mero control de cumplimiento de objetivos y de productos generados por el programa. Habitualmente combina metodologas cuantitativas y cualitativas. Evaluacin formativa o de proceso La evaluacin de proceso analiza la implantacin y el desarrollo del programa. Esta opcin metodolgica permite conocer los factores que sustentan la implementacin poniendo atencin en la dinmica y los factores que explican el desarrollo y el impacto final de una intervencin. Utiliza preferentemente metodologas de carcter cualitativo. Tambin se le llama evaluacin formativa porque permite la constante reprogramacin o correccin de aspectos del programa durante su transcurso. Este tipo de evaluacin, al realizarse durante la ejecucin de los programas afecta la organizacin y operacin del mismo. Los usuarios de este tipo de evaluacin son los funcionarios que administran el programa (Cohen y Franco, 1992). Requiere, por una parte, especificar una secuencia de pasos y las relaciones entre ellos, construyendo modelos o esquemas lgicos que muestren cmo los insumos llevan al producto del programa; y por otra, determinar cul es la informacin requerida y cmo se procesar, para luego analizar la efectividad de los componentes y posibles enfoques alternativos a su implementacin y aplicar los resultados de su investigacin (Sulbrandt, 1993). En el recuadro que se presenta a continuacin se anota el caso experiencias de programa social que incorpor desde el comienzo metodologas experimentales pero, la hora de tomar de decisiones, programa segua respondiendo a sus hiptesis de base, ms que objetivos. de una de las pocas la evaluacin. Utiliz busc establecer si el si cumpla o no sus

CHILE JOVEN: UN PROGRAMA DONDE LA EVALUACIN EST PRESENTE DESDE EL DISEO SENCE y FOSIS comienzan a implementar Chile Joven el ao 1991. Su propsito es incrementar la probabilidad de insercin laboral para los jvenes entre 18 y 24 aos de familias de bajos ingresos, con dificultades de integracin econmica y social, a travs de formacin para el trabajo, capacitacin en oficios y experiencia laboral. El programa se ha desarrollado en dos fases. La fase I se llev a cabo entre los aos 1991 y 1995, con el apoyo del BID. La fase II se ha desarrollado desde 1996 a la fecha. Su financiamiento en esta etapa ha sido con cargo al presupuesto de la Nacin. Chile Joven es un programa emblemtico que se ha replicado, a travs del BID, en Colombia, Argentina y Per, entre otros pases de Latinoamrica. Lo emblemtico radica fundamentalmente en tres aspectos. Primero, en el uso de un sistema de intermediarios y en la externalizacin de los servicios de capacitacin, lo que lo convierte en un programa innovador. Segundo, la exigencia de evaluar como mandato institucional presente en el diseo. Y tercero, el programa "amarra" el pago a los prestadores de servicios de capacitacin con los resultados, que en este caso corresponden a la insercin concreta y efectiva del joven en el mundo del trabajo.

17

LA EVALUACIN DEL PROGRAMA En su primera fase el programa cont con un Departamento de Estudios, a cargo de la evaluacin ex-post. Se realiz un estudio cuasi-experimental que evalu muestras representativas de cohortes a los 6, 12 y 18 meses despus del egreso del programa. Sobre la metodologa de evaluacin se avanz a travs del ensayo y error. Se dieron muchas discusiones sobre la mejor metodologa para evaluar resultados e impacto y especialmente sobre cmo conformar el grupo de control para controlar sesgos. El primer intento de grupo de control se hizo seleccionando casos a partir de las bases de datos de postulantes al programa. Se eligi a jvenes que se supona tenan las mismas caractersticas que los beneficiarios. Sin embargo, este modo de seleccin no tuvo xito, entre otros, porque la base de datos estaba envejecida y los jvenes no eran ubicables. Se pens seleccionar a jvenes que se haban inscrito pero no haban asistido, pero eso generaba otros problemas: implicaba elegir a personas que se haban autoexcludo, es decir, que probablemente haban encontrado trabajo, por lo que ya no eran comparables. Luego se aplic un modelo de avecindamiento que, con modificaciones, se usa hasta hoy. Se empadron a los vecinos de los jvenes inscritos con estrictos criterios que fueran controlables. Se parti preguntando al beneficiario por un amigo de la cuadra, que tuviera sus mismas caractersticas. Despus se aplic un sistema ms complejo, con encuesta de filtro y de empadronamiento. El problema radicaba en que los grupos de control que se constituan no eran comparables, por lo que haba que hacer una serie de correcciones matemticas (aplicar factores de expansin y de ponderacin, etc.), que redundaban en que finalmente el grupo de control virtualmente era perfecto pero empricamente no era til. Despus de esta etapa se pidi a los encuestadores que parearan uno a uno, es decir, se trataba de que si haba un beneficiario hombre de 20 aos, que buscaran un caso con iguales caractersticas. El proceso anterior fue extremadamente caro y las recomendaciones extradas de la evaluacin tuvieron un bajo nivel de influencia, especialmente por su extemporaneidad. Los resultados estuvieron disponibles un ao y medio despus de la capacitacin, por lo que la informacin no permiti retroalimentar el proceso. En la segunda fase, las consecuencias de su evaluacin fueron distintas: el programa se vio drsticamente reducido. Si bien los resultados en materia de insercin laboral eran satisfactorios (el porcentaje de insercin de los capacitados era de 60% contra un 40% en el grupo de control), se comprob que el programa se haba desajustado en relacin a sus principios e interpretaciones bsicas: muchos jvenes no iban en busca de empleo sino de la beca, otros por compartir en el grupo de pares. Estos resultados, asociados a la crisis fiscal del ao 1997 redundaron en las decisiones comentadas. COMENTARIOS SOBRE EVALUACIONES DE IMPACTO EN BASE A MODELOS CUASI EXPERIMENTALES. Dos son los principales inconvenientes de la evaluacin de impacto mediante el modelo cuasi experimental. Primero, es muy cara. Segundo, existen sesgos de seleccin difciles de controlar. Estos sesgos no se pueden ignorar pues siempre estn presentes. A pesar de esto, utilizar esta metodologa es un aporte a la evaluacin de impacto, porque lo que habitualmente se hace es evaluacin de resultados y establecimiento de tendencias de impacto. En conclusin, Chile Joven tiene el mrito de haber considerado la evaluacin en su rutina programtica, y de haber incorporado los aprendizajes que de ella resultaron en la toma de decisiones. Sin embargo, esta experiencia tambin indica la inconveniencia de usar mtodos cuasi-experimentales, por su alto costo, complejidad metodolgica y falta de oportunidad. Ms bien aconseja usar la metodologa de lnea de base, precisamente porque es ms barata, menos compleja y ms oportuna en relacin a constituirse en un aporte a la toma de decisiones.

18

Llama poderosamente la atencin que despus de hacer costosas evaluaciones experimentales que dieron buenos resultados, se tomara la decisin de reducir el programa, al descubrir que su particular teora sobre el problema de integracin social de los jvenes ya no responda a la realidad. Este es el resultado ms relevante del examen de este caso y demuestra que los principales aprendizajes no necesariamente estn en el anlisis contrafactual.

2.2.

Matriz de marco lgico (Banco Interamericano Direccin de Presupuestos)

Elaborada y promovida desde los organismos multilaterales (Banco Mundial y Banco Interamericano de Desarrollo), la matriz de marco lgico es un instrumento de diseo y evaluacin de programas que establece secuencias lgicas entre propsitos, actividades e indicadores de resultados de las mismas. Si bien la estructura de la matriz permite una visin del programa en su conjunto, su desarrollo se basa en la construccin de indicadores que normalmente apuntan slo al cumplimiento de metas, sin prestar atencin ni a las personas ni a los procesos que les subyacen, lo que se traduce en que frecuentemente su mirada sea limitada.. Esta matriz divide al programa en cuatro componentes: la finalidad general que se quiere alcanzar, el propsito del proyecto (cmo se alcanzar su finalidad), los productos que permitirn alcanzar estos propsitos y los recursos/actividades (inputs) que permitirn alcanzar estos productos. La secuencia lgica indica que si los recursos/actividades se llevan a cabo en el tiempo y cantidad adecuada, se obtendrn los productos. Si se obtienen estos productos, se alcanzarn los objetivos; si se alcanzan los objetivos, la finalidad general del proyecto se cumple. Los principales conceptos incluidos en la matriz son:

Fin del Programa: Descripcin de cmo el programa contribuir a la solucin del problema que se ha diagnosticado. No implica que el programa, en s mismo, ser suficiente para lograr el fin, pueden existir otros programas que tambin contribuyen a su logro. Propsito del Programa: Resultado directo a ser logrado como consecuencia de la utilizacin de los componentes (productos y/o servicios) producidos por el programa. Es una hiptesis sobre el beneficio que se desea lograr. El Marco Lgico requiere que cada programa tenga solamente un propsito. El propsito es la contribucin especfica a la solucin del problema(s) diagnosticado(s) a nivel de fin. El propsito, junto con los supuestos a este nivel, describe las condiciones necesarias, aun cuando no sean suficientes, para lograr el fin. Componentes del Programa: Son los productos, bienes y/o servicios que entrega el programa para cumplir su propsito. Deben expresarse en trabajo terminado (sistemas instalados, poblacin capacitada, etc.). La idea es que los componentes describen las condiciones necesarias y suficientes para lograr el propsito. Actividades del Programa: Incluye las principales tareas que se deben cumplir para el logro de cada uno de los componentes del programa. Corresponde a un listado de

19

actividades en orden cronolgico para cada componente. Las actividades especificadas para cada componente son necesarias y suficientes para producir el componente.

Indicadores: Son una especificacin cuantitativa que permite verificar el nivel de logro alcanzado por el programa en el cumplimiento de sus objetivos. Es una expresin que establece una relacin entre dos o ms variables y permite la comparacin entre distintos perodos3. Los indicadores a consignar en la matriz son a nivel de propsito (deben medir el cambio que puede atribuirse a la ejecucin del programa) y de componente. Medios de Verificacin: Indican dnde se puede obtener informacin acerca de los indicadores. Son las fuentes de informacin que se pueden utilizar para verificar el nivel de logro de los objetivos. Incluye material publicado, inspeccin visual, encuestas, registros, etc. Supuestos: Indican los acontecimientos, las condiciones o las decisiones que tienen que ocurrir para que se logren los distintos niveles de objetivos del programa y que estn fuera del control de la administracin del programa. El objetivo no es consignar cada eventualidad que pueda concebirse, sino identificar aquellos supuestos que tengan una probabilidad razonable de ocurrencia.

El marco lgico original slo era definido por las agencias de financiamiento, pero se ha adaptado para permitir a los beneficiarios participar en la planificacin del proyecto, a travs de cuatro fases: El anlisis de problemas que confirma o enmienda el concepto del proyecto identificando el problema principal de una poblacin objetivo, representando visualmente sus causas y efectos a travs de un rbol del problema; el anlisis de los objetivos, que intenta relacionar objetivos especficos con el problema identificado. Desde esta etapa en adelante se contemplan instancias como talleres de consulta con los beneficiarios; el anlisis de alternativas que evala diferentes estrategias para elegir la ms eficiente para alcanzar los objetivos; y una matriz de planificacin que detalla planes de accin para alcanzar los objetivos e identificar indicadores que midan progresos (Valadez y Bamberger, 1994). 2.3. Modelos subjetivistas4

Los modelos subjetivistas derivan de una epistemologa segn la cual la tarea bsica de la investigacin evaluativa consiste en comprender la conducta humana, captar su significado. Se guan por una lgica inductiva y utilizan mtodos cualitativos de investigacin. Una de sus ventajas es que permiten detectar resultados o efectos no esperados de las intervenciones, lo que puede enriquecer y complementar los anlisis que de ellas se hagan.
En Chile el Ministerio de Hacienda ha establecido cuatro tipos de indicadores: de eficacia, de calidad (refiere a la capacidad de responder a las necesidades de los beneficiarios), eficiencia y economa (capacidad para generar y movilizar adecuadamente los recursos financieros de un programa). 4 Este acpite est tomado de Briones (1983) y Richards (1982 ).
3

20

Entre estos modelos se encuentra la evaluacin iluminativa, focalizada, sin objetivos prefijados y participativa. Evaluacin Iluminativa Pretende ser una alternativa a los modelos tradicionales. Se caracteriza por ser holstica, intenta retratar el proceso global del programa y es sensible a quienes puede serle til. Su diseo es heurstico pues experimenta continuas redefiniciones en tanto se va logrando mayor conocimiento, e interpretativo, ya que describe y analiza el programa a partir de los propios principios de ste (Richards, 1982). Busca interpretar los smbolos del lenguaje y el significado de las palabras que utilizan los usuarios del programa. Escoge los mtodos de investigacin acordes con los problemas estudiados, y no al revs. Los agentes involucrados en el programa se convierten en co-investigadores, por tanto la evaluacin pasa a ser una experiencia de aprendizaje. La objetividad en este tipo de evaluacin est puesta, ms que en los mtodos, en la capacidad del evaluador de que su anlisis sea sensible y leal con los principios y valores del programa. Evaluacin focalizada Presentada por Patton en 1978. El evaluador identifica a quienes tomarn las decisiones del programa y a los usuarios activos del mismo. Ambos, en un trabajo en conjunto con el evaluador, logran focalizar diversos problemas y temas relevantes para mejorar la marcha del programa. En base a ello se hace la seleccin de las tcnicas de recoleccin de informacin y procedimientos de anlisis. El nfasis est puesto en comprender la dinmica interna del programa. Puede combinar tcnicas cualitativas y cuantitativas. Evaluacin sin objetivos pre-fijados Segn este modelo la evaluacin debe buscar los resultados reales obtenidos por el programa, sin necesidad de determinar por anticipado sus objetivos. Esta tarea se cumple a travs de tcnicas de observacin y de descripcin sin que ellas sean moldeadas por los objetivos pre-establecidos. Evaluacin participativa Un enfoque participativo supone que los beneficiarios tienen distinciones y opiniones sobre el programa, las que constituyen un aporte para elaborar criterios analticos que permitan una mejor comprensin del objeto de estudio. La evaluacin participativa tiene el propsito de minimizar la distancia entre el evaluador y los beneficiarios. Es adecuada principalmente en el caso de proyectos que buscan instalar cambios en las comunidades en las que intervienen y generar condiciones para que el grupo provea sus propias respuestas. En el caso de programas sociales que plantean entre sus objetivos fortalecer las capacidades

21

locales, incluir en la evaluacin un espacio de participacin para conocer e intervenir sobre el proceso es coherente con las propias definiciones del programa.

Estas consideraciones conducen a un diseo de la evaluacin que incorpora a los usuarios, tanto en espacios de diseo y construccin de los pilares metodolgicos de la evaluacin, por ejemplo en la definicin de las principales reas de inters a examinar, como en el acompaamiento al trabajo de campo y, posteriormente, el anlisis de resultados y el levantamiento de recomendaciones. En este sentido, este tipo de evaluacin conlleva el beneficio de fortalecer la ciudadana de quienes participan en ella, al constituirse en sujetos del proceso y no meramente en fuentes de informacin. Por esta razn, la evaluacin participativa se considera un instrumento de control ciudadano para el fortalecimiento de la democracia. Sin embargo, la evaluacin participativa es especfica a un contexto y est enraizada en las preocupaciones, intereses y problemas de los usuarios finales de los programas. Dependiendo del contexto particular, hay diferentes grados en los que los usuarios finales efectivamente pueden participar en el proceso. Este tipo de evaluacin se adecua los programas que tienen a sus usuarios claramente identificados y que adems estn dispuestos a participar (UNDP, sin fecha). Evaluacin de satisfaccin La evaluacin de satisfaccin es aquella que recoge y pondera el juicio y valoracin del usuario respecto de la satisfaccin que deriva de determinado programa. Este tipo de evaluacin requiere de metodologas cualitativas que permitan tomar contacto, en un clima de confianza, con las percepciones, creencias y expectativas de los usuarios con el objeto de conocer qu aspectos del proceso y de sus resultados tienen mejor acogida y por qu. 2.4. Modelos de evaluacin estratgica o integral

Los modelos de evaluacin integral comparten como caracterstica una preocupacin que incluye tres elementos: el concepto del programa, su estructuracin y sus resultados; la organizacin misma que lo ejecuta, entendiendo que est inserta en un escenario cambiante; y los tomadores de decisiones y polticos comprometidos con la evaluacin. Es un tipo de evaluacin ms formal y se orienta a productos, procesos y actores. Modelo de evaluacin integral de Sulbrandt Una evaluacin integral se interesa por el conjunto de procesos, actividades, agentes y productos que explican los resultados de un programa, la evaluacin de costo-beneficio, de

22

impacto y sustentabilidad, incluyendo los factores que facilitan o obstaculizan el proceso de implementacin, y la calidad y pertinencia de los resultados que se obtienen. Una evaluacin de este tipo debe acudir a enfoques, metodologas y tcnicas mixtas y complementarias. Ello significa que se realizar una evaluacin de resultado, proceso, impacto y satisfaccin y que se utilizarn tcnicas cuantitativas y cualitativas. Sulbrandt (1993) propone un modelo de Evaluacin Integral que toma como punto de partida la conducta real de los actores involucrados, es decir, una mirada de abajo hacia arriba. Sugiere utilizar un esquema amplio, multidimensional y multifactico orientado a responder no slo en qu medida se han logrado los resultados, sino tambin cmo y por qu. Dado que hay ms de un criterio para evaluar un programa (eficiencia, eficacia, equidad, impacto social, etc.), las preguntas bsicas de la evaluacin y los criterios a utilizar deben ser claramente explicitados. Al formular las preguntas centrales del estudio (qu se ha logrado a travs del programa?), la idea es poder asumir la perspectiva de los principales actores y no slo de quin encarga el trabajo. Una vez que se tienen las preguntas, se deben ordenar y jerarquizar, determinar objetivos y metas, clarificar su naturaleza y sealar los procedimientos adecuados para medir el desempeo. Evaluacin Estratgica de la gestin de programas (CEPAL) Desde fines de los '90, CEPAL ha venido implementando un programa de evaluacin de grandes programas sociales en diversos pases de Amrica Latina 5. El diseo de estas evaluaciones incorpora la evaluacin de resultado, pero su nfasis ms bien est puesto en el proceso de implementacin y en la dinmica institucional y organizacional que rodea al programa. Critica las metodologas tradicionales de evaluacin ex post y de gestin pues ambos asumen que el cumplimiento de productos conducir al impacto esperado. Asume que esta lgica conduce a optar por evaluaciones que ponen el acento ms en la eficacia y la eficiencia de los programas que en su impacto. El modelo de CEPAL adopta una visin ms compleja que combina la preocupacin por maximizar el impacto sobre los beneficiarios y optimizar la eficiencia de los recursos, para generar los productos requeridos en el proceso de gestin de programas. Entiende, al igual que Patton (1983), que las organizaciones tienen que resolver otros problemas aparte de los directamente relacionados con el logro del objetivo, que estn sujetas a una multiplicidad de influencias del entorno y que son vulnerables a l. Los programas sociales son especialmente vulnerables respecto del financiamiento, continuidad, permanencia de los equipos, efectos en los beneficiarios y cambios en los equipos, cuestiones ineludibles de considerar en una evaluacin de resultados.

Los programas evaluados son: Proyecto de Restaurantes Escolares Comunitarios, Medelln; Proyecto Jvenes, Argentina; Programa DST/AIS, Brasil; Programa de Apoyo a la Microempresa, Chile; Programa de Inversin Social, Paraguay; y el Programa Nacional de Enfermedades Sexualmente Transmisibles (DST) y Sndrome de Inmunodeficiencia Adquirida (SIDA) de Brasil.
5

23

En este modelo la evaluacin tiene tres momentos. El primero describe el problema y el programa. Este es un momento relevante por cuanto ordena y sistematiza el sentido del programa, su interpretacin de la realidad asociada con los elementos que caracterizan el problema: causas; respuesta institucional; otras intervenciones, etc. Entre los elementos que caracterizan el programa se abordan las definiciones generales: objetivos, horizonte temporal, poblacin objetivo, cobertura y focalizacin, productos, financiamiento, resultados y el modelo de organizacin y de gestin, procesos, estructura organizacional, cultura y clima, funciones, influencia del contexto. El segundo momento estudia y analiza el programa identificando brechas, nudos estratgicos y facilitadores. El tercer momento es de seleccin y construccin de senderos estratgicos (ruta crtica) asociados al programa. Este anlisis considera cuestiones de entorno institucional y contexto poltico, que otorgan legitimidad a la propuesta que representan los programas. Aunque este es un tema en cambio permanente, si se ponen en juego los conceptos expuestos hasta aqu, es posible delimitar un campo preliminar de opciones convenientes en materia de evaluacin de programas y polticas, el que se presenta en el siguiente cuadro.
MODELOS Y TECNICAS DE EVALUACION OBJETO DE LA EVALUACIN MODELOS TCNICAS

Polticas

Polticas sectoriales o transversales

Analtico Estratgico Impacto Procesos Resultado Procesos Resultado

Mixto Cuantitativas y Cualitativas Revisin de material disponible Anlisis de tendencias macro Mixto Cuantitativas y Cualitativas Tcnicas de triangulacin Revisin de material disponible Anlisis de tendencias macro Tcnicas cuantitativas Tcnicas cualitativas Tcnicas de triangulacin

Programas

Evaluacin sumativa de impacto, Evaluacin contrafactual Evaluacin de resultados y efectos Evaluacin de procesos Marco lgico Evaluacin integral Evaluacin de satisfaccin Modelos iluminativos, participativos e integrales

24

REFERENCIAS BIBLIOGRFICAS BAKER, JUDY (2000), Evaluating the impact of development projects on poverty. A handbook for practitionary, The World Bank. BAMBERGER, MICHAEL y ELEANOR HEWITT (1986), Monitoring and evaluating urben development programs, World Bank Technical Paper Number 53, The World Bank. BRIONES, GUILLERMO (1985), Evaluacin de programas sociales. Teora y metodologa de la investigacin evaluativa, PIIE. BURDGE, RABEL (1994), Social impact. Assessment and management. A participative approach, The American Sociological Association. CEPAL (1998), "Modelos de Evaluacin de la Gestin Social". CEPAL (2001), Gestin de programas sociales en Amrica Latina. Anlisis de casos. Vol. I: El Proyecto Joven de Argentina, Serie Polticas Sociales N 46, Santiago. CEPAL (2001), "Gestin de programas sociales en Amrica Latina". Anlisis de casos. Vol. II: El Programa Nacional de Enfermedades Sexualmente Transmisibles (DST) y Sndrome de Inmunodeficiencia Adquirida (SIDA) de Brasil. Serie Polticas Sociales N 46; Santiago. CEPAL (2001), "Gestin de programas sociales en Amrica Latina". Anlisis de casos. Vol. III: El Programa de Restaurantes Escolares Comunitarios de Medelln, Colombia. Serie Polticas Sociales N 46; Santiago. CEPAL (2001), "Gestin de programas sociales en Amrica Latina". Anlisis de casos. Vol. IV: El Programa Nacional de Apoyo a la Microempresa de Chile. Serie Polticas Sociales N 46; Santiago. CEPAL (2001), "Gestin de programas sociales en Amrica Latina". Anlisis de casos. Vol. V:El Programa de Inversin Social en Paraguay, PROPAIS. Serie Polticas Sociales N 46; Santiago. CEPAL (2001), "Los desafos de la reforma del Estado en los programas sociales: tres estudios de caso". Serie Polticas Sociales N 45; Santiago. COHEN, ERNESTO (2001), Reforma del Estado, modernizacin administrativa y evaluacin del desempeo de la gestin pblica, Serie de Polticas Sociales N 45, Divisin de Desarrollo Social, CEPAL.

25

COHEN, ERNESTO y ROLANDO FRANCO (1992), Evaluacin de proyectos sociales, Editorial Siglo XXI. CONSEIL SCIENTIFIQUE DE LVALUATION (1998), Lvaluation en dveloppement 1997. Rapport Annuel Sur Lvolution des Pratiques Dvaluation des Politiques Publiques, La Documentation Franaise, mayo. FERNANDEZ-BALLESTEROS, ROCIO (1996), Evaluacin de programas. Una gua prctica en mbitos sociales, educativos y de salud, Editorial Sntesis, Madrid. LEON, EMMA y HUGO ZEMELMAN (1997), Subjetividad: umbrales del pensamiento social, UNAM, Anthropos. MIDEPLAN (1999), La evaluacin de la gestin pblica, Revista MIDEPLAN, ao 1 n 2, septiembre 1999. MINISTERIO DE HACIENDA (2001) Evaluacin de Programas e Indicadores de Desempeo. MOHR, LAWRENCE (1995), Impact Analysis for Program Evaluation 2, Sage Publications. QUINN PATTON, Publications. MICHAEL (1978), Utilization-Focused. Evaluation, Sage

RACZYNSKI, DAGMAR; PILAR VERGARA Y CARLOS VERGARA (1993), "Polticas sociales: prioridades de investigacin y necesidades de capacitacin en Chile". Notas Tcnicas N 156, CIEPLAN. RICHARDS, HOWARD (1982), La evaluacin de la accin cultural. Estudio evaluativo del PPH, CIDE. SHADISH, WILLIAM; THOMAS COOK y LAURA LEVITON (1991), Foundations of program evaluation, Sage Publications. SULBRANDT, JOSE (1993), La evaluacin de los programas sociales. Una perspectiva crtica de los modelos usuales, en Kliksberg, Bernardo , Pobreza: un tema impostergable, nuevas respuestas, Mxico, PNDU/CLAD/FCE. THE WORLD BANK (1995), Evaluation and development. Proceedings of the 1994 World Bank Conference, Washington DC. UNDP, How to do a participatory evaluation, www.undp.org/20/documento/whop4.htm

26

VALADEZ, JOSEPH y MICHAEL BAMBERGER (1994), Monitoring and evaluating social programs in developing countries, Economic Development Institute of The World Bank. VEDUNG, EVERT (1997), Evaluacin de polticas pblicas y programas, Ministerio de Trabajos y Asuntos Sociales, Instituto Nacional de Servicios Sociales.
WIESNER, EDUARDO (2000), Funcin de evaluacin de planes, programas, estrategias y proyectos, Serie Gestin Pblica N 4, ILPES.

27