7.

Notas de evaluacin de programas

En este documento repasamos algunos de los conceptos y herramientas bsicos
en la evaluacin de programas. El esquema que seguimos no tiene carcter exhaustivo.
Slo pretende revisar y presentar algunos de los elementos ms tiles en la valoracin
de intervenciones. A continuacin, tratamos los siguientes temas:

Tipos de evaluacin de programas.

Fases en la evaluacin de programas.
Tcnicas ms utilizadas en la evaluacin de programas.

TIPOS DE EVALUACIN
Los primeros trabajos de valoracin de programas se realizaron en el mbito
educativo, y consistieron en estudios pretest-postest para contrastar el grado de
consecucin de los objetivos pedaggicos operativos. En ese sentido, las aportaciones
pioneras de Tyler en la dcada de los 40 giran en torno al criterio de eficacia de la
formacin, desarrollando uno de los aspectos centrales en la evaluacin de resultados.
Desde entonces se ha producido una notable evolucin metodolgica, as como una gran
diversificacin de los intereses de evaluacin. Por un lado, los diseos experimentales y
cuasi-experimentales han perfeccionado las estrategias de control de las amenazas a la
validez interna, ms all de las comparaciones simples antes-despus. Y, por otro lado,
a la preocupacin inicial por medir el logro de objetivos se han sumado otros elementos
susceptibles de estudio, como el proceso de aplicacin, la cobertura, la implantacin, los
costes y otras dimensiones que examinaremos ms adelante.
En el curso de ese desarrollo, la evaluacin de programas ha subrayado su
carcter prctico, como herramienta al servicio de la toma de decisiones sobre la
intervencin. Con ello, a la vez que se introducan nuevos elementos de validez
cientfica se ha ido dando ms importancia a la utilidad social de la evaluacin, puesto
que no slo sirve para conocer la efectividad de las acciones sino tambin para
introducir mejoras en los programas, decidir sobre la continuidad de una lnea de
intervencin, u organizar los recursos disponibles. Como ya hemos sealado, la
evaluacin de programas se mueve en una tensin constante entre su carcter de
instrumento de intervencin y las aspiraciones de fiabilidad y validez de toda
investigacin cientfica. Por eso, junto a las consideraciones de rigor metodolgico, hay

que tener en cuenta la disponibilidad de tiempo y presupuesto, la credibilidad de los

mtodos utilizados o la participacin de los implicados.
El resultado de esa evolucin ha sido la emergencia de un enfoque ms complejo
de anlisis, (1) que no suele ceirse a un solo criterio de valoracin, (2) que combina la
utilizacin de tcnicas cuantitativas y cualitativas de recogida de informacin, y (3) que
tiene en cuenta mltiples dimensiones de un programa. Esa confluencia de perspectivas
se ha utilizado como referencia para enunciar los diferentes tipos de evaluacin:
1. Por ejemplo, en funcin de los criterios de valor, se distingue la evaluacin
de la eficacia, de la suficiencia, del progreso, etctera.
2. Basndonos en la metodologa, podemos diferenciar un enfoque cualitativo
de uno cuantitativo.
3. Segn la dimensin del programa en la que nos centremos, tendremos una
evaluacin de la implantacin, de la cobertura, de los resultados, etctera.
4. Dependiendo de quin lleve a cabo las actividades de valoracin, se califica
la evaluacin de interna o externa.
5. Y de acuerdo con el momento y fines generales de evaluacin,
discriminamos una orientacin formativa de una sumativa.
Ninguna de las categoras que se derivan de estos cinco esquemas de
clasificacin son incompatibles entre s. Una evaluacin de programas puede ser al
mismo tiempo formativa y sumativa, interna y externa, de resultados y de la cobertura, y
as sucesivamente. Adems, existen tipos de evaluacin que de hecho dependen de
otros: por ejemplo como mostraremos a continuacin-, la valoracin econmica
presupone la de resultados, mientras que sta ltima tiene como requisito previo la
evaluacin de la evaluabilidad.
Hemos hecho referencia a los dos primeros esquemas de clasificacin al definir
el concepto de evaluacin de programas. Seguidamente, exponemos los tres restantes,
basados respectivamente en (1) qu se evala, (2) por parte de quin y (3) en qu
momento del desarrollo de las actuaciones.

Qu se evala
Alvira propone una tipologa de evaluacin que se asienta en los diversos
componentes de un programa. Cada clase de evaluacin responde a una pregunta
especfica sobre la intervencin, como queda patente de forma resumida en la siguiente
tabla.
Tipos de evaluacin de programas segn Alvira
TIPO

CONTENIDO

Evaluacin de necesidades Es una estrategia de valoracin encaminada a identificar

los problemas sobre los que intervenir, as como a definir el
sistema comunitario en el que se va a aplicar el programa.
Evaluacin del diseo y la Consiste en analizar la lgica terica del programa, a partir
conceptualizacin
de los contenidos explcitos en el documento escrito.
Evaluacin de la
evaluabilidad

Tiene como finalidad determinar si el programa es

susceptible de evaluacin, atendiendo tanto a la calidad de
su formulacin como a posibles obstculos de carcter
externo.

Evaluacin de la
implementacin

Informa de las actividades llevadas a cabo, y se hace

efectiva a travs de la comparacin del diseo terico con
el funcionamiento real del programa.

Evaluacin de la cobertura Pone de manifiesto el nmero de participantes en las

actividades del programa, as como los problemas de
acceso de aquellos que no hicieron uso del mismo
(desconocer la existencia del programa, y barreras fsicas y
de motivacin).
Monitorizacin y
seguimiento del programa

Es un sistema longitudinal de indicadores sociales, paralelo

al desarrollo del servicio o programa.

Evaluacin de resultados

Es un dictamen de la eficacia y efectividad de la

intervencin.

Evaluacin del impacto

Analiza los efectos indirectos del programa en aquellos

segmentos sociales que no forman parte de la poblacin
diana.

Evaluacin econmica

Determina el coste del programa en comparacin con los

resultados que consigue.

La evaluacin de necesidades no es una valoracin del programa propiamente

dicha ya que se trata de un juicio sobre la situacin comunitaria-, y por eso en nuestro
caso la hemos tratado en un apartado diferente. Sin embargo, es una de las estrategias
valorativas del ciclo de intervencin planificada, y tambin combina un componente de
investigacin con otro de valoracin y toma de decisiones.
El resto de categoras se organizan en nuestra opinin- en torno a la evaluacin
de resultados, de cuya preeminencia terica hemos dado cuenta tanto a travs de la
revisin histrica del rea como de los criterios de valor propuestos por la Organizacin
Mundial de la Salud. En la evaluacin de resultados se presta particular atencin al
control de las amenazas a la validez interna, puesto que tiene por objetivo atribuir al
programa de intervencin determinados cambios observados en la comunidad o en el
problema social en cuestin. Esta preocupacin ha generado una batera de diseos
metodolgicos de evaluacin aplicables en diferentes circunstancias.
Entre los requisitos de la evaluacin de resultados se cuentan los juicios sobre la
conceptualizacin, la evaluabilidad y la implantacin del programa. La evaluacin de
resultados contrasta la relacin entre las actividades de intervencin y los resultados
previstos, y conlleva algunos pasos previos:
1. Primero, el anlisis del modelo terico del programa o, en su defecto, la
teora implcita que subyace al mismo- es una gua para seleccionar las
variables a observar, y muestra el grado de justificacin de las actividades.
Este examen de la conceptualizacin es la base para decidir qu expectativa
de relacin hay que contrastar ms adelante.
2. En segundo lugar, procede anticipar las oportunidades y lmites que ofrece el
programa para ser evaluado. En la medida en que cuente con una adecuada
formulacin de los objetivos, y una clara correspondencia entre objetivos y
actividades, mayor ser su evaluabilidad. Desde ese punto de vista, la
consistencia interna del programa guarda una relacin directa con las
posibilidades de evaluacin: en otros trminos, anticipar cmo se valorarn
los resultados de una intervencin ayuda a formular un programa de calidad.
Pero tambin hay que prever en el anlisis de la viabilidad otros obstculos
que no tienen que ver directamente con la formulacin del programa, sino
con la disponibilidad de tiempo y presupuesto, las dificultades de
seguimiento, o el eventual rechazo de algunos grupos a proporcionar
informacin.

3. En tercer lugar, conocer las circunstancias de aplicacin del programa evita

errores de atribucin en la valoracin de los resultados: si stos no son los
esperados no significa necesariamente que las actividades propuestas no
fueran suficientes, puesto que ha podido ocurrir que no se hayan desarrollado
en su integridad, o que no se ajustasen a lo especificado en el documento
escrito. Para valorar la eficacia y la efectividad de la intervencin es
necesario constatar previamente que la implantacin no se encontr entre
otros- con problemas de tiempo o presupuesto, de reactividad por parte de
los usuarios o falta de competencia de los profesionales que lo aplicaron.
Con estos tres antecedentes se est en condiciones de hacer una evaluacin de
resultados de calidad. Complementariamente, se puede recoger informacin sobre el
nmero de usuarios atendidos (cobertura), y/o los efectos indirectos en ncleos de
poblacin a los que no afect directamente el programa (impacto). De igual manera, se
pueden introducir consideraciones de carcter econmico sobre la eficiencia de la
intervencin (evaluacin econmica).
La monitorizacin y seguimiento del programa es una categora que parece
discordar en la clasificacin, ya que no hace referencia a un contenido diferente, sino a
un procedimiento particular basado en un sistema de indicadores- para gestionar y
dirigir la intervencin. De hecho, la informacin que se recoge puede ser sobre la
cobertura, los roles profesionales, la calidad de la atencin, etctera. En Espaa se
aplica un sistema de estas caractersticas en los servicios sociales comunitarios: el
Sistema de Informacin de Usuarios de los Servicios Sociales (SIUSS) es una
aplicacin informatizada en la que se recogen datos sobre cada persona que acude a
solicitar servicios. En concreto, se describen las condiciones socio-familiares y de
hbitat, la demanda planteada, los recursos aplicados y la valoracin del profesional.
Esta ficha social permite conocer los rasgos sociales y familiares de los usuarios de
servicios sociales en general, y de cada programa en particular. Tambin contabiliza el
uso de los servicios y constata la evolucin de la demanda. Todos esos datos sobre el
funcionamiento del programa orientan el desarrollo de las actividades, y son tiles en la
asignacin de recursos y en la planificacin de servicios.
Sin embargo, el SIUSS no informa directamente de la efectividad de la
intervencin, ya que no recoge datos sobre los resultados de cada programa. En general,
en servicios sociales no es muy frecuente la valoracin de resultados, sino que
predominan los informes sobre otros aspectos, como la implementacin o la cobertura:
la prctica habitual consiste en una evaluacin cualitativa interna, que resume en una
memoria final las actividades llevadas a cabo, as como el nmero de usuarios
atendidos. Se trata muchas veces de un informe parcial de la implantacin, que se limita

a constatar el desarrollo de las actividades, sin especificar si se ajustaron o no a los

planteamientos tericos previos. Lo mismo ocurre con la cobertura, en la medida en que
se cuantifiquen los usuarios sin informar de los problemas de accesibilidad de aquellos
que no fueron atendidos.
Supongamos que llevamos a cabo un programa de Formacin Profesional
Ocupacional con madres solteras para facilitar su insercin laboral, y decidimos aplicar
una metodologa participativa en los cursos. En ese caso, la evaluacin de resultados
podra consistir en contrastar (a) la adquisicin de aquellos conocimientos y habilidades
que se queran potenciar, (b) la realizacin de comportamientos de bsqueda activa de
empleo despus de los cursos, o (c) el cambio de la situacin laboral de las madres
solteras. En lugar de este tipo de datos, a veces la evaluacin se limita a informarnos de
la opinin de las participantes en el curso, adems de contabilizar el total de sesiones de
formacin y el nmero de participantes. Pese al inters que pueda tener esta
informacin, no hace referencia directa a la repercusin de las actividades del programa
en la situacin de empleo de las madres solteras. Con frecuencia, las cuestiones de
efectividad se resuelven con las impresiones cualitativas de los profesionales que
aplicaron el programa (con los sesgos que ello puede conllevar, tanto por la metodologa
como por la fuente de informacin).
En la misma lnea, en el ejemplo anterior slo se proporciona informacin
superficial sobre la implantacin y la cobertura. Sabemos el nmero de sesiones
formativas que se impartieron, pero no sabemos si siguieron el carcter participativo
especificado. Y conocemos el nmero concreto de mujeres que asistieron con asiduidad,
pero desconocemos las dificultades que encontraron aquellas que no lo hicieron.
Identificar el grado de aplicacin del programa es esencial para valorar los resultados,
mientras que detectar problemas de acceso genera orientaciones prcticas para mejorar
el programa. En efecto, si descubrimos que muchas mujeres no asistieron por
desconocer la existencia del curso, o por el coste -en tiempo y dinero- de desplazarse al
lugar de formacin, propondramos estrategias de difusin y becas para aumentar el
alcance del programa. Igualmente, si el hecho de ser madres condiciona la asistencia,
complementar la intervencin con una guardera para los hijos tambin mejorara la
cobertura.
Quin evala
La evaluacin interna es aquella que realizan los mismos profesionales que
aplicaron el programa, mientras que en la evaluacin externa los encargados de emitir
un dictamen sobre la intervencin no participan directamente en las actividades del
mismo. Cuando la evaluacin se lleva a cabo desde dentro los evaluadores cuentan

con un conocimiento directo de las actividades, de los usuarios y del desarrollo del
programa. Ese grado de familiaridad facilita tanto la recogida de informacin como la
incorporacin de cambios que se deriven del estudio, y hace menos costosa la
evaluacin.
Sin embargo, a menudo la valoracin interna puede verse condicionada por la
subjetividad de quienes la realizan, y en consonancia resulta menos creble para los
observadores externos. Para los profesionales puede ser difcil tomar distancia respecto
a su propia actuacin, y discriminar con neutralidad los pros y contras del programa.
Adems, con toda probabilidad, se sienten implicados en las consideraciones de xito o
fracaso en trminos de resultados; y es menos comn que utilicen estndares
establecidos a priori.
La evaluacin externa contrarresta en gran medida estas limitaciones, puesto que
tiende a valerse de indicadores objetivos, diseos ms rigurosos, y otras garantas de
fiabilidad y validez. Esto dota a la evaluacin desde fuera de mayor credibilidad
social, extremo muy importante en este rea, ya que favorece que sus datos sean tenidos
en cuenta por quienes gestionan y por quienes implantan la intervencin.
No obstante, como contrapartida, el papel de evaluador externo est ms sujeto a
problemas de definicin: por ejemplo, puede ser percibido como un auditor, de cuya
opinin depende la continuidad del presupuesto; o bien se asocia su informe a las
futuras condiciones laborales de quienes aplicaron el programa. Estas interpretaciones
pueden traducirse en el rechazo de participantes y profesionales a ser entrevistados y
proporcionar informacin, o, en ltimo extremo, pueden afectar a la calidad de los datos
obtenidos.
Cundo se evala
Se suele distinguir entre evaluacin formativa y sumativa dependiendo del
momento en que se lleva a cabo, aunque ambas tambin difieren en las funciones que
cumplen en el proceso de intervencin. La evaluacin formativa o de proceso se realiza
durante la aplicacin del programa, mientras que la evaluacin sumativa o final tiene
lugar despus de concluidas las actividades. La primera tiene por objetivo la mejora y
perfeccionamiento del programa, de modo que la informacin que genera retroalimenta
la intervencin, y pueden cambiarse las actividades y caractersticas del programa sobre
la marcha. Por su parte, la segunda tiene como principal funcin contabilizar los
resultados, centrndose en los efectos del programa.
Lgicamente, ambas perspectivas pueden combinarse, poniendo en relacin el
proceso de intervencin con sus resultados. Una evaluacin formativa y sumativa al
mismo tiempo es quiz la mejor forma de obtener el mximo aprendizaje de la

experiencia. Pero a veces se pueden usar por separado, adaptndose a las circunstancias
de la intervencin: as, la valoracin del proceso es muy apropiada en aquellos casos en
los que el programa se est elaborando o construyendo, como estrategia exploratoria
con la que identificar los componentes de mayor inters. Al contrario, si un programa ya
est consolidado, y hemos contrastado sus efectos en experiencias anteriores, quiz sea
suficiente con una evaluacin final para contabilizar los resultados.
FASES DE EVALUACIN
Segn Fernndez Ballesteros, podemos resumir el proceso de evaluacin en seis
pasos sucesivos: (1) planteamiento de la evaluacin, (2) seleccin de las operaciones a
observar, (3), seleccin del diseo de evaluacin, (4) recogida de informacin, (5)
anlisis de datos, y (6) elaboracin del informe. El proceso se divide en dos grandes
componentes: una primera parte de diseo del sistema de evaluacin compuesta por los
tres primeros pasos-, y una segunda de aplicacin del mismo compuesta por los tres
ltimos. En la primera parte predomina la preocupacin por controlar las amenazas a la
validez interna y, al mismo tiempo, responder a las necesidades de los usuarios de la
evaluacin. En la segunda prevalecen consideraciones prcticas, encaminadas a
implantar el diseo tal y como fue definido a priori, as como a superar eventuales
barreras para entrar en contacto con la poblacin objeto de estudio, y recabar la
informacin necesaria.
El punto de partida de la evaluacin de programas es una fase genrica de
planteamiento, en la que se precisan cules son los intereses de quines encargan el
estudio. Tambin se analiza el contenido del programa, para familiarizarse con el mismo
y determinar la viabilidad de la evaluacin. Aunque se trata de pasos preliminares, este
planteamiento previo condiciona las decisiones que se toman posteriormente, y puede
ser determinante de la calidad de la evaluacin.
1. El encargo contribuye a definir los objetivos de la evaluacin, y se concreta
en un diagnstico de las necesidades que motivaron el estudio. Las
caractersticas tcnicas y valorativas de la evaluacin tienen que adaptarse a
tales necesidades, si quiere convertirse en una herramienta prctica en el
ciclo de intervencin. De ese modo, proporciona una gua para elegir los
criterios de valoracin del programa; sirve para seleccionar los
procedimientos de investigacin a los que se atribuye mayor credibilidad; y
orienta otras decisiones sobre el enfoque de investigacin, como optar entre
la contabilidad de resultados o el examen del proceso de aplicacin del
programa.

Sin embargo, puede darse el caso de que los promotores de la evaluacin no

cuenten con una definicin precisa de lo que esperan de la misma, y es
frecuente que desconozcan las posibilidades que ofrece la evaluacin de
programas. En esas circunstancias, el evaluador asume el papel de exponer
las alternativas metodolgicas, junto a las dimensiones del programa
susceptibles de anlisis. En cualquier caso, sea con la formulacin explcita
del interesado o con las orientaciones y sugerencias del evaluador, es
esencial determinar en este primer momento cules son las preguntas a las
que debe responder la evaluacin.
2. El segundo componente de esta primera fase consiste en familiarizarse con el
programa: es decir, analizar en profundidad el documento en el que se
resumen objetivos y actividades, entrar en contacto con el personal que lo
aplica, y conocer el contexto organizacional en el que se va a llevar a cabo.
Con ello se establecen los lmites y oportunidades de la intervencin desde el
punto de vista evaluativo, y sirve para decidir los elementos a observar (fase
2) y elegir el diseo propiamente dicho (fase 3).
3. Tambin es parte del planteamiento inicial evaluar la evaluabilidad. Es decir,
partiendo de cmo est formulado el programa, determinamos qu acciones
de evaluacin son posibles y cules no. Con objetivos mal definidos ser
difcil precisar la eficacia del programa; mientras que si falta
correspondencia entre objetivos y actividades no sabremos en qu
actividades centrarnos para valorar cada objetivo. Tambin deben anticiparse
en esta fase obstculos de evaluacin como la falta de presupuesto, la
movilidad de la poblacin o la reactividad de los participantes, entre otros.
Una vez que conocemos qu se espera de la evaluacin, y qu oportunidades y
limitaciones ofrece el programa para ser evaluado, estamos en condiciones de decidir
las caractersticas metodolgicas de la misma. En concreto, seleccionamos las
operaciones a observar y el diseo de evaluacin. Seleccionar las operaciones a
observar consiste en elegir las variables dependientes que vamos a medir, as como las
fuentes de informacin de las que obtendremos dichos datos. La eleccin del diseo es
por su parte- una propuesta metodolgica para el control de las amenazas a la validez
interna. Y finalizado el diseo, pasamos a recoger informacin, analizar los datos y
elaborar el informe definitivo.

Para ilustrar la seleccin de operaciones a observar, pensemos en los indicadores

utilizados en la valoracin de un programa de insercin socio-laboral con inmigrantes.
Un componente de la intervencin consisti en cursos de Formacin Profesional
Ocupacional, complementados con la accin de Centros de Orientacin Socio-laboral.
Para valorar los primeros se tomaron medidas de la situacin psicosocial y de empleo de
los participantes en la formacin, utilizando la informacin proporcionada por los
interesados y por los monitores de los cursos. En los Centros se atendi
fundamentalmente a la estructura y clima organizacional de los mismos, as como a
otros rasgos de funcionamiento. Aunque la evaluacin fue ms amplia, el esquema
muestra cmo las variables a observar se organizaron de acuerdo con las dos reas
componentes del programa.
La eleccin de dichos indicadores tambin estuvo condicionada por el encargo
de evaluacin, y el documento en el que se reflejaban objetivos y actividades. Veamos,
en primer lugar, el caso de los Centros de Orientacin. Por un lado, los administradores
del programa se mostraron especialmente preocupados por la implantacin de un
conjunto de Centros que fuesen homogneos en sus pautas de trabajo, dado que
pertenecan a diferentes organizaciones sociales. Por otro lado, en el documento escrito
no se formulaban objetivos operativos de logro en el mbito de la insercin laboral. Los
primeros contactos con los orientadores pusieron de manifiesto, adems, que las
actividades estaban ms influidas por la demanda concreta de los usuarios -centrada en
su mayora en la gestin de los permisos de residencia y trabajo-, que por los contenidos
definidos en el programa. Todas estas consideraciones son en s mismas conclusiones de
evaluacin, pero enfocaron a su vez el examen del programa en la implantacin de los
Centros (para valorar el grado de convergencia en roles, clima, pautas de organizacin,
etctera). Como consecuencia, el informe de evaluacin apenas pudo incorporar
resultados en el rea laboral, pero -dado su carcter formativo- contribuy a definir los
roles y competencias propios de los orientadores laborales, conformando una gua para
futuros proyectos.
La valoracin de los cursos de formacin tambin se vio afectada por este tipo
de planteamientos previos. Si bien se estableci una meta genrica de insercin
laboral de los inmigrantes, los objetivos no especificaban si se haca referencia a la
estabilidad laboral, las condiciones de trabajo o la ocupacin de los desempleados.
Tampoco se parti de un modelo terico que identificase variables relevantes en las que
incidir para cambiar la situacin de empleo. En la evaluacin se opt por describir las
circunstancias socio-laborales de los participantes a lo largo de los cursos de formacin,
y complementariamente medir algunas variables psicosociales de inters segn la
literatura sobre el tema. De esa forma, al tiempo que se valoraba la efectividad, se
comprobaba el papel de variables y modelos relevantes para futuros programas.

Pero, como hemos comentado al revisar las fases de evaluacin, el diseo no

termina con la definicin de las operaciones a observar. En el ejemplo que estamos
analizando, no basta con tener los datos sobre la situacin de empleo tras los cursos,
sino que hay que conocer cul era el punto de partida. Probablemente tambin interese
comparar a los participantes en la formacin con un grupo de inmigrantes no implicado
en el programa, para demostrar la existencia de diferencias significativas. Teniendo en
cuenta que la evolucin en trminos de empleo podra asociarse a una disminucin del
paro en la regin, podemos incorporar controles estadsticos adicionales. Todo este tipo
de decisiones configura el diseo de evaluacin: una propuesta que delimita la validez
externa de las conclusiones, y el grado en que se han controlado las amenazas a la
validez interna.
TCNICAS DE EVALUACIN DE PROGRAMAS Y SELECCIN DE
OPERACIONES A OBSERVAR
Para valorar los programas sociales podemos utilizar las mismas tcnicas de
recogida y anlisis de informacin que describimos en el captulo de Evaluacin de
Necesidades. El evaluador de programas recurre en la prctica a muy diversos sistemas
de coleccin de datos: a ttulo ilustrativo, podemos mencionar los grupos de discusin
con los usuarios de un servicio, las encuestas a la comunidad receptora de un conjunto
de prestaciones, las entrevistas a profesionales o participantes en un programa, etctera.
Como ya mostramos en la evaluacin de necesidades, la eleccin de la tcnica a
utilizar est directamente asociada a la unidad y objeto que queremos evaluar. Por
ejemplo, hay tcnicas que son ms apropiadas para el diagnstico de necesidades
percibidas, mientras que otras son exponentes de necesidades expresadas. Del mismo
modo, en la evaluacin de programas existe correlacin entre las operaciones a observar
y las tcnicas aplicables en cada caso.
Una clasificacin bastante til del tipo de indicadores de que se hace uso en la
evaluacin de programas la proporciona la tipologa de cuatro niveles de Kirpatrick. Se
trata de una propuesta especfica para la evaluacin de las acciones formativas, pero en
gran medida puede hacerse extensiva a otros tipos de intervencin. Segn este autor,
para valorar los cursos de formacin es posible recurrir a informacin sobre (a) la
reaccin de los participantes, (b) el aprendizaje de determinados contenidos, (c) los
cambios de comportamiento despus de la formacin, y (d) el impacto en otros
resultados de relevancia. Veamos con detenimiento cada uno de estos cuatro niveles
de evaluacin:

1. La reaccin hace referencia en sentido estricto a la satisfaccin de los

participantes en los cursos de formacin. Pero, por extensin, cabra definirla
como la opinin que expresan los usuarios de un servicio sobre las
prestaciones recibidas. Suele medirse a travs de cuestionarios y escalas inmediatamente despus de finalizar la formacin o el programa-, con los
que se pretende conocer la percepcin de la poblacin diana.
La satisfaccin de los alumnos de un curso no garantiza que se hayan
obtenido los conocimientos deseados. Tampoco la percepcin de los
participantes en un programa tiene por qu coincidir con los resultados
objetivos del mismo. Pero tanto la primera como la segunda constituyen un
primer acercamiento a la valoracin de un programa, que resulta
relativamente fcil y econmico en comparacin con los dems niveles. Por
otro lado, mostrarse satisfecho con la formacin se relaciona por lo general
con el aprovechamiento de la misma, en la medida en que la atencin y
motivacin de los participantes es un requisito del aprendizaje.
2. El aprendizaje es el cambio en los conocimientos, habilidades o actitudes
que se produce como consecuencia de la participacin en un programa. Suele
evaluarse con tests de conocimientos, escalas de actitudes, pruebas de
desempeo y sistemas de observacin. Ahora bien, mientras que la reaccin
se documenta suficientemente con una medicin puntual, para evaluar el
aprendizaje es recomendable contar con una medicin previa al programa y,
si es posible, con un grupo de comparacin.
Se trata de un nivel de evaluacin que resulta particularmente apropiado para
las acciones de formacin. Sin embargo, la adquisicin de conocimientos o
la modificacin de actitudes no siempre se traducen en cambios de
comportamiento en los contextos naturales. Pongamos por caso que un grupo
de toxicmanos, gracias a varias sesiones de entrenamiento, llega a
reconocer el intercambio de jeringuillas como una va de contagio del SIDA
y aprende algunas medidas de profilaxis al respecto. Esto no significa que
vayan a llevar a la prctica las conductas de higiene en su vida cotidiana,
donde se vern condicionados por cuestiones de tiempo y dinero, por la
presin del grupo, etctera. Este tipo de consideraciones justifica distinguir
otro nivel de evaluacin, que d cuenta del grado de transferencia del
comportamiento.

3. La conducta es la transferencia de los cambios en los conocimientos,

habilidades y actitudes a los contextos naturales. En este caso es
recomendable la observacin, o incluso el informe de terceros, aunque
tambin es vlido el auto-informe de los participantes. Como decamos en el
nivel anterior, para constatar cambios conductuales debidos al programa, es
oportuno tomar una medicin previa al desarrollo de las actuaciones y
utilizar un grupo de comparacin. A ello hay que aadirle el inters de las
mediciones de seguimiento, para contrastar que el cambio de conducta se ha
instaurado de manera estable en el nuevo contexto. Por esta misma razn, no
es conveniente tomar un indicador recin finalizadas las actividades, sino
dejar cierto tiempo para que se produzca el cambio de conducta.
4. Los resultados son los cambios que se producen en ltima instancia en el
problema que se quiere resolver o prevenir. En esta categora entran
indicadores como los siguientes: prevalencia del SIDA, nmero de
accidentes laborales, proporcin de toxicmanos en una zona geogrfica,
etctera. Es el tipo de datos que permite extraer conclusiones ms
categricas sobre la relevancia social del programa. Pero al mismo tiempo es
el nivel que conlleva una evaluacin ms difcil y costosa. Desde el punto de
vista metodolgico, son vlidas las mismas recomendaciones que en el nivel
anterior.
No hay que confundir este nivel con la evaluacin de resultados que
hemos descrito ms arriba: dependiendo del programa, la eficacia y la
efectividad pueden llegar a evaluarse con indicadores de reaccin, de
aprendizaje, de conducta y de resultados indistintamente.
Como puede deducirse de la exposicin anterior, los cuatro niveles estn
mutuamente relacionados. La satisfaccin facilita el aprendizaje, que a su vez es un
requisito necesario pero no suficiente para el cambio comportamental. Y son estos
ltimos cambios los que afectan al problema que nos interesa modificar.
Esto quiere decir que al observar que los indicadores de los cuatro niveles
covaran entre s, estaremos comprobando la suficiencia del programa (o la adecuacin
de su teora implcita). Por tanto, puede resultar muy prctico combinar los cuatro
niveles en la evaluacin de un mismo programa.
Supongamos que queremos valorar un curso de prevencin de accidentes
impartido a los mandos intermedios de una planta de produccin sidero-metalrgica.

Siguiendo la distincin de Kirpatrick, podramos utilizar uno o varios de los siguientes

indicadores:
(a) aplicacin de cuestionarios a los participantes en el curso para conocer su
opinin sobre los monitores y los contenidos (reaccin),
(b) realizacin de un examen sobre las prcticas de proteccin recogidas en el
Manual de Seguridad de la empresa (conocimiento),
(c) entrevista a los subordinados de cada mando intermedio, para determinar si
ha cambiado en su comportamiento preventivo despus de participar en la
formacin (conducta),
(d) elaboracin de un inventario de los accidentes acaecidos en la planta de
produccin antes y despus del curso (resultados).
Si el objeto del curso de formacin es en ltima instancia reducir el nmero de
accidentes, qu inters podra tener tomar las medidas a, b y c? En primer lugar,
proporciona una evaluacin ms matizada de los resultados del programa. Pero adems
puede servir eventualmente para detectar por qu no funciona determinada intervencin.
En el ejemplo que estamos analizando, el fracaso en la prevencin de incidentes podra
atribuirse, entre otras, a alguna(s) de las siguientes causas:
(a) que las actividades de enseanza no hayan tenido xito en la difusin de
conocimiento,
(b) que lo aprendido en el curso no se haya generalizado al contexto de trabajo,
o
(c) que los cambios en el comportamiento del supervisor no hayan sido
suficientes para reducir la accidentabilidad.
El anlisis de los cuatro niveles permite identificar donde falla el programa, y
cmo mejorarlo en futuras aplicaciones.
Por otro lado, el esquema de cuatro niveles tambin puede utilizarse como gua
para formular los objetivos de la intervencin.

Isidro Maya Jariego

http://www.personal.us.es/isidromj
-Para citar este artculo, utiliza por favor las siguientes referencias:
Maya Jariego, I. (2003). Diseo, evaluacin e implantacin de un proyecto de intervencin social. En F.
Loscertales y Nez, T. (Coords.): Comunicacin e Intervencin. Mdulo 10: Revisin del proyecto y
redaccin final de la Tesis de Maestra. CD Interactivo. Universidad de Sevilla.
Maya Jariego, I. (2001). La intervencin social planificada. En F. Loscertales y Nez, T. (Coords.):
Comunicacin y habilidades sociales para la intervencin en grupos. Mdulo 10: Evaluacin y diseo
del proyecto de intervencin. CD Interactivo. Universidad de Sevilla.