La evaluacin comprensiva

No juzgues a ningn hombre hasta que no hayas caminado

durante dos lunas con sus mocasines.
Proverbio nativo americano
La evaluacin comprensiva constituye una perspectiva general dentro de la
bsqueda de la calidad y de la representacin de la misma en un progra-
m>. Es ms una actitud que un modelo o una receta. Sea cual sea el rol o
el diseo de la evaluacin, sta siempre puede hacerse ms o menos com-
prensiva. Ser comprensivo o comprensiva significa guiarse por la expe-
riencia de estar personalme- all, sintiendo la actividad y la tensin,
conociendo a las personas y sus valores. Es basarse en gran medida, pues, en
la interpretacin personal. Es familiarizarse con las preocupaciones de los
agentes implicados concediendo una atencin adicional a la accin del p r e
grama, a su singularidad y a la pluralidad cultural de las personas. Es proce-
der lentamente (por lo general) en el diseo, adaptando continuamente el
propsito de la evaluacin y la recogida de datos ritmo al que los evalua-
dores o evaluadoras pueden familiarizarse bien con el prr>grama y sus con-
textos. Cualquier evaluacin puede incorporar algo de esta misma
predisposicin experiencial (la disposicin a descubrir *qu hay ah fueran).
LA CLASE DEL SEOR PRlVELIN
Hoy la temperatura ascender hasta los 25 grados, pero, de momento, hace fres-
co en esta aula de azulejos blancos y suelo de terrazo. Once alumnos (de los 29
que todava figuran en la lista de matriculados) estn presentes y cada uno de
ellos lleva chaqueta o jersey. Sin duda hacia an ms Mo cuando salieron de casa.
El instructo~, el seor Pretelin, les recuerda el temade hoy, (<Los orgenes del ca-
pitalismo*, y selecciona una pregunta par* 1s que ellos ya han preparado res-
puestas. Alguien, desde la ltima fila, se atreve con una respuesta. Llegan un par
de alumnos ms -ya pasan diez minutos de la hora de inicio- e, inmediatamen-
te despus, otros cuatro. El Sr. Pretelin procede a corregir la respuesta, pero
pide que haya ms de una. Sii estilo es informal. Apiira un cigarrillo. Sil pblico
est ateiito. Mii1.x es ;iIl tod;i iiiia prc.seiici;i ciiyo iioiiihrc se proiiliiici;~ y ciiyii
imagen .se asoma desde la portada del libro de texto. Slo se ven un par de li-
bros. Varios alumnos han trado fotocopias del captlilo que tocaba. Aii Ilenaii
la pizarra los smbolos de la ltima clase de lgica, pero ahora pasan inadverti-
dos. Algunos alumnos repasan sus respuestas, pero la mayora se concentran en
lo que Pretelin comenta acerca de las respuestas que se dan. Los voluntarios que
1 han dicho las primeras respuestas son chicos, pero ahora es una chica quien habla.
El instructor trata de incitarla a extenderse un poco ms acerca de su idea y
luego l mismo mejora la explicacin.
La frialdad de aquel espacio se va calentando con las intervenciones. Afuera, se
oye el chisporroteo de un cortacsped que se esfuerza por podar un csped de
un espesor para el que, probablemente, fue diseriado. Ya pasan 20 minutos de la
hora de inicio y llega otro estudiante. La mayora tienen en torno a los 20 aos
de edad y todos son morenos. Son alumnos de primer aiio de un programa de
estudios sociales y humanidades, matriculados en una asignatura de sociologa
sobre doctrinas polticas. Llega otra estudiante ms. Cierra bien la puerta tras de
s y la bloquea con una silla para evitar que entre la corriente de aire desde la
explanada cuadrada exterior. El Sr. Pretelin est ampliando una de las respues-
tas extendindose en su explicacin. Luego pasa a otra pregunta y enciende otro
cigarrillo mientras espera un voluntario para responderla; de nuevo pide que al-
guien mejore la respuesta que le dan, obtiene un par de intentos y luego contes
ta la pregunta a su gusto. Otra pregunta ms. l espera pacientemente la
iniciativa de alguno o alguna de sus estudiantes. stos parecen estar pensando o
leyendo para s mismos lo que haban escrito con anterioridad.
La bruma de la Ciudad de Mxico envuelve el centro de la urbe hasta varias mi-
llas hacia el sureste. El chaparrn de ayer no logr limpiar el cielo por mucho
tiempo. De nuevo, silencio a la espera de un voluntario o voluntaria. La prime-
ra joven ofrece su respuesta. Ella es la nica mujer de los siete estudiantes que
se han atrevido a hablar. Asentimientos con la cabeza a su mencin de los carn-
pesinos. Si alguien defiende el capitalismo en esa aula, no se le ha odo. Ya ha
pasado media hora y contina el recital. Slo unos pocos alumnos corrigen sus
apuntes (o los crean de cero con algo de retraso); la mayona intentan leer o e s
cuchar. All las mentes estn movilizadas, no se mantienen ociosas. Ai fin, un pe-
queo momento de humor.
Puede que el ambiente se est relajando un poco. Hay cuatro observadores di s
persos por el aula, que pasan prcticamente desapercibidos incluso cuando
toman notas. El instructor prosigue con su tarea sin deienerse siquiera para
pasar lista. Pretelin es un hombre delgado de unos 40 aos, quizs. Lleva una
chaqueta elegante, una camisa oscura abotonada hasta muy arriba y una cade-
na de oro al cuello. Tiene dedos largos y expresivos. Durante unos minutos, mo-
lesta el ruido de unos objetos pesados que alguien arrastra en el exterior del
aula. Por ltima vez, se pide a los estudiantes que vuelvaii ;i sus respuestas y bus
q11e11 iiicli~so 1111 ~ ( K O I T I ~ . Soii I ) O < U ~ I OW<I I <. i i (, ri <. ri lil)r.os. I.i~(.go S(. I(:s iiivit;t ;i
.plantear pi-egiiiitas. La coii\~erxaci>ii h e toi-ria nis af"l>lr, pero siii dejar (le ser-
sena. La gente contina enguichada, sus mentes f'uncionaiido ;I plriio rendimiento,
. . . -. .. . .. . . .. ... . .. . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . ...... . - . . . -. . . - ... . . . . . . . .. . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . - . . ... . . . . .. . . . . . . . . . . .. . . . . .
afablemente provocadas, y las cabezas siguen asintiendo en seal de aprobacin.
Unos campesinos ms inmediatos son esos 17 millones que se han visto arrastra-
dos hasta las calles que, un poco ms all, se extienden hasta conformar los
ruidos de la ciudad. Un pster advierte con tono de admonicin: ~Adman. Vota.
Platestda.. Prximo a la puerta, un grafti empieza diciendo: 4.a ignorancia
mata ... m. La hora toca ya a su fin: un ltimo cigarrillo, un resumen y una cli-
da sonrisa.
Esa descripcin o retrato de la clase del seor Pretelin formaba parte
de una evaluacin comprensiva informal de la docencia en la Universidad
Autnoma Metropolitana de Ciudad de Mxico. Fue observada y se infor-
m de la misma para facilitar al lector una experiencia sobre cmo era
estar en el-aula y para hacerlo sensible a los puntos fuertes y los puntos d-
biles de la instruccin. Evidencia la intensa atencin personal que pone
este docente en su trabajo pero, incluso cuando se toma en consideracin
junto a otras descripciones, proporcic-xa slo una pequea muestra de la
docencia que se imparte en los centenares de aulas restantes.
La predisposicin comprensiva tiene consecuencias importantes. El
trabajo de evaluacin cambia cuando el programa cambia, lo cual hace
menos relevantes algunas de las decisiones iniciales acerca de los ins-
trumentos, las fuentes de los datos y los estndares. Los cambios en el pro-
grama y el hecho de que la evaluacin sea ms receptiva a esos cambios dan
menos pie a la agregacin de bancos de datos cuantitati~os y a la bsqueda
de la significacin estadstica. La evaluacin se acerca ms a las personas y,
por lo tanto, aumenta el riesgo de que se implique emocionalmente con
ciertos grupos o posturas. La evaluacin atiende a sutiles diferencias en el
lenguaje; los diseos iniciales de la misma en los que figuren categoras y
correlaciones aproximadas pueden acabar siendo considerados de menor
utilidad. Y, con todo esto, si la interpretacin se vuelve ms importante que
la medicin basada en criterios, la diferencia resultante no es simplemen-
te en lo que se considera el foco de atencin, sino en lo que se considera
el significado y las pruebas.
Atendiend~ 2. estlidares de las ciencias sociales, !a mayora de evalua-
dores y evaluadoras tratan de representar los mitiples aspectos del eva-
luando por medio de una descripcin de alta fidelidad. En algunos
apartados de sus estudios de evaluacin, intentan obtener informacin de
todos los participantes o de una representacin cuidadosamente escogida
-
de los mismos. (Vase ms sobre miiestreos cn el raptiilo 9.) Pci-o tambiii
b~isc:iii opii~io~ics iiic;is, coiiio V I (Ic l;i pci-soii;i i-ccel~ioi-a tlr li)i.iiiaciii
que dite *creo que esto es chantaje. o el municipio que hace un pago
extra a un grupo de control por no haber pasado por el tratamiento expe-
rimental. La pregunta entonces no es qhasta qu punto es representati-
144 Evnl unci b~ COMPRENSIVA
vo?., sino qllega a ocurrir algo as aunque slo sea una vez?. El hallazgo
de un nico suceso puede cambiar la percepcin del programa. La evalua-
cin comprensiva se muestra especialmente atenta a episodios que, aunque
no sean representativos, aaden una mayor comprensin de la compleji-
dad del evaluando. 3
La evaluacin comprensiva es un modo de buscar y de documentar la
1
calidad de un programa. En ella se emplean tanto la medicin basada en cri-
1
terios como la interpretacin. El rasgo esencial de este enfoque es la com-
prensividad (receptividad o sensibilidad) de cuestiones o problemas clave,
I
especialmente los experimentados por las personas del propio lugar o loca-
,
lizacin del programa. No es especialmente comprensiva, sin embargo, a la 1
teora o a los objetivos declarados del programa; s que lo es a los intereses y
preocupaciones de los agentes sociales implicados.
1
Su meta es ms la comprensin de la bondad de un programa que la cre-
acin de dicha bondad. Los usuarios pueden luego tratar de aliviar, reme-
:
diar, desarrollar o tener aspiraciones, pero el propsito principal de esta
i
evaluacin es comprende?.
Las cuestiones de estudio o de inters como estructura conceptual
A menudo, se opta por organizar conceptualmenten los estudios de eva-
luacin comprensiva en torno a determinadas cuestiones de estudio o de
inters. Se prefiere as estructurarlos en cuestiones y no en objetivos, nece- :
sidades, cronologas, hiptesis, diagramas de inputs-outplts, o ecuaciones
sociales y econmicas.
Estas cuestiones de estudio son tensiones, proble-
Cuestin: n Una pregunta, mas, motivos de desconcierto organizativo, costes no
punto o preocupacin por previstos o efectos secundarios ocultos: cosas que se
discutir o decidir; un asunto corresponden negativamente con el esfuerzo progra-
importante en discusin; un mtico. El trmino cuestin evoca inmediatez, interac-
escoiio o agravio; una creen- tividad, particularidad y valoracin subjetiva, y, en
cia sobre la que se dkcrepa. especial, aquellas cosas de las que las personas relacio-
nadas con el programa tienen o sienten cierta con-
ciencia.
29. El concepto de evaluacin compiensivu no me corresponde a i ~i nicamente (fuese yo o no
'
el primero en asociarlo a la evaluacin de programas [Stake, 1974/1980]), sino ;i todos los
qiie lo iiti1iz;in. As piics. 1;i <I<.fiiiici>n <1cI misiiio c;iriil>i;i y st. v.1 Ii:i<-icii<lo 1115s <lif\is:i :I l i i <. t l i -
i I; i ( I i i <' 0ll~;is ~><~i~Soii;is \- \.o iiiisiii~~ I r ) i i l i i i z ; i l i i <i . i i i i i i i i ~ ~ l ~ ~ i i i l ~~i ~~i i i i ~. l i l <! l i r ~~ . i cl 11<. l l i 1> l l i i < .
110 11:iiii;iii ~~cv;~lii;ici<;ii i-<.s~~oiisiv;i.. ;i sii ii-;il);~jo p;ii t i ( i l ~ i i i ii<:I I > I . < I C c.<) (le <Iiliiii<-iGii ~oiiiiiiii;i
~iiaiitlo eiiiplc;iii cl t.riiiiiio. I'or Ir, tlirito, la <Icliiiici~ii oli<.i;il (1111. ~)i i <. cI; i r<~l~i.csciii:ii- <:I 1)'-c.-
seiite libro rio Ii;i (le sci. ioiiia(1;i <Ic.rnasi;i<lo al pi<: clt: I:i Icii.;i y el Ic<-ior. <Ic.l>r cbsprt.;ii. qiic: pr<p
siga ese proceso de defiiiici6ii continua.
' EJEMPLOS DE PREGUNTAS SOBRE CUESTIONES DE JNlIRib CONUCTAS
La pedagoga personalista supone un obstculo demasiado grande para la
introduccin de otras perspectivas tericas en el carnpus?
Los criterios establecidos para beneficiarse de la proteccin contra incen-
dios casan mal con las necesidades de esta zona?
*
Estos ejercicios de simulacin confunden a los enfermeros y las enfermeras
acerca de las fuentes de informacin vital?
Esta formacin perpeta una tica de la compensacin en demmento de
una del aprendizaje a lo largo de toda la vida?
A las personas implicadas en el programa les preocupan (o probable-
mente deberan preomparles) cosas diversas. Los evaluadores y las evalua-
doras investigan, negocian y seleccionan unas cuantas cuestiones sobre las
que organizan el estudio. Estas cuestiones no sustituyen el objetivo de des-
cubrir los mritos del evaluando, pero influyen en-d significado que damos
a esos mritos en esa situacin concreta.
De los evaluadores que son compren si vos^ se dice a veces que utili-
zan el poder del pensamiento negativo.. Buscan escollos y problemas y lo
hacen, en parte, para entender los obstculos con los que tropieza el pro-
grama y, en parte tambin, para poder examinar las conductas de .anta-
miento de esos problemas. A fin de familiarizarse con los problemas de un
programa, la comprensividad habitualmente obliga a observar sus activlda-
des, a entrevistar a quienes desempean algn rol o estn implicados de
algn modo en el programa, y a examinar los documentos relevantes. No
se trata necesariamente de los mtodos de recogida de datos con los que se
sustanciar la interpretacin de las cuestiones de inters, pero se necesitan
para la planificacin inicial y el acentrado progresivo. del estudio. Adems,
incluso en fases posteriores, la gestin del conjunto del estudio suele seguir
siendo flexible, tanto si se recogen datos cuantitativos como cualitativos.
Observaciones y iuicios
Como se dijo en el captulo 1, al mismo tiempo que vemos la naturaleza de
las actividades, el personal y los espacios de un programa estamos viendo
SUS mritos. Nuestra comprensin del mismo, pues, se entremezcla con el
,jiiicio que nos hacenios dc 61. 1.a idea nias <:oiitrovei~~id:i dc 1;i c.~.nliiaci>ii
(-oiiij)r<~nsj\~;i cluiz;s sc;i I;1 tic. ( I I I ( : <:I iiii.i.iio (Ic: i i i i ]~'<)gi.;iiii;i sc ;ipi.c:c:i;i ;i
pai-tir de obsei-vacioiies y vnloi-aciones cllte se pi-oduceii siiiiii1tiie;iiiientr.
Eii el captulo 1 diferenciaiiios entre pensaniiento hisado eii criterios y
pensamiento interpretativo. Por lo general, la evaluacin compreilsiva es,
146 ~ L U A C I ~ N COMPRENSIVA
en gran medida, interpretativaSO y, como tal, depende de que el observador
+
humano, la persona que retrata la experiencia humana, d significado y
valor a la evaluacin. Cuando es comprensivo, el evaluador o la evaluado-
ra pueden usar criterios en sentido fuerte o, simplemente, como un ele-
mento ms de la descripcin de episodios y comparaciones, pero la
l
determinacin del mrito y la vala de algo suele realizarse tras sucesi-
,
vas depuraciones del juicio personal, y no mediante la comparacin num-
rica de un indicador de rendimiento con un estndar. A ojos de muchos, eso
es algo que aparta a este tipo de evaluacin del territorio de la ciencia social.
!
UN COMENTARIO CRTICO"
El problema que le veo a la evaluacin comprensiva es que se aleja demasiado del
modelo cientfico de evaluacin. La evaluacin cientfica se centra en lo contrafc-
hco (iqu habna ocurrido de no haber existido el programa?) y se esfuerza mucho
por obtener un grupo de comparacin u otros mtodos que permitan estimar los
autnticos efectos del programa. Se hace, pues, especial hincapi en la mejor esh-
macin posible del efecto de un programa y, con ello, aprendemos algo nuevo acer-
ca del mismo. Por el contrario, la evaluacin comprensiva parece convertirse ms
bien en un .proceso conversacional en el que, aunque pueden ser muchos los
agentes implicados que expresen su opinin, no estoy seguro de qu aprende-
mos ni de cul fue la magnitud del efecto del programa (si es que tuvo alguno).
(Crtico annimo)
Hay que tomarse muy en serio esta crtica. La evaluacin de programas
suele apartarse claramente de la construccin de teonas cientficas. La pre-
gunta de la ciencia podra ser: <<:Tienen xito los programas de este tipo?.
Pero la pregunta de la evaluacin es: qEst teniendo xito este programa
en concreto?.. El evaluando es particular, no general. Y la pregunta no in-
quiere acerca de la tendencia a tener xito, sino acerca del xito en este
momento y lugar. La pregunta cientfica es importante, pero, por lo gene-
ral, no es la pregunta de la evaluacin3'.
30. La evaluacin comprensiva es basada en criterios e interpretativa al mismo tiempo, aun-
que, generalmente, presta una mayor atencin a la observacin interpretativa que a la medi-
cin cnterial. La evaliiacin basada en estndares es tainhin critcri;il r interpretativa, pero
suell. centrar niih SI I ;iicnci)n i i i I;i m<.<lic-i)i~ ~ I I ' . ' . II I; I i-(.(o~itl:i ( 1 1 . ~l:iio.; i i i l ~~i - l i i - <. i ; i i i \ ~os . 1 0
I;l l l i ~ l y O l ~ ~ \ <Ic (.'illl(lios. ~ ~ : I I ( I I ~ ~ I I ~ . ; i l ) i c l ; i I:iiiIo I;i ~ ~ ~ ; i l i i ; i ~ - i i ) i i ~ ~ ~ > ~ l i l ) l l . l l L I \ : l I I > I I I O 1 ; 1 I > ; I s ; I ~ ~ ; I I ' I I
es~li<l;ircs, ;isi coriio I;i iiie<liciOii ci-te,-i;il y 1;i f;iiiiili;ii-itl;itl iiiiii-pi.ri;iii\.;i coi1 cl i \ ~~i l ~c;i i i <~o.
91. Este conieiirario apareca eii tina resciia ;iiiiiim;i dc. iin iii;iiiiisri-iio qiic cii\,i. 211 Arrrrrican
l ~ r n d ojEu:vnlurrfion para su piiblicacin.
32. Vease ms en torno a la diferencia entre ciencia y evaluacin en el captulo 9.
Pero por qu no hacer una comparacin con un grupo de control?
NO sera mejor la evaluacin comprensiva si prestara la atencin prometi-
da a la actividad, al personai y a los espacios, pero comparando el evaluan-
do con un grupo de control? Pues no, casi nunca. El obstculo estratgico
que esto nos plantearia es el de que no nos interesa saber si el evaluando
rinde mejor o peor que otro programa que puede que represente nuestros
estndares o puede que no. Adems, averiguar si este otro programa satis-
face nuestros estndares o no supondra una costosa distiaccin de la tarea
de descubrir si nuestro propio evaluando cumple nuestros estndares.
El problema prctico es que, como se seal en el captulo 1, en la eva-
luacin de servicios humanos, casi nunca se puede encontrar o crear un
grupo de control satisfactorio. Segn la metodologa experimental, los
dos grupos tendran que ser esencialmente iguales salvo por el hecho de
que uno de ellos recibe el pograma que estarnos estudiando. Pero casi
nunca obtenemos un emparejamiento adecuado. El investigador de las
ciencias sociales puede dividir los casos aleatoriamente en dos grupos y
aplicar el programa en uno de ellos. Pero el evaluador suele empezar su
labor con un evaluando ya formado que, en muchos casos, ha findizado ya
su recorrido.
En mi trabajo, casi nunca he encontrado un grupo de comparacin
que constituyera un estndar satisfactorio con el que evaluar un programa
en el que tuviera un inters intrnsecoss. A veces, resulta til hacer alguna
comparacin con el mismo grupo pero del ao anterior o con un grupo
vecino al nuestro, pero las buenas comparaciones obligan a que una gran
parte del presupuesto se dedique a mantener los controles, el tratamiento
y las actividades evaluadoras necesarias en los otros escenarios. El enfoque
de la evaluacin comprensiva, sin embargo, slo obliga a que la mayor
parte del presupuesto de la evaluacin se dedique a observaciones mlti-
ples adicionales del evaluando.
Lar percepcioiies
Entr-e el principio y el final del estudio, e1 evaluador de tendencia com-
prensiva llega a comprender con mayor precisibn y confianza lo qce est
ocurriendo o lo bueno o lo malo que es. Las primeras impi-esiones son
siempre un punto de partida. Pero luego se producen correcciones y me-
---- - . .
:>>:<. Ia:ii t.1 <.;iso tlc I;i e\.;iliia<-i<iii tic: ~>oliti<:;is (vCas~: c.1 c;il~iiiilo !)), (Iciiiro dc I;i <-ii;il ?;c. siil>oii<.
(lile est;in;os iiitriisec;iinente inrcres;idos cii iin iiil>ito o estr-;iiegia poltica glolml y iio en los
esccnai-ios rii los qiie hay que esriidiarla, los grupos <Ic coiitrol podraii i.esiilt;ir \,aliosos.
VGasc Don Caiiipbell (1982). Tom Cook (1993) y Robcrr Boriich (1997).
joras porque el evaluador examina repetidamente esas impresiones, cues-
tiona lo que slo es aparente y busca perspectivas y razones alternativas que
le expliquen los datos condicionales o localmente diferenciados. La obser-
vacin es el modus operandi de la comprensividad, aunque ocasionalmen-
te se puedan utilizar ms mediciones impersonales. stas, a menudo,
ayudan a mostrar lo burdas, incluso, equivocadas que eran las primeras im-
presiones, pero enseguida surgen nuevas interpretaciones, impresiones
nuevas, que reemplazan a las anteriores, teniendo en cuenta.(eso s) las
mediciones: as se va disciplinando la propia percepcin.
La percepcin que se tiene de la actividad del programa es parte cen-
tral de la evaluacin comprensiva. En lugar de esperar percibir el elemento
crucial que determine el mrito en algn resultado o impacto del progra-
ma, la evaluadora o el evaluador comprensivo se centra en lo bueno y lo
malo de lo que hacen el personal y los participantes en el programa. Se
aprecia as una fe en la educacin, en la cultivacin. Si los procesos que se
estn produciendo son buenos, la mejora de los participantes ser aprecia-
ble ms adelante. A veces, los formadores necesitan ensear a sus alumnos
respuestas exactas; pero lo ms habitual es que tengan que darles expenen-
cias previas que ellos puedan adaptar para s mismos. No hay que olvidar el
estudio de efectos ms remotos de un programa, como pueden ser los que
se producen en trminos de competencia, preparacin y productividad,
pero los efectos ms inmediatos son los que reflejan directamente la con-
tribucin del programa al bienestar de sus beneficiarios y beneficiarias.
/' ',
OTRO COMENTARIO SOBRE LA EVALUACI~N COMPRENSIVA
La comprensividad es, ante todo, la virtud de guiarse por o estar atentos a la pra-
xis (la prctica). Es reconocer que estamos tratando con situaciones que son ex-
periencias vividas, encarnadas y llevadas a cabo. Stake se ha hecho eco de esta
caracterstica orientacin hacia la comprensividad en la evaluacin afirmando
que la evaluacin implica atender a prcticas humanas como la de la enseanza
o la provisin de servicios sociales entendindolas como experiencias contextua-
les: ((relaciones de preocupacin o atencin mutua)) que profesionales de deter-
minados tipos .entablan entre s.
' . I
Dirigidas como estn al descubrimiento de mritos y de deficiencias .
en el programa, las evaluaciones comprensivas reconocen una multiplici-
dad tanto de fuentes como de motivos de atrihiicin dt. valor. H\hlniiios, :i
veces, dc 1-ealidadcs iiiiltiplis, cs clccii-, tlc clilCi-cii<.i;is <c. ~)cic.c.p(.iOii ~ i i i s)-
ljdas que influyen en el modo en que se reconoce el sigiiilicado, la correc-
cin y la vala. Los miembros del personal de ms edad siieleii ver las cosas
de manera diferente a los ms jvenes. Los enfermeros y las enfermeras
ven las cosas de manera distinta a los mdicos. Mi hijo Jacob, carpintero de
escenarios teatrales, ve las cosas de forma distinta al pintor de escenarios.
Los evaluadores y las evaluadoras reconocen que cada persona se enfrenta
a obstculos diferentes y sobrelleva cargas distintas. Lo que importa, en
muchos casos, no es cmo resolver esas diferencias, sino cmo examinar-
las, cmo relacionarlas con la evaluacin del mrito y la vala. En todo
grupo existe diversidad. La evaluacin comprensiva es especialmente res-
petuosa con la multiplicidad de estndares (a veces, incluso contradictorios
entre s), tanto los de individuos y grupos diferentes como los de un mismo
individuo a lo largo del tiempo.
En ltima instancia, los evaluadores describen la actividad del progra-
ma, dan una interpretacin de sus problemas y preparan documentos-resu-
men de la calidad del programa. Pero, antes, entregan sus datos descriptivos
e interpretaciones de vuelta a quienesse los han facilitado, a lectores de
prueba y a otros especialistas en evaluacin para reducir los malentendidos
y las representaciones errneas. En sus informes, proporcionan algo ms que
una descripcin abreviada de las actividades registradas a lo largo dg1 tiem-
po y de su visin personal, a fin de que, con las reservas y los mejores juicios
de los evaluadores ante s, los lectores y las lectoras del informe puedan'ha-
cerse su propia idea de la calidad del programa. Gracias a sus visualizaciones
del espacio, a su empata con las personas, a sus relatos y escenas narradas
(O estampas), el evaluador comprensivo proporciona al lector una experien-
. .
cia vicaria, la sensacin de cada uno de ellos estuvo all en persona. El eva-
luador no elude la responsabilidad de completar el estudio con sus propios
juicios de valor, pero aade afirmaciones de valor y experiencias indirectas a
la experiencia de primera mano que pueda tener un lector o lectora.
La cornb'nocin de I evaluaciones comprensivas
y basa d as en estn f ares
Es un male.itendido habitual suponer que para la evaluacin comprensiva
es necesaria la investigacin naturalista, el estudio dz casos o los mtodos
cualitativos. No es as. Los evaluadores y las evaluddoras de tendencia com-
prensiva comentan con el personal del programa, con lcs patrocinadores
de la evaluacin y con otras personas los posibles mtodos de investiga~in
alternativos. A menudo, los clientes prefieren que se ponga ms nfasis
en los resultados, mientras que los defensores de la comprensividad presio-
. nan para qiie se centre ms la atencin en la calidad de los procesos. Ne-
~oci ; i i i 1);ido ~ I I C so11 qiliciies s;il>c.ii lo qiic piiedeii logi-;ir los <lisiiiitos
mtodos y ciiles de ellos son los que ese <<equipo evaluador en coiicreto
sabe manejar bien (y dado que son, adems, los que van n tener qiie llevar
a cabo la evaluacin), los evaluadores son los que, directa o indirectamente,
deciden en ltima instancia cules sern esos mtodos. Normalmente, el n-
fasis preliminar recae en la familiaxizacin con la actividad (especialmente
en el caso de los evaluadores externos), pero tambin en la familiaxizacin
con la historia y el contexto social del programa. La iosofia del programa
puede ser cualquiera: fenomenolgica, participativa, instrumental, puede
que, incluso, el af5n por la rendicin de cuentas. El mtodo evaluador de-
pende en gran medida de la situacin. Para que sea una buena evaluacin
comprensiva, es necesario que los mtodos se acomoden al aqu y ahora y
se ajusten a las necesidades de evaluacin que tengan los agentes implicados.
Lo que generalmente funciona aqu y ahora es una combinacin entre
lo comprensivo y lo basado en estndares: uno de los dos componentes
suele tener el papel ms destacado y el otro rellena y redondea. Los modos
basados en criterios e interpretativos de pensar no se funden a la perfec-
cin; de hecho, rara vez se confirman el uno al otro. Mantienen sus focos
de atencin separados, uno en los descriptores y el otro en las descripcie
nes episdicas. En cierto sentido, esto no deja de ser bueno, pues obliga a
una reflexin ms profunda que desemboca en algo que yo denominar una
%dialctica (vase el captulo 9). A muchos les gustara que todo se fundie-
ra en una nica imagen o cuadro, sin contradicciones, pero en los estudios
ms exhaustivos o integrales, eso casi nunca ocurre. Nuestros diseos com-
binados suelen recibir el nombre de mtodos mixtos.. Jennifer Greene,
Yvonna Lincoln, Sandra Mathison, Donna Mertens y Katherine Ryan
- '(1998j han realizado una convincente defensa de esa clase de mtodos
(van.se tambin Reichardt y Rallis, 1994, y Greene y Caracelli, 1997).
Pero aunque hoy en da se cuente ya de antemano con la posibilidad
de escoger entre mltiples alternativas metodolgicas, sigue siendo infre-
cuente que un estudio de evaluacin comprensiva se centre en pruebas
estandarizadas a estudiantes, en encuestas a gran escala o en otras bases
de datos tipificados. Esto se debe a que esa clase de instrumentos ha sido
niuchas veces considerada simplista e insensible a las obras y las circuns-
tancias locales. Al menos, eso es lo que los defensores y las defensoras de
la evaluacin comprensiva parecen inclinados a pensar. Para ellos y para
ellas, los indicadores basados en criterios estandarizados contemporneos
rara vez proporcionan medidas integrales de los resultados pretendi-
dos, incluso aunque los agentes implicados se hayan acostumbrado a
utilizarlas. Y desarrollar nuevos tests y cuestionarios realmente buenos es
muy caro, incluso cuando resulta posible. Los resultados de tests han re-
sultado decepcionantes demasiado a menudo como para considerarlos
sin ms en uiia buena evaluacin: los educadores y las ediicadoras, por
vjcnil~lo (y, cii iiiii(.lios ~i s os , < I ( . li~r.iii;i ,jiisiili<.~i<l;i). rit.ti<l(*ii ;i (.i.tkc.i. ( I I I C .
sl~s esiiidiantes ha11 apreiiditlo 1115s tlc lo que evidericiaii los tests. C;iiaii-
do se aplica el enfoque coiripreiisivo, es ~ambin 1i;ibitiial eiiiplear tests,
pero se les otorga un papel subordinado. Slo son iiecesarios cuando se
LA EVAl UA( l 6N COMPRENSI VA 151
hace evidente que pueden servir realmente para informar a las personas
sobre la calidad del programa.
En la mayora de evaluaciones comprensivas, se utiliza a las personas ms
como informantes que como sujetos. Para enfatizar la descripcin del pro-
grama, se les pide lo que vieron ms que lo que sintieron. A los participan-
tes se les pregunta no tanto para ver cmo han cambiado ellos como para
evidenciar los cambios que han visto. Pueden decir ambas cosas, pero sue-
len ser malos testigos de sus propios cambios y de la actividad del programa.
Nosotros no empezamos un estudio asumiendo que sea esencial realizar
una encuesta entre los beneficiarios y las beneficiarias.
La experiencia como conocimiento
-
Cuando empec a trabajar como evaluador de programas all por los aos
sesenta, mis ideas estaban profundamente arraigadas en la ciencia social
emprica y la psicometra. Aqullos eran campos en los que la despersona- -
lizacin y la objetividad eran especialmente apreciadas. Como ya he expli-
cado en una obra an tenor (Stake, 1998), pronto me di cuenta, al tratar de
evaluar las iniciativas de reforma curricular de aquel entonces, que ni esos
diseos ni los tests producan datos que respondieran a un nmero sufi-
ciente de las preguntas importantes. La evaluacin comprensiva ha sido mi
respuesta (largamente elaborada) a la evaluacin pre~rdinada' ~. Esta lti-
ma consiste en la seleccin (realizada a priori) y la medicin final de unos
pocos criterios de resultados. Con los aos, me he ido dando cuenta de que
disciplinando nuestras impresiones y nuestra experiencia personal normal-
mente obtenemos una mejor nocin del mrito y del valor de algo que mi-
diendo avances o comparando grupos (Stake, Migotsky y otros, 1997).
Poco a poco, atrado por la obra de Alan Peshkin (1978) y de Louis
Smith (Smith y Geoffrey, 1968), entre otros, hall en la etnografia una
buena ayuda para la evaluacin. El problema era que, si bien la etnografa
se centraba en la actividad y en la cultura -lo cual era bueno-, no se cen-
traba tanto en la educacin -lo cual era malo (para m)-. ?Realmente im-
porta o marca alguna diferencia qu estudian los estudiantes? Yo creo que
s. Pero si me resist a una inmersin total en la etnografa, fue porque, por
mucho tiempo que se dedicaran a la comunidad o tradicin concreta que
estuvieran estudiando, lo que los etngrafos y las etngrafas queran en 1-
-~ ~- ~ ~
3.1. L;i cv;ilii;iciSii prc-oi.diii;idii es I;I opiiesta a 1:i c o i i i ~ ~ ~ ~ ~ ~ s i i v ~ , y; ~ que sil (lisefio se I~asi ~ 1 1
objetivos y rrilerios especific;ids tic anteniano cliie, a incriiido, se fundaiiiri1t;in rrl iIii esc;ts('
conociiiiiei>to de (o inters por) las ciiestioncs ms anipli:is y siitiles de I;I ciilidad de los
prograinas.
tima instancia era relacionar sus hallazgos con generalizaciones acerca de
la condicin humana. Yo, por el contrario, quera ceirme a la comunidad
o el programa concretos, y no me importaba tanto generalizarlos a otros.
Yo observaba actividades y grababa entrevistas para entender mejor un eva-
luando especfico. Mis informes se convirtieron en retratos O descripciones
del evaluando.
I
EL MODERNO EVALUADOR
DESCRIPTIVO
- Cmara de televisin
Grabadora de +/
Bloc de notas - 1
Maletn para datos
de archivo, etc.
Cmara de diapositit
w
Prismticos
l o evaluacin: cuaderna paro colorear, de Ernest Olson.
Reimpreso con permiso del ortisto.
gruesa y flexible
negro
las de
El estudio de caso, en el que el evaluando es el caso y la descripcin
de la experiencia es el proceso de estudio, se convirti en mi modo pre-
ferido de retratar la actividad, las cuestiones O problemas, las relaciones
personales y las actuaciones o los rendimientos que revelan la calidad de
un programa. No todos los que sienten predileccin por la evaluacin
compreiisiy;i emplcnn \in f)r~n;iio tl<. cstiiclio (Ic c:iso. Rl\iclioa (. \. ;il\i;i-
( l 0 l . C ~ y ~~\ ~; l l ~l ~l ~l o l - ; ~s l l ; l ( . , ~ l l SI1 lr.;ll);!~o (l, I ~ ~ I ~ I I I ; ~ ~~o l l l ~>l ~~~l l s i \ ~~l si11 l l ; l l l l , l l -
]<Y as. Y algiiiios y ;ilgu~i;is (le los que I1aiii;iii c:oiiipr-ciisi\~o ;i sil 11-;il>;!jo
iio lo son eii el niisiiio seiitido que yo. Yo no soy cl aiiio <le este ciili)-
que. No existe un nico significado del mismo. Pero las ideas de este
captulo son comunes a gran parte del trabajo al que se denomina eva-
luacin comprensiva.
Muchos y muchas de quienes plantean objeciones al enfoque com-
prensivo, como el critico annimo del apartado anterior, se quejan de que
en l se preste demasiada atencin a datos subjetivos, es decir, a los testi-
monios de los participantes y a las opiniones de los testigos.
En su comentario, el crtico calificaba el mtodo de proceso conver-
sacional y los datos de opiniones. Son muchas las evaluaciones compren-
sivas que contienen una gran dosis de entrevistas, pero -para m- los
datos preferidos son las observaciones. La evaluacin comprensiva es el
estudio emprico de la actividad humana. Cuando los evaluadores o eva-
luadoras no estn ah, viendo la actividad por s mismos, tienen que pre-
guntar a quienes s la vieron. Vase, por ejemplo, el cuestionario de
preguntas abiertas del cuadro 11. Las preguntas principale no inquieren
acerca de opiniones o sensaciones, sino que piden a los encuestados o en-
cuestadas cul fue su experiencia sensorial. Y las respuestas recibidas vie-
nen obviamente llenas de descripciones, interpretaciones, opiniones y
sensaciones entremezcladas. El evaluador responsivo sigue unas prcticas
de anlisis y de triangulacin disciplinadas a fin de distinguir entre lo que
son descripciones e interpretaciones fiables y lo que son opiniones y pre-
ferencias personales.
Cuodro 11. (uestionorio poro los porticipontes en el Proyecto Nocional de lyuoldod Sexual
/
Querido/a participan te:
Ha participado en uno o ms de los talleres que forman parte del Proyecto na-
cional para la demostracin de la igualdad entre sexos en el condado de Bro-
ward. Para comprender mejor de qu modo estas iniciativas ayudaron u
obstaculizaron la labor del profesorado y de los administradores del condado,
y cul es la impresin que stos tienen a propsito de tales iniciativas, le pedi-
mos que dedique unos minutos a comentar su experiencia en nuestros talle-
res. Por favor, describa situacioneb producidas en el aula y expliqiie aiicdotas
relacionadas con la igualdad entre sexos que puedan servir de ej~mplos. Su
ayuda resulta inestimable para la comprensin de esta iniciativa nacicnal. Uti-
lice las preguntas siguientes como una gua a la hora de relatar su experiencia.
Las respuestas breves son tambin bienvenidas. Utilice el dorso de esta hoja si
lo necesita. Muchas gracias.
Laura Morgan y Bernadine Stake, personal de evaluacin del proyecto.
i
1 . ;:\ c-~i;iiii;is sc,sioiic.\ ( l e , (.;i(I;i i i i i o t l ( . 103 ; i c 10s sigiiic~iiic~s Ilc~\.;itlos ;i c.;iI)o 1'01.
el pwx)i ~~l (Icl proyccto par;\ 1;i igualtl;i(l c1iti.c sexos lia ;iciidiclo iistecl?
- Tallci-es de revisiii de iii;itcriales
- Talleres internos de capacitacin
- Talleres de formacin en concienciacin sobre igualdad sexual
- Visitas
- Equipos de redaccin durante el verano
2. A cuntas sesiones de los actos siguientes llevados a cabo por consultores
externos ha acudido usted?
- Talleres de revisin de materiales
- Talleres internos de capacitacin
- Talleres de formacin en concienciacin sobre igualdad sexual
3. El taller (o los talleres):
vali/valieron mucho la pena
- vali/valieron algo la pena
- no vali/no valieron la pena
4. ?Su participacin en los talleres provoc cambios en su aula o en su centro
escolar? Si fue as, explique un poco cul fue la naturaleza de ese cambio.
-
5. Pnr favor, haga memoria con respecto a los planes de accin preparados en
aquellos der es. ?Qu tal funcion su plan?
l
- Muy bien
- Bien
- No funcion
- No aplicable
6. ?De qu manera ha compartido usted sus materiales con otros
profesores/administradores? ?Cmo reaccionaron stos?
-
7. Visto desde la perspectiva actual, ?cules considera que han sido los elemen-
tos que han funcionado y los que han fracasado del Sex Equity Project en
las escuelas del condado de Broward?
8. Qu asistencia o formacin adicional le gustara recibir para poner en
prctica las ideas de la igualdad entre sexos?
Su puesto: - administrador, - profesor, O -
De educacin: - primaria, - secundaria inicial, secundaria avanzada
Aos de experiencia: - 0-2, - 35, - 6-10, - 11-20, - ms de 20
Sexo: - hombre - mujer
Fecha:
Remitir a Laura Morgan, del instituto Nova de ediicacin seciindaria.
. .--.. ~ . - --~-. .-. . . . - - ~ . .~ ..
Este cuestionario no tiene nada de rai-o. Pei-o fijbmoi.ios en l 1ii.i poco
ms detenidamente: pide informacin y, parte de la misma, la pide desde
una perspectiva personal. En cierto sentido, el profesor o la profesora par-
ticipante se convierte as en parte del equipo evaluador. Para describir lo
que sucede, los evaluadores y las evaluadoras intentan mostrar (por medio
de la triangulacin y de paneles revisores) la credibilidad de las observa-
ciones y la validez de las interpretaciones. Una parte de la descripcin del
programa (sobre todo, lgicamente, la ms relacionada con elvaior del mismo)
se pone de manifiesto en el modo en que las personas perciben subjetiva-
mente lo que ocurre. Atribuir un valor al programa no se considera un acto
separado del hecho de experimentarlo.
Los investigadores y las investigadoras reconocen tambin sus propias
percepciones como subjetivas a la hora de elegir qu observar, a la hora de
observar y a la hora de informar de las observaciones. En la evaluacin
comprensiva, uno o una intenta siempre hacer que esos compromisos de
valor resulten ms reconocibles. Un evaluador puede incluir en su iforme
una frase como en un estudio anterior en el que entrevist a miembros
del clero, llegu a apreciar la tica de servicio.. No deberan eludirse cues-
tiones como la importancia del desarrollo profesional slo porque sean
inextricablemente subjetivas. A la hora de elaborar los informes, se debe
tener cuidado de resaltar la subjetividad de los datos y de la interpretacin.
Tambin se han planteado objeciones contra el enfoque comprensivo
aludiendo a la creencia de que una nica autoridad -el personal del pro-
grama, el organismo que lo financia o la comunidad investigadora- sea la
que especifique las preguntas clave. Esas preguntas suelen ser, sin duda,
merecedoras de estudio, pero en el terreno de la evaluacin de programas
para uso pblico, nunca son exclusivamente las nicas. En general, cuan-
do se evala un programa, se suele alimentar la expectatiw de que se ten-
drn en cuenta un largo elenco de cuestiones de inters. Es posible que
cuestiones como si se ha producido malversacin de fondos, si existe discri-
minacin racial, si la filosofa de base es incoherente o si se coarta la crea-
tividad, no hayan sido mencionadas en el contrato y no sean temas en los
que el evaluador sea un experto, pero entre las expectativas con respecto
a la evaluacin est el que se muestre cierta sensibilidad a esa clase de
deficiencias, y el evaluador profesional cuando menos intenta no ser
insensible a ellas.
Por otra parte, est de sobra reconocido que los estudios de evalua-
cin son administrativamente obligatorios no slo porque permitan obte-
ner un mayor conocimiento con el que tomar decisiones de manera ms
informada, sino tambin para legitimar la actuacin administrativa y la del
personal del programa pi-oicgibi-itlol;is d(. I;is criicas, especialnici-i tc. diiraii-
tc c1 pimpio 11~i.odo d(. ( : \ ~; ~l t i ; i ( . i i ~. M5s ; I < I I I , I; IS (:v;~l~i;tcio~i(~s ol>lig;itor.ias
suelen responder en ocasiones ms a la iritencin de promiilgai- estiidares
deseados que a la de comprobar si han sido realmente alcarizados. Los eva-
luadores saben que van a tener que trabajar en unas situaciones polticas,
156 Evii~uacib~ COMPRENSIVA
competitivas y cargadas de los intereses particulares de los propios adminis-
tradores o directivos. Los mejores estudios son los que exponen tanto la
maldad* como la bondad de lo que encuentran.
Al preguntar a los actores implicados por las cuestiones que ellos con-
sideran importantes, los evaluadores y las evaluadoras responden a las cam-
paas polticas y comerciales, reconociendo as la influencia ideolgica en
la educacin y los servicios sociales. La mayora no se declaran automtica-
mente a favor del activismo y de las iniciativas de reforma, pero muchos in-
cluyen las cuestiones que plantean los reformadores. La evaluacin
comprensiva no fue concebida como un instrumento de reforma. Algunos
activistas la consideran democrtica; otros autores y autoras la han califica-
do de conservadoraa5. Lo cierto es que se ha usado para servir a las diver-
sas personas ms directamente afectadas personal y culturalmente por el
programa en cuestin, pero eso no impide que, de manera regular, pro-
duzca datos y conclusiones que no sean del agrado de uno u otro bando.
La evaluacin de un programa es mucho trabajo para una persona en soli-
tario, pero an lo es mucho ms para un equipo. Se puede dividir el traba-
jo en partes, pero la sntesis, de la informacin y la bsqueda de una
expresin equilibrada de los mritos precisa de grandes dosis de reflexin
y comunicacin. Es importante que haya, al menos, una persona que trate
de abarcar las mltiples faceta5 del evaluando, las cuestiones diversas y las
pruebas. Puede haber otras personas que se dediquen a escribir algunos de
los informes, pero siempre debera haber una para asimilar todo lo que es-
criben las dems. Todos los que redacten, adems de otros, deberan par-
ticipar tambin en la ponderacin de las pruebas, la depuracin de
malentendidos y el reconocimiento de los defectos de presentacin. Los
amigos cnticos, los paneles de revisin y los metaevaliiadores debenan tam-
bin estar incluidos como parte de la rutina. Puede que una sexta parte del
trabajo est an por hacer desde el momento en que se guarda el primer
borrador en el disco diiro.
El trabajo puede 01-ganizarse siguiendo un sistema de codificacin ba-
sado en criterios o interpretativo, pero es imprescindible que se cuente con
algn tipo de codificacin. Un sistema interpretativo de codificacin es,
~ .....-. ~
35. L:ii i i i i ;i prrsl)ic.;ii i.oiiil>ar;ic.iriri cii~i-c teOii<.os [Ir la ev;tliiac.i<iii. Sli;iclisli, (:c)ok y I . i \ , i t ~ > i i
(1991) coiisideraroii iiiis idc;is sobi.c la evalii;iciiiii cc)iiij>rciisiva Ioi;ilisias y ;i<l\,ci.s;is :i los ~ ) r < k
grniiias 11;icionales o <le cii;ilqiiier otro nibito excesivameiiie amplio ccmio pira ser ah;ii.c;iclo
por un nico evaluador.
simplemente, aqul por el que se clasifican los datos recibidos en funcin
de su fecha, su tema y su fuente, para hacer ms manejable su almacena-
miento y su posterior recuperacin. En muchos casos, ser necesario codi-
ficar de modos diversos y guardar en diferentes archivos una misma
entrada en el diario de registro, un mismo dilogo observado o un
mismo mensaje de correo electrnico. Se necesitan tanto archivos de papel
como electrnicos, especialmente, para archivar grficos y objetos. Cada
miembro del equipo debera tener su propio sistema de archivo y debera
ayudar a la persona que se ocupa principalmente de los archivos. Uno de
los sistemas ms elegantes que he visto nunca es el que se desarroll para
un proyecto de investigacin sobre las escuelas urbanas a escala nacional
que nunca lleg a concluirse porque el archivado de los datos era demasia-
do complejo y stos quedaban guardados en rincones demasiado recndi-
tos del propio ordenadoP6.
-
Se necesita un sistema de codificacin ms robusto cuando muchos de
los datos son de carcter agregado. Cuando los instrumentos se basan en
las cuestiones problemticas y en otras necesidades de informacin, las c e
dificaciones procedern de los tems de un listado estandarizado de pun-
tos de observacin o de una encuesta. En esos casos, se puede esperar que
la distribucin y la correlacin estadsticas de los datos proporcionen resul-
tados de importancia. Puede invocarse tambin el estadstico chi cuadrado
de contraste de hiptesis para indicar una distribucin no casual de
respuestas. stas sern cuestiones de las que hablaremos en el captulo 6.
De los estudios de evaluacin comprensiva siempre se espera que el feed-
back que llegue de retorno a los diversos grupos les resulte atractivo y
comprensible -tanto en cuanto a su formato como en cuanto a su lengua-
je- y sensible (comprensivo) a sus necesidades. As pues, aun a riesgo de
parecer serviles'", para cada grupo diferenciado deben prepararse diferen-
tes informes o presentaciones. Los retratos narrativos, los relatos y los tes-
timonios literales sern apropiados para algunos, mientras que los bancos
de datos y los anlisis de regresin lo sern par3 otros. Obviamente, el
presupuesto no dar para todo, as que los formatos alternativos deberan
sopesarse en la fase inicial del trabajo.
La evaluacin comprensiva no es una evaluacin participativa (aquella
que es llevada a cabo de forma cooperativa por el propio personal o por
-
:%i. $1. ii-;i~;i. <. i 1 <.oiici.cic~, <I <. I l>i.oy<.<.ic> I '1-IJ;III S ~ I I O O I 1>1. 01) 1<. 1i i Si~Iviiig -i<c~sc~liic i i ~ i i <Ic p1.0-
l>l<~iii;i.i 1 . 1 1 c~.icii~~l;is 111-l);iii;i.i~.). 1 1 1 1 ~ . ( l < ~ I i l ) i ; i i i l.c>iii\ Siiiiili y 1);ivicl I)\\.vci f 1!17!)).
< -
. 41. lU,rolo~r,iii~ (. ~sei. \. ilisiiio~~ i) c.s~ciiiisii~ii..) I ~ J Il;iiii;iri cii 1;)s 1>clciiI;is. Sigiiilic;~ iiiosii-111- ciei-lo
trato de f;i\roi. Iiacia ciertos gl ~Ul >l >S, < . < J I I I I > ~>i ~<. ( l i : sc:r cl gi.iipo qicc .S<. cst. ii.;ii;rii<lo eii cse
moniento. Vase la iiiiparcinlitlad coiiio ciiesti6ii de estudio cri el cnpiiilo X y como estndar
tico en el captulo 10.
'E
t
-l..-.~. . . Y~---.-___---.-.. .~ .. ....... . . ... . ., ...., ~ , , ~ ~ . -~~~ .. . ~ ~ . . ~ ~
. 7 . . - - . . . __ _. ,
otros agentes implicados; vase el captulo Y), pero una evaluacin partici-
pativa puede resaltar la comprensividad. Para que un estudio sea compren-
sivo, debe estar organizado en parte en torno a los intereses y
preocupaciones de los agentes implicados. Es habitual que se introduzcan
aportaciones experienciales del personal y de los agentes implicados tanto
al principio como durante el transcurso del perodo de evaluacin. Tam-
bin deberan haber contribuido directa o indirectamente a configurar la
lista breve de cuestiones a investigar representantes de los pblicos lecto-
res potenciales del estudio. Durante su trabajo, el evaluador comprensivo
puede que se pregunte piene esto al caso?. o <<<es esto una prueba de
xito?, y podna incluso, dependiendo de su respuesta a dichas preguntas,
cambiar las prioridades de la investigacin.
La evaluacin comprensiva ha sido til en contextos de evaluacin for-
-
mativa cuando el personal necesita mtodos ms formales de supervisin
del programa, cuando nadie est seguro de cules sern los prximos pro-
blemas. Tambin ha resultado de utilidad para la evaluacin sumativa
cuando el pblico dc-stinatafio del estudio quiere conocer las actividades,
las virtudes y los defectos de un programa, y cuando los evaluadores o las
evaluadoras creen que es responsabilidad suya proporcionar una expenen-
cia vicaria. Esta experiencia se considera importante para que los lectores y
las lectoras del informe puedan relacionar los resultados all recogidos con
su propia concepcin del valor del programa.
La evaluacin comprensiva ha'sido a veces tachada de uintuitiva. o de
claramente subjetiva y ms prxima a 1.a citica iiterana (Smith, 1981 6) y al
conocimiento de entendido de Elliot Eisner (1979), incluso, a la evaluacin
del modus operandi de Michael Scriven (1976), que a los diseos ms tra-
dicionales de las ciencias sociales. Cuando se considera que el cliente es el
pblico en general, es posible concebir la evaluacin comprensiva como
un ejercicio evaluativo <<centrado en el cliente., como ya hicieran Daniel
Stufflebeam y Anthony Shinkfield (1985, p. 290). Pero normalmente difie-
re de todos esos enfoques en su rasgo ms esencial: el de responder a las
cuestiones, el lenguaje, los contextos y los estndares de una serie de gru-
pos de agentes implicados (Greene y Abma, 2001).
Cuando propuse este enfoque de la (<evaluacin comprensiva* en un
congreso sobre evaluacin en el Instituto Pedaggico de Gotemburgo, Sue-
cia, en 1974, me bas especialmente en obras como las de Mike Atkin
(1963), Lee Cronbach (1963), Jack Easley (1966), Stephen Kemmis
(1976), Barry MacDonald (1976) y Malcolm Parlett y David Hamilton
(1977). Todos ellos mencionaban la necesidad d i oi.gaiii7.nr la e\al\iaciOii clc
pi-ogi.i\iiiis eii ~oi-iio a lo quc i-c:aliiic.iitc cs~;ib;\ sii(:c.dic~ii(lo cii I;is ;iiilas,
' prestando mayor atencin a lo que estabaii haciendo los educadores y
menos a lo que hacan los estudiantes. Postei-ioriiieiite, reelabore mis ideas
leyendo a Ernest House (1980), Egon Guba e Yvonna Liiicoln (1989), Tom
Schwandt (1989) y Linda Mabry (1990). Obviamente, tambin me influye-
ron muchos autores y autoras que se decantaban por otras formas de
evaluar programass8.
Es difcil determinar a partir de un informe de evaluacin cun com-
prensivo~ fue el estudio. Rara vez revela un informe final el modo en que
se negociaron las cuestiones y de qu modo se decidi servir a los diferentes
pblicos destinatarios. Entre los ejemplos de estudios que fueron intencie
nadamente comprensivos estn los de Barry MacDonald y Saville Kushner
(1982), Saville Kushner (1992), Tineke Abma (1999), Anne McKee y Mi-
chael Watts (2000), Lou Smith y Paul Pohland (1974), y Robert Stake y Jack
Easley (1979). Mi propia metaevaluacin, Quieting Re f m (1986), adopt
tambin un enfoque comprensivo.
En el captulo 7 nos extenderemos ms en la cuestin de los informes
para los clientes, los agentes sociales implicados y otros lectores y lectoras.
En el captulo 9, les explicar uno de mis mejores inventos: el concepto de
gaeralizacin naturalista. Una de las tareas del evaluador o de la evaluade
ra es la de describir e interpretar el evaluando con tal eficacia que el lector
o la lectora llegue a conocer no slo la experiencia de estar all, sino la de
estar all en interaccin con el evaluador. Las interpretaciones de ste
debenan, pues, realzar la experiencia.
Procedimientos
Las listas de cuestiones o problemas de estudio no suelen incluir pregun-
tas amplias, de aquellas que aspiran a generalizaciones extradas de la in-
vestigacin, como <<cul es la mejor forma de conseguir que los
miembros del personal se responsabilicen de su propio desarrollo profe-
sional? o qcmo forman pandillas los jvenes?,, o q e n qu situaciones
resulta tico romper una promesa de confidencialidad?,,. Estas pregun-
tas, por importantes que sean, ofrecen escasa orientacin a la hora de la
recogida de datos y del anlisis. Y, por lo general, las listas n declaracio-
nes de cuestiones o problemas tampoco estn compuestas de simples
preguntas informativas como =qu experiencia tiene el director en la
resolucin de conflictos?,, o cules son los criterios para evaluar una
presentacin en PowerPoint?,,. stas tambin pueden ser preguntas im-
portantes, pero no como estrategia conceptual para un estudio de eva-
luacin comprensiva.
38. DOS pe;soiias que posteriorniente se convertiran en arnigos iiios, el sueco Frrence
Marton y el suizo Michael Huberiiiaii, me advirtiei-ori e11 los aiios setenta de qiie nii i.cspdldo
a la subjetividad equivala a ,<una invitacin al suicidio de los investigadores educativos*.
.t
Desde el inicio de la era de la evaluacin formal de programas, ha
habido una seleccin de fuentes y tipos de datos excesivamente estrecha.
La complejidad de muchos programas precisa de una perspectiva amplia
sobre el funcionamiento de los mismos. Se necesitan mltiples fuentes
de informacin para minimizar lo que los psiclogos llaman el error de
estmulo.: hacerse una idea errnea de lo que otros consideran que es
el programa. (Recuerden el proyecto de construccin de un columpio
recogido en el cuadro 10 del capitulo anterior.)
Cuodro 12. El reloj compremivo: ocontecimientas destacados en uno evaluacin comprensivo
jueces, instrumentos,
. , , ~ . : : $ , ~ , - & ~ . ~ ~ $ , R S ; ~ ~ . ~ ~ $ ~ & ~ .. , . :;c.: ... . .. . . . ..
.~ ~.
Fuente: Stoke, 1974/1980.
El hecho de trabajar con ms que unos pocos criterios y cuestiones
mejora la perspectiva que se tiene del programa, pero tiende a estirar los re-
cursos de la evaluacin en exceso. Los intentos de triangular ciertas obser-
vaciones e interpretaciones clave incrementan la validez de los datos,
pero corren el riesgo de que se acabe prestando demasiada atencin a
una perspectiva demasiado pequea.
Entre 1967 y 1973, tras haber tenido escaso xito con la evaluacin ba-
sada en estndares aplicada a los contextos del desarrollo curncular y de la
formacin profesional, dediqu un estudio concienzudo a la cuestin de
los mtodos de evaluacin y qued an ms convencido de la necesidad
de familiarizarse a fondo con el funcionamiento real del programa, de re-
coger datos tanto cualitativos como cuantitativos, de basarse en interpreta-
ciones personales de la calidad, y de informar de todo ello de un modo que
implique tambin 1 9 experiencias y los valores de los lectores y las lectoras.
Resum todos los pasos en un grfico al que llam el reloj comprensivo, que
aqu se muestra en el cuadro 12.
Cito ahora directamente de mi articulo de 1974 (p. 12): <<S que algu-
nos de ustedes me recordarn que un reloj se mueve, precisamente, en el
sentido tpico de las agujas del reloj, pero, por ello, me apresuro a aclarar
que este reloj se mueve tanto en ese sentido como en el contrario e, inclu-
so, de un lado a otro.. Dicho de otro modo, cualquiera de esos aconte-
cimientos puede preceder o venir a continuacin de cualquier otro.
Adems, muchos de ellos ocurren simultneamente y el evaluador vuelve
tambin muchas veces sobre muchos de esos acontecimientos antes de que
finalice la evaluacin.
La evaluacin se ve facilitada y debilitada al mismo tiempo por el len-
guaje. Siempre estamos demasiado dispuestos a buscarles precedentes,
clasificaciones y etiquetas a las cosas -de hecho, a veces creemos errnea-
mente que nuestra misin consiste en etiquetar-. El botnico sueco Carlos
Lineo fue uno de los fundadores de la ciencia porque se dedic a clasificar
sistemtica y meticulosamente la flora. A partir de entonces, ya no se vol-
vieron a ver las plantas del mismo modo y todo debido a sus clasifiracio-
nesS9.
Aqul fue un enorme paso adelante desde el punto de vista cientfico:
una sustitucin del viejo conocimiento por otro nuevo. Nuestra labor como
evaluadores y evaluadoras no es la de categorizar cosas, sino la de hallar el
valor de aquella cosa especial que tenemos ante nosotros. De ah que mu-
' chos de nosotros nos movamos menos por la clasificacin y ms por la com-
. prensin experiencial.
39. Aqul frie ~ 1 1 1 ejemplo ni& de clilo la pi.clic;i iiivesii~;i<lui.a piic.(ie teriei. u11 ekcl o i.t.aC-
8;
tivo sobre el significado de los criterios.
CANCIN DE AMOR DE J. ALFRED PROFROCK
Vamos entonces, t y yo,
mientras la noche se va desplegando sobre el cielo
como un paciente anestesiado sobre la mesa;
vayamos a travs de calles medio vacas,
retiros murmurantes
de noches sin descanso en un hotel barato
y en restamtes con sem'n y ostras:
calles que se prolongan como un argumento tedioso
y capcioso
que te conduce a una pregunta abrumadora..
Oh, no te preguntes <<?qu es esto?;
vamos anteg a hacer nuestra visita (...)
(T. S. Eliot)
Lo que falla
T. S. Eliot nos invita a buscar la experiencia personal del evaluando. Al ex-
hortarnos a no preguntarnos ?qu es esto?., nos advierte.de que no susti-
tuyamos prematuramente las palabras por el conocimiento emprico.
Puede estar bien no hacer ningn esfuerzo inmediato por.captar el eva-
luando en palabras. Pero el conocimiento emprico incluye el lenguaje.
Experimentamos, categorizamos, explicamos (y juzgamos) casi simultne-
amente. No podemos sentir las cosas sin ms. Casi inmediatamente tenemos
que describir, aunque sea quizs en un primer momento en iin lenguaje
primitivo slo inteligible por nosotros mismos. (Vase cmo abre James
Reston el capitulo 7.) Conocer algo significa hacerse imgenes de ello y al-
gunas de ellas son imgenes verbales. En ltima instancia, nuestros lecto-
res y lectoras necesitan saber qu creemos que hemos estado eval~ando' ~.
Las cosas falla11 cuando dependemos demasiado de las descripciones exis-
tentes o prematuras. Pelo tambin fallan cuando nos basamos inicamente
en las historias, las impresiones y los relatos para representar la plenitud
del evaluando. Los lectores se pierden sin un mnimo de descripcin
<<dura>> (menos literal y ms metafrica).
. Para transmitir una experiencia vicaria a nuestros lectores y lectoras,
buscamos experiencias qiie nosotros ( o algiinos agentes implicados) ya te-
40. Tenemos que evitar el error de estmulo, la presuposicin errnea de que todos cstaiiios
hablando de lo mismo cuando no es as.
nemos. Buscamos sus historias. Aunque resulta bastante sencillo encontrar
historias interesantes y relevantes para el evaluando, es mucho ms difcil
hallar historias que desarrollen una cuestin de estudio. La justificacin de
la evaluacin comprensiva, en la que se incluye la recogida de datos perso-
nalistas, impresionistas y subjetivos, radica en su manera ms profunda de
sondear las cuestiones y los significados de la calidad. Quienes critican los
estudios cualitativos suelen callar cuando reconocen la complejidad y la
contextualidad del evaluando que revelan los datos y que se materializa en
las afirmaciones del informe. Y la importancia del trabajo realizado puede
ser fcilmente desestimada si no se desarrollan las cuestiones importantes.
En la evaluacin basada en estndares son motivo de orgullo los instru-
mentos desarrollados; en la evaluacin comprensiva el motivo de orgullo
son los significados que se descubren en la actividad del programa.
Al final de un estudio, los evaluadores y las evaluadoras realizan cier-
tas aseveraciones acerca del proceso y de los contextos del evaluando, pero,
sobre todo, acerca de sus virtudes y sus defectos. Es posible que el evalua-
dor intente provocar que los lectores y lectoras usen sus propias experien-
cias para ampliar o rebatir sus valoraciones como profesional y que lo haga
incluyendo datos descriptivos y valorativos adicionales. En cualquier caso,
el evaluador o la evaluadora debera indicar qu pruebas favorecen cada
una de las afirmaciones incluidas y qu pruebas las contradicen. Basar una
afirmacin en una gran exposicin de datos estadsticos (o experienciales)
irrelevantes para dicha afirmacin (por interesantes que stos fueran) su-
pondra una vulneracin de los estndares profesionales. La mayora de
evaluadores y evaluadoras considera apropiado resumir sus conclusiones fi-
nales yendo ms all de sus mejores datos para realizar un largo resumen
interpretativo de la calidad del evaluando. Pero el pensamiento especulati-
vo slo debera dejarse ver en la forma de redactar los enunciados, no en
ninguna otra parte.
RELATO
SAGREDO: ?Se le ocurre algn ejemplo de suceso nico que pudiera influir en la
valoracin de la calidad de nuestra formacin de mentores?
PHYLLIS: Pues, por ejemplo, si uno de los receptores de esa formacin acosase
abiertamente a un subordinado suyo.
SAGREDO: ?Y algn otro ejemplo?
PHYLLIS: Bueno, yo estaba observando la formacin el otro da y Sid (el coordi-
nador de la formacin de mentores) tlijo: <(Haced bien la priit~l);~. Mi em-
pleo depende de ello, ?sabis!,,. N o s. si iio t<:ria ( 1 ~ : Ii;~l)c~.lo t l i c . l i o , 1) <: 1' 0
tendr en mente sus palabras cuando reflexione sobre por qu Iosal~iiriiios
estn haciendo ese curso.
EVILUACI~N COMPRENSIVA
SAGREDO: S, yo le dije a Sid que necesitamos mostrar que la formacin est sur-
tiendo efecto. No me imaginaba que lo repetira. Pens que seramos capa-
ces de mostrar que si mejoran los memorandos es porque ha mejorado la
formacin.
-S: Supongo que no hay nada sencillo en evaluacin. Tenemos que pensar
en muchas cosas, Sr. Sagredo, incluso a la hora de comparar los memoran-
dos de antes de la formacin y los de despus de la misma.
SAGREDO: Cuenta con algn tipo de instrucciones para esa comparacin?
WS: S. NO crea que estuviera usted interesado hasta ese nivel de detalle.
Mire, tiene cinco criterios, similares a los empleados para poner nota a las
redacciones en el colegio.
SAGREDO: Hizo usted que los alumnos del curso escribieran un memorando a al-
guien para quien ejercan de mentor antes de la formacin para poder
compararlo luego?
-S: No, pens que eso resultara artificial. Creo que debenamos comparar-
los con los memorandos reales de los que ya disponemos en los archivos de
correo electrnico. -
SAGREDO: Sabremos quin los escribi realmente?
P WS : No siempre. Pero eso pasar tambin con los memorandos posteriores
al curso de formacin.
SAGREDO: El autor o la autora podra ser alguien que no hubiese sido alumno del
curso.
. .
PWS: Es cierto, pero estamos hablando de un nmero muy reducido. No ten-
dna apenas efecto.
SAGREDO: La formacin incluye algn apartado dedicado al lenguaje abusivo o
amenazador?
PH~LIS: S, brevemente.
SAGREDO: Marina (la recepcionista) opina que debenamos dar rdenes a nues-
tro personal de que notificaran a mi oficina cualquier caso de maltrato del
que sean objeto.
PHn1.1~: Para que piieda usted as advertirlos de la posibilidad de que se produz-
ca alguna otra confrontacin?
SAGREDO: Exacto.
PH~LI S: Bueno, eso no forma Darte actualmente de la formacin, pero es la clase
de tema que suele surgir durante la evaluacin. Si tiene alguna idea de
cmo quiere que funcione, yo le podra pedir a Sid que considerara la posi-
bilidad de incluirlo en la formacin. Sera an mejor si usted se lo pidiera.
SAGREDO: Yo,preferira que usted lo pensara mejor y me diera su consejo, Phyllis.
PHM.I.IS: Siipongo qiie no tendremos un ciirso de formacin en inentorizaciii
pi11.a VI l)ci~.soi~i~l s61iioi. i ~ ~ t i y ;I 11iei111(1o. 1'11ccIc (IIIC, lo qtlt* ; I V C ~ I . ~ ~ < I C I I ~ I ) S
' aliora no pueda geneixlizarse a ediciones posteriores del curso. Estare-
nios aprendiendo algo en geiieral acerca de la foriiiaciii profesional de
nuestro personal, pero no ser una simple generalizacin. Lo que hacemos
es ensearnos a nosotros mismos un poco ms sobre formacin y, quizs,
sobre la posibilidad de contar con un apoyo continuado a las tareas de men-
torizacin. Ms o menos, otra especie de suceso.nico.
SAGREDO: Supongo que de eso ya habamos encontrado un buen ejemplo. La del
lenguaje amenazador es una experiencia que puede cambiar nuestra con-
cepcin de la formacin y la evaluacin.
PHYLLIS: Y el episodio de Davis, por supuesto.
(Continuar)