14 Brecha 15 de marzo de 2013

CON LOS ESPECALSTAS EN EVALUACN EDUCATVA PATRCA ARREGU* Y PEDRO RAVELA**

Qu medir, para Qu, para Quines...
Qu debe hacer el Instituto Nacional de Evaluacin Educativa (ineed) con los resultados
que surjan de sus pruebas, mediciones e investigaciones? Deberan divulgarse todos los
datos? Cul es el objetivo ltimo de la difusin de resultados? Cmo se prepara Uruguay
frente a estos dilemas y cules han sido los caminos seguidos en la regin? Brecha convers
con una experta peruana y el principal referente tcnico del ineed sobre estos temas.
C a r o l i n a P o r l e y
Cul es el anclaje institu-
cional y cules las fortalezas y
debilidades de los organismos
dedicados a la evaluacin edu-
cativa en la regin?
P A Tuve la suerte de coor-
dinar un grupo de trabajo regio-
nal sobre evaluacin educativa
durante varios aos y el primer
trabajo que hicimos fue tomarle
la temperatura al desarrollo de
capacidades y experiencias en
evaluacin de aprendizajes en
la regin. Encontramos que hay
diversas maneras de organizarla
y que no hay una intrnsecamen-
te superior en el sentido de dar-
le continuidad y una mayor ins-
titucionalidad. Esto depende de
cun bien se engarza el esfuerzo
evaluativo con el sistema edu-
cativo. Entonces tenemos pa-
ses que tienen institutos relati-
vamente autnomos y otros que
estn totalmente inmersos en la
estructura ministerial, pero que
con su trayectoria han demostra-
do mantener independencia por
lo menos a la hora de presentar
resultados y darle continuidad al
esfuerzo evaluativo.
En Per, desde que se cre
un espacio para hacer evaluacio-
nes a gran escala, se pens que
lo mejor era hacerlo fuera del
ministerio, para asegurar que no
haya intervencin. Hubo alguna
trifulca poltica y al fnal se es-
tableci dentro del ministerio.
Al principio el resultado pareci
mostrar que se materializaban
todos los temores: los resultados
de las primeras pruebas no se
publicaron, los informes estaban
presos, y luego desaparecieron.
No fue el nico pas donde esto
sucedi. Sin embargo, se conti-
nu insistiendo, y fortaleciendo
la conviccin de la opinin p-
blica, acerca del valor tcnico y
la necesaria neutralidad poltica
de los resultados, que nunca son
totalmente neutrales y que deben
sustentarse de manera ms o me-
nos rigurosa en datos. Hoy ya es
casi imposible que los intereses
particulares o de la administra-
cin de turno puedan bloquear
este esfuerzo.
Tenemos casos en los que
estos institutos tienen que bata-
llar por su presupuesto, o donde
se generan tensiones sobre si se
va a dejar evaluar tal o cual rea,
casos en los que no se dedican
recursos sufcientes a la tarea de
difundir los resultados y promo-
ver el uso de los mismos a todo
nivel, inclusive a nivel de las es-
cuelas y los maestros.
Hay matices en el nfasis
que ponen los pases en la divul-
gacin de los resultados?
P A Hay muchos. Si bien
todo el mundo dice que el obje-
tivo es llegar a todos, luego uno
ve el tipo de informe que se hace
y el tipo de inversin que se ha-
ce para que los resultados puedan
ser tiles para los distintos acto-
res y observa que las cosas no se
hacen como se dice. En muchos
casos los sistemas de evaluacin
fueron creados por sugerencias
de instituciones internacionales,
que condicionaban cierta ayuda,
y sugeran que sta poda ser una
buena manera de medir resultados
de diferentes innovaciones educa-
tivas. Creo que si bien los pases
recogan la idea de que las evalua-
ciones deban llegar al aula, en la
prctica se produca un solo infor-
me que serva para todos los pro-
psitos y que se pensaba ms bien
para ser ledo por los niveles su-
periores. Es la funcin de la rendi-
cin de cuentas. Creo que en Uru-
guay la cosa era diferente porque
se busc siempre tener a los do-
SOCIEDAD
P A En Uruguay, la cosa
era diferente porque se busc
siempre tener a los docentes
como la principal audiencia
[de las evaluaciones].
Defnitivamente era algo que
impresionaba a los otros
pases.
Foto Pedro Pandolfo
15 15 de marzo de 2013 Brecha
centes como la principal audien-
cia. Defnitivamente era algo que
impresionaba a los otros pases.
La ley de educacin de
2008 que cre el Ineed establece
que los datos no pueden divul-
garse desagregados por alum-
no ni por centro educativo, pa-
ra evitar estigmatizaciones y la
fuga de la clase media que
es la que est en condiciones de
elegir a los mejores centros p-
blicos o al sistema privado. En
otros pases, como Chile, esto no
es as, al contrario, una de las
funciones de las pruebas es que
los padres tengan la informa-
cin para elegir la escuela para
sus hijos. En el resto de la regin
cul es el estado del debate so-
bre el manejo de los datos?
P A La mayor parte de los
organismos de evaluacin afr-
man que no quieren que se indi-
vidualicen los resultados de las
evaluaciones a nivel de los alum-
nos, de los docentes ni de los
centros. Por eso incluso se evi-
taba tener pruebas censales. Sin
embargo, ese compromiso de los
evaluadores no se mantiene en
otras esferas. Defnitivamente
a los grupos empresariales, por
ejemplo, les encantara que se
publiquen resultados individua-
les porque creen que fomentar la
competencia est en la base de
una mejora del sistema. Cuando
se decide no hacer pblicos los
resultados individuales a veces
se siente que se est tratando de
escamotear el control ciudadano
sobre la calidad de la educacin.
Por otra parte si tens padres que
no tienen sufciente criterio y
quieren comprar esos resultados,
ah hay un riesgo de divulgacin
de la informacin que puede te-
ner resultados funestos para los
individuos y las instituciones.
La presin que hay para que se
pase a un sistema de subvencin
de escuelas, siguiendo el mo-
delo chileno, es fuerte en la re-
gin. El negocio educativo es un
campo que se est expandiendo
tremendamente y frente al dete-
rioro del sistema pblico, mucha
gente cree que esa es la salida y
que eso es ms importante que el
rol de la escuela pblica como
forjadora de nacin y de ciuda-
dana, de comunidad. Entonces,
si bien hay que ser transparente
con la informacin, hay que pen-
sar en todas estas consecuencias.
Despus las privadas muestran
resultados superiores a las p-
blicas pero eso pasa porque no
se analizan bien los datos, por-
que cuando se comparan escue-
las con estudiantes de un mismo
nivel socioeconmico los resul-
tados a favor de las privadas se
pierden, e incluso a veces las
pblicas son mejores. La infor-
macin desagregada, con todo,
no llega tanto, lo que llega es el
promedio general y los rankings.
Igual se dan a cada cen-
tro educativo sus propios resul-
tados?
P A En Per se hacen in-
formes de las pruebas censales
para cada nio y los padres piden
esos informes donde se compa-
ran el resultado de su nio con
sus pares y con los de una escue-
la parecida y en relacin a los re-
sultados nacionales. Tampoco se
trata de escamotear informacin.
Tambin hay informes pedag-
gicos dirigidos a los docentes y
a los directores de escuelas con
un anlisis ms en profundidad.
Hay informes para las autorida-
des locales o municipales y pa-
ra las distintas regiones. Y esos
informes son distintos. Pero to-
do esto requiri aos porque al
principio slo se haca un infor-
me nacional y listo, que permita
libres interpretaciones, bastante
antojadizas. Hace aos tuvimos
una discusin muy fuerte sobre
las pruebas censales, qu miden
y cmo se divulgan los datos,
porque para poder hacer infor-
mes signifcativos tenemos que
tener pruebas muy largas, que
difcilmente se pueden aplicar
en esta modalidad censal.
Cmo es la experiencia
en Mxico, Argentina y Brasil?
PA En Mxico se han man-
tenido dos sistemas paralelos: el
de la secretara de educacin y el
del instituto de evaluacin. Creo
que en esa coexistencia siempre
existi una tensin. Por un lado,
las pruebas censales que miden
todo, todas las materias imagi-
nables en todos los grados po-
sibles, que son las que hace la
secretara y las que logran gran
difusin, y por otro lado, el ins-
tituto, que se acerca ms a lo que
el Ineed de ac querra hacer, y
que hace otras pruebas, con cri-
terios y un nivel tcnico supe-
rior, aunque quiz no llegan tan-
to como las otras.
En el caso de la secretara, las
pruebas son usadas con determi-
nados objetivos: se publican los
datos de escuelas de todo el pas
y cada maestro es evaluado y se
le paga segn cmo les fue a los
nios en las pruebas. Todo eso es
muy polmico. La lgica de que
el maestro debera ser evaluado
segn el aprendizaje logrado no
est mal en s, pero la cosa es
que es imposible realmente sa-
ber la cuota de responsabilidad
que el maestro tiene en esto,
eso depende del origen de esos
alumnos y otros factores. Si a un
chico le va mal o bien, esto no
es inmediatamente trasladable
al desempeo del maestro. Hay
muchos responsables en la for-
macin del maestro que le per-
miten o no estar preparado para
atender esa diversidad de orge-
nes de los nios. En ese sentido
me parece que Pedro (Ravela) y
la trayectoria de la evaluacin en
Uruguay recogen otra posicin,
que busca hacer comparaciones
justas. No es que no quieran ase-
gurar a los nios el derecho a
tener una educacin de calidad,
pero s interpretar bien los resul-
tados, y asegurar que se mida lo
que se est midiendo.
En Mxico la carrera ma-
gisterial tiene esta caracterstica
aunque ahora se est cambiando,
pero el ascenso del maestro en la
carrera, su salario, estn determi-
nados por los resultados de los
alumnos que l elija presentar a
estas pruebas, lo que es otro pro-
blema. En fn, vincular la evalua-
cin del maestro a su desempeo
y a los resultados, que es una ta-
rea difcil. Mxico es un ejemplo
particularmente extremo.
En Per se ha dado reciente-
mente una nueva norma respec-
to a la carrera magisterial que ha
incluido una frase que gener
preocupacin: dice que la eva-
luacin del docente tiene que
tener en cuenta los resultados. Se
dej ah la palabra resultados,
entonces estamos discutiendo
qu es esto, y creo que hay que
tener claro que no pueden ser los
resultados de las pruebas estan-
darizadas de aprendizajes, que
mide una parte muy pequea de
lo que puede ser el desempeo
del maestro.
En Argentina, en este tema,
veo una especie de estado en
suspensin inanimada. No han
modifcado mucho su sistema,
y ste ni siquiera ha tenido con-
tinuidad. Y Brasil es un mundo.
Tiene un instituto nacional de
evaluacin y organismos evalua-
dores en los estados. Se ha inten-
tado usar la informacin para la
rendicin de cuentas.
P R Cada dos aos hacen
pruebas y usan los resultados para
hacer un ndice, que combina dis-
tintas pruebas e indicadores. Ca-
da escuela brasilea tiene un n-
mero en la escala de uno al diez,
y el gobierno les pone metas. Si
una escuela tiene un 5,7 tiene que
llegar al 5,9. El efecto positivo es
que todo el mundo est pendiente
de los resultados. El problema es
que van a hacer la prueba el 50 por
ciento de los alumnos de la clase.
En la medida que esas pruebas van
a hacerse pblicas, eso hace que el
docente les diga a los peores alum-
nos que se queden en sus casas.
Entonces se tergiversa todo. Eso
es una diferencia con lo que viene
haciendo la anep con la evaluacin
en lnea donde el maestro es el que
inmediatamente ve los resultados
de sus alumnos y la prueba es para
mejorar sus prcticas y los apren-
dizajes, y no est esa amenaza de
que los resultados los vayan a co-
nocer todos de forma desagrega-
da. La apuesta en Uruguay es que
el actor principal, a quien estn di-
rigidas las pruebas, no es tanto la
familia, sino el docente. En el fon-
do es un tema poltico. El Estado
puede usar estas evaluaciones pa-
ra trasladarles a los padres la deci-
sin sobre qu educacin darles a
sus hijos. Decir: no puedo hacer-
me cargo de lo que pasa en las es-
cuelas, ac tienen los datos, que
los paps se peleen con los maes-
tros o cambien a su hijo de escue-
la. En Uruguay la apuesta ha sido
la inversa: disear herramientas
para hacer que los maestros pue-
dan realizar mejor su trabajo. Por-
que los resultados dependen de lo
que puede hacer la escuela pero
tambin de lo que como Estado le
damos a los docentes para hacer
mejor su trabajo.
Uno de los objetivos del
Ineed es incluir algn tipo de
evaluacin del desempeo de
los docentes. Esto es nuevo
porque hasta ahora las eva-
luaciones eran slo de apren-
dizajes.
P R Lo que se quiere es
asistir a las autoridades educa-
tivas para repensar el tema, par-
tiendo de la base de que no es
algo que tenga que hacer el ins-
tituto desde afuera, sino que es
parte de la funcin de los propios
consejos. Lo que ocurre es que
todava rige el sistema tradicio-
nal de inspecciones.
P A La mayora de los ins-
titutos de evaluacin le tiene te-
mor al tema, por razones com-
prensibles. No conozco muchos
que lo hayan asumido como par-
te de sus responsabilidades. Est
el caso de Mxico.
Pero una cosa es la carre-
ra docente, y el mecanismo que
hay para evaluar el desempeo
de los docentes, que en muchos
pases est atado a sus posibi-
lidades laborales o salariales
como en Chile, Mxico y Cuba,
donde la carrera no est pauta-
da slo por la antigedad e in-
formes de inspeccin, sino que
incluye la evaluacin de pares,
de los propios alumnos o el lla-
mado portafolio... Ahora, otra
cosa es que se evale a los do-
centes para generar insumos pa-
ra mejorar las prcticas educa-
tivas.
PA Claro, creo que es im-
portante desde el Ineed mirar y
evaluar las prcticas docentes,
cmo se evala, para ver cmo
ello incide en los aprendizajes.
Por ejemplo lo que los docen-
tes creen estar evaluando en una
prueba y lo que efectivamente
terminan midiendo. Desde ese
punto de vista, generar ms evi-
dencia sera un aporte ms im-
portante. Tambin generar in-
vestigaciones sobre aspectos
pedaggicos y didcticos.
Le parece que el Ineed
adems de diagnosticar e infor-
mar, tiene que recomendar l-
neas de accin poltica?
P A Me parece totalmen-
te pertinente. Cada vez menos la
investigacin es slo descripti-
va o explicativa. Creo que tiene
que contribuir al cambio. Cuan-
do hay dinero pblico invertido
se tiene que mostrar la utilidad.
Evaluar no es slo producir in-
formacin, es mostrar cmo
puede ser utilizada, y fomentar
que sea utilizada. Hay que tratar
todo el tiempo de evitar que la f-
nanciacin de este tipo de tareas
sea discontinuada, sea conside-
rada intil, o no valiosa.
Varios investigadores
creen que Uruguay hace un
subaprovechamiento de pIsa. El
ao pasado se hizo una nueva
edicin, el Instituto va a tra-
bajar a partir de esos resulta-
dos? Y pensando en la prxima
edicin, en 2015, qu elemen-
tos pueden enriquecer el releva-
miento de pIsa?
P R Vamos a trabajar este
ao con los datos de 2012. Es-
tamos haciendo un acuerdo con
anep para que el Ineed tenga ac-
ceso a las bases de datos y para
que pueda haber un reporte inde-
pendiente del Instituto. Estamos
viendo de complementarnos y
no replicar el esfuerzo de anli-
sis que hace anep. Por otra parte,
Uruguay no tiene otras pruebas
en educacin media que las que
hace pIsa. La idea es que la eva-
luacin en lnea que hoy se hace
en Primaria se vaya extendiendo
hasta tercer ao de liceo. De to-
dos modos, mi opinin es que lo
que mide pIsa no lo reemplazan
las pruebas nacionales. Es im-
portante el tipo de habilidades
y competencias que mide pIsa.
El ciclo 2015 va a hacer foco en
ciencias, y creo que es una opor-
tunidad para mirar el modo en
que enseamos ciencias y con-
trastarlo con el tipo de habilida-
des que pIsa defne como las que
tendran que tener los chicos de
15 aos. En general se opina mu-
cho sobre los lugares en el ran-
king, pero la gente mira poco qu
es lo que efectivamente evala
pIsa. A m me parece interesante
que pIsa busque ver la capacidad
del chico de pensar cientfca-
mente, de evaluar un diseo ex-
perimental, de decidir cundo la
evidencia que tiene es sufciente
para hacer una afrmacin, de en-
tender como ciudadano en temas
de energa o medio ambiente. Es-
to va mucho en la lnea de lo que
decimos los docentes que quere-
mos ensear, pero en la prctica
no hacemos. Antes de asumir en
el Ineed me toc coordinar un
informe que hicimos en cuatro
pases sobre qu tipo de pruebas
de ciencias ponen los profesores
en los liceos en biologa, fsica y
qumica y el tipo de pruebas son
siempre de repeticin de defni-
ciones, o de aplicacin de frmu-
las, o ejercicios con la tabla pe-
ridica, los tpicos con las leyes
de Mendel, o cules son los pasos
del mtodo cientfco... n
* Magster en sociologa y especia-
lista peruana en evaluacin. Fue
durante diez aos coordinadora del
grupo de trabajo sobre estndares
y evaluacin del Programa de Pro-
mocin de la Reforma Educativa en
Amrica Latina (preal), una red de
investigadores y gestores vinculados
a la evaluacin educativa. Integra el
Consejo Consultivo del Instituto Pe-
ruano de Evaluacin, Acreditacin y
Certifcacin de la calidad de la Edu-
cacin Bsica y Tcnico Productiva.
Vino a Montevideo para el lanza-
miento del Ineed.
** Director ejecutivo del Ineed, pro-
fesor de flosofa, egresado del Ipa
y mster en ciencias sociales con
mencin en educacin (flacso). Fue
coordinador nacional de la prime-
ra edicin de pIsa y del Laborato-
rio Latinoamericano de Evaluacin
de la Calidad de la Educacin de la
unesco. Estuvo a cargo del rea de
evaluacin de la anep (2001 - 2002),
y ha sido director del Instituto de
Evaluacin Educativa de la Univer-
sidad Catlica.
P R Me parece
interesante que pisa busque
ver la capacidad del chico de
pensar cientfcamente [...]
Esto va mucho en la lnea de
lo que decimos los docentes
que queremos ensear, pero
en la prctica no hacemos.
P A En Mxico cada
maestro es evaluado y se
le paga segn cmo les fue
a los nios en las pruebas.
Todo eso es muy polmico.