Los usos de los resultados de las

evaluaciones nacionales de aprendizaje

escolar en Amrica Latina
Patricia Arregui
Lima, 10 de noviembre del 2010
Evaluar es indispensable
Acceso al sistema no es igual a aprendizaje
El debate ciudadano sobre educacin requiere
informacin transparente sobre aprendizaje
Los procesos y logros educativos no son
directamente visibles
Los educadores y conductores de la educacin
necesitan informacin externa
La evaluacin no produce mejoras por s
misma
Para que tenga algn impacto, la evaluacin debe ser
concebida como un elemento alineado en un conjunto ms
amplio de acciones y polticas educativas:
apoyo a escuelas en sectores desfavorecidos,
dotacin de recursos materiales y didcticos,
inversin en formacin docente,
mejora de la gestin,
mejora de las condiciones de trabajo docente,
apoyo a los estudiantes con dificultades
enseanza y evaluacin en el aula
1982
1993
1996
1996
1996
1996
1998
1991
1993
2002
1986
2005
1996
1991
1990
1996
1996
1998
1997
Fuente: Sistemas de evaluacin de aprendizajes en
Amrica Latina. Balances y desafos. PREAL, 2006.
Pruebas Nacionales en Amrica
Latina
Qu se mide en las evaluaciones nacionales?
Literacy Mathematics Science
Social
Studies
Civic
education
1 2 3 4 5 6 7 8 9 10
Argentina X X X X X X X X
Bolivia *** X X X X X X
Brasil X X X X X X X
Chile X X X X X X X
Colombia X X X X X X X X
Costa Rica X X X X X X X X
Cuba X X X X
Ecuador *** X X X X X
El Salvador X X X X X X X
Guatemala X X X X X
Honduras X X X X X X X X X X X
Mxico X X X X X X X X X X X X X X
Nicaragua X X X X
Panam X X X X X X X
Paraguay X X X X X X X
Per X X X X X X X X X X
Repblica Dominicana X X X X X
Uruguay X X X X X X X X X X
Venezuela *** X X X X X X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
Areas Grades
11-12
reas
Lengua Matemtica Ciencias Estudios Educacin
Sociales Cvica
Grados
Participacin en pruebas internacionales
FIMS/
SIMMS/
TIMMS
TIMMS
(1999)
TIMMS
(2003)
TIMMS
(2007)
CIVICS
(1999)
ICCS
(2009)
PISA
(2003)
PISA
(2006)
PISA
(2009)
PIRLS
(2006)
UNESCO
LLECE
(1998)
UNESCO
SERCE
(2006)
UNESCO
TERCE
(2011)
Argentina X X X X X X X X X
Boli via X
Brasil X X X X X X X
Chil e X X X X X X X X
Colombi a X X X X X X X X
Costa Rica X X X
Cuba X X
Ecuador X X X
El Salvador X X
Guatemala X X X
Hai t
Honduras X X
Mxico X X X X X X X X
Nicaragua X X
Panam X X
Paraguay X X X X
Per X X X X
RDomi nicana X X X X X
Uruguay X X X X
Venezuela X
Debilidades iniciales (y persistentes)
Insuficiente definicin de propsitos y tiempos necesarios
Multiusos
Insuficiente acuerdo sobre prioridades y metas curriculares
Calidad de la investigacin sobre factores requiere
mejoras en instrumentos
Inaccin frente a resultados por desarticulacin (adems
de falta de compromiso)
Divulgacin no comprensible a distintas audiencias
Insuficiente atencin a diversidad de contextos, valor
agregado
Inversin en desarrollo profesional insuficientemente
sostenida
Retos principales de las evaluaciones
sistmicas de logros de aprendizaje en AL
1. Aclarar y legitimar socialmente los propsitos y
procesos de la evaluacin
2. Aclarar las metas de aprendizaje
3. Seleccionar qu se medir y cmo, segn los propsitos
4. Seleccin de un marco institucional apropiado
5. Mejora en los instrumentos y procesos de las pruebas
6. Ms y mejores anlisis de datos
7. Ms y mejor diversificados informes
8. Ms y mejor diseminacin de resultados
9. Uso apropiado de los resultados para la toma de
decisiones
10. Decisin de asumir costos de mejoras necesarias
Uso de las evaluaciones de logros
de aprendizaje escolar
1. Elevar la conciencia ciudadana
2. Mejorar las polticas
3. Realizar investigacin y evaluar programas
4. Establecer estndares de aprendizaje
5. Seleccionar escuelas o grupos poblacionales para
recibir apoyo especial
6. Mejorar la enseanza y la gestin escolar
7. Identificar nios en riesgo
8. Promover la responsabilizacin
1. Elevar la conciencia ciudadana
Es el uso ms comn y efectivo hasta la fecha
Las evaluaciones han:
- Proporcionado evidencia dura de que los logros
son bajos y desiguales
- Estimulado la opinin de que existe un problema
grave de calidad y equidad y demandas por su
atencin
- Cambiado el foco de las polticas desde el acceso
hacia el aprendizaje
Los medios han jugado un rol muy importante
2. Mejorar el diseo de las polticas
El uso generalmente ms esperado
Pocos pases han usado la informacin de las pruebas
para mejorar las polticas ???????
3. Realizar investigacin y evaluacin de
programas
La disponibilidad de medidas del rendimiento
estudiantil ha estimulado la investigacin sobre
factores asociados o determinantes del aprendizaje
Incremento entre 1999 y 2005 x 10
Calidad de la investigacin
Gobiernos inicialmente resistentes a compartir los
datos con la comunidad de investigadores
4. Establecer estndares nacionales
No expectativa inicial
El desarrollo de las pruebas obliga a precisar qu es
lo que todos los estudiantes deben aprender
Pruebas referidas a normas referidas a criterios
Varios pases de la regin han desarrollado
estndares de aprendizaje: qu es lo que deben
saber y poder hacer los estudiantes y cun bien
deberan poder hacerlo
5. Focalizar apoyo en ciertas escuelas
o grupos de estudiantes (1)
Identificar a las escuelas que necesitan ms ayuda
Chile: P900, ndice de vulnerabilidad
Uruguay: escuelas de jornada completa
Bogot: Nivelando para la Excelencia,
acompaamiento
5. Focalizar apoyo en ciertas escuelas
o grupos de estudiantes (2)
Diseo de planes de mejoramiento escolar para
mejorar el ethos escolar y plantear metas (Per,
Colombia, Uruguay, Paraguay, Chile)
Facilitado con resultados de pruebas censales
Uso creciente
6. Mejoramiento de la enseanza
Apoyo a docentes para interpretar los resultados de las
evaluaciones externas: materiales, asesora,
acompaamiento
Impacto sobre comprensin curricular y sobre
evolucin cognitiva de alumnos
Diseo de programas de formacin inicial y en servicio
Riesgo de entrenamiento para las pruebas
7. Identificar estudiantes en riesgo
Pocos experimentos en El Salvador y Chile
Requiere pruebas censales frecuentes
8. Promover responsabilizacin (1)
Pruebas de altas consecuencias: Costa Rica,
Repblica Dominicana, El Salvador
Seleccin de escuelas para premios o sanciones:
publicacin de informacin (todas, excelentes)
Incentivos docentes: controversial, evidencia ambigua
o contradictoria (SNED, Carrera Magisterial), estmulo
a marginales
8. Promover responsabilizacin (2)
Establecer metas (nacionales, locales, institucionales,
programticas) de logro de aprendizaje
Fcil comprensin pblica
Escuelas compiten con su propio desempeo previo
antes que con otras escuelas
8. Promover responsabilizacin (3)
Facilitar la libre eleccinde las escuelas
Difusin de informacin sobre resultados de evaluaciones
escuela por escuela
Evidencia de que no son criterios principales que usan los
padres para seleccin de escuela para sus hijos,
particularmente en primeros grados
Resistencia de docentes y funcionarios
Riesgo de seleccin
Problemas de validez
No se usan se usan se usan mal
Mayora de pases empezaron sin una idea clara
sobre el uso que se dara a la informacin
Disponibilidad de datos incentiva usos no siempre
vlidos
Necesidad de modelar buenos usos en todos los
niveles del sistema
30 aos: progreso sustancial
La calidad y la equidad en las oportunidades de
aprendizaje se han colocado al centro del discurso, de las
preocupaciones y del anlisis para reformas y mejoras
Emergencia de una cultura de la evaluacin
Desarrollo de capacidades, experiencia creciente e
intercambios
Apertura hacia la revisin y la mejora de los enfoques,
mtodos, anlisis y difusin
El profesorado se interesa cada vez ms en el potencial de
las evaluaciones adecuadamente utilizadas para
propsitos de desarrollo profesional y mejora escolar
Mayor inters en entregar los resultados a las escuelas y a
actores no tradicionales
Sin embargo.
Sera prematuro decir que en la mayora de los pases latino-
americanos se ha establecido ya mecanismos
institucionalizados y permanentes que permiten fijar y
revisar continuamente las metas de aprendizaje y medir su
logro.
Slo en unos pocos pases las pruebas de logros y otros tipos
de evaluaciones de resultados e informes estn
enmarcados o alineados dentro de un conjunto de normas
sobre el tipo de uso que se dar a la informacin generada
y dentro de un conjunto de polticas bien integradas, claras
y equilibradas para mejorar el aprendizaje y para una
responsabilizacin adecuada.
.
Consideraciones finales
Atencin a cultura organizacional
Informacin que amenaza
Capacidad de uso
Necesidad de terreno frtil
Gracias
Algunos hallazgos: valorizacin de la
informacin obtenida
Casi todos los directores resaltaron la importancia de la
devolucin de los reportes por I.E. , resaltando la utilidad del
reporte como un instrumento regulador y de control de la labor de
los docentes. Es bueno contar con este informe, pues ya no soy
yo solamente el que les dice que tienen que mejorar su trabajo,
sino que tambin el Ministerio, alguien de afuera lo dice.
Los docentes, que han tenido un acceso bastante restringido a
los reportes, mostraban mayor inters en leer los informes
pedaggicos, especialmente las secciones que contienen
algunas de las preguntas de las pruebas, que en conocer los
resultados de su escuela o aula, conocer el enfoque de la
evaluacin, la descripcin de los niveles de desempeo o las
sntesis de problemas y sugerencias didcticas del informe
pedaggico..
Algunos hallazgos: difusin de la informacin
Acceso y uso de la informacin muy diferenciado
Determinados en gran parte por el perfil y rol que cumple
el director en cada institucin educativa: liderazgo
pedaggico, espacios colectivos de reflexin para la
mejora de los procesos de aprendizaje de los
estudiantes.
A pesar de la importancia discursiva que le otorgan los
directores a los reportes, se ha encontrado que en la
mayora de casos no han promovido la lectura de los
reportes de resultados entre los dems actores de la
escuela. Los reportes pedaggicos s fueron distribuidos
rpidamente entre los docentes.
Algunos hallazgos: difusin de la
informacin (2)
Entrega descontextualizada e incompleta.
Charlas en reuniones rutinarias con docentes, muy simplificadas,
restringidas a los resultados cuantitativos, sin mayores explicaciones,
o mediante entrega de fotocopias con principales resultados.
Excepcionalmente, reuniones colectivas formalmente convocadas
para el tratamiento especfico del informe. As, por ejemplo, una
informacin tan importante por sus consecuencias pedaggicas como
la que se presenta en un grfico de dispersin del nivel de
desempeo de los estudiantes evaluados ha sido subutilizado.
Muy escasa difusin de resultados a padres de familia, estudiantes,
CONEI, excepto cuando las IE tenan buenos resultados que mostrar.
Dilema planteado entre el compromiso y conveniencia de garantizar la
confidencialidad de los resultados de las escuelas y el derecho de las
familias de conocer cmo es el establecimiento donde asisten sus
hijos.
Algunos hallazgos: comprensin de la
informacin
Los actores que han tenido un acceso al reporte a partir de la lectura
completa y detenida de ste (generalmente directores) s han
comprendido el mismo. En los casos en que el director demostr solo
una comprensin parcial de la informacin, se encuentra una similar
situacin por parte de los docentes de la institucin.
Entre los contenidos que menos han entendido los docentes estn la
descripcin de los niveles de desempeo, un reto para la Unidad de
Evaluacin. Adems, en la mayor parte de los casos, solo ha habido
una explicacin verbal de parte de los directores sobre el contenido
del reporte a los docentes, y por lo general, se ha tendido a traducir
los niveles de desempeo a la lgica de la evaluacin de aula: el
director nos dijo que estbamos jalados, que tenamos cero.
Algunos hallazgos: propuestas de
mejoras
No es automtica la reaccin a la recepcin de los reportes y su
utilizacin para la toma de decisiones.
Interrogados al respecto, los directores tienden a sealar aspectos ms
institucionales como un mejor uso del tiempo escolar, mayor monitoreo
a los docentes, etc. mientras que los docentes sealan actividades ms
relacionadas a su labor pedaggica en aula.
Una proporcin significativa de las estrategias implementadas que
mencionan los directores y docentes entrevistados estn contenidas en
el marco de otros proyectos ya en marcha, tales como, por ejemplo, la
hora de la lectura, desvinculadas de las necesidades especficas de los
estudiantes. Las propuestas pedaggicas especficas e interesantes
que estn llevando a cabo algunas escuelas se encuentran en las
escuelas comparativamente mejores