La educacin peruana en el contexto de PISA

SERIE: LA EDUCACIN DEL FUTURO

Autores: Liliana Miranda Andreas Schleicher Coordinacin editorial: Rosa Mara de los Heros Colaboracin: Francisco Marcone Diseo y cartula: Rafael Moy Diagramacin: Liliana Baluarte Correccin de estilo: Hugo Melo Fotografa de cartula: Cortesa Consejo Nacional de Educacin

01_28 PISA.indd 1

10/23/09 6:38:40 PM

Xxx

El Consejo Nacional de Educacin (CNE) y el Grupo Santillana tienen el agrado de poner en sus manos el segundo fascculo de la serie: La educacin del futuro. Con motivo de la aplicacin de las pruebas del Programa Internacional para la Evaluacin de Estudiantes (PISA), el CNE y la Fundacin Santillana, con la colaboracin de AprenDes/USAID, hicieron posible la presencia en Lima de Andreas Schleicher, Jefe de la Divisin de Evaluacin de la Organizacin para la Cooperacin y Desarrollo Econmico (OCDE) y responsable de las pruebas PISA. La medicin de la calidad educativa es uno de los principales temas en la agenda educativa mundial en los ltimos 20 aos. Los tcnicos y los responsables de la educacin de cada pas han ido tomando conciencia de la necesidad e importancia de evaluar los sistemas educativos y los niveles de aprendizaje de los estudiantes. La prueba PISA, la ms conocida internacionalmente, est siendo aplicada el 2009 a adolescentes de ms de 60 pases. Esta es la segunda vez en la que participa el Per, y el rea principal de la evaluacin es la comprensin lectora, tal como ocurri en el 2000 y 2001. Los artculos seleccionados para esta edicin nos ayudarn a conocer de qu manera los resultados de las pruebas PISA pueden ayudar a la educacin en nuestro pas.

NDICE
PISA 2009: Su importancia para el Per y su contribucin a la mejora de las formas de monitorear y evaluar la educacin peruana Lo que el Per puede aprender de los resultados comparados de las pruebas PISA
Las opiniones expresadas en este texto son responsabilidad de los autores y no comprometen al Consejo Nacional de Educacin.

Xxx

3 20

01_28 PISA.indd 2

10/23/09 6:38:43 PM

PISA 2009: Su importancia para el Per y su contribucin a la mejora de las formas de monitorear y evaluar la educacin peruana
Liliana Miranda M.1

En las dos ltimas dcadas, el nmero de pases que participa en evaluaciones internacionales de logro educativo para obtener informacin sobre el diseo y mejora de sus polticas educativas ha ido aumentando signicativamente. Sin embargo, esta participacin es uno de los temas ms controvertidos en el campo educativo2, en tanto que el valor y validez de este tipo de evaluaciones es an materia de intensas discusiones en los medios acadmicos (Ferrer y Arregui 2003).
No obstante, a pesar de estos cuestionamientos, consideramos que la participacin en los estudios internacionales de logros acadmicos serios y rigurosos puede jugar un rol crucial en el mejoramiento de los sistemas educativos y en las prcticas de enseanza-aprendizaje si esas evaluaciones son entendidas como una oportunidad para obtener informacin que pueda proveer elementos de juicio a quienes toman decisiones. Aun cuando Reimers y McGinn (1997) ya nos han alertado que la relacin entre informacin y toma de decisin dista de ser inmediata, los anlisis y resultados que provienen de las comparaciones internacionales pueden ayudar a fundamentar ciertas opciones de poltica durante el proceso de debate y negociacin de esta.
1

La participacin en los estudios internacionales de logros acadmicos serios y rigurosos puede jugar un rol crucial en el mejoramiento de los sistemas educativos y en las prcticas de enseanza-aprendizaje.

Jefa de la Unidad de Medicin de la Calidad Educativa del Ministerio de Educacin. Coordinadora Nacional del Programa Internacional para la Evaluacin de Estudiantes (PISA). La autora agradece las sugerencias y comentarios de Alfredo Altamirano y Andrs Burga. 2 Esta controversia se acenta en el caso de los pases que cuentan con poblaciones lingstica y culturalmente diversas, en tanto entran a tallar adicionalmente cuestiones relativas a la pertinencia cultural de los instrumentos utilizados para estos pases.

Importancia de PISA 2009

01_28 PISA.indd 3

10/23/09 6:38:43 PM

Un buen sistema de evaluacin debe denir claramente las preguntas que busca responder y los usos que se pretende dar a sus resultados.

Si bien es comprensible que la participacin en evaluaciones internacionales genere expectativas de los distintos actores involucrados en el quehacer educativo, es importante recordar que las evaluaciones sean de carcter nacional o internacional, al igual que cualquier estudio de investigacin, no pueden responder a mltiples propsitos. Una sola evaluacin no puede atender a todas las demandas de informacin. El objetivo y el uso de los resultados denen en gran medida el diseo y las exigencias metodolgicas y tcnicas que cada evaluacin requiere (Ravela y otros 2008). Un buen sistema de evaluacin debe denir claramente las preguntas que busca responder y los usos que se pretende dar a sus resultados, y por lo tanto, el valor de la evaluacin debe ser juzgado en dichos trminos3. En este sentido, un sistema de evaluacin debe buscar ofrecer informacin complementaria a travs de los distintos estudios que lleve a cabo que pueden responder a distintos propsitos de acuerdo con lo que se espera de l. De all que consideramos fundamental evaluar cuidadosamente la participacin en estudios internacionales, de manera que estos aporten informacin relevante y adicional a la acopiada a travs de evaluaciones nacionales. El presente artculo busca aportar a la reexin y discusin sobre los benecios que conlleva la participacin del Per en PISA desde la conviccin de que puede contribuir al mejoramiento de nuestro sistema educativo. Esto es, si esta participacin es comprendida y valorada en trminos de los propsitos que ella busca, y sus resultados son usados desde una visin de responsabilidad compartida en relacin con la educacin, con una orientacin fuerte para apoyar a los actores educativos en sus tareas especialmente a los directores y docentes y una maniesta voluntad poltica en los distintos niveles de decisin de encarar acciones dirigidas a resolver los problemas y deciencias que la evaluacin ponga de maniesto (Ravela y otros 2008).

Un sistema de evaluacin debe buscar ofrecer informacin complementaria a travs de los distintos estudios que lleve a cabo.

Evaluaciones del rendimiento estudiantil

A mediados de la dcada de 1990, en nuestro pas, al igual que en la mayora de los pases de la regin, se inici el desarrollo del sistema de evaluacin del rendimiento estudiantil. Desde entonces, el Minis-

Es importante tener en cuenta que esto reduce las tensiones y dilemas que enfrentan los sistemas de evaluacin, pero no los desaparece del todo.

Serie: La educacin del futuro

01_28 PISA.indd 4

10/23/09 6:38:44 PM

terio de Educacin, a travs de la Unidad de Medicin de la Calidad Educativa (UMC), ha llevado a cabo diversas evaluaciones nacionales e internacionales. En el transcurso de estos aos, los propsitos y caractersticas del sistema de evaluacin se han ido redeniendo, atendiendo no solo a los cambios del propio sistema educativo y a las demandas de los diferentes actores que intervienen en l, sino tambin al proceso de descentralizacin que se viene desarrollando en el pas4. Actualmente, el sistema de evaluacin est conformado por un conjunto de evaluaciones de carcter muestral y censal que busca proveer de informacin pertinente a la sociedad en su conjunto, y a quienes toman decisiones, acerca del nivel de logro de nuestros estudiantes en capacidades y habilidades fundamentales, as como de los factores escolares y extraescolares que se asocian a dichos logros. En este sentido, no solo se ha aportado con informacin sobre el resultado de los estudiantes que asisten al nivel primario y secundario en competencias que tradicionalmente son evaluadas como la comprensin lectora y matemtica, sino tambin se ha brindado informacin sobre el nivel de logro de los estudiantes en capacidades ms complejas de evaluar, tales como produccin de textos escritos en castellano y en lenguas nativas, resolucin de problemas matemticos usando material concreto, formacin ciudadana5, etc. Cada evaluacin ha supuesto un aprendizaje que ha permitido enriquecer y mejorar el diseo y elaboracin no solo de los instrumentos que buscan evaluar el rendimiento estudiantil y estudiar los factores asociados a este, sino tambin de metodologas ms complejas y exactas. Entre estas se puede citar el trnsito que ha supuesto pasar de pruebas cuya interpretacin de resultados est referido a la norma (que permiten solamente ordenar y comparar a un estudiante

Cada evaluacin ha supuesto un aprendizaje que ha permitido enriquecer y mejorar el diseo y elaboracin de los instrumentos que buscan evaluar el rendimiento estudiantil.

Dicho proceso no ha estado exento de tensiones, en tanto como se ha sealado antes no siempre es posible que los sistemas de evaluacin respondan a los diversos intereses y demandas de los actores involucrados en el quehacer educativo. Sin embargo, la discusin sobre este tema excede a los propsitos del presente artculo. 5 Adicionalmente, el ao pasado la UMC ha emprendido el desafo de llevar a cabo la primera evaluacin a nios de 5 aos de educacin inicial, lo que permitir obtener informacin sobre algunos desempeos alcanzados en las reas evaluadas del Diseo Curricular Nacional: Lgico Matemtica, Comunicacin Integral y Personal Social; as como de los factores del contexto familiar y educativo a los que estn asociados dichos desempeos.

Importancia de PISA 2009

01_28 PISA.indd 5

10/23/09 6:38:45 PM

Las evaluaciones internacionales sobre educacin constituyen esfuerzos para obtener informacin conable y comparable, con el n de que puedan ser utilizados como insumo en el diseo y mejoramiento de polticas educativas.

con su grupo de pares) a pruebas cuya interpretacin de resultados est referida a criterios (que adems de ordenar y comparar grupos de estudiantes, permiten estimar cuntos alcanzan el criterio o estndar establecido, y sobre todo permiten describir qu es lo que los estudiantes saben y son capaces de hacer). Tambin podemos destacar el uso de mtodos como el Bookmark sobre puntos de corte, para establecer los lmites entre los niveles de desempeo. Igualmente se ha introducido el uso de los Modelos Jerrquicos Lineales (HLM6), que permiten analizar la relacin entre la medida en una prueba de logro (criterio) y un conjunto de variables asociadas al rendimiento acadmico (predictores). La ventaja de este tipo de modelos es que consideran la estructura jerrquica de los datos, pues hay variables que corresponden al nivel de escuela (p. ej.: el clima escolar) y otras que pertenecen al nivel individual (p. ej.: la autoecacia del estudiante), lo que permite tener una estimacin ms precisa de los errores estndar del coeciente que asocia cada predictor con el criterio. Adems, se estn utilizando modelos de anlisis factorial para obtener evidencias de validez referidas a la estructura de los constructos evaluados. Y, nalmente, podemos mencionar el uso de mtodos de remuestreo (p. ej.: el Jacknife) para estimar el porcentaje de los errores estndar de los estudiantes en cada nivel de desempeo.

El Per en las evaluaciones internacionales

Las evaluaciones internacionales sobre educacin constituyen esfuerzos multinacionales para obtener informacin conable y comparable sobre el nivel de logro de aprendizaje y de algunos otros indicadores educativos relevantes, con el n de que puedan ser utilizados como insumo en el diseo y mejoramiento de polticas educativas (UMC 2002). Dichas evaluaciones estn dirigidas a diversas poblaciones en grados o grupos etarios seleccionados y adoptan distintas caractersticas. Generalmente son coordinadas por organismos y agencias intergubernamentales o privadas; en los cuales el grado de participacin y representacin de los pases participantes tiende a ser variable (Ferrer y Arregui 2003).

Por sus siglas en ingls: Hierarchical Linear Model.

Serie: La educacin del futuro

01_28 PISA.indd 6

10/23/09 6:38:45 PM

Actualmente existen diversos programas internacionales de evaluacin educativa. Entre los principales se puede citar a aquellos que promueve la Asociacin Internacional para la Evaluacin del Logro Educativo (IEA7) Estudio Internacional de Educacin Cvica y de Ciudadana (ICCS), Estudio Internacional de Progreso en Comprensin Lectora (PIRLS) y Estudio Internacional de Tendencias en Matemtica y Ciencias (TIMSS); la Organizacin para la Cooperacin y el Desarrollo Econmico (OCDE) Programa Internacional de Evaluacin de Estudiantes (PISA); el Instituto de Estadstica de la UNESCO el Programa de Medicin y Seguimiento de la Alfabetizacin (LAMP8); el Laboratorio Latinoamericano de Evaluacin de la Calidad de la Educacin (LLECE) y el Consorcio de frica del Sur para la Evaluacin de la Calidad Educacional (SACMEQ9). El Per ha participado en dos programas internacionales de evaluacin de estudiantes. El primero, de carcter regional, es el LLECE, que est conformado por todas las Unidades de Evaluacin de los pases de la regin, y cuya coordinacin tcnica est a cargo de la Ocina Regional de Educacin para Amrica Latina y el Caribe (OREALC) de la UNESCO. Este programa sustenta su marco evaluativo en una matriz curricular comn a los pases participantes, a travs del cual se han evaluado capacidades referidas a las reas de comunicacin y matemtica, y recientemente al rea de ciencias. El LLECE, en los aos 1997 y 2006, ha llevado a cabo dos procesos de evaluacin dirigidos a los estudiantes de educacin primaria. Nuestro pas ha participado en ambos. Actualmente, este programa se encuentra diseando los lineamientos y requerimientos tcnicos necesarios para garantizar la comparabilidad de sus resultados en el tiempo10, as como para establecer una periodicidad regular entre sus evaluaciones.

El Per ha participado en dos programas internacionales de evaluacin de estudiantes. El primero, de carcter regional, es el Laboratorio Latinoamericano de Evaluacin de la Calidad de la Educacin (LLECE).

Por sus siglas en ingls: Association for the Evaluation of Educational Achievement. 8 Se ha mantenido las siglas de los nombres de las evaluaciones en ingls, pues son ms conocidas por ellas. 9 Por sus siglas en ingls: Southern Africa Consortium for Monitoring Educational Quality. 10 Los resultados de las dos evaluaciones que se han llevado a cabo no son comparables entre s.

Importancia de PISA 2009

01_28 PISA.indd 7

10/23/09 6:38:46 PM

Participacin del Per en evaluaciones internacionales Programa de Evaluacin Interpretacin de resultados2 Poblacin evaluada reas evaluadas Cobertura

NIVEL LATINOAMERICANO LLECE UNESCO Primer Estudio Regional Comparativo y Explicativo (PERCE) 1997 Segundo Estudio Regional Comparativo y Explicativo (SERCE) 2006 3o y 4o grados de primaria Comunicacin y Matemtica Comprensin de textos, Produccin de textos, Matemtica, Ciencias Muestra inferencial: Megaciudad / Urbano / Rural Muestra inferencial: Nacional / Urbano / Rural

Normas

Criterios

3 y6 grados de primaria

NIVEL MUNDIAL PISA OCDE Ciclo 2000+

1

Criterios

15 aos en secundaria3

Comprensin de textos4, Matemtica y Ciencias Comprensin de textos4, Matemtica y Ciencias

Muestra inferencial: Nacional Muestra inferencial: Nacional

Ciclo 2009
1 2

Criterios

15 aos en secundaria3

En el Per la evaluacin se realiz el 2001, en un proceso denominado PISA+ (PISA PLUS). Referido a las normas: en este caso se interpretaron los resultados en funcin de un promedio. Se hace con el n de comparar poblaciones entre s. Por ejemplo: se dice que el rendimiento promedio de los estudiantes urbanos es mayor que el de los rurales. Referido a los criterios: se interpretan los resultados considerando un criterio o estndar de logro. Por ejemplo: se dice que el 30% de los estudiantes urbanos logra el nivel de logro esperado para el grado.

3 4

O su equivalente en otras modalidades educativas como la Educacin Bsica Alternativa. nfasis de la evaluacin, lo que implica que aplican una mayor cantidad de tems y, por lo tanto, hay una mayor riqueza en la explicacin y el anlisis de los resultados; adems, que la medicin de los factores asociados se encaminan al rea enfatizada.

El segundo programa internacional de evaluacin de estudiantes en el que ha participado el Per es PISA, que agrupa actualmente a ms de 60 pases11, y que es promovido por la Organizacin para la Cooperacin y el Desarrollo Econmico (OCDE), a travs de un conEn un inicio PISA estuvo pensado para ser aplicado en los pases pertenecientes a la OCDE; sin embargo, desde la primera aplicacin, varios pases que no eran miembros de esta organizacin mostraron su inters en participar. Estos fueron aceptados bajo la gura de pases socios en PISA. Desde entonces, PISA se ha constituido en el estudio internacional que agrupa a la mayor cantidad de pases en el mundo.
11

Serie: La educacin del futuro

01_28 PISA.indd 8

10/23/09 6:38:46 PM

sorcio de instituciones especializadas en la evaluacin e investigacin educativa. Este programa evala en los estudiantes de 15 aos independientemente de la modalidad, grado o ciclo que estn cursando, capacidades relacionadas con la comprensin lectora, matemtica y ciencia. PISA se sustenta en un enfoque abierto de la evaluacin, es decir, no se basa en los marcos curriculares nacionales. De all que PISA no est diseado para evaluar el nivel de aprendizaje de los contenidos especcos establecidos en los currculos ni aporta informacin sobre el grado en que este se est implementando. Los instrumentos que utiliza PISA se disean a partir de un conjunto de estndares de contenido y desempeo, elaborados por un grupo de expertos y especialistas en diferentes reas de conocimiento que se consideran imprescindibles para la adecuada insercin de los jvenes en la sociedad y en el mundo laboral de hoy (Ferrer y Arregui 2003: 17). Dado que el presente artculo se centra en este programa, en el siguiente acpite detallaremos sus principales caractersticas12, aunque sin ser exhaustivos, con el nico propsito de que se pueda comprender y ponderar las ventajas que conlleva la participacin del Per en l.

Los instrumentos que utiliza PISA se disean a partir de un conjunto de estndares de contenido y desempeo que se consideran imprescindibles para la adecuada insercin de los jvenes en la sociedad y en el mundo laboral de hoy.

El Programa Internacional para la Evaluacin de Estudiantes (PISA)

PISA se concibe como un programa que se caracteriza principalmente por tres aspectos: i) establecer un marco conceptual comprensivo y riguroso para evaluar lectura, matemtica y ciencia; ii) explorar habilidades y caractersticas de los estudiantes que van ms all de los contenidos propiamente escolares; y iii) analizar las caractersticas de los sistemas, escuelas y estudiantes que se asocian a los resultados escolares (OCDE 2008). Una de las caractersticas esenciales de PISA es su regularidad, es decir, se trata de un programa diseado en tres ciclos evaluativos de tres aos cada uno, con la nalidad de hacer un seguimiento al progreso educativo de los pases participantes (UMC 2002). En cada ciclo se
El lector interesado en profundizar en las caractersticas de PISA puede revisar las distintas publicaciones que hay al respecto en su pgina web: http://www.pisa.oecd.org
12

Una de las caractersticas esenciales de PISA es su regularidad, es decir, se trata de un programa diseado en tres ciclos evaluativos de tres aos cada uno, con la nalidad de hacer un seguimiento al progreso educativo de los pases participantes.

Importancia de PISA 2009

01_28 PISA.indd 9

10/23/09 6:38:47 PM

Esta nocin de competencia supone abandonar la visin dicotmica que ha imperado en el mbito educativo.

estudia en profundidad una de las reas evaluadas, que se traduce en la aplicacin de un mayor nmero de tems del rea privilegiada en relacin con las otras dos, lo que permite reportar los resultados de dicha rea en trminos de subescalas13 y de niveles de competencia. Nuestro pas particip en el primer ciclo de evaluacin en el ao 2001, y se ha vuelto a reintegrar para el ciclo 200914. En ambos casos el nfasis de la evaluacin ha estado centrado en la lectura. Quiz una de las caractersticas ms importantes de PISA sea el innovador concepto de competencia (literacy), que [introduce] y que se reere a la capacidad de los alumnos de aplicar sus conocimientos y habilidades en reas acadmicas fundamentales y de analizar, razonar y comunicar ecazmente cuando plantean, resuelven e interpretan problemas relacionados con distintas situaciones (OCDE 2005: 20). Esta nocin de competencia supone abandonar la visin dicotmica que ha imperado en el mbito educativo, y al hablar de niveles de competencia se asume la idea de que las personas desarrollan de manera progresiva sus conocimientos, destrezas y habilidades en distintos contextos a lo largo de la vida. En tal sentido, PISA evala los conocimientos y habilidades de los estudiantes como un contnuum. Dicho enfoque, entonces, no permite responder preguntas de si los estudiantes saben o no leer, sino que aporta informacin sobre el tipo de habilidades y destrezas que ponen en juego los estudiantes al leer y el grado en que las han adquirido. En tal sentido, un elemento relevante de PISA 2009 es la introduccin de un conjunto de tems de menor dicultad que permitir describir lo que saben, comprenden y pueden hacer los estudiantes de pases que mostraron un bajo nivel de desempeo en lectura. Como es conocido, en el ciclo 2000 una proporcin importante de estudiantes de los pases participantes pero en particular en los pases que no pertenecan a la OCDE15 se ubic en el grupo por debajo del primer nivel de competencia establecido en lectura, lo que no permita describir los conocimientos y habilidades que estaban asociados
13

Dicho enfoque aporta informacin sobre el tipo de habilidades y destrezas que ponen en juego los estudiantes al leer y el grado en que las han adquirido.

Por ejemplo, para el caso de lectura, las subescalas establecidas son: i) recuperacin de informacin, ii) interpretacin de textos y iii) reexin y evaluacin. 14 Es decir, no particip en el 2003 ni en el 2006, que tuvieron como nfasis la evaluacin de competencias matemticas y cientcas, respectivamente. 15 En el caso del Per, de los cinco niveles de competencia considerados, el 54% de los estudiantes se ubic por debajo del nivel 1.

10

Serie: La educacin del futuro

01_28 PISA.indd 10

10/23/09 6:38:48 PM

a dicho desempeo. Una razn adicional para incluir este tipo de tems ms fciles es que la experiencia de los estudiantes con menor nivel de desempeo sea ms satisfactoria16. Un aspecto importante de PISA es que se aplican diferentes cuadernillos a los estudiantes evaluados. Cada cuadernillo est organizado por bloques de tems pertenecientes a las tres reas evaluadas, que, a su vez, tienen tems nicos e tems en comn con los otros cuadernillos. Los bloques estn distribuidos en los cuadernillos en distinto orden, de manera que no siempre queden al inicio o al nal en todos los cuadernillos en los que aparecen. Este diseo, llamado Bloques Incompletos Balanceados, permite, por un lado, que los estudiantes se enfrenten a un nmero razonable de preguntas que sirvan para medir su desempeo de manera adecuada, evitando el factor cansancio, y por otro lado, que se logre evaluar todo el espectro de conocimientos, capacidades y habilidades que se especican en el marco conceptual de la evaluacin. No obstante, es preciso tener en cuenta que este diseo, adems de otras consideraciones tcnicas17, tiene algunas implicancias, como el hecho de que no permite reportar resultados a nivel individual; es decir, PISA no est diseada para obtener resultados a nivel de escuela o de estudiante evaluado. Adicionalmente a la evaluacin de las reas de lectura, matemtica y ciencias, PISA estudia en cada ciclo evaluativo otras habilidades y caractersticas de los estudiantes de 15 aos, tales como sus actitudes hacia la lectura, la matemtica y la ciencia18, sus concepciones sobre s mismos, las estrategias que siguen en su proceso de aprendizaje, su sentido de pertenencia con la escuela, entre otros. Con el n de recoger informacin sobre el contexto en que se desenvuelven los estudiantes evaluados y de estimar el aporte de los factores que se asocian a sus resultados, PISA utiliza un conjunto
Es importante destacar la conformacin del Grupo Iberoamericano de PISA, que est integrado por Argentina, Brasil, Chile, Colombia, Espaa, Mxico, Panam, Per, Portugal y Uruguay, cuyo propsito es fomentar la colaboracin entre los pases de Iberoamrica que participan en PISA. Este grupo elabor un conjunto de tems que fueron seleccionados por PISA, y que se monitorearon en el ciclo 2009. 17 Entre otros, se puede sealar el carcter muestral de la evaluacin, el hecho de evaluar a un mximo de 35 estudiantes por escuela. 18 Por ejemplo, en el 2006 la actitud de los estudiantes hacia la ciencia fue estudiada a travs de un conjunto de preguntas que buscaban indagar sobre i) el inters en la ciencia, ii) la aceptacin del pensamiento cientco como va de conocimiento y iii) la responsabilidad hacia el uso de los recursos y el medio ambiente.
16

Los Bloques Incompletos Balanceados permiten evaluar todo el espectro de conocimientos, capacidades y habilidades que se especican en el marco conceptual de la evaluacin.

Adicionalmente, PISA estudia en cada ciclo evaluativo otras habilidades y caractersticas de los estudiantes de 15 aos, tales como sus actitudes hacia la lectura, la matemtica y la ciencia.

Importancia de PISA 2009

11

01_28 PISA.indd 11

10/23/09 6:38:48 PM

de cuestionarios dirigidos a los estudiantes y a los directivos de las instituciones educativas de los pases participantes. A travs de estos instrumentos busca obtener informacin sobre las condiciones econmicas, sociales, culturales y familiares de los estudiantes, adems de las caractersticas antes sealadas, as como acerca de la calidad de los recursos nancieros, materiales, humanos de las escuelas, las caractersticas institucionales, las prcticas directivas, entre otros.

Aportes de PISA para el monitoreo y evaluacin del sistema educativo peruano

La participacin en estos proyectos puede ser valiosa para los pases, incluso para los pases en desarrollo, siempre y cuando se tomen ciertas previsiones con respecto a las caractersticas tcnicas de las pruebas y a las condiciones polticas e institucionales para su aplicacin.

A pesar de que, como se ha sealado al inicio de este artculo, la participacin en evaluaciones internacionales no est exenta de controversias, consideramos que estas pueden cumplir un rol importante en el mejoramiento del sistema educativo y del proceso de enseanza-aprendizaje. En dicho sentido se maniestan Ferrer y Arregui (2003: 13), luego de analizar los argumentos a favor y en contra de dicha participacin, al sealar que El balance entre las ventajas y limitaciones que presentan las pruebas internacionales pareciera indicar que la participacin en estos proyectos puede ser valiosa para los pases, incluso para los pases en desarrollo, siempre y cuando se tomen ciertas previsiones con respecto a las caractersticas tcnicas de las pruebas y a las condiciones polticas e institucionales para su aplicacin, incluyendo mecanismos para la correcta interpretacin y difusin de los resultados. En las siguientes lneas daremos cuenta de los aportes de PISA para el monitoreo y evaluacin del sistema educativo peruano, entendiendo dicho programa en su integralidad, y no solo en cuanto a la informacin que brinda en trminos de resultados de las pruebas de rendimiento. Es importante precisar que en este recuento se ha privilegiado aquellos aportes que puede brindar la participacin en PISA, teniendo en cuenta las particularidades y desafos que tiene nuestro pas.

Monitoreo del logro acadmico en el tiempo

Considerando que uno de los objetivos del sistema educativo peruano es Formar personas capaces de lograr su realizacin tica, intelectual, artstica, cultural, afectiva, fsica, espiritual y religiosa

12

Serie: La educacin del futuro

01_28 PISA.indd 12

10/23/09 6:38:48 PM

[], as como el desarrollo de sus capacidades y habilidades para vincular su vida con el mundo del trabajo y para afrontar los incesantes cambios en la sociedad y el conocimiento19, las decisiones de poltica educativa debieran ser valoradas por la medida en que se estn cumpliendo estos objetivos. Por esta razn, como seala Forster (2002), las mediciones de los resultados del aprendizaje tienen un signicado especial como indicadores de calidad en la educacin, en tanto constituyen una base relevante con el n de sealar metas para el mejoramiento y para el monitoreo del progreso de los objetivos educativos. En tal sentido, la participacin en evaluaciones internacionales nos permite obtener informacin objetiva sobre el logro acadmico de los estudiantes en relacin con estndares internacionales de contenido, que impacte la opinin pblica y facilite una toma de decisiones mejor informada para el mejoramiento del sistema educativo (Ferrer y Arregui 2003: 20). En el caso particular de PISA, la participacin de nuestro pas en el ciclo 2009 no solo nos permitir poder evidenciar los resultados obtenidos por los estudiantes peruanos en comparacin con aquellos logrados por los estudiantes del resto de pases participantes, sino que tambin y consideramos que esto es lo ms relevante nos permitir conocer en qu medida ha variado la proporcin de estudiantes ubicados en cada uno de los niveles de desempeo de la escala de comprensin lectora, y en el promedio de la escala de alfabetizacin matemtica y cientca, entre los casi 8 aos que median entre las dos aplicaciones de la prueba PISA en nuestro pas. Esta informacin, sumada a otras, proporcionar un insumo fundamental para hacer una evaluacin objetiva de las polticas educativas aplicadas, y del funcionamiento del sistema durante este periodo.

Las decisiones de poltica educativa debieran ser valoradas por la medida en que se estn cumpliendo estos objetivos.

Esta informacin, sumada a otras, proporcionar un insumo fundamental para hacer una evaluacin objetiva de las polticas educativas aplicadas, y del funcionamiento del sistema durante este periodo.

Orientacin para la mejora de polticas educativas y pedaggicas

La participacin en PISA podra favorecer la reexin sobre los contenidos curriculares contemplados en nuestro Diseo Curricular Nacional (DCN). Establecer la relacin entre aquello que propone el

19

Artculo 9 de la Ley General de Educacin 28044. 28 de julio del 2003.

Importancia de PISA 2009

13

01_28 PISA.indd 13

10/23/09 6:38:49 PM

currculo peruano para las diversas modalidades educativas20 y las competencias para la vida adulta en que se basa la evaluacin PISA resultara enriquecedor para el primero. Ello no implica asumir una suerte de disyuntiva entre ambos, como algunos plantean, puesto que el currculo nacional es el referente normativo a partir del cual los docentes debieran ensear, y lo que se espera que los estudiantes aprendan en cada grado, ciclo o nivel, mientras que PISA evala algunas competencias y capacidades requeridas para que cualquier joven cercano a incorporarse a la vida adulta se desempee exitosamente de acuerdo con las demandas de una sociedad global que le exige seguir aprendiendo21 (UMC 2002). De otro lado, la aplicacin de las pruebas PISA con la incorporacin de tems de menor nivel de dicultad permitir contar con una descripcin ms detallada sobre los procesos cognitivos implicados en las actividades que los estudiantes con menor nivel de habilidad han podido resolver. Dichas descripciones sumadas a las referidas a los tems de mayor dicultad aportarn mayor evidencia emprica para la tarea que el Ministerio est prximo a emprender en la construccin de estndares de desempeo. Esto es particularmente relevante en el caso de la comprensin lectora para el nivel secundario o su equivalente, pues no resulta una tarea fcil establecer la gradualidad de contenidos para cada grado o ciclo escolar. Asimismo, PISA podra enriquecer la elaboracin de textos escolares, no solo incorporando distintos tipos de textos, sino tambin textos que combinen formatos continuos y discontinuos y que propicien una lectura intertextual22. Un sistema de evaluacin como PISA tambin puede desempear un papel importante para comunicar expectativas de aprendizaje al interior de las escuelas. Como seala Forster y otros (2002: 15), dichas evaluaciones pueden ser un mtodo efectivo de concentrar la atencin de los alumnos en los resultados de aprendizaje que se valoran,

Dichas evaluaciones pueden ser un mtodo efectivo de concentrar la atencin de los alumnos en los resultados de aprendizaje que se valoran, promoviendo razonamientos y reexiones de mayor nivel de complejidad [...] y estimulando a los estudiantes a alcanzar niveles de logro aun mayores.

Resulta importante recordar que PISA no se circunscribe a evaluar solo a los estudiantes de Educacin Bsica Regular, sino que tambin incluye a estudiantes de otras modalidades. 21 En todo caso, quiz las competencias evaluadas por PISA podran cristalizar algunos de los objetivos que debiera proponerse en el currculo para cuando los estudiantes culminen la secundaria. 22 Una experiencia interesante a este respecto la constituyen los mdulos y las pruebas elaboradas para la Movilizacin Nacional por la Comprensin Lectora que actualmente viene implementando el Ministerio de Educacin.

20

14

Serie: La educacin del futuro

01_28 PISA.indd 14

10/23/09 6:38:49 PM

promoviendo razonamientos y reexiones de mayor nivel de complejidad [...] y estimulando a los estudiantes a alcanzar niveles de logro aun mayores. En tal sentido, se podra pensar en proveer a los docentes reportes que contengan los resultados del logro estudiantil desagregados por subescalas, para que puedan conocer en qu contenidos y capacidades tienen ms dicultades los estudiantes; del mismo modo se podran elaborar materiales que les permitan visualizar y comprender los procesos involucrados en actividades con diferente tipo de demanda cognitiva. De otro lado, tambin podra considerarse la posibilidad de modelar las prcticas evaluativas de los docentes para aproximarlos por ejemplo, en el caso de la comprensin lectora a indagar por procesos lectores mediante preguntas cuyas formulaciones no son nicas, sino que varan de acuerdo con las caractersticas de contenido y forma de los textos, o segn los planteamientos para la calicacin de preguntas de respuesta abierta (UMC 2002). Finalmente, todo esto tambin ser de ayuda para los programas de capacitacin docente, los cuales debern ayudar al docente a ampliar sus concepciones acerca de la lectura y los criterios que utiliza en la seleccin de textos y preguntas adecuados para desarrollar la comprensin lectora de los estudiantes.
Los programas de capacitacin debern ayudar al docente a ampliar sus concepciones acerca de la lectura y sus criterios para la seleccin de textos y preguntas adecuados para desarrollar la comprensin lectora de los estudiantes.

Identicacin y comprensin de los factores asociados

El enfoque comprensivo de la evaluacin PISA permite dar cuenta no solo del rendimiento de los estudiantes en las reas estudiadas, sino que tambin atiende a las condiciones y factores del entorno familiar y escolar que inuyen en dicho rendimiento, pues lo que los estudiantes reciben en su hogar y en la escuela puede estimular o limitar el desarrollo de sus habilidades. Los resultados de este tipo de anlisis pueden dar lugar a amplios debates en torno a polticas no solo educativas, sino tambin intersectoriales. De hecho una informacin importante que proveen los resultados de PISA est referida a evaluar en qu medida los sistemas educativos estn garantizando una distribucin equitativa de las oportunidades de aprendizaje. En relacin con este tema conviene recordar lo sealado por la UMC (2002) a propsito de la participacin del Per por primera vez en la

De hecho una informacin importante que proveen los resultados de PISA est referida a evaluar en qu medida los sistemas educativos estn garantizando una distribucin equitativa de las oportunidades de aprendizaje.

Importancia de PISA 2009

15

01_28 PISA.indd 15

10/23/09 6:38:50 PM

evaluacin PISA. En dicho artculo se identican tres aportes relacionados con el anlisis y explicacin de los factores que se asocian con el logro de los estudiantes. El primer aporte est referido al anlisis comparativo de los resultados del rendimiento entre pases. Como sealan Ferrer y Arregui (2003: 24), este anlisis debe conducir a preguntas clave sobre la forma en que otros pases logran mejores rendimientos estudiantiles y sobre las condiciones bajo las cuales esos logros son posibles. Vale recordar que una de las ventajas de las pruebas internacionales es que pueden revelar informacin sobre los efectos diferenciales de algunas variables sobre el logro de aprendizajes que no es posible detectar en un estudio intranacional. En efecto, la fuerza y la conguracin de los factores que se asocian al logro de los estudiantes no se comporta de la misma forma en los distintos pases. El anlisis de los factores asociados propiamente dichos puede considerarse como un segundo aporte en tanto permite identicar las variables especcas que estn asociadas a los logros educativos y a los contextos en los que dichas variables tienen los efectos ms signicativos sobre el rendimiento en cada pas. As, por ejemplo, los resultados de este estudio pueden dar cuenta de que en algunos pases la contribucin de los recursos socioeconmicos en la educacin de los hijos no es tan importante como en otros. El tercer aporte se reere a la informacin complementaria que pueden brindar los estudios internacionales en relacin con las evaluaciones nacionales en tanto permitan reforzar o discutir los hallazgos que se encuentren en el contexto local. Al respecto, nos interesa citar algunos ejemplos que muestran la informacin que una evaluacin como PISA puede brindar para ir acumulando un mayor conocimiento sobre la realidad educativa. En el estudio realizado por la UMC (2004a) sobre los factores asociados al rendimiento de los estudiantes peruanos evaluados en PISA en comprensin lectora, se encontr que el 58% de la variabilidad del desempeo de los estudiantes puede atribuirse a diferencias entre escuelas, mientras el 42% restante a diferencias entre las caractersticas de los estudiantes al interior de la escuela. Es decir, el desempeo en lectura de los estudiantes peruanos en PISA 2000+ estara ms relacionado con aquellos aspectos propios de las escuelas a las que asisten que a factores individuales o familiares de dichos estudiantes. Este hallazgo no deja de llamar la atencin, pues en el estudio de

La informacin complementaria que pueden brindar los estudios internacionales en relacin con las evaluaciones nacionales permitir reforzar o discutir los hallazgos que se encuentren en el contexto local.

16

Serie: La educacin del futuro

01_28 PISA.indd 16

10/23/09 6:38:51 PM

factores asociados de la Evaluacin Nacional 2004, se encontr que ms bien la mayor proporcin de las diferencias en el rendimiento de los estudiantes de quinto de secundaria en lectura se podra atribuir a factores individuales (69%)23. Esta evidencia, aunada a otras, incluso llevaba a sealar que mientras se avanza en el ciclo escolar las diferencias atribuibles a los factores escolares tienden a disminuir en tanto que las diferencias atribuibles a las caractersticas individuales de los estudiantes se vuelven ms importantes (Miranda 2008: 18). En todo caso, los resultados de PISA 2009 permitirn contar con mayores elementos de juicio a este respecto. En los anlisis multivariados de los factores asociados al desempeo de los estudiantes en lectura, matemtica y ciencias realizados por la UMC (2004a, 2004b), se ha encontrado de manera consistente que el grado al que asiste el estudiante es el principal factor individual que explica su logro acadmico en PISA. De esta manera, los estudiantes en extraedad son quienes obtienen un desempeo ms bajo en estas reas evaluadas. Esta realidad evidencia la necesidad de establecer una poltica que busque disminuir la extraedad y, con ello, incrementar la probabilidad de que los estudiantes culminen sus estudios a tiempo.

Mientras se avanza en el ciclo escolar las diferencias atribuibles a los factores escolares tienden a disminuir en tanto que las diferencias atribuibles a las caractersticas individuales de los estudiantes se vuelven ms importantes.

Esta realidad evidencia la necesidad de establecer una poltica que busque disminuir la extraedad y, con ello, incrementar la probabilidad de que los

Mejoramiento de herramientas de evaluacin

Dado que en los ltimos aos se utilizan cada vez ms los resultados que provienen de pruebas estandarizadas como indicadores de calidad educativa, a pesar de los riesgos que ello involucra, resulta fundamental no soslayar la importancia de mejorar continuamente la calidad tcnica de los instrumentos y de las metodologas usadas, de manera que la informacin que se reporte sea lo ms conable posible. De hecho este fue uno de los objetivos cuando nuestro pas decidi participar en la evaluacin PISA 2000+. En ese entonces se seal

estudiantes culminen sus estudios a tiempo.

Es importante tener en cuenta, sin embargo, que mientras las evaluaciones nacionales estn centradas en la evaluacin de un grado en particular, PISA evala a una poblacin etaria. Esta consideracin debe estar teniendo algn efecto en las estimaciones de las diferencias en el rendimiento atribuibles a factores escolares e individuales. No obstante, los resultados de matemtica en PISA s coinciden con los hallados en los estudios nacionales. Al respecto ver: UMC 2004b.

23

Importancia de PISA 2009

17

01_28 PISA.indd 17

10/23/09 6:38:51 PM

Participar nuevamente en PISA puede permitir seguir optimizando nuestro sistema de evaluacin en tanto dicho programa tiene una orientacin clara al mejoramiento continuo.

que el Per podra aprender en muchos aspectos involucrados en el quehacer evaluativo a gran escala; solo por citar algunos ejemplos: la concepcin de evaluacin de la comprensin de textos, la inclusin de diversos tipos de tems, los planteamientos tcnicos para la calicacin de las respuestas de los estudiantes a preguntas abiertas, as como la utilizacin de mtodos analticos rigurosos para la interpretacin de la informacin. Sin olvidar que la comparacin de los instrumentos que se utilizan para recoger informacin de factores asociados puede permitirle al pas incorporar inquietudes o propuestas que se van desarrollando en la investigacin comparativa internacional (UMC 2002: 24). Por esta razn, tambin consideramos que participar nuevamente en PISA puede permitir seguir optimizando nuestro sistema de evaluacin en tanto dicho programa tiene una orientacin clara al mejoramiento continuo, sin perder de vista su compromiso de garantizar la comparabilidad de los resultados a lo largo del tiempo. Finalmente, esperamos que las ideas sealadas en el presente documento sirvan para contribuir a una mejor comprensin de los benecios que una evaluacin como PISA puede aportar al pas. Sin embargo, esta participacin solo tendr sentido si la informacin que brinda es analizada en su conjunto y es valorada en concordancia con los propsitos que busca dicha evaluacin, y, sobre todo, si es utilizada de manera efectiva en los distintos niveles de decisin para mejorar la calidad de los aprendizajes.

Bibliografa
BARBER, Michael y Mona MOURSHED 2008 Cmo hicieron los sistemas educativos con mejor desempeo del mundo para alcanzar sus objetivos. Documentos PREAL. Santiago de Chile, nmero 41. FERRER, Guillermo y Patricia ARREGUI 2003 Las pruebas internacionales de aprendizaje en Amrica Latina y su impacto en la calidad de la educacin: criterios para guiar futuras aplicaciones. Documentos PREAL. Santiago de Chile, nmero 26.

FORSTER, Margaret, G. MASTERS y K. ROWE 2002 Measuring Learning Outcomes: Options and Challenges in Evaluation and Performance Monitoring. Material de enseanza preparado para el Curso Opciones Estratgicas para la Reforma Educativa del Instituto del Banco Mundial. Consejo Australiano para la Investigacin Educativa. Consulta: 2 de mayo del 2009.

18

Serie: La educacin del futuro

01_28 PISA.indd 18

10/23/09 6:38:52 PM

http://www.see.gob.do/sitesee/planicacion/documentos/Pagina%20OPE/Actividades/Curso%20sobre%20Opciones%20Estrategicas%20para%20la%20Reform a%20Educativa/presentations/Day3WednesdayApril25/ModuloIVunidadC.pdf> KOVACS, Karen 2005 Fortalezas y debilidades desde los datos duros. Revista Mexicana de Investigacin Educativa. Mxico DF, volumen 10, nmero 24, pp. 267-275.

MIRANDA, Liliana 2008 Factores asociados al rendimiento escolar y sus implicancias para la poltica educativa del Per. En: BENAVIDES, Martn (editor). Anlisis de programas, procesos y resultados educativos en el Per: contribuciones empricas para el debate. Lima, GRADE.

ORGANIZACIN PARA LA COOPERACIN Y EL DESARROLLO ECONMICO (OCDE) 2003 2005 2006 Literacy Skills for the World of Tomorrow: Further Results from PISA 2000. Pars, OECD. Informe PISA 2003. Aprender para el mundo del maana. Madrid, OECD - Santillana. Assessing Scientic, Reading and Mathematical Literacy: A Framework for PISA 2006. Pars, OECD.

2008a Reading Framework for PISA 2009 (Draft). 2008b PISA - The OECD Programme for International Student Assessment. RAVELA, Pedro 2006 Fichas didcticas para comprender las evaluaciones educativas. Santiago de Chile, PREAL.

RAVELA, Pedro y otros 2008 Las evaluaciones educativas que America Latina necesita. Documentos PREAL. Santiago de Chile, nmero 40.

REIMERS, Fernando y Noel McGINN 1997 Informed Dialogue: Using Research to Shape Education Policy Around the World. Nueva York, Praeger.

UNIDAD DE MEDICIN DE LA CALIDAD EDUCATIVA (UMC) 2002 El Programa Internacional para la Evaluacin de Estudiantes de la OCDE (PISA) y la participacin del Per. Boletn UMC. Lima, nmero 21.

2004a Una aproximacin a la alfabetizacin lectora de los estudiantes peruanos de 15 aos. Resultados del Per en la evaluacin internacional PISA. Documento de trabajo No 6. Lima, UMC del Ministerio de Educacin del Per. 2004b Una aproximacin a la alfabetizacin matemtica y cientca de los estudiantes peruanos de 15 aos. Resultados del Per en la evaluacin internacional PISA. Documento de trabajo No 10. Lima, UMC del Ministerio de Educacin del Per. 2004c La evaluacin de la alfabetizacin lectora de PISA y el rendimiento de los estudiantes peruanos. Documento de trabajo No 11. Lima, UMC del Ministerio de Educacin del Per.

Importancia de PISA 2009

19

01_28 PISA.indd 19

10/23/09 6:38:52 PM

Lo que el Per puede aprender de los resultados comparados de las pruebas PISA
El texto que les presentamos a continuacin es una transcripcin editada de las conferencias que Andreas Schleicher diera el 20 de mayo del 2009 en Lima.

1. EL NUEVO GLOBAL TALENT POOL EDUCACIONAL

El mercado reclama nuevas competencias. No se trata de proveer al mercado de las calicaciones acadmicas y profesionales tradicionales.

Quiero comenzar mi presentacin no mirando a PISA, sino viendo en qu est el mundo: cmo el global talent pool1 est cambiando y cmo ha mejorado la educacin debido a estndares nacionales. En el talent pool de los aos sesenta, Estados Unidos ocupaba el primer lugar con calicaciones muy altas. En los aos setenta, las cosas empezaron a cambiar y algunos pases, como Corea, empezaron a progresar rpidamente durante las dcadas siguientes. Se trata de un proceso continuo, aunque desigual en los ltimos treinta aos. Algunos pases han mejorado tanto que el global talent pool ha cambiado. Si Estados Unidos era el nmero 1, ahora es apenas el nmero 13, no porque sus estndares hayan bajado, sino porque los estndares en otros pases han subido mucho ms.

El mercado reclama nuevas competencias

No se trata de proveer al mercado de las calicaciones acadmicas y profesionales tradicionales. En la medida en que el reto para el sistema educativo es la calidad, la naturaleza de las habilidades de las personas es importante para el desarrollo personal y la insercin en el mundo del trabajo.
1

Grupos de talentos globales de los egresados.

20

Serie: La educacin del futuro

01_28 PISA.indd 20

10/23/09 6:38:53 PM

El grco 1 permite ver lo que est pasando con las competencias. Las rutinarias manuales son menos demandadas debido a la industrializacin, la digitalizacin y el outsourcing. Las competencias no rutinarias manuales tienen una demanda estable y no son fciles de automatizar ni tercerizar. Las competencias rutinarias cognitivas son las que tienen que ver con la reproduccin del contenido de un curso. En el grco se puede apreciar que son las competencias que han mostrado una cada ms grande en el mercado. Las competencias no rutinarias analticas estn en crecimiento. Se trata de la capacidad para trabajar con la mente, de manera menos predecible y extrapolando los conocimientos y aplicndolos a nuevas situaciones. Hay un nuevo tipo de competencias que PISA todava no puede medir. Las no rutinarias interactivas, que no son transculturales y que tienen una importancia creciente. Se reeren a la forma como se interacta con las personas en el trabajo y la vida diaria.
Las competencias no rutinarias analticas estn en crecimiento. Se trata de la capacidad para trabajar con la mente, de manera menos predecible y extrapolando los conocimientos y aplicndolos a nuevas situaciones.

Grco 1: Cmo est cambiando la demanda de competencias

PISA: Lo que el Per puede aprender

21

01_28 PISA.indd 21

10/29/09 11:00:04 AM

2. EL DISEO DE PISA: EVALUAR COMPETENCIAS PARA EL DESEMPEO EN LA VIDA

PISA nos informa de los resultados que obtienen los sistemas educativos al adecuar los aprendizajes a las necesidades del mundo globalizado y mejorar la calidad educativa. Tambin nos facilita el anlisis comparativo de los datos que nos permitirn obtener conclusiones y tomar decisiones para mejorar nuestro sistema educativo. En este marco es importante preguntarnos si el enfoque de PISA abarca la totalidad de la intencin educativa, si tiene en cuenta el aprender a ser y a convivir y no solo el saber y el hacer.
Cuando diseamos PISA, sentimos que si nos centrbamos en lo que se supone que los estudiantes han aprendido, estaramos mirando al pasado. Entonces pensamos en lo que se necesitara saber para el futuro, y descubrimos que era evaluar la capacidad de los estudiantes para extrapolar lo que han aprendido y aplicar sus conocimientos y habilidades en nuevos contextos. Es una evaluacin que se realiza cada tres aos para examinar el rendimiento de los estudiantes a los 15 aos de edad. Las reas clave de la evaluacin son la comprensin lectora, la matemtica, las ciencias y las competencias transcurriculares. Tambin se recoge informacin sobre otros resultados educativos, tales como las actitudes y estrategias de aprendizaje de los estudiantes; datos contextuales vinculados a la realidad socioeconmica, a las escuelas, a los padres, y a los sistemas educativos. Grco 2: Decidir qu evaluar

Pensamos en lo que se necesitara saber para el futuro, y descubrimos que era evaluar la capacidad de los estudiantes para extrapolar lo que han aprendido y aplicar sus conocimientos y habilidades en nuevos contextos.

Las reas clave de la evaluacin son la comprensin lectora, la matemtica, las ciencias y las competencias transcurriculares.

22

Serie: La educacin del futuro

01_28 PISA.indd 22

10/23/09 6:38:54 PM

PISA no evala lo que los alumnos aprenden en la escuela. Por qu no evala el currculo?
Muchas personas dicen que PISA examina a los estudiantes en cosas que no han hecho antes o que no han estudiado en el colegio, y que eso es injusto. Se olvidan que el da en que los estudiantes salgan del colegio tendrn problemas que nunca han visto antes y debern enfrentarse a cosas nuevas.

El concepto de competencia en PISA

El estudiante puede saber muchas cosas, pero si no puede movilizar el conocimiento en un contexto especco, si no puede combinar el conocimiento con el compromiso y con un buen juicio, entonces el conocimiento est muerto. Las competencias y el conocimiento no estn en un mundo exacto, se aplican en contextos personales, pblicos o sociales. Las competencias que evala PISA no se relacionan mucho con las competencias de los currculos nacionales, no es su intencin. PISA no est diseada para suplir una evaluacin nacional.

El estudiante puede saber muchas cosas, pero si no puede movilizar el conocimiento en un contexto especco, entonces el conocimiento est muerto.

Analizando y comparando resultados

Lo que se puede ver al analizar los resultados de la prueba2 es que los pases varan mucho en las diferentes capacidades. Lo interesante es que no es determinante el criterio geopoltico. Entre los que tienen resultados ms altos estn Nueva Zelanda, Finlandia y el Reino Unido, tambin Australia, Japn, Canad y Corea del Sur. Las comparaciones internacionales les dan a los pases una idea de las fortalezas y debilidades relativas de lo que se est haciendo en cada uno de ellos. Despus de la comparacin, cambiar la mirada que dar a su propio currculo, a lo que estn aprendiendo sus estudiantes y lo que hay en el entorno o en el contexto cultural.

Las comparaciones internacionales les dan a los pases una idea de las fortalezas y debilidades relativas de lo que se est haciendo en cada uno de ellos.

La referencia es a la prueba del 2006.

PISA: Lo que el Per puede aprender

23

01_28 PISA.indd 23

10/23/09 6:38:55 PM

3. LA INVERSIN EN EDUCACIN Y OTRAS VARIABLES SOCIOECONMICAS

Los anlisis de los resultados PISA proporcionan una serie de datos que, al ser analizados, nos suministran informacin importante para la elaboracin de polticas educativas que lleven a la mejora de la calidad con equidad.

La inversin en educacin
Los conocimientos adquiridos a travs de las evaluaciones PISA nos permiten decir que el dinero es importante, pero constituye solo el 28% de las diferencias en desempeo.

Lo primero que la gente tiene en la mente cuando piensa en mejorar la educacin, o en las frmulas de los pases exitosos, es dinero y recursos. Los conocimientos adquiridos a travs de las evaluaciones PISA nos permiten decir que el dinero es importante, pero constituye solo el 28% de las diferencias en desempeo. Hay muchos pases pobres a los que les va bien y muchos pases ricos que les va mal. En el grco siguiente se observan los recursos invertidos y los resultados obtenidos. Aunque son solo datos de los pases de la OCDE, podemos extrapolar esta informacin al resto de los pases. Grco 3: Recursos invertidos y resultados en evaluacin

Corea no solo les paga bien a sus profesores, sino que tiene ms tiempo de enseanza. Tambin les da ms tiempo para interactuar entre ellos e invierte en su desarrollo profesional.

Algunos pases no estn gastando mucho en educacin, pero tienen excelentes resultados: Finlandia y Corea del Sur, por ejemplo. Pueden ver que otros pases como Noruega y Estados Unidos tienen fuertes inversiones y no logran resultados tan buenos. Los pases toman diferentes opciones. En Corea se gastan muchos recursos en pagar bien a los maestros, pues quieren tener a los mejores maestros. Otro factor importante es el tiempo de instruccin, si tienes ms das de escuela, o das de escuela ms largos, vas a gastar ms. Corea no

24

Serie: La educacin del futuro

01_28 PISA.indd 24

10/23/09 6:38:55 PM

solo les paga bien a sus profesores, sino que tiene ms tiempo de enseanza. Tambin les da ms tiempo para interactuar entre ellos e invierte en su desarrollo profesional.

Diferencias socioeconmicas y estraticacin

En muchos pases existe un fuerte impacto de las condiciones socioeconmicas en el rendimiento del alumno, pero en otros pases esta variable no es tan importante. Los resultados de PISA nos muestran que muchos pases tienen xito en amortiguar esas condiciones sociales, logrando minimizar su impacto. En el mundo hay muchas discusiones sobre el tema de las diferencias socioeconmicas y su relacin con la calidad y equidad de la educacin. En PISA hemos podido apreciar que hay algunos pases que logran resultados alentadores y reducen la inequidad al mismo tiempo.

4. LA IMPORTANCIA DEL ALTO NIVEL DE LOGROS Y DEL ACOMPAAMIENTO PERSONALIZADO A LOS ESTUDIANTES
El alto nivel de logros y el acompaamiento personalizado, factores fundamentales para la mejora de la calidad educativa, no se conseguirn si es que el sistema no garantiza la autonoma de las instituciones educativas y la idoneidad de los docentes.
Los sistemas con mejor desempeo son los que tienen altas expectativas de logros y un fuerte acompaamiento a los estudiantes. Cuando hablamos de expectativas altas, nos referimos a las metas y a los estndares, no a las notas. Hay pases a los que les va bien en trminos de notas, pero no en logros de aprendizaje. Que las escuelas y los docentes tengan alto nivel de responsabilidad por el desempeo de sus estudiantes da muy buenos resultados.

Los sistemas con mejor desempeo son los que tienen altas expectativas de logros y un fuerte acompaamiento a los estudiantes.

La calidad de los docentes

La calidad de un sistema educativo no puede exceder la calidad de sus maestros. Una de las caractersticas ms importantes de los sistemas educativos ms exitosos es la calidad de sus maestros.

PISA: Lo que el Per puede aprender

25

01_28 PISA.indd 25

10/23/09 6:38:56 PM

Grco 4: Retos y apoyos

La calidad de un sistema educativo no puede exceder la calidad de sus maestros. Una de las caractersticas ms importantes de los sistemas educativos ms exitosos es la calidad de sus maestros.

Es necesario buscar a los maestros entre las mejores personas del pas. En Finlandia, por ejemplo, todos quieren ser docentes, y no por un tema de sueldos, si no porque es una profesin atractiva, con futuro y prestigio social. Los sistemas educativos tienen que volver a pensar el equilibrio entre la formacin inicial y la formacin en servicio. Si no se cambia la forma en que los profesores actualmente ensean y aprenden, va a ser muy difcil cambiar los resultados. Se requieren sistemas de incentivos y, seguramente, tambin de sanciones para mejorar su desempeo.

5. LAS PRUEBAS PISA EN EL PER

Este ao el Per vuelve a las pruebas PISA, participaremos despus de haber estado ausentes en los aos 2003 y 2006. Qu haremos con los resultados? Nos servirn para tomar decisiones?
Es muy fcil hacer un test como PISA. El punto es cmo usar la informacin para mejorar la educacin. Cuando tengan en sus manos los resultados de la aplicacin de PISA, recordemos que la mejora de la calidad depende fundamentalmente de dos factores: el primero es el tipo de sistema, y el otro son los factores que operan en el aula. Los otros factores son la infraestructura, el nanciamiento de la educacin, actores claves en la educacin, el capital humano dado por el nivel de calidad de los profesores, el contexto de cmo dividir las

Es muy fcil hacer un test como PISA. El punto es cmo usar la informacin para mejorar la educacin.

26

Serie: La educacin del futuro

01_28 PISA.indd 26

10/23/09 6:38:56 PM

responsabilidades, el currculo y la evaluacin. Todos estos factores tambin inuyen en los resultados. En temas como descentralizacin quisiera tener un poco de precaucin. Tenemos ejemplos donde la descentralizacin de la educacin ha signicado realmente descentralizacin de la burocracia. Incluso hay muchos sistemas educativos que les va bien ahora que han centralizado algunos aspectos, tales como estndares y currculo. PISA nos da informacin sobre lo que hacen los dems pases, pero no nos invita a copiar y pegar los sistemas educativos de otros pases. Lo que es recomendable hacer es ver, comparativamente, cules son las polticas que estn detrs del xito y cmo se puede congurar este tipo de polticas que les permitieron mejorar o crear un nuevo sistema educativo. Las principales referencias comparativas deben ser los pases cercanos cultural, geogrca y socioeconmicamente. Grco 5: Posicionando al Per
PISA nos da informacin sobre lo que hacen los dems pases, pero no nos invita a copiar y pegar los sistemas educativos de otros pases.

PISA: Lo que el Per puede aprender

27

01_28 PISA.indd 27

10/23/09 6:38:57 PM

 2009, Santillana S.A. Santillana S.A. Av. Primavera 2160, Santiago de Surco, Lima 33 - Per Telfono: 313-4000 / Fax: 313-4001 Coeditor: Consejo Nacional de Educacin Primera edicin: octubre del 2009 Tiraje: 3000 ejemplares Impreso en el Per - Printed in Peru Corporacin Grfica GRAMBS Av. Jos Glvez No 1216 Santa Beatriz, Lima 1 - Per

ISBN 978-9972-37-446-3 Registro de Proyecto Editorial No 2150140009000818 Hecho el Depsito Legal en la Biblioteca Nacional del Per No 2009-13505 DISTRIBUCIN GRATUITA
Todos los derechos reservados. Esta publicacin no puede ser reproducida, ni en todo ni en parte, ni registrada o transmitida por un sistema de recuperacin de informacin, en ninguna forma y por ningn medio, sea mecnico, fotoqumico, electrnico, magntico, electroptico, por fotocopia, o cualquier otro, sin el permiso previo de la Editorial.

01_28 PISA.indd 28

10/23/09 6:38:58 PM