Professional Documents
Culture Documents
Rendimiento Acadmico
Lima, 6
Unidad de Medicin de
la Calidad Educativa
SECRETARA DE PLANIFICACIN
ESTRATGICA
Una definicin
La evaluacin educativa, puede ser entendida como
un proceso mediante el cual se recoge, organiza,
analiza y sistematiza informacin de un sistema
educativo, segn objetivos previamente determinados,
de modo que permita tomar decisiones fundamentadas
sobre el proceso educativo.
Funciones de la Evaluacin
Toma de decisiones: sobre la intervencin
pedaggica
Retroinformacin: sobre logros
Refuerzo: reconocer esfuerzo y rendimiento
Autoconsciencia: procesos
puntos fuertes y dbiles
de
aprendizaje,
Evaluaciones de Sistema
Existe consenso en que el logro de aprendizajes
de los estudiantes es uno de los principales
indicadores de la calidad del sistema
educativo.
Busca generar informacin sobre dichos logros
y sobre un conjunto de factores escolares y
extraescolares que inciden en los rendimientos
de los estudiantes para poder explicarlos desde
una perspectiva de equidad.
Evaluaciones de Sistema
Cobran
una
gran
importancia
en
latinoamericana y se desarrollan junto con el
diseo e implementacin de las reformas
educativas de los aos 80 y 90.
Responden a la necesidad de contar con
informacin sobre el sistema educativo y sus
componentes, con la finalidad de colocar la
calidad de la educacin como tema central y
prioritario de la agenda pblica.
ELABORACIN
DE
INSTRUMENTOS
APLICACIONES
PILOTO
APLICACIN
DEFINITIVA
DEFINICIN DE
NIVELES DE
DESEMPEO
ANALISIS DE
CODIFICACIN DE
RESPUESTAS
ARMADO DE
BASES DE DATOS
ANLISIS
PSICOMTRICO
ANLISIS
PEDAGGICO
RESULTADOS
ELABORACIN DE
REPORTES
DIFUSIN
Qu es un marco de evaluacin?
Integra los conceptos sobre los cuales se
fundamentar una evaluacin, plasmndolos
en un documento.
El marco de evaluacin
Contextuales
ASPECTOS
Disciplinares
Metodolgicos
Aspectos contextuales:
1. Propsito de la evaluacin
2. Objeto de evaluacin
3. Caractersticas de la poblacin a evaluar
4. Usuarios de la evaluacin
Aspectos Disciplinares
1. Enfoque del rea
2. Dimensiones a ser evaluadas
3. Estructura de las pruebas
Aspectos Metodolgicos:
1. Nmero de tems de la prueba
2. Formatos de tems a emplear
3. Distribucin de los tems en la prueba
4. Duracin de la prueba
Comprensin de Textos
Proceso en el que el lector utiliza sus
conocimientos previos (conocimiento
del mundo y del lenguaje,y pautas
culturales) para interactuar con el
texto y reconstruir su sentido.
Modelo de evaluacin
CAPACIDAD
PREGUNTA
USOS DE LA
LECTURA
TIPOS DE
TEXTOS
Consideraciones generales
Es posible plantear una serie de capacidades
generales, necesarias en todas las reas del saber, y
tambin una serie de capacidades especficas,
propias de cada disciplina y de cada contexto.
Las capacidades especficas pueden caracterizarse a
travs de una serie de destrezas o habilidades que, a
su vez, suponen poner en juego una serie de
recursos.
Seleccin de Capacidades
Es necesario determinar qu capacidades generales y
especficas se evaluarn, qu habilidades y qu recursos
exigen poner en juego y en qu medida.
Comprensin de Textos
Capacidades: Se refieren a las habilidades que el
lector pondr en juego al realizar las reas que se le
proponen y que pretenden simular los tipos de tareas que
los estudiantes enfrentan en situaciones autnticas.
Capacidad 1
Obtencin de informacin
Capacidad 2
Elaboracin de inferencias
Capacidad 3
Seleccin de Desempeos
Un desempeo es la actuacin del
estudiante ante una tarea determinada y
que permite indagar por lo que sabe y puede
hacer.
Comprensin de Textos
Capacidad
1. Obtiene informacin explcita del texto.
Desempeo
1. Identifica ideas especficas expresadas en
una, dos o ms proposiciones.
2. Identifica secuencias.
Comprensin de Textos
Capacidad
2. Hace inferencias
Desempeos
1. Reconoce relaciones semnticas expresadas entre dos
o ms proposiciones sucesivas o distantes.
2. Identifica referentes de distinto tipo.
3. Reconoce el significado de palabras o expresiones a
partir de lo ledo.
4. Reconoce el tema central y las ideas principales del
texto.
5. Deduce el propsito del texto.
6. Deduce el receptor implcito al que se dirige el texto.
Comprensin de Textos
Capacidad
3. Reflexiona y evala.
Desempeos
1. Evala el contenido del texto.
2. Identifica y evala recursos formales del texto.
Tipos de Textos
Un texto es el entramado de ideas relacionadas
que forman una unidad global de significado y de
sentido. Puede estar organizada en uno o ms
prrafos (cuentos, noticias, ensayos, etc.) as
como estar organizada con una estructura grfica
notoriamente distinta de la prosa estndar
(cuadros,
avisos,
afiches
publicitarios,
infografas, etc.).
Tipos de Textos
Texto narrativo: es aquel que representa una
secuencia de hechos en una historia temporalmente
ordenada (linealmente, de fin a principio, etc.). En
este tipo de texto se relatan hechos vividos por
personajes reales o imaginarios en un periodo de
tiempo.
Texto descriptivo: es aquel que ofrece informacin
concreta acerca de cmo es o ha sido una persona,
animal, experiencia, objeto. Este tipo de texto
presenta caractersticas y circunstancias ordenadas
en el espacio.
Tipos de Textos
Texto expositivo: o tambin llamado explicativo, es
aquel que explica cualquier tema o materia e informa
acerca de algo.
Texto argumentativo: es aquel que apoya o discrepa
de una afirmacin cuya validez es cuestionable o
discutible. Todo texto argumentativo tiene como
meta persuadir o convencer a la audiencia a la que se
dirige acerca del valor de la tesis para la cual busca
aprobacin.
Usos de la Lectura
Lectura para uso recreativo: generalmente es un tipo de
lectura privada que busca recrear mundos ficcionales. Los
textos narrativos se encuentran en este tipo de lectura.
Lectura para uso pblico: se usa esta lectura para conocer
las actividades polticas, sociales, culturales, econmicas
de la sociedad. Incluye el uso de documentos oficiales y de
informacin acerca de acontecimientos pblicos como las
noticias, comunicados oficiales, certificados, etc.
Lectura para uso educacional: se utiliza esta lectura con
un propsito instructivo relacionado con la adquisicin de
informacin como parte de una tarea de aprendizaje ms
amplia.
Formacin Matemtica
Dominio
de
matemticos
habilidades
tiles
eficazmente
ante
para
situaciones
conocimientos
desempearse
problemticas
en
prctica
conocimientos.
de
dichas
habilidades
Modelo de evaluacin
CONTENIDO
CAPACIDAD
PREGUNTA
CONTEXTO
Formacin Matemtica
Capacidades: Se refieren a las habilidades
matemticas complejas que el estudiante pondr en
juego al realizar las reas que se le proponen y que
pretenden simular los tipos de tareas que los estudiantes
enfrentan en situaciones autnticas.
Capacidad 1
Resolucin de problemas
Capacidad 2
Comunicacin matemtica
Capacidad 3
Aplicacin de algoritmos
Formacin Matemtica
Capacidad
1. Resolucin de problemas
Desempeos
1.
2.
3.
Formacin Matemtica
Capacidad
1. Resolucin de problemas
Desempeos
4. Resuelve situaciones problemticas referidas a la nocin de
medida, al uso y a la conversin de unidades de las magnitudes
fundamentales (masa, longitud y tiempo), en el conjunto de los
nmeros naturales menores que diez mil, decimales hasta las
centsimas y fracciones ms usuales.
5. Resuelve situaciones problemticas referidas a nociones de
ngulos y al clculo de permetro y rea de polgonos de hasta seis
lados, figuras circulares, slidos geomtricos (cilindro, cubo,
esfera, cono) y a posiciones relativas de dos rectas.
6. Resuelve situaciones problemticas referidas a la elaboracin e
interpretacin de diversos diagramas estadsticos y a la media
aritmtica de un conjunto de datos.
Formacin Matemtica
Capacidad
2. Comunicacin Matemtica
Desempeos
1.
2.
3.
4.
5.
Formacin Matemtica
Capacidad
3. Aplicacin de Algoritmos
Desempeos
1. Calcula el resultado de operaciones bsicas en el
conjunto de los nmeros racionales positivos.
2. Calcula el resultado de operaciones combinadas en el
conjunto de los nmeros racionales positivos.
3. Calcula el resultado de operaciones bsicas de
cantidades referidas a alguna de las magnitudes
fundamentales, expresadas en distintas unidades.
Contenidos
Nmero y Cantidad: se refiere a los diferentes
conjuntos numricos en todas sus representaciones
(enteros, fracciones, decimales); sus propiedades
(tales como la divisibilidad); las operaciones
aritmticas, la proporcionalidad y sus aplicaciones
(regla de tres, porcentaje).
Contenidos
Algebra y funciones: El lgebra implica descubrir leyes
o patrones que rigen la relacin entre diversas
variables,
independientemente
de
los
valores
involucrados.
Permite
transformar
expresiones
matemticas complejas en otras equivalentes y ms
sencillas. La nocin de funcin constituye una idea
unificadora de gran importancia en la matemtica. Las
funciones son correspondencias especiales entre los
elementos de dos conjuntos.
Contenidos
Espacio y forma: El manejo del espacio y de la
forma provee a las personas de herramientas, tanto
para realizar, representar, organizar y estructurar
sus actividades y movimientos, como para organizar
su pensamiento y su razonamiento. El logro de esta
estructuracin ser posible si el sujeto es capaz de
comprender
las
propiedades,
posiciones,
representaciones y transformaciones de los objetos
y las relaciones entre los mismos, lo cual implica
comprender las relaciones entre las formas y
representaciones visuales.
Contenidos
Estadstica y probabilidad: La estadstica permite
organizar, representar y realizar el anlisis e
interpretacin de datos para elaborar conclusiones
y tomar decisiones sobre una base ms cientfica.
Tambin
posibilita la prediccin de los
comportamientos de determinados fenmenos.
Contextos
Intramatemtico:
trata
de
las
tareas
especficamente del universo matemtico, utiliza
sus propios smbolos y presentan objetos
matemticos sin referirlos o inscribirlos en el
mundo real.
Extramatemtico:
Extramatemtico ubica los objetos matemticos
en relacin con los objetos de la vida del individuo.
Los
contextos
extramatemticos
pueden
clasificarse de acuerdo al nivel de uso o de
familiaridad que tengan para el individuo.
Tabla de especificaciones
Es un instrumento para la elaboracin de las
pruebas.
Consigna
en
forma
esquemtica
los
conocimientos,
contenidos,
objetivos,
competencias, que sern objeto de evaluacin
Indica cuantos temes o tareas de la prueba
corresponden a cada contenido, objetivo,
aspecto, capacidad, etc.
Tabla de especificaciones
Permite apreciar qu es lo que se pretenda
evaluar con cada tem de la prueba.
Permite garantizar que se encuentren todos
los aspectos relevantes de la competencia.
Permite apreciar el peso en cantidad de
temes que tiene cada aspecto o capacidad.
Tabla de especificaciones
Capacidad
Contenido
Nmero y
cantidad
Espacio y
Forma
Algebra y
funciones
Estadstica y
probabilidad
TOTAL
Resolucin de
Problemas
Comunicacin
Matemtica
Aplicacin de
Algoritmos
TOTAL
Tabla de especificaciones
Capacidad
Texto
Narrativo
Descriptivo
Expositivo
Argumentativo
TOTAL
Obtiene
Informacin
Hace inferencias
Reflexiona y
evala
TOTAL
Nmero de tems
El nmero de itemes con el que se propone evaluar
cada una de las reas es bastante elevado
Necesidad de distribuir las preguntas en varios
cuadernillos o formas
Los estudiantes se enfrentan a un nmero
razonable de temes que sirven para medir su
desempeo de manera adecuada.
Diseo de bloques
incompletas:
rotados
de
matrices
Formato de tems
Respuesta cerrada
Respuesta abierta
Seleccin de respuesta
Produccin de Respuesta
Emparejamiento
Respuesta corta
Opcin Mltiple
Respuesta extendida
Verdadero / Falso
(matemtica)
Tabla de representacin
(matemtica)
Aplicacin Piloto
Caractersticas
Tiene como objetivo fundamental estudiar el
funcionamiento de los tems.
Las muestras son intencionales: se busca tener
un buen nmero de personas que se enfrenten
a cada tem (200 mnimo), considerando
factores como la accesibilidad y variabilidad en
rendimientos.
Proceso
Hay que realizar los procesos de:
Seleccin de aplicadores
Capacitacin de aplicadores.
Operativo de campo (recoleccin de
datos).
Supervisin en campo.
Codificacin de respuestas
Objetivos
Los estudiantes realizan sus respuestas
directamente
en
los
cuadernillos
proporcionados por la UMC.
Por ello es necesario:
Transferir las
estudiantes.
respuestas
de
los
Calificar las
estudiantes.
respuestas
de
los
Sistema de codificacin
Las respuestas eran calificadas en diversas
escalas, tanto de naturaleza dicotmica como
politmica, que tenan una naturaleza
cuantitativa.
Por otro lado, acompaaba a la calificacin un
segundo cdigo, que tena una naturaleza ms
cualitativa (evidenciaba tipos de errores o
estrategias de solucin).
Aspectos logsticos
Se requiere un gran grupo de correctores, pues
en la EN2004 hubieron cerca de 14 000
estudiantes evaluados por grado, para cada una
de las reas.
Al trabajarse con las valoraciones realizadas
por los jueces, se encuentra siempre implicado
algn grado de subjetividad, que trata de
reducirse mediante la capacitacin a los
evaluadores y la creacin de manuales con
criterios
de
calificacin,
que
buscan
homogenizar las evaluaciones realizadas por los
jueces.
Aspectos logsticos
Los especialistas de la UMC se encargaron de
efectuar el diseo de capacitacin y de
elaborar el respectivo manual de codificacin.
Los correctores se encontraban agrupados por
rea y grado, bajo la supervisin de un
coordinador y los especialistas de la UMC.
El proceso de correccin estaba organizado
segn los bloques que constituan las pruebas
aplicadas en la EN 2004.
Aspectos logsticos
Se efectu un diseo de anlisis del proceso de
correccin aplicando la correccin mltiple en
tres momentos distintos: al inicio, a la mitad y
al final del mismo.
El objetivo de estos tres momentos era poder
retroalimentar sobre las discrepancias y
deficiencias encontradas en las calificaciones y
poder corregirlas durante el proceso de
correccin, a fin de lograr cada vez una mayor
homogeneidad y entendimiento en el uso de los
criterios de calificacin.
Aspectos logsticos
Los anlisis emplearon los aportes de la Teora Clsica
de los Tests y el modelo Rasch de Facetas Mltiples.
Los resultados se presentaban en un informe:
Descripcin del ajuste y consistencia global en el
uso de los cdigos.
ndices de confiabilidad inter-evaluadores para
cada uno de los items, pudiendo as identificarse
cuales presentaban algn tipo de dificultades.
Identificacin de correctores que estaban
presentando alguna dificultad en el uso de los
cdigos.
Anlisis Psicomtrico
Modelos Rasch
Establece la probabilidad de respuesta de una
persona ante un tem en trminos de la
diferencia entre la medida de rasgo de la
persona y la medida del tem utilizado.
La medida de personas e tems estn en la
misma escala de intervalo.
Propiedades Psicomtricas
rea de Matemtica
% Varianza
Confiabilidad
(medida)
0,86
80,9 %
0,85
74,6 %
0,81
75,7 %
0,80
95,5 %
Aplicacin Definitiva
Logstica
Requiere una logstica similar a las de un
aplicacin piloto, pero a mayor escala.
Si la poblacin a evaluar es grande ser
necesario contar con un operador logstico.
Definicin de Niveles de
Desempeo
Niveles de desempeo
Se necesitan puntos de corte en las pruebas,
que reflejen lo que un estudiante sabe y hace
dentro de dicho nivel.
Si un estudiante supera dicho punto de corte,
se considera que posee los conocimientos y
habilidades necesarias para desempearse en
relacin a ciertos estndares acadmicos.
Se establecieron en talleres de consulta con el
procedimiento Bookmark.
Procedimento Bookmark
Diseado por un grupo de expertos en CTBMcGraw-Hill a mediados de 1990.
A posteriori: usa datos reales de la evaluacin,
mapas de tems (TRI).
Maneja temes
parcial.
dicotmicos
de
crdito
Primera etapa
Cada juez recibe un cuadernillo, estudia y/o
resuelve los temes.
Preguntarse: Qu hace a un tem ms difcil
que el anterior?
Se familiariza con las descripciones generales
de los niveles de desempeo.
Establece las marcas para cada nivel
Segunda etapa
Trabajo en grupos pequeos (4 5 jueces)
Los jueces exponen las razones por las cuales
eligieron sus puntos de corte
No se trata de convencer, slo de exponer
Se finaliza la ronda con unos nuevos puntos de
corte y el porcentaje de acuerdo respecto a en
qu nivel se ubica un tem en particular
Tercera etapa
Los resultados de la ronda dos son presentados a todo el
grupo y se debaten los temes en los cuales no hay un
100% de acuerdo.
Se presenta adems el impacto de los puntos de
corte.
Los jueces vuelven a dar sus puntos de corte.
Se suele trabajar con valores inferiores al 100% de
acuerdo. Si no se logran, se suele tomar la mediana.
Un paso final
Los jueces construyen el significado, en funcin
a los temes, de lo que sabe y puede hacer un
alumno en cada uno de los niveles de
desempeo.
Algunos prefieren dejar esta etapa para otro
grupo de expertos. Esto se hizo con los niveles
de la EN 2004.
Niveles de Desempeo
Suficiente
Bsico
Previo
< Previo
LOGRA
NO LOGRA
Anlisis de Resultados
Suficiente
Bsico
12,1%
28,1%
Previo
35,7%
24,1%
Nacional
Reportes y Difusin