Diseño de Pruebas de Evaluacion

MDULO 7 DISEO DE PRUEBAS DE EVALUACIN DEL APRENDIZAJE
OBJETIVOS
El objetivo general de este mdulo es que el formador ocupacional aprenda a elaborar PRUEBAS DE EVALUACIN DE APRENDIZAJE PARA VERIFICAR NIVELES DE CUALIFICACIN. Est asociado a la Unidad de Competencia 3: VERIFICAR Y EVALUAR EL NIVEL DE CUALIFICACIN ALCANZADO, LOS PROGRAMAS Y LAS ACCIONES de modo que permita la toma de decisiones para la mejora de la formacin.
ESTRATEGIA
Los objetivos de las unidades didcticas que configuran este mdulo son: Asimilar la importancia de la evaluacin y de su adecuada utilizacin Elaborar pruebas de evaluacin de aprendizaje para verificar niveles de cualificacin, redactando con claridad las instrucciones de aplicacin de la prueba y determinando correctamente el nivel de aptitud. Desarrollar esta labor en el mbito de los CONOCIMIENTOS, las PRCTICAS y las ACTITUDES. Para ello deben conocer los instrumentos adecuados para: o Disear pruebas para la evaluacin de conocimientos. o Disear pruebas de evaluacin de prcticas. o Disear instrumentos para la evaluacin de actitudes.
LA EVALUACION
Con la evaluacin se consigue averiguar el nivel de competencia del alumno al terminar la accin formativa y controlar la calidad del proceso de enseanza-aprendizaje, para mejorarlo continuamente y certificar as la calidad del producto final. Al poner en prctica la evaluacin hay que saber diferenciar entre: Medir y evaluar. Al medir se compara algo con una unidad que utilizamos como patrn. Evaluar conlleva interpretar esa medida. Evaluacin respecto al criterio y respecto a la norma. Evaluamos respecto al criterio al comparar una medida con un objetivo correctamente formulado. Evaluamos respecto a la norma cuando se comparan dos medidas. Ante la evaluacin el formador debe desarrollar: Objetividad. o Juicio atento. o Capacidad de anlisis. o Estabilidad emocional. Evaluacin del Aprendizaje 1
Toma justa de decisiones. Reducir la disonancia cognitiva utilizando herramientas objetivas. Criterios que rigen la evaluacin. o Corresponsabilidad. o Pluralidad. o Contextualizacin. o Continuidad. o Procesualidad. o Integridad. o Sistematicidad. o Autoevaluacin. o Retroalimentacin.
DIFERENTES TIPOS DE EVALUACIN
PLANIFICACIN DE LA EVALUACIN
Para poder evaluar las competencias que alcanzan los alumnos, es preciso comenzar identificando las competencias profesionales a partir del perfil profesional de la especialidad formativa correspondiente. A continuacin, se formulan los objetivos del aprendizaje y se establecen los criterios de evaluacin e indicadores competenciales. La ausencia de criterios impedira saber si los objetivos se han alcanzado y en qu grado. En tercer lugar, hay que determinar qu resultados concretos se pretenden lograr. Se trata de bajar a un nivel mayor de detalle, ya que la mera formulacin de objetivos puede ser demasiado amplia para saber qu es exactamente lo que hay que evaluar. Seguidamente, es preciso determinar los momentos de la evaluacin; por ejemplo, con el esquema habitual de una evaluacin inicial, varias evaluaciones intermedias y otra evaluacin final al trmino del curso. Una vez definido todo lo anterior (competencias, objetivos, resultados, momentos) ya se puede pasar al diseo de las pruebas de evaluacin ms idneas. Sin haber pasado por las fases anteriores el diseo de pruebas de evaluacin se puede convertir en un ejercicio intil, ya que se acaban
Evaluacin del Aprendizaje
redactando pruebas que no sirven para evaluar las competencias a las que responde el curso o accin formativa. Con las pruebas diseadas, se realizan las evaluaciones que se hayan establecido en la planificacin. Es preciso registrar y transmitir los resultados de la prueba de evaluacin a los alumnos y a los responsables del centro formativo, ya que si no la evaluacin quedara sin sentido. Por ltimo, el formador deber emitir un diagnstico evaluativo, donde sintetice los resultados del grupo y donde apuntar las mejoras y cambios que, a partir de los resultados de la evaluacin, piensa que se deben hacer en el curso: en sus objetivos, en su programacin, en sus contenidos, en el perfil de los destinatarios, etctera
UNIDAD DIDCTICA 7.1 EVALUACIN DEL APRENDIZAJE

OBJETIVOS
En esta Unidad Didctica nos marcaremos como objetivo general asimilar la importancia de la evaluacin y de su adecuada utilizacin en el proceso formativo. Para ello, profundizaremos en los siguientes objetivos especficos: ESTABLECER LAS DIFERENCIAS ENTRE MEDICIN Y EVALUACIN. DIFERENCIAR LA EVALUACIN RESPECTO A LA NORMA Y AL CRITERIO. DETERMINAR LAS CONDICIONES PARA QUE UNA EVALUACIN SEA OBJETIVA. CONOCER LOS PRINCIPIOS QUE RIGEN LA EVALUACIN. DECIDIR EL MOMENTO PTIMO PARA REALIZAR UNA EVALUACIN. DISTINGUIR CORRECTAMENTE LOS DISTINTOS TIPOS DE EVALUACIN.
SITUACIN
Beln Arroyo acaba de comenzar a trabajar en el centro formativo "Encinar del Valle". En su departamento no va a ser la nica nueva, ya que ste se acaba de crear debido a la importancia de la labor que van a desarrollar. Beln y sus compaeros tienen la misin de poner en marcha el rea de procesos evaluativos. Su primer da de trabajo lo inician conscientes de que tienen por delante una labor muy intensa que debern centrar en los programas de formacin ocupacional del centro. Junto al equipo que integra, Beln impartir clases en los cursos de formacin de formadores sobre la importancia del proceso evaluativo para la obtencin de unos buenos resultados en la enseanza. Nuestra amiga empieza este nuevo trabajo con un objetivo muy concreto: conseguir que sus alumnos tomen conciencia y asimilen que la evaluacin es una prueba minuciosamente desarrollada para que se puedan medir los conocimientos adquiridos, teniendo en cuenta los objetivos previstos. El resultado final se plasmar en una certificacin que permita demostrar su capacitacin en el desempeo de la profesin elegida. Entre otras muchas tareas, Beln supervisar la buena, precisa y rigurosa definicin de los objetivos, ajustando los indicadores de evaluacin; adems, se ocupar de que las evaluaciones que se realizan se basan en los principios metodolgicos. Por otro lado, nuestra protagonista deber decidir qu tipo de evaluacin se lleva a cabo en cada momento; tendr que determinar las escalas de medicin y los mecanismos de valoracin acordes a cada proceso de evaluacin; y deber desarrollar instrumentos objetivos de evaluacin que permitan una evaluacin de excelencia o, lo que es lo mismo, de muy alta calidad.
ESTRATEGIA
Desde que sabe que una de sus funciones en el nuevo trabajo ser la de ensear a evaluar a formadores de formacin ocupacional, Beln ha pensado mucho en cmo ayudarles a entender la importancia de los sistemas evaluativos y cmo poner despus sus conocimientos en prctica. Ella es consciente de que una finalidad esencial de la formacin ocupacional es la insercin laboral, de ah la importancia de asegurar la cualificacin profesional. La evaluacin del aprendizaje ayuda a conseguir dicha cualificacin, e identifica los efectos producidos por la propia formacin impartida, con el fin de revisar y readaptar sobre la marcha los aspectos susceptibles de ser mejorados en trminos de aprendizaje. Por esta razn, Beln ha decidido estructurar sus clases en tres temas esenciales con los que cree que conseguir transmitir a los futuros formadores las claves para que entiendan el funcionamiento, transcendencia y fines de la evaluacin: TEMA 1. REFLEXIONAR SOBRE LO QUE SIGNIFICA EVALUAR. TEMA 2. APLICAR LAS CARACTERSTICAS DE LA EVALUACIN. TEMA 3. UTILIZAR DIVERSOS TIPOS DE EVALUACIN.
TEMA 1. REFLEXIONAR SOBRE LO QUE SIGNIFICA EVALUAR

Hoy se incorporan a sus puestos de trabajo todos los componentes del rea de procesos evaluativos del centro "Encinar del Valle". Beln Arroyo est nerviosa ante su debut y ha madrugado. Tiene una reunin a primera hora con su equipo de trabajo en la que deber exponer todos los puntos fuertes de la organizacin de su nuevo puesto, y quiere estar bien preparada. Por eso, mientras desayuna y prepara sus cosas para irse a trabajar, repasa mentalmente los puntos que quiere tratar en la reunin. En ella explicar los contenidos del programa formativo que se impartir a los alumnos. Se trata de ser clara, precisa y rigurosa en la presentacin de los mismos, y de generar una actitud muy motivada por la tarea que les espera. Ante el espejo, repasa mentalmente los conceptos bsicos que quiere que sus compaeros retengan para trasladarlos a los alumnos: "La evaluacin es esencial en la formacin. Sirve para observar cmo evoluciona el aprendizaje del alumno y as cambiar la estrategia de formacin si es necesario, entre otras muchas cosas. Por eso, tenemos que dejar claro en las clases cul es su sentido y concepto. As mismo, hay que lograr que nuestros alumnos entiendan que es esencial que exista una permanente comunicacin entre profesor y alumno, para que as ste contribuya a su motivacin, de manera que le permita ver los avances conseguidos a medida que estos se van produciendo. Por otro lado, adems de medir los conocimientos adquiridos, hay que tener la certeza de que el alumno podr llevar a la prctica lo que ha aprendido."
PASO 1.1. ACOTAR EL CONCEPTO Y SENTIDO DE LA EVALUACIN

ACTIVIDAD
Beln lleva una semana en el centro "Encinar del Valle" y ya ha cogido el ritmo de trabajo. Hoy vuelve a ser un da importante para ella, y es que comienzan las clases sobre procesos evaluativos en el curso de Formador de Formadores! El grupo de alumnos convocado est preparado y listo para empezar la sesin. Por su parte, Beln se ha surtido de un completo conjunto de materiales de apoyo y acude al aula acompaada por una colega, Roco, con quien compartir la tarea formativa. Tras las
presentaciones, Beln comienza a introducir el tema mostrando a los alumnos los diferentes conceptos que existen sobre la evaluacin. "Cuando se habla de evaluacin -explica Beln a sus alumnos-, podemos encontrarnos con diferentes sentidos y acepciones, unos ms correctos que otros, segn la perspectiva con que los miremos. En la mayor parte de las ocasiones, evaluar se identifica con la accin de comprobar lo que el alumno ha aprendido a travs de un examen. En otras, evaluar se considera el proceso que tiene como meta determinar en qu medida se han logrado los objetivos establecidos al principio del proceso formativo. Tambin se considera evaluar un proceso pedaggico que nos permite determinar el nivel de competencia alcanzado al finalizar una accin formativa. Antes de continuar y profundizar en estas definiciones, vamos a realizar un sencillo ejercicio en el que podris detectar cul es la idea que tenis vosotros sobre lo que es evaluacin."
CONCEPTO DE EVALUACIN
El concepto de evaluacin tiene varias acepciones segn la vertiente terica desde la que se defina: Evaluar es la accin que comprueba lo que el alumno ha aprendido a travs de un examen. Evaluar es el proceso que tiene como meta determinar en qu medida se han logrado los objetivos establecidos. Evaluar es el proceso pedaggico que nos permite averiguar el nivel de competencia al finalizar una accin formativa. Quiz esta ltima afirmacin sea la ms correcta para definir en pocas palabras todo lo que conlleva evaluar a un alumno. Desde esta perspectiva, la evaluacin implica establecer claramente el nivel inicial al comenzar una actividad y compararlo con el nivel alcanzado al terminarla o, lo que es lo mismo, con el grado de cualificacin y competencias profesionales conseguidas (capacidad profesional contrastada). En resumen, es como si hablramos de un permanente control de calidad que comprueba el proceso de enseanza-aprendizaje, lo mejora ininterrumpidamente, y certifica la calidad del resultado final.
PROCESO COMPLETO DE EVALUACIN
QUE EVALUAMOS?
Para saber qu debemos evaluar debemos disear previamente los criterios de evaluacin. Es decir, hay que preguntarse sobre qu puntos se quiere evaluar: la participacin, la metodologa o slo el conocimiento en s? Para seguir una lgica en el proceso, estos criterios deben relacionarse con los objetivos previstos en la planificacin, ya que si nos planteamos como criterio de evaluacin la participacin de los alumnos en una clase en la que precisamente la participacin no est contemplada, difcilmente podremos saber si se han cumplido los objetivos del mismo. Una vez fijados estos criterios, se pueden extraer de ellos los indicadores de evaluacin, que son los puntos concretos en los que se basar la evaluacin. De esta forma, si seguimos el ejemplo que hemos utilizado antes sobre la participacin, los indicadores de la misma pueden ser el nmero de participantes, sus intervenciones y el resultado de los trabajos en grupo. Como referencia, es bueno evaluar todos los apartados del proyecto, desde el anlisis realizado hasta las actividades, pasando por los objetivos, que habra que evaluar de uno en uno, la metodologa, el grupo, los recursos humanos y materiales, el presupuesto, los logros, el diseo y el proceso desarrollado.
PASO 1.2. DIFERENCIAR ENTRE MEDICIN Y EVALUACIN

ACTIVIDAD
El segundo da de clase sobre procesos evaluativos es Roco, la compaera de Beln, la que se dirige a los alumnos. En esta ocasin, el tema que tratarn es la diferencia entre medicin y evaluacin. Beln y Roco son conscientes de que un error frecuente entre los formadores es confundir ambos trminos. "Existe una tendencia generalizada a equiparar evaluacin con medicin -explica Roco a la clase-, siendo esta ltima una parte de aquella. Con la medicin se obtienen unos datos cuantitativos, generalmente sobre el grado de aprendizaje de Evaluacin del Aprendizaje 8
los contenidos, que habr que tener en cuenta para la valoracin global, pero que en ningn caso debemos tomar como definitivos. Si hacemos una prueba del nivel de conocimientos adquiridos en una materia y los resultados son positivos, no podemos garantizar que esos conocimientos se trasladen adecuadamente al puesto de trabajo. De ah que la evaluacin haya de contemplar en su enfoque la evaluacin de competencias profesionales para garantizar esta transferencia de conocimientos. De manera que aunque evaluar y medir sean procesos estrechamente relacionados, no pueden identificarse con una misma cosa." Tras la explicacin de Roco, Beln propone un planteamiento prctico para que los futuros formadores entiendan mejor la diferencia entre medir y evaluar.
DIFERENCIAR ENTRE MEDICIN Y EVALUACIN

Cuando se pregunta qu es evaluar?, la mayora de la gente responde que es medir el conocimiento sobre algo. Pero esta definicin es imprecisa, evaluar es mucho ms que medir, y medir es una fase ms del proceso de evaluacin. De ah que muchas veces se cometan errores en las evaluaciones, ya que algunos formadores consideran que evaluar es simplemente realizar exmenes y corregirlos. Por ello, hay que saber distinguir perfectamente los dos conceptos.
MEDIR
Medir es comparar algo con una unidad que utilizamos como patrn. Una medida puede ser: Cuantitativa: responder varias preguntas correctamente. Cualitativa: relacionada con la calidad de un trabajo. Hay que tener en cuenta que aunque la medida resulta imprescindible para la evaluacin, como en toda operacin de medida siempre cabe un error. Puede haber desajustes en el objeto de medicin o incluso errores producto del individuo que realiza la actividad de medir. De ah que al hablar de medida, se pueda admitir un aceptable margen de error acorde con el caso en cuestin. Por ejemplo, al medir el piso de una habitacin, con el fin de poner un suelo nuevo, un margen de error aceptable sera de un par de centmetros. Tanto si la medida real es superior o inferior a la tomada, todo profesional que trabaje en este mbito, sabe que tendr que prever una cantidad de material por encima de lo medido con el fin de no quedarse corto, de ah que un error de medicin de unos centmetros no suponga un problema
La calificacin que se obtiene en una prueba, aunque se haya comprobado que no contiene ningn error en su medicin, slo muestra cunto sabe el alumno, pero no ofrece informacin sobre qu, cmo y por qu lo sabe. De ah que por s sola tenga poca utilidad formativa. Hay que interpretarla y en esta interpretacin consiste la evaluacin. Evaluar es interpretar la medida. Evaluar supone valorar. Se trata de comprobar si los objetivos se han conseguido y en qu medida Es imprescindible partir de un criterio unificado
EVALUAR
Es conveniente insistir en que evaluar no es medir, es interpretar la medida. Esto supone, entre otras cosas, establecer la valoracin a partir de la cual se considera superado el proceso evaluado. As pues, en toda evaluacin es imprescindible contar con un criterio unificado a la hora de interpretar el valor de las calificaciones. Por ejemplo, un formador puede decir que los cursos de formacin ocupacional son eficaces para encontrar un empleo; puede afirmar que los alumnos de la familia profesional X consiguen trabajo fcilmente, porque ha visto una tabla con datos de la tasa de insercin profesional y sabe que el 80% encuentra trabajo en el ao siguiente despus de los cursos. Entre los que no asisten a los cursos, solamente el 60% consigue trabajo en ese ao. Los principales rasgos de la evaluacin son: Es un proceso continuo. Debe comenzar antes de que se inicie el aprendizaje y seguir hasta el final del mismo. No est sujeto al azar. Cuenta con una meta especfica, que se ha planteado en su inicio. La evaluacin necesita instrumentos de medicin exactos y adecuados para conseguir recabar la informacin suficiente sobre cmo evoluciona la formacin, cmo se puede mejorar y cmo terminar. Finalmente, una de las diferencias fundamentales entre medicin y evaluacin es que, con esta ltima, se tratara de comprobar si los objetivos de aprendizaje previstos se han conseguido y en qu medida; de ah la importancia de definirlos con precisin desde el comienzo de la planificacin, de manera que constituyan la garanta para fijar exactamente lo que queremos que el evaluado consiga. Medir es comparar algo con un patrn. La medida puede ser cualitativa o cuantitativa En la medida puede haber desajustes o ciertos mrgenes de error aceptables.
PASO 1.3. DISCRIMINAR LA EVALUACIN RESPECTO A LA NORMA Y AL CRITERIO

En esta ocasin Beln reaparece en escena sumndose al reciente trabajo desarrollado por Roco. Una vez que sus alumnos han entendido la diferencia entre medir y evaluar, quiere ensearles lo que significa evaluar respecto a la norma y al criterio.
10
Cuando pregunta a la clase qu entienden por norma y criterio, las respuestas son diversas. Algunos no saben muy bien a qu se refiere y otros responden que para ellos es lo mismo. Beln toma la palabra y se dirige a sus alumnos: "Ya s que en nuestro vocabulario habitual estamos acostumbrados a utilizar los trminos norma y criterio con significados muy semejantes, pero en el mbito de la evaluacin tienen sentidos totalmente distintos y suponen puntos de vista diferentes a la hora de evaluar." "Pero, cmo puede cambiar tanto el sentido de dos trminos al aplicarlos a un mbito en concreto? -interviene un alumno-. No lo entiendo." "No te preocupes -dice Beln sonriendo-, en cuanto expliquemos en qu consiste evaluar respecto a la norma y evaluar respecto al criterio os parecer sencillo." Su compaera Roco, aade: "La cuestin es que para emitir el juicio que supone toda evaluacin, es decir, determinar si el alumno ha alcanzado o no el nivel de aptitud pertinente, existen dos procedimientos, la norma y el criterio. La norma evala comparando los resultados de los alumnos. El criterio define antes de la evaluacin una "referencia explcita" al tipo de conducta y los resultados que se esperan". Y Roco completa su intervencin indicando: "Existen variadas opiniones sobre el inters de uno u otro procedimiento, pero por encima de todo se trata de conocer el resultado de un aprendizaje. Por encima de comparar el rendimiento alcanzado por unos sujetos respecto a otros, lo que nos interesa es si realmente aprendieron lo que marcaban los objetivos de aprendizaje, por lo que se suele preferir la evaluacin respecto el criterio."
NORMA Y CRITERIO
Para emitir el juicio que supone toda evaluacin, es decir, determinar si el sujeto ha alcanzado o no el nivel de aptitud pertinente, existen dos procedimientos, la norma y el criterio. Evaluar con respecto a la norma consiste en comparar el rendimiento o las realizaciones de un alumno con las de los dems y sobre la base de esta Evaluacin del Aprendizaje 11
comparacin emitir un juicio o valoracin. Este procedimiento es muy relativo, ya que realmente el rendimiento concreto del alumno no se evala, sino que el diagnstico de apto o no apto se realiza basndose en la comparacin de dicho rendimiento con el de los dems alumnos. En definitiva, evaluamos con datos ajenos al rendimiento concreto del individuo, lo cual, entre otras cosas, puede resultar discriminatorio. Por tanto, evaluar respecto a la norma no es til cuando se trata de medir el resultado de un aprendizaje y slo sirve para ordenar a los sujetos evaluados en funcin del resultado de ese aprendizaje. De ah que la mejor manera de evaluar sea hacerlo respecto al criterio, mediante una descripcin explcita del tipo de conducta que se pretende, descripcin que es previa al proceso de evaluacin. As pues, cuando comparamos una medida con un objetivo correctamente formulado (y no con otra medida), estamos evaluando de esta manera.
EVALUAR RESPECTO AL CRITERIO

Como ya hemos comentado, evaluar respecto al criterio busca la comparacin del alumno con sus propios rendimientos o resultados en las mismas pruebas, o en relacin con un criterio fijado de antemano. En este mbito se evala el avance del alumno hacia el objetivo propuesto y la distancia que lo separa de l. Esta distancia constituye la base de la informacin a partir de la cual se ha de tomar una decisin. Esto nos recuerda la importancia del planteamiento y formulacin de objetivos que ya se vio en la Unidad Didctica dedicada a Planificacin. En este sentido el docente deber: Implicarse junto a sus alumnos en el proceso evaluativo. Determinar el nivel mnimo de las aptitudes que deben adquirir todos los alumnos. Evaluar los resultados con relacin a los objetivos por alcanzar y a partir de la situacin inicial. Adems, hay que tener en cuenta que las herramientas de evaluacin deben ser generales y flexibles, para permitir su adaptacin a la situacin que se debe resolver.
12
TEMA 2. APLICAR LAS CARACTERSTICAS DE LA EVALUACIN

Tras la primera toma de contacto de la clase con el poco conocido mundo de la evaluacin, Roco est concentrada en los nuevos contenidos del segundo tema. Se acerca el comienzo de una nueva sesin en la que abordar un apartado de crucial importancia en el proceso estudiado: las diferentes peculiaridades de la evaluacin, algo bastante laborioso. Por eso, Roco est trabajando con ahnco en la preparacin de este nuevo tema. Pretende facilitar la comprensin al mximo a sus alumnos, por lo que est seleccionando definiciones, localizando ejemplos e intentando ilustrar su teora. Pero le cuesta dar con el hilo conductor. Mientras da vueltas a cmo solucionarlo, llega Beln Arroyo, que adems de ser experta en evaluacin, cuenta con un amplio rodaje como formadora. Roco aprovecha la ocasin y comenta a Beln sus dudas. "Te propongo algo muy sencillo -le aconseja Beln-, aglutina todas esas peculiaridades bajo un paraguas comn, como pueden ser las caractersticas de la evaluacin. Desarrolla una propuesta coherente y sencilla, que evolucione de menos complejidad a ms de forma paulatina. Puedes incluso empezar proponindoles un sencillo ejercicio, como me viste hacer en alguna de las clases, para que ellos empiecen a familiarizarse con los conceptos."
PASO 2.1. CONSEGUIR LA OBJETIVIDAD EN LA EVALUACIN

Roco contina escuchando las propuestas de Beln sobre el prximo tema que est preparando para los alumnos del curso de Formador de Formadores. "Me parece muy adecuada tu sugerencia de ir de menos a ms. Creo que esto puede facilitar la actividad mental de los alumnos, al mismo tiempo que les va a ayudar en su propio proceso de aprendizaje y les va a motivar de manera continua." "Exacto, por lo que en primer lugar -recomienda Beln-, tienes que centrarte en descartar la influencia de todo factor ajeno a la caracterstica o elemento que intentamos evaluar. Es decir, tienes que conseguir que los alumnos destierren toda subjetividad y, por tanto, sean conscientes de que tienen que aprovisionarse de objetividad para evaluar." Evaluacin del Aprendizaje 13
MANIFESTACIONES DE LA SUBJETIVIDAD
Frente a la objetividad, la subjetividad es una tendencia humana a juzgar hechos y situaciones basndonos en la emocin o la afectividad (favorable o desfavorable) que una persona o un acontecimiento genera en nosotros, prescindiendo de las razones objetivas. Las razones objetivas derivan de afirmaciones argumentadas que se apoyan en datos concretos, obtenidos por procedimientos imparciales y rigurosos con un porqu y una explicacin. Dado que la subjetividad se da muy fcilmente en todo proceso evaluativo, conviene conocer muy bien lo que es, as como su forma de manifestarse para poder frenarla y desterrarla de nuestro proceso de evaluacin del aprendizaje. Las manifestaciones de la subjetividad son muy diversas. A continuacin abordaremos las cinco ms significativas: El peso de la impresin Forma de subjetividad consistente en confundir experiencias aisladas con hechos comprobados, como afirmar de toda una clase de individuos lo que nicamente nos consta de una persona o grupo de personas. Un ejemplo podra ser cuando un formador ha hablado con dos de sus alumnos, no les ve en absoluto interesados en el curso, y piensa que su grupo de alumnos es malo. sta es una manifestacin subjetiva en la que ha imperado el peso de la impresin de dos alumnos sobre toda una clase. Otro ejemplo podra ser cuando se afirma que un grupo de alumnos va a tener unos resultados excelentes porque el 90% son titulados superiores. El que sean titulados superiores no garantiza nada, pueden fallar igual o ms (y tambin menos, desde luego) que cualquier otro grupo. Evaluacin del Aprendizaje 14
Dogmatismo Cuando el formador convierte en verdades indiscutibles frmulas propias al margen del estudio, la crtica y la discusin. Un ejemplo sera cuando alguien afirma "esto es as porque lo digo yo" o "en el centro siempre se ha trabajado individualmente y as seguir siendo". En los dos casos debera haber apertura al cambio si se demuestra que es para mejor. Estereotipos Los estereotipos son ideas preconcebidas, la mayora de las veces negativas, que nos han sido inculcadas desde la infancia o hemos generado nosotros mismos a raz de nuestra experiencia vital. Los estereotipos se generan fundamentalmente respecto a grupos tnicos, culturales, nacionales, o por razones de sexo o edad. Afirmaciones como "no sirve de nada dar clase a parados mayores de 45 aos, porque no les entra nada en la cabeza" o "estoy preocupado porque tengo tres gitanos en clase y van a desaparecer cosas" son producto de ideas preconcebidas o de malas experiencias, que aunque en ciertos casos pueden ser verdad, no se pueden tomar como algo general. Ser juez y tomar parte Cuando uno es parte interesada de lo que evala, es difcil ser objetivo, ya que inconscientemente puede existir una tendencia a favorecerse. Frases como "este trabajo que hemos hecho en grupo est muy bien, se nota que lo he coordinado yo" o "este examen ha quedado muy bien diseado, est claro que mi propuesta era excelente" son ejemplos que muestran este tipo de manifestacin. Como el formador est implicado da por sentado lo bien que estn ambas cosas, lo cual es muy subjetivo. El efecto halo Es la impresin general, buena o mala, que el alumno produce en el docente, y que puede no tener relacin con los aspectos evaluados. Del mismo modo, despus de haber calificado como favorable o desfavorable un determinado aspecto, esta impresin suele generalizarse y extenderse a otros aspectos que en principio no tienen ninguna relacin con el primero. Por ejemplo, cuando un profesor comenta "parece mentira que se atreva a venir as a clase, con esa ropa. Seguro que me presenta un trabajo igual de desastroso" observamos cmo el docente que tiene una opinin desfavorable sobre el alumno la ha hecho extensiva a otra actividad. Esto influir negativamente en el profesor a la hora de calificarle. El ejemplo contrario es cuando un profesor piensa: "Esta alumna es muy participativa, seguro que hace un examen excelente". Aqu el efecto halo se produce al trasladar el hecho de la participacin de la alumna a su rendimiento, que no tiene por qu depender de su actitud participativa en clase.
LA OBJETIVIDAD
Un nmero importante de estudios han mostrado notables diferencias entre las puntuaciones dadas por distintos profesores a un mismo ejercicio. Y tambin que las notas que el mismo profesor daba a los mismos ejercicios en momentos diferentes (por ejemplo, tras un intervalo de tres meses) podan sufrir grandes oscilaciones. Existe adems otro factor importante que amenaza la objetividad del docente y es el conocido efecto Pigmalin que ya viste en la Unidad Didctica 10, y que se traduce en valoraciones netamente ms altas de aquellos ejercicios atribuidos a alumnos brillantes. Evaluacin del Aprendizaje 15
Todos estos resultados cuestionan la supuesta precisin y objetividad de la evaluacin en un doble sentido: Por una parte muestran hasta qu punto las valoraciones estn sometidas a amplsimos mrgenes de incertidumbre. Por otra, hacen ver que la evaluacin es un instrumento que afecta muy decisivamente a aquello que pretende valorar. Dicho de otro modo, los profesores no slo se pueden equivocar al calificar, sino que tambin a veces contribuyen a que nuestros prejuicios se conviertan en realidad. Por eso, en el pasado, era frecuente ver cmo las chicas acababan teniendo logros inferiores y actitudes ms negativas hacia ciertos aprendizajes que los chicos; y cmo los alumnos considerados mediocres muchas veces terminaban efectivamente sindolo. Adems, a veces el formador acta con la idea semioculta de que slo una parte de sus alumnos est realmente capacitada para seguir con xito ciertos estudios. Y estas expectativas negativas las que determinan en gran medida, lejos de toda objetividad, los resultados de la evaluacin que efecta el formador.
FACTORES QUE POTENCIAN LA OBJETIVIDAD

La evaluacin en la formacin se centra en la constatacin del aprovechamiento del alumno, asignndole una calificacin que sirva de base objetiva para su promocin. Conviene plantearse con atencin esta cuestin clave de las funciones de la evaluacin, rompiendo con concepciones tan espontneas como las que hemos visto, para que la evaluacin no sea la expresin de unas expectativas en gran medida subjetivas, pero con una gran influencia sobre los alumnos. Existen varios factores que el formador puede manejar para favorecer la objetividad y que por tanto sirven para combatir la subjetividad en la evaluacin. FACTOR Descripcin Efectos FACTOR Descripcin Efectos JUICIO ATENTO
Se refiere al hecho de prestar la mxima atencin a la conducta que se pretende evaluar sin perder el ms mnimo detalle. Implica, entre otras cosas, que el formador debe programar holgadamente las sesiones de evaluacin, para poder prestar esa atencin.
CAPACIDAD DE ANLISIS
Relativo a la capacidad de analizar las conductas observadas, preguntndose las causas y consecuencias de las mismas. Significa que el formador debe averiguar por qu sus alumnos aprenden o no. No prestan atencin porque el tema no les interesa o porque estn cansados? Si es lo primero, el asunto tiene difcil arreglo, pero el segundo caso se soluciona haciendo un descanso.
FACTOR Descripcin
NIMO SERENO O ESTABILIDAD EMOCIONAL

Relacionado con la importancia de mantener la calma suficiente, lo cual denota un adecuado equilibrio emocional, para que nuestro estado de nimo no influya en nuestros juicios de evaluacin.
16
PASO 2.2. TOMAR DECISIONES JUSTAS

Roco est contenta con la evolucin que estn siguiendo sus clases sobre las caractersticas de la evaluacin. Ha tenido en cuenta las indicaciones de Beln y ha hecho que su explicacin evolucione de lo ms sencillo a lo ms complicado. Ha abordado la natural subjetividad de las personas y cmo conviene hacerse con herramientas que permitan objetivar la intervencin evaluativa. Ahora tiene que explicar cmo localizar los mecanismos que muestren cmo tomar la decisin ms adecuada. Aqu Roco tiene que abordar conceptos relacionados con la psicologa de la decisin, y la psicologa siempre le ha interesado mucho. Es ms, confa en poder trasladar no slo sus conocimientos a sus alumnos, sino tambin su entusiasmo por esta materia. De manera que decide comenzar el siguiente bloque planteando un sencillo ejercicio, como ha visto hacer a Beln y como ella le ha recomendado en alguna ocasin.
DISONANCIA COGNITIVA
En cualquier circunstancia, una decisin conlleva una opcin, inclinarse por una alternativa y rechazar otra. Y este rechazo genera en el individuo un malestar, consistente en el cuestionamiento (nos cuestionamos, nos formulamos preguntas) de si la eleccin realizada habr sido la ms adecuada. Este malestar, producto de este cuestionamiento, que hace que se rompa el equilibrio del sistema cognoscitivo (de conocimiento) del formador, es lo que se conoce como disonancia cognitiva. A continuacin, incluimos un ejemplo de disonancia cognitiva para que veas cmo se produce: SITUACIN PLANTEAMIENTO DESCRIPCIN DE LA SITUACIN
Un profesor tiene que tomar una decisin respecto a la calificacin. El alumno ha hecho un examen muy regular, y el profesor duda si merece el aprobado o no. El profesor empieza a dar vueltas al asunto, y se hace preguntas (se cuestiona): "El alumno est suficientemente preparado? Realmente tiene el mnimo de conocimientos requeridos para poderle
CUESTIONAMIENTO
17
declararle apto?"
MALESTAR
El profesor sigue dando vueltas a este tema porque le preocupa que de l dependa la declaracin del alumno de apto o no apto. Por otro lado tampoco puede declarar apto a quien sinceramente considera que no lo es. Finalmente el profesor considera que el alumno no est suficientemente preparado y decide declararle no apto. El profesor no ha olvidado el tema, y se pregunta si habr hecho bien adoptando la decisin de declarar al alumno no apto.
TOMA DE DECISIN MOMENTO DE LA

DISONANCIA
RASGOS DE LA DISONANCIA
Ahora que sabes lo que es la disonancia conviene que sepas dos cosas: La disonancia puede tener diferente magnitud. Es decir, ser ms o menos grande. En general, a ms importancia de la decisin, mayor disonancia y viceversa. Por ejemplo, supone ms disonancia el decidir la calificacin de un alumno en una evaluacin final que en una parcial. Cuando la disonancia aparece, el formador intenta reducirla. Intenta eliminar la tensin surgida en su interior y restablecer el equilibrio inicial para que desaparezca su malestar.
REDUCIR LA DISONANCIA
Una de las maneras de reducir la disonancia es aumentando la atraccin de la alternativa elegida, lo que se logra de dos maneras: Destacando todos los elementos positivos de la decisin. Disminuyendo el grado de atractivo de las opciones descartadas. Un ejemplo sera cuando alguien dice "no tengo muy claras estas calificaciones. No estoy muy seguro. Es un lo, mejor lo dejo como est y cierro el tema". Otra de las formas consiste en el intento de racionalizar la decisin tomada. Como por ejemplo, cuando se dice "a lo mejor tiene razn en lo que ha puesto, pues siempre hizo buenas pruebas. No s, me fiar". Para evitar la posible magnitud de la disonancia en una decisin, el docente puede tener una inclinacin a calificar generosamente, y, por tanto, dar una calificacin mayor que la aparentemente merecida. De esta manera se evita en muchos casos el decidir entre apto o no apto. Un ejemplo de este tipo sera cuando un profesor comenta "mira, para qu voy a darle ms vueltas. Mejor le apruebo y ya est". Ten en cuenta que en esta Unidad Didctica no estamos defendiendo ninguna postura en particular para reducir la disonancia, slo exponemos los mecanismos que se utilizan habitualmente para reducirla. Lo ideal es que los indicadores de evaluacin estn tan bien planteados (sean concretos, precisos y rigurosos) que por s mismos reduzcan al mnimo la posibilidad de disonancia.
18
PASO 2.3. UTILIZAR LA EVALUACIN CRITERIAL

El tema sobre las caractersticas de la evaluacin que estn estudiando los alumnos del curso de Formador de Formadores llega a su ltima fase con la explicacin de los principios que rigen la evaluacin. En esta ocasin, Beln propone a Roco impartir la clase entre las dos, para as darle un enfoque diferente. "En esta clase deberamos tener en cuenta un rasgo fundamental de la evaluacin comenta Beln a Roco-, y es que sta es criterial. Es decir, que responde a una serie de criterios o principios. Y deberamos transmitir los ms importantes a nuestros alumnos. Cmo crees que podramos hacerlo?" Roco sugiere elaborar una sencilla lista con varios tems, entre los cuales se encuentren los principios aludidos. De esta manera los alumnos comenzarn su proceso de reflexin detectando los nueve principios ms importantes que se tienen que considerar en la evaluacin. A Beln le parece muy buena idea, y se ponen a trabajar.
CRITERIOS QUE RIGEN LA EVALUACIN

A travs de esta Unidad Didctica una de las cosas que hemos comprendido es que lo ms recomendable es evaluar respecto al criterio. Esta realidad hace que destaquemos los nueve principios siguientes: Corresponsabilidad Se refiere a la participacin de los agentes que intervienen en el proceso evaluativo (formadores, tcnicos, alumnos, directivos del centro formativo...), cada uno con distintos mbitos de responsabilidad, pero todos ellos implicados en la evaluacin. Pluralidad Para poder interpretar las acciones formativas y a sus protagonistas, es necesario recoger y relacionar todos los puntos de vista, valores e intereses que se ponen en juego en dichas acciones, de forma que las decisiones que se tomen tengan en cuenta a los distintos sectores implicados, y as sean decisiones plurales. Contextualizacin En la evaluacin se ha de considerar cada accin formativa en relacin con su contexto; es decir, sus circunstancias concretas, su ubicacin en unos lugares
19
determinados y los objetivos especficos para cada situacin, as como unos contenidos de aprendizaje por cada especialidad. Continuidad Este principio se refiere a la importancia de identificar las dificultades en el momento en que se produzcan -lo que nos obliga a estar alerta de manera continua-, de manera que podamos actuar oportunamente. Procesualidad Hablamos de la evaluacin como parte de un proceso, por ello el formador debe cerciorarse de la comprensin de un concepto antes de pasar a otro, para poder as ampliar, modificar, suprimir contenidos en funcin de los resultados que va obteniendo. Integridad Se refiere al conjunto de elementos y agentes que intervienen en la accin formativa: programa, recursos y materiales didcticos, equipamiento, alumnado, profesorado, organizacin y gestin formativa. Sistematicidad La evaluacin se basa en unos procedimientos que muestran una actuacin secuenciada (una actuacin por pasos), y una actuacin rigurosa. Estos procedimientos se estructuran partiendo de evaluaciones anteriores para ir ajustando las acciones actuales a las necesidades de conocimiento del alumno. Autoevaluacin La evaluacin ha de verificarse mediante una autoevaluacin que facilite al alumno participar y opinar responsablemente sobre su propio progreso y evolucin. Retroalimentacin Referido al intercambio de informacin entre profesor y alumno de manera que ambos obtengan informacin til. o El alumno para su formacin. o Y el profesor para desarrollar de manera ptima el proceso formativo.
20
TEMA 3 UTILIZAR DIVERSOS TIPOS DE EVALUACIN

Beln est preparando junto a Roco el ltimo tema sobre evaluacin del aprendizaje. Nota a su compaera cansada y es que sta ha realizado un gran esfuerzo para seguir el ritmo a pesar de su falta de experiencia. Aun as, Beln est muy contenta con el trabajo realizado por su colega. Ha aprendido mucho en poco tiempo y no quiere que decaiga en el ltimo tramo. Intenta animarla, le propone que en la prxima sesin se limite a observar. Ella se har cargo de la clase. "Es bueno aprender con la prctica -comenta Beln-, pero de vez en cuando tambin es necesario simplemente atender a cmo se hacen las cosas. Quiz te he exigido demasiado. Voy a preparar la clase e ir explicndote el proceso paso a paso. El Tema 3 cierra la Unidad Didctica que estamos trabajando. Despus de haber insistido en conceptos como el sentido de la evaluacin, la importancia de los indicadores, la medicin, la norma, la objetividad y los principios, queda por abordar algo esencial: los diferentes tipos de evaluacin del aprendizaje. Los alumnos tienen que entender que existen distintas formas de organizarlos, de clasificarlos y de determinar cul resulta ms adecuado aplicar en funcin de las circunstancias." Lo primero que se plantea Beln es que, si bien existen muchas tipologas de evaluacin en funcin de muy diferentes parmetros, en el mbito del aprendizaje se dan fundamentalmente dos clasificaciones: en funcin de su relacin directa con el aprendizaje (evaluaciones formativas o sumativas) y en funcin del momento de realizacin (evaluaciones finales o continuas). Como tiene por costumbre, comienza la clase proponiendo un ejercicio muy simple que ayude a desvelar las caractersticas de las dos tipologas aludidas.
PASO 3.1 DISTINGUIR ENTRE EVALUACIONES FORMATIVAS Y SUMATIVAS

Beln est estructurando el primer paso del Tema 3, mientras Roco le observa y atiende a sus comentarios. Ya hemos indicado que ella ha trabajado en muchos procesos evaluativos, pues antes de dedicarse a la formacin su principal actividad consista en evaluar diferentes tipos de procesos, algo que haca teniendo en cuenta muy distintas perspectivas: quin evaluaba, qu se evaluaba, cmo se evaluaba, cundo se evaluaba
21
Pero ahora tiene que centrar su pensamiento en la enseanza de estos conceptos, y Beln sabe que con el fin de ligar la evaluacin ms estrechamente al aprendizaje, recientemente se han diferenciado dos tipos de evaluacin: la formativa y la sumativa. "Aunque en principio nosotros no utilizaremos la evaluacin formativa, conviene conocer en qu consiste y para qu sirve, as como las diferencias que la separan de la evaluacin que ms habitualmente utilizaremos: la sumativa, tambin conocida como administrativa." De manera que decide comenzar centrndose en ellas, para lo cual propone a sus alumnos un ejercicio.
EVALUACIN FORMATIVA
Dentro de los procesos de evaluacin podemos distinguir diferentes tipologas dependiendo del elemento con el que se relacionen. Por ejemplo, si nos centramos en su relacin con el aprendizaje, podemos observar dos tipos de evaluaciones: Evaluacin formativa Evaluacin sumativa La evaluacin formativa es aquella que se lleva a cabo para averiguar si los objetivos de la enseanza estn siendo alcanzados o no, as como para poder definir qu hay que hacer para que mejore el aprendizaje de los alumnos. Es decir, en esta evaluacin se valora la aplicacin del programa y el desarrollo del proceso formativo. El objetivo de este tipo de evaluacin es el control del proceso educativo para ir solventando los fallos o dificultades que vayan surgiendo a lo largo del mismo, as como sus causas. En relacin con el momento de su elaboracin, esta evaluacin es una evaluacin continua.
22
En nuestro caso podramos relacionarla con la realizacin de evaluaciones parciales que nos permitan comprobar la evolucin de los alumnos, sin olvidar que estas evaluaciones tienen un carcter sumativo.
EVALUACIN SUMATIVA
La evaluacin sumativa es una evaluacin cuyas tcnicas, procedimientos y resultados tienen la finalidad de evaluar las competencias profesionales aprendidas por el alumno. Tambin se conoce como evaluacin administrativa. La evaluacin sumativa es la evaluacin en la que nos vamos a centrar, dado que es la que conduce a la obtencin del certificado de capacitacin profesional. Esta evaluacin es producto de la necesidad de calificar o certificar el nivel de competencia profesional alcanzado por un alumno, al trmino de una accin formativa. Esta necesidad, a su vez, deriva del proceso evaluativo. As mismo, las calificaciones aludidas son necesarias para demostrar que el alumno puede desempear la ocupacin en la que se ha formado. La evaluacin sumativa no pretende reformar, sino que se orienta a la certificacin del nivel de adquisicin de competencias profesionales. En relacin con el momento de su elaboracin, es una evaluacin final.
PASO 3.2. USAR EVALUACIONES CONTINUAS Y FINALES

Beln Arroyo camina por uno de los pasillos ensimismada en sus pensamientos, cuando de pronto tropieza con uno de sus compaeros, Carlos. ste le pregunta por el curso. "Bien! Estoy en plena explicacin de los tipos de evaluacin -le comenta-. Ahora abordaremos las evaluaciones continuas y finales. Aunque en principio no utilizaremos la evaluacin continua, conviene que conozcan en qu consiste y para qu sirve, as como las diferencias que la separan de la evaluacin que ms habitualmente utilizaremos: la final." En ese punto Beln se detiene, hace memoria y se percata de la cantidad de evaluaciones continuas y finales que ha tenido que desarrollar en su carrera profesional. Como adivinndole el pensamiento, Carlos interviene: "Vaya, en eso no creo que tengas demasiados problemas. Dada tu trayectoria, podrs ilustrar muy bien a tus alumnos". "Veremos -contesta Beln-. A la hora de explicarla, la evaluacin continua es ms difcil de acotar que las otras. Sin embargo, en lo que respecta a la evaluacin final, para mis alumnos ser mucho ms interesante y a m me resultar bastante ms fcil de situar. Pienso que es importante que sepan lo que son ambas evaluaciones, para diferenciarlas y tambin para relacionarlas con las ya trabajadas: formativa y sumativa." "Quiz debas apoyarte en esa necesidad que tiene una tipologa de otra -le sugiere Carlos-, y comenzar proponiendo a los alumnos que opinen a propsito de la relacin existente entre ellas para pasar luego a explicarlas."
23
EVALUACIN CONTINUA
La evaluacin continua consiste en una evaluacin de seguimiento. Se lleva a cabo durante el proceso educativo, en cualquier momento que resulte conveniente: al terminar una unidad didctica, un mdulo, al concluir el tratamiento de un contenido, etctera. Los instrumentos utilizados son mayoritariamente pruebas de evaluacin de competencias, exmenes prcticos, observaciones y registros del desempeo o cuestionarios. Recordando lo que ya sabes sobre la evaluacin formativa, conviene que tengas en cuenta que esta evaluacin es, por los momentos en que se lleva a cabo, una evaluacin continua y de seguimiento. Pero esto no significa que todas las evaluaciones continuas sean formativas.
EVALUACIN FINAL
Con la evaluacin final se constatan las competencias profesionales finales obtenidas por cada alumno, indicando qu debera mejorar. La evaluacin final es la evaluacin en la que nos vamos a centrar porque, realizndose al trmino del proceso formativo, conduce a la obtencin del certificado de capacitacin profesional que requiere el alumno para desempear la ocupacin en la que se ha formado. Los rasgos de la evaluacin final son los siguientes: Principal objetivo. Tomar las decisiones oportunas para asignar una calificacin total a cada alumno, que refleje la proporcin de objetivos logrados en el curso. Estos objetivos mostrarn el nivel de aprendizaje alcanzado. Instrumentos. Para este tipo de evaluacin se aplican pruebas objetivas (ver la Unidad Didctica Diseo de Pruebas de evaluacin), que incluyan muestras proporcionales de los objetivos contemplados en la situacin educativa que va a calificarse.
24
Meta. Esta evaluacin se propone arrojar un diagnstico profesional orientativo de cada alumno, que se registre en una ficha individualizada de evaluacin. Observa el siguiente esquema para comprender mejor las cualidades de la evaluacin final
SNTESIS
La Unidad Didctica est a punto de terminar. Beln Arroyo est muy satisfecha del trabajo realizado, y sobre todo de los resultados obtenidos por sus alumnos, as como por los avances de su inexperta compaera Roco en la imparticin de las clases. En este momento se encuentran reunidas preparando la ltima clase de la Unidad, la referida a la Sntesis. "He estado pensando -comenta Beln a Roco-, en que creo que puede resultar provechoso hacer una relacin de las ideas clave de esta Unidad. As los alumnos podrn ver ordenadamente lo esencial de la evaluacin del aprendizaje, y les resultar ms fcil realizar la prueba que tendrn el prximo da." Roco se muestra entusiasmada al tener esta ltima oportunidad de trabajar en algo que le gusta. Adems ser una vez ms un trabajo en equipo con su compaera y gua, Beln, de la que ha aprendido tanto. Sabe que es su ltima oportunidad de asentar conceptos y formas de evaluar antes de tener que enfrentarse ella sola a un curso. Roco y Beln siguen preparando el resumen de todos los contenidos sobre evaluacin que han estado trabajando.
25
SIGNIFICADO DE EVALUAR
Evaluar es el proceso que nos permite averiguar el nivel de competencia del alumno al finalizar la accin formativa. Adems, evaluar supone un permanente control de calidad que va ms all de comprobar el proceso de enseanza-aprendizaje, mejorndolo ininterrumpidamente y certificando la calidad del producto final. Por estas razones, la evaluacin debe ser una parte ms del trabajo del formador y, al igual que el resto de acciones de la intervencin, ha de planificarse previamente. Para ello, hay que clarificar qu puntos se quieren evaluar y relacionarlos con los objetivos planteados, as como extraer de ellos los indicadores de evaluacin. Adems, es necesario evaluar todos los apartados del proyecto: anlisis, objetivos, actividades, metodologa, recursos humanos y materiales, presupuesto, diseo, etctera.
ACLARACIONES SOBRE LA EVALUACIN

En muchas ocasiones se confunden trminos a la hora de poner en prctica la evaluacin. As ocurre entre: medir y evaluar.
26
Medir es comparar algo con una unidad que utilizamos como patrn. La medida por s sola no quiere decir nada. Para que realmente tenga sentido, hay que interpretarla y en esta interpretacin consiste la evaluacin. Tambin hay que saber diferenciar entre evaluacin respecto al criterio y respecto a la norma. Estamos evaluando respecto al criterio cuando comparamos una medida con un objetivo correctamente formulado y no con otra medida, lo cual sera evaluar respecto a la norma. En la evaluacin del aprendizaje lo mejor es utilizar el criterio.
CARACTERSTICAS DE LA EVALUACIN
La objetividad, potenciada por factores como: o El juicio atento. o La capacidad de anlisis. o El nimo sereno o la estabilidad emocional. La toma justa de decisiones. El hecho de decidir suele provocar un malestar denominado disonancia cognitiva. Para reducir la disonancia el formador debe utilizar herramientas objetivas. Las derivadas de los principios o criterios que rigen la evaluacin: o Corresponsabilidad. o Pluralidad. o Contextualizacin. o Continuidad. o Procesualidad. o Integridad. o Sistematicidad. o Autoevaluacin. o Retroalimentacin.
TIPOS DE EVALUACIN
En funcin de su relacin con el aprendizaje Evaluacin formativa: o Valora la aplicacin del programa y el desarrollo del proceso formativo. o Pretende reformar. o En relacin con el momento de su elaboracin es una evaluacin continua. Evaluacin sumativa: o Evala las competencias profesionales aprendidas. o No pretende reformar. o En relacin con el momento de su elaboracin es una evaluacin final. En funcin del momento de realizacin Evaluacin continua: o Evaluacin de seguimiento que tiene como objetivo el control de la evolucin del proceso educativo. o Realizada durante el proceso formativo en cualquier momento que resulte conveniente. Evaluacin del Aprendizaje 27
Evaluacin final: o Califica a cada alumno, le aporta una certificacin relativa a su capacitacin profesional. o Se realiza al trmino del proceso formativo.
RASGOS GENERALES DE LA EVALUACIN DEL APRENDIZAJE

A lo largo de los temas de esta Unidad Didctica, hemos comenzado a enfrentarnos a lo que significa evaluar y lo que ello supone. Ahora, puedes ver en el esquema siguiente los pasos concretos que hay que tener en cuenta para llevar a cabo un correcto proceso de evaluacin.
28
UNIDAD DIDCTICA 7.2 PRUEBAS DE EVALUACIN

OBJETIVOS
El formador ocupacional debe dominar la metodologa y las herramientas para realizar del modo ms eficaz y eficiente las evaluaciones posibles que ha de llevar a cabo. En especial, debe disear y poner en marcha pruebas concretas para evaluar los conocimientos adquiridos por sus alumnos, sean estos conocimientos de tipo terico, prctico o actitudinal. Por tanto, el objetivo general de esta Unidad Didctica es que los formadores ocupacionales sean capaces de: Elaborar pruebas de evaluacin de aprendizaje para verificar niveles de cualificacin, redactando con claridad las instrucciones de aplicacin de la prueba y determinando correctamente el nivel de aptitud. Las reas en las que los formadores tendrn que desarrollar esta labor se refieren al mbito de los conocimientos, las prcticas y las actitudes. De ah la importancia de conocer los instrumentos adecuados a cada uno de estos tres mbitos y de aplicarlos correctamente, aprendiendo as a: DISEAR PRUEBAS PARA LA EVALUACIN DE CONOCIMIENTOS. DISEAR PRUEBAS DE EVALUACIN DE PRCTICAS. DISEAR INSTRUMENTOS PARA LA EVALUACIN DE ACTITUDES. Este objetivo puede a su vez desglosarse en los siguientes objetivos especficos: Con relacin al diseo de pruebas para la evaluacin de conocimientos: o Desarrollar correctamente los pasos para la elaboracin de una tabla de especificaciones. o Redactar correctamente los diferentes tipos de tems o preguntas segn las normas especficas de cada tipo de prueba. o Desarrollar pruebas apropiadas para la evaluacin de aprendizajes complejos. Con relacin al diseo de pruebas de evaluacin de prcticas: o Determinar los instrumentos de evaluacin adecuados a cada tipo de prctica. o Utilizar correctamente todos los criterios tcnicos en la elaboracin de pruebas de prcticas. Con relacin al diseo de instrumentos para la evaluacin de actitudes: o Determinar los instrumentos ms adecuados para la evaluacin de actitudes, aportando indicadores claros, precisos y objetivables. o Aplicar correctamente los criterios tcnicos en la confeccin de los instrumentos aludidos.
29
SITUACIN
Julin Garca lleva tres aos trabajando como formador en el centro "Encinar del Valle". Este ao impartir la Unidad Didctica "Diseo de pruebas de evaluacin del aprendizaje" al grupo de alumnos del curso de Formador Ocupacional, tarea para la que contar con el apoyo de un nuevo compaero, Carlos. El diseo de pruebas es un tema laborioso, y en algunos casos complejo. Julin sabe que sus alumnos necesitarn contar con conocimientos previos de ciertos aspectos de la evaluacin, y espera que su compaera de departamento, Beln Arroyo, haya conseguido enserselos en sus clases (ver unidad didctica "Evaluacin del aprendizaje"). Adems, necesitar que sus alumnos dominen el tema de la planificacin de la formacin, y en especial los pasos referidos a la formulacin de objetivos, dada la importancia de stos en la evaluacin (ver unidad didctica "Objetivos del aprendizaje"). Sabe que lo que a l le toca ensear tiene un elevado contenido prctico, y por ello va a programar sus sesiones combinando un mnimo de teora con muchas aplicaciones prcticas. Es una tarea difcil en la que Julin contar con el apoyo de Carlos, que tiene un gran conocimiento terico de la evaluacin, aunque poca experiencia docente. Julin espera compensar esto con su rodaje como formador. Para empezar, propondr a su colega hacer una divisin de la Unidad en temas que traten el diseo de las pruebas de evaluacin, pasando de lo ms sencillo a lo ms complejo. Cree que lo mejor es empezar retomando el tema de los objetivos en las pruebas de evaluacin, luego aclarar a los alumnos las claves de las pruebas de evaluacin y, tras haber visto su tipologa, comenzar a estudiarlas una por una.
ESTRATEGIA
Los dos compaeros se encuentran en la sala de profesores preparando el temario de la materia que tienen que impartir. Los puntos de vista que cada uno aporta se enriquecen y complementan entre s. Julin considera que un modelo de evaluacin basado en las competencias profesionales supone valorar la cualificacin o preparacin que posee el alumno para ejercer la profesin elegida, es decir, si domina los conocimientos tericos y prcticos propios de la ocupacin. Carlos opina que, adems del propio conocimiento tcnico de un puesto de trabajo, los alumnos necesitan dominar otros elementos, como la manera de afrontar el trabajo. Por ello, cree que hay que evaluar tambin las actitudes: iniciativa, creatividad, responsabilidad. Finalmente, ambos coinciden en que ser necesario en las clases atender a la evaluacin de conocimientos, de prcticas y de actitudes por separado. Julin sugiere organizar el trabajo en cinco temas. Uno inicial muy corto, pero importante, que enlace con los conocimientos que ya tienen los alumnos relativos a la importancia de los objetivos. A continuacin, tres temas bastante ms extensos centrados en el diseo de pruebas para la evaluacin de los conocimientos, las prcticas y las actitudes. Para terminar, darn un repaso de manera general a las caractersticas tcnicas de las pruebas de evaluacin. As pues, esta Unidad Didctica quedara configurada de la siguiente manera: TEMA 1. CLASIFICAR LOS OBJETIVOS. TEMA 2. DISEAR PRUEBAS DE EVALUACIN DE CONOCIMIENTOS. TEMA 3. DISEAR PRUEBAS DE EVALUACIN DE PRCTICAS. Evaluacin del Aprendizaje 30
TEMA 4. DISEAR PRUEBAS DE EVALUACIN DE ACTITUDES. TEMA 5. RECONOCER LAS CARACTERSTICAS TCNICAS DE LAS PRUEBAS DE EVALUACIN DEL RENDIMIENTO.
31
TEMA 1. CLASIFICAR LOS OBJETIVOS

Julin y Carlos pasean por el centro comentando cmo abordar el primer tema de esta Unidad, cmo clasificar en distintas categoras los objetivos de las pruebas de evaluacin. Cuentan con que los alumnos ya han aprendido en la Unidad "Planificacin de la formacin" y "Objetivos de aprendizaje"cmo se formulan objetivos, cules son sus caractersticas, as como las tipologas de los mismos. Todos ellos conocimientos que ahora deben aplicar a los objetivos en las pruebas de evaluacin. "Tenemos que recordarles -comenta Julin- que unos objetivos de aprendizaje claros son el primer paso para seleccionar otros componentes del proceso formativo, como los contenidos, los mtodos y, a lo que vamos, las formas de evaluar a los alumnos." "Yo siempre he pensado -contina Carlos- que el formador tiene que seleccionar el mtodo de evaluacin a partir de los objetivos que tenga su curso." Julin sonre. "S bueno, eso es la teora. Pero muchas veces no es as. Ten en cuenta que cuando un formador prepara sus clases no siempre examina cuidadosamente si lo que ha preparado ayuda a alcanzar los objetivos de aprendizaje formulados para ese curso y materia. Si lo hiciera, seguramente debera modificar su programacin. Y esto supone un trabajo extra que no todos estn dispuestos a hacer, pues no le ven demasiada utilidad." Tras esta conversacin, ambos concluyen que en la primera parte de las clases van a trabajar con los alumnos para intentar corregir este vicio del formador. Para ello preparan un sencillo ejercicio que sirva de refresco de los conocimientos adquiridos sobre objetivos.
PASO 1.1. UTILIZAR LA TAXONOMA DE BLOOM

Julin y Carlos quieren refrescar los conocimientos de sus alumnos sobre objetivos antes de meterse de lleno con los tipos de pruebas de evaluacin. Quieren recordarles a sus alumnos la Taxonoma de Bloom para clasificar objetivos, ya que piensa que es la ms prctica y universal. Pero Julin tiene miedo de que Carlos sea demasiado abstracto, ya que el tema que van a abordar est muy relacionado con la psicologa. Por eso, queda con Carlos para reunirse y revisar juntos algunas pautas de tipo metodolgico, ya que se adentran en un terreno Evaluacin del Aprendizaje 32
complejo. Son conceptos muy particulares, como taxonoma y dominio, por lo que conviene estructurar muy bien el tema para que los alumnos no confundan trminos y asimilen correctamente los conceptos. "Me parece bien que lleves t la clase -comenta preocupado Julin-, pero deberamos estructurar bien la materia ya que ste es un tema en el que introduciremos muchos trminos nuevos." "Lo mejor ser recordar en qu consiste una taxonoma -propone Carlos- y a partir de ah centrarnos en la que nos interesa, la de Bloom, y hablar de los dominios de la dimensin de la conducta y las diferencias entre dominio cognitivo, afectivo y psicomotor." "S, bueno -concluye Jaime-. Pero hblales claro y explcales que cognitivo es todo lo relacionado con el conocimiento y que afectivo es lo relacionado con los sentimientos y los sentidos. Y que cuando hablamos de psicomotor nos referimos a todo lo relacionado con la accin."
TAXONOMA DE LOS OBJETIVOS

Es muy importante tener presente que una prueba de evaluacin requiere una previsin y preparacin minuciosas. Es preciso tener siempre en cuenta la trascendencia de haber definido adecuadamente los objetivos antes de disear la prueba, de modo que en nuestra evaluacin podamos disear pruebas que determinen en qu medida hemos logrado los objetivos previstos. Todo esto se desarrolla en las unidades didcticas dedicadas a Planificacin y a Objetivos. En este tema nos centraremos en recordar una serie de aspectos sobre los objetivos, primordiales para tener pistas a la hora de disear una prueba de evaluacin. Como recordars, en el proceso de enseanza/aprendizaje se utiliza el trmino taxonoma (ciencia que se ocupa de los principios, mtodos y fines de la clasificacin). Concretamente en nuestro mbito, se considera un sistema de clasificacin de los programas educativos, siendo la Taxonoma de Bloom la ms utilizada. Esta taxonoma se caracteriza por la identificacin de tres reas o dominios de actividades educativas relacionados con la dimensin de la conducta, que repasamos aqu brevemente: Cognitivo. Engloba todas las acciones relacionadas con el conocimiento. Es el mbito que ms nos interesa como formadores ocupacionales. Ms adelante veremos que se refiere a las conductas que sitan en primer lugar los procesos mentales del sujeto que aprende. Evaluacin del Aprendizaje 33
Afectivo. Se centra ms en acciones relacionadas con sentimientos y sentidos, como son atender, responder o valorar. Psicomotor. Abarca trminos y palabras relacionadas con la accin, como por ejemplo la frecuencia, la energa y la duracin. Estos tres dominios tienen mucho inters para los formadores ocupacionales, ya que sabiendo a qu dominio pertenece determinado objetivo se puede disear el tipo de prueba de evaluacin ms adecuada. Fjate especialmente en la siguiente tabla; contiene las claves de los siguientes temas de esta unidad.
Dominios de actividades Estn relacionados con educativas objetivos Se evalan con pruebas de evaluacin de Ver tema
Cognitivo
Del conocimiento
Conocimientos
Afectivo
Actitudinales
Actitudes
Psicomotor
Procedimentales
Prcticas
DOMINIO COGNITIVO
El dominio cognitivo se refiere a las conductas que sitan en primer lugar los procesos mentales del sujeto que aprende. Existen seis niveles de complejidad, desde el simple conocimiento hasta la evaluacin, pasando por la comprensin, la aplicacin, el anlisis y la sntesis.
Los trminos relacionados con cada uno de los niveles son acumulativos. Es decir, que cada nivel comprende siempre los anteriores, ya que el orden de conducta que siguen estas categoras evoluciona de lo ms simple a lo ms complejo, yendo de lo ms concreto a lo ms abstracto. De este modo, si furamos de menor a mayor obtendramos la pirmide que se muestra a continuacin:
34
35
TEMA 2. DISEAR PRUEBAS DE EVALUACIN DE CONOCIMIENTOS

Julin y Carlos estn preparando sus siguientes clases, que tratarn de las pruebas de evaluacin de conocimientos. "Como ya te he comentado en otras reuniones -dice Julin a Carlos-, lo mejor ser partir del planteamiento general de una prueba de evaluacin que nos permita explicar las tcnicas y los instrumentos necesarios para evaluar los conocimientos." "Vale -afirma Carlos. Y despus deberamos explicar dos cosas que estn relacionadas con este planteamiento general: en qu consisten las tablas de especificaciones y las pruebas de evocacin." "Me parece bien -aade Julin. Seguidamente pasaramos a hablar de las pruebas objetivas menos complejas, las de seleccin, que son las de verdadero o falso, de correspondencia y de seleccin mltiple." "Perfecto, y para dar por terminado el tema -recuerda Julin-, el ltimo bloque lo podemos dedicar a las pruebas ms complejas, como el ejercicio interpretativo, las pruebas de ensayo y las correspondientes a la evaluacin de aprendizajes complejos." Llegados a este punto, Julin ya ha hecho un esquema de los aspectos principales que tocarn en el tema: Paso 2.1: Plantear pruebas de evaluacin: o Tablas de especificaciones. o Pruebas objetivas de evaluacin. o Pruebas de evocacin. Paso 2.2: Elaborar pruebas objetivas de seleccin: o De verdadero o falso. o De correspondencia. o De seleccin mltiple. Paso 2.3: Utilizar pruebas complejas: o Ejercicios interpretativos. o Pruebas de ensayo breve. o Evaluar aprendizajes complejos.
36
PASO 2.1. PLANTEAR PRUEBAS DE EVALUACIN

Carlos y Julin siguen hablando sobre el diseo de pruebas de evaluacin. "Yo he preparado infinidad de pruebas de evaluacin -comenta intranquilo Carlos- pero la verdad es que nunca he dado clases sobre este tema, por lo que sigo un poco perdido." "Es sencillo -le tranquiliza Julin-. Lo primero que tenemos que hacer, antes de nada, es insistir a nuestros alumnos en que una buena prueba de evaluacin no se puede improvisar, sino que es fruto de un trabajo organizado y riguroso". "Dmelo a m!-argumenta Carlos- que me he pasado aos realizando pruebas de evaluacin." "Por esa razn debes tranquilizarte -le anima Julin-. Nuestros alumnos ya saben, por las sesiones que han seguido de planificacin, que todo proceso de aprendizaje debe contar con unos objetivos formativos claramente definidos. El logro de esos objetivos permitir que adquieran la preparacin adecuada para desarrollar la profesin elegida. Tambin saben que una cosa es incorporar conocimientos (saber), otra demostrar destrezas (saber hacer), y otra el hecho de desarrollar una serie de actitudes en el trabajo (saber estar); y que todo esto precisa de diferentes pruebas de evaluacin." "Bueno, ests hablando de competencias y sus diversos tipos -afirma Carlos. Pero sera mejor si centramos la explicacin en darles una clasificacin clara y sencilla de las pruebas objetivas que pueden disear. Qu te parece esta?"
37
Julin sigue preparando con Carlos las clases sobre pruebas de evaluacin de conocimientos. "Oye, Carlos, creo que adems de la clasificacin con los diversos tipos de pruebas, sera muy importante que a los alumnos les diramos unos criterios para que puedan disear sus pruebas con cierta seguridad de que lo estn haciendo bien." "Me alegro de que me hagas esa propuesta -dice Carlos-. Tengo lista una tabla que creo puede ser muy aclaratoria al respecto. Mira, es esta."
38
PLANTEAR UMA PRUEBA DE EVALUACIN

La planificacin es el punto de partida para evaluar las competencias profesionales. Una planificacin bien estructurada sirve de gua para desarrollar las pruebas de evaluacin ms adecuadas. As, se reduce la improvisacin y se tienen mas garantas sobre la validez de las pruebas que se diseen. Para plantear una prueba de evaluacin es muy importante partir de un organizador de la misma que ayude a sistematizar el trabajo. Para ello, el elemento ms adecuado es la tabla de especificaciones que se realiza antes de elaborar las pruebas de evaluacin y que constituye el primer paso de la planificacin evaluativa. En las pginas siguientes de Consulta se explica como construir esta tabla.
LA EVALUACIN DEL APRENDIZAJE Y EL CONTROL DE CALIDAD

La evaluacin del aprendizaje tiene su punto de partida en los objetivos. Como la relacin de estos objetivos puede ser muy extensa, para llevar a cabo la evaluacin hay que hacer una seleccin de los mismos. Si tenemos en cuenta el paralelismo que existe entre los procesos de evaluacin del aprendizaje y el control de calidad en otros procesos, comprenderemos mejor a qu nos referimos. El control de calidad en una fbrica no se realiza sobre las miles de piezas que pueden producirse, ya que ello supondra una gran prdida de tiempo y elevara el coste del producto. Ese control se lleva a cabo sobre una muestra de esas piezas elegidas por mtodos estadsticos. En un curso de formacin habr que seleccionar aquellos objetivos ms importantes, de tal forma que podamos asegurar, con pequeos mrgenes de error, que los alumnos que son capaces de cumplir esos objetivos sern capaces de cumplir todos o gran parte de los del curso. RESUMEN El eje que gua la evaluacin debe ser siempre la planificacin se haya hecho del curso en general.
39
Una evaluacin que no parta de la planificacin tiene menos garantas de ser vlida. El punto de partida de la evaluacin son los objetivos que se hayan marcado en la planificacin del curso. Y la manera de construir la prueba es usando el organizador, como la tabla de especificaciones. No es necesario evaluar todos los objetivos del curso. Pero s es preciso asegurarse de que se evala una muestra representativa de los ms importantes.
CONSTRUIR UMA TABLA DE ESPECIFICACIONES

Uno de los pasos previos y fundamentales en la elaboracin de las pruebas de evaluacin es el construir una tabla de especificaciones donde se establezca una relacin entre objetivos y contenidos del curso con las preguntas que se utilizarn para la medicin de los mismos.
Jerarquizacin de objetivos de conducta para la planificacin de la evaluacin

La evaluacin del aprendizaje debe partir de los objetivos de conducta, aunque no todos ellos sean objeto de una evaluacin, ya que en ese caso las evaluaciones seran interminables y poco rentables, tanto para alumnos como para profesores, elevando los costes de la enseanza. Como ya hemos comentado en la pantalla anterior, en la enseanza tendremos que reducir y jerarquizar los objetivos con la finalidad de obtener una muestra representativa de la totalidad. Para obtener esta muestra representativa se pueden seguir los tres pasos siguientes: Simplificar la totalidad de objetivos suprimiendo aquellos que se repiten o estn implicados en otros. Dar importancia relativa a cada una de las partes que constituyen el puesto de trabajo. Jerarquizar los objetivos. Veamos cada uno de ellos:
1. Simplificar la totalidad de objetivos

El primer paso es simplificar la totalidad de los objetivos suprimiendo aquellos que se repiten o estn implicados en otros. Si se tratase de una programacin para la enseanza tendramos que tener en cuenta todos los objetivos, porque todos deberan ser aprendidos por el alumno. Pero ahora se trata de una prueba de evaluacin y, por tanto, es posible y necesaria esta reduccin tan simple. Por ejemplo, los nombres de las herramientas y su uso no sern nunca objeto de evaluacin final porque de forma normal van incluidos en otro tipo de conducta profesional ms compleja como un montaje, una reparacin, etctera.
2. Dar importancia relativa a cada una de las partes

El segundo paso es dar importancia relativa a cada una de las partes que constituyen el puesto de trabajo. De esta apreciacin saldr determinado el nmero de preguntas que har referencia a cada una de esas partes, si se trata de la prueba de Conocimientos Profesionales. Evaluacin del Aprendizaje 40
En el caso de la prueba prctica se determinarn las operaciones que deben destacarse en la evaluacin. Esta determinacin, que se har contrastando la opinin de varios profesionales, podr ser objetiva en la medida en que se consideren las veces que un profesional normal hace uso de esos conocimientos o ejecuta dichas operaciones. Otro criterio que habr que tener en cuenta ser el valor econmico que se d a las distintas ejecuciones. Si en el contenido de un curso, por ejemplo, pueden considerarse seis partes, adjudicaremos un porcentaje de importancia a cada uno de ellos, utilizando los datos que resulten de la determinacin anterior.
Una vez obtenido el porcentaje de importancia pasamos a determinar el nmero de preguntas que harn referencia a cada uno de esos contenidos. Para ello slo tenemos que precisar el nmero total de preguntas que queremos tenga la prueba y repartir proporcionalmente el porcentaje de importancia adjudicado a cada una de las partes. Ver ejemplo de Tabla de Especificaciones.
3. Jerarquizar los objetivos

La tercera etapa consistir en dar una categora a los objetivos ya seleccionados, es decir, en determinar a qu nivel se piden esos objetivos, ya que cada uno puede exigirse a diversos niveles; una cosa es saber los nombres de las operaciones y otra muy distinta ejecutarlas, una cosa es interpretar un piano y otra muy distinta seguir rdenes orales. En este mismo sentido podemos decir que una cosa es hacer siempre el mismo trabajo repetitivo y otra muy diferente resolver problemas nuevos que puedan presentarse. Para jerarquizar los objetivos utilizamos las llamadas taxonomas, cuyo significado ya hemos visto anteriormente. Si volvemos a la tabla anterior, quedara modificada as:
41
Su interpretacin sera la siguiente: Los objetivos A requieren preguntas de conocimiento y comprensin, sumando ambas 5 tems. Los B requieren preguntas de conocimiento, comprensin y evaluacin (hasta un total de 10). Los C seran 5 preguntas, slo de aplicacin. Los D seran 3 preguntas de comprensin, 5 de aplicacin y 4 de anlisis, haciendo un total de 12. Los E se repartiran entre todos salvo de aplicacin, haciendo un total de 15 preguntas. En ltimo lugar, los F seran 2 de comprensin y 1 de sntesis, lo que suma 3. As pues, el nmero de tems o preguntas de cada categora est en funcin de la importancia que se le quiera dar a la misma. Por ejemplo, en B se da ms importancia a la comprensin (6 tems), que al conocimiento (3 tems), y que a la evaluacin (1 tem). Por otra parte, el nmero total de tems de cada contenido est en funcin del porcentaje de importancia expresado en la tabla anterior. De esta manera a B, que se le adjudic un 20% de importancia, le corresponden 10 preguntas, mientras que a E, que tiene un 30%, le corresponden 15. El nmero total de tems de la prueba se obtiene sumando los totales parciales de cada contenido. En este caso es de 50 tems.
CARACTERSTICAS OBJETIVAS
CONDICIONES
DE
LAS
PRUEBAS
La prueba objetiva es una prueba escrita entre cuyas caractersticas principales encontramos estas tres: Alto nmero de preguntas, breves en su enunciado y respuesta. Las respuestas aceptables estn previamente determinadas, y por exclusin las rechazables. El procedimiento para la valoracin de los resultados de la prueba est previamente determinado. Una prueba objetiva debe reunir, al menos, las siguientes cinco condiciones: Construccin del test: la materia y la dificultad de las cuestiones han de estar sistemticamente controladas. Estandarizacin: la aplicacin y correccin se realizan de la manera ms uniforme posible. Contraste: la clasificacin se realiza en funcin de las normas resultantes del examen previo de un nmero ms o menos elevado de sujetos, lo que permite situar cada una de las respuestas totales o parciales en una distribucin estadstica. Validez: Las respuestas a las cuestiones planteadas dan la medida correcta del comportamiento o conocimiento que la prueba pretende medir. Fiabilidad: si las circunstancias no cambian, la repeticin del examen debe conducir siempre al mismo resultado u otro muy prximo.
42
CLASIFICACIN DE PRUEBAS OBJETIVAS

Una de las clasificaciones ms claras y sencillas de los tipos de pruebas objetivas es la siguiente:
Una breve descripcin de estos tipos de pruebas objetivas sera la siguiente: Pruebas de evocacin: son preguntas que suponen el evocar o redactar la respuesta concreta e ntegra por parte del alumno. Se clasifican en dos tipos: o Respuesta breve: consisten en contestar con una palabra, frase o smbolo. Ejemplo: La capital de Portugal es ................. o Texto incompleto: la respuesta es una palabra o palabras que se han de insertar en el texto presentado. Ejemplo: En Europa existen varios pases pequeos. Uno de ellos es ................. , situado en los Pirineos, entre Espaa y ................. . Otro es ................., rodeado de Italia por todas partes. Mnaco se encuentre en la costa del Mar ................. . Pruebas de seleccin: son pruebas en las que hay que seleccionar una respuesta entre varias propuestas o reconocer un recuerdo. Existen tres tipos: o Verdadero o falso: hay que contestar verdadero o falso, o bien s o no a un enunciado determinado. Ejemplo: El ro Danubio pasa por Dinamarca: V F o Correspondencia: consiste en asociar por parejas los elementos de dos conjuntos de informacin. Ejemplo: Une con flechas cada continente con su ro: Amrica Nilo frica Rhin Asia Amazonas Europa Indo Seleccin mltiple: eleccin mltiple de la respuesta adecuada entre varias alternativas que se le presentan al alumno. Ejemplo: Indica cul es la capital de Escocia: Liverpool Edimburgo Glasgow Manchester Dubln
43
NORMAS GENERALES PARA LA ELABORACIN DE TEMS

La redaccin de los tems de pruebas objetivas exige una serie de condiciones de carcter general y otras de carcter especfico o concreto. A continuacin trataremos las de carcter general que afectaran a todos los tems de cualquier tipo: Vocabulario: el vocabulario del tem debe ser comprensible para todos los que se examinan. No deben utilizarse palabras complicadas que impidan al alumno entender la pregunta. Ejemplo: (Mal) La capital europea de la industria criognica es ................. (Bien) La capital europea de la industria del fro es ................. Redaccin: hay que redactar la pregunta de manera que exija una respuesta exacta. Si una pregunta est formulada de manera ambigua o demasiado general podr tener varias respuestas correctas o ser cierta y falsa segn la enfoque el alumno. Ejemplo: (Mal) La ciudad ms importante de Suiza es ................. (Bien) La ciudad con ms habitantes de Suiza es ................. Comprensin: no plantear las preguntas de manera que puedan ser contestadas por simple memorizacin, salvo cuando sta sea imprescindible. La memorizacin es necesaria cuando sirve para algn fin especfico (como frmulas y operaciones aritmticas) para poder aplicarlo a determinadas situaciones. Slo es correcto puntuar la "simple memorizacin" cuando sta sirve como medio y no como fin. Independencia: debe evitarse la interdependencia entre dos o ms preguntas. No debe existir interrelacin entre varias preguntas de modo que para contestar a una de ellas se tenga que haber contestado a las anteriores. Ejemplo: (Mal) 1. Pars tena 6.357.000 habitantes en 1980 y 7.475.000 en 2000. En qu porcentaje se ha incrementado la poblacin desde 1980 a 2000? 2. Calcular la poblacin en 2020 suponiendo que se mantenga el mismo porcentaje de crecimiento. Si se contesta mal la pregunta 1, la 2 tendr tambin el resultado incorrecto. La solucin es formular ambas cuestiones en preguntas independientes. Juego limpio: evitar el uso de trucos o trampas. Se deben evitar aquellos tems que plantean trampas o problemas capciosos o juegos de palabras que puedan despistar al alumno conocedor de la respuesta correcta. Ejemplo: (Mal) Cuntos nuevos estados nacionales se han adherido a la Unin Europea despus de 1975, teniendo en cuenta que hay pases como Alemania que estn compuestos por estados federados? (Bien) Cuntos estados nacionales han firmado el tratado de adhesin a la Unin Europea despus de 1975? Significacin: no hay que recurrir a trivialidades. A veces, para obtener un buen nivel de dificultad y discriminacin de los tems, el diseador de pruebas recurre a trivialidades para complicarlos. Estos tems carecen de valor, ya que exigen la memorizacin de minuciosidades que no suponen un aprendizaje de calidad. Ejemplo: Evaluacin del Aprendizaje 44
(Mal) Cuntos puestos fronterizos permanecen abiertos en Alemania durante el invierno? Una de las normas generales que ms debe cuidarse en la elaboracin de tems es el grado de dificultad de la prueba. Hay que evitar dar a conocer claves reveladoras. A veces en la redaccin de la pregunta existen claves o pistas que insinan al alumno "avispado" la solucin correcta sin que l supiese de antemano la respuesta. Existen tres clases de claves: Verbales: son las que resultan de una asociacin verbal entre la pregunta y su respuesta. Ejemplo: (Mal) Una mujer nacida en Santiago de Chile tiene el gentilicio de... a) Santiaguina b) Mascatea. c) Cairota. (Bien) Una mujer nacida en Santiago de Chile tiene el gentilicio de... a) Santiaguina b) Santichilena c) Santiagesa Gramaticales: son instrucciones gramaticales que descubren la respuesta al concordar gramaticalmente la respuesta con lo preguntado, generalmente en el gnero (masculino-femenino), o en el nmero (singular-plural). Ejemplo: (Mal) Nimega es una ciudad de los Pases... a) Oriente b) Bajos c) Interior (Bien) Nimega es una ciudad de los Pases... a) Orientales b) Bajos c) Interiores Por heterogeneidad: son las que resultan por la discordancia entre los conceptos de un conjunto. Se dan fundamentalmente en las alternativas de las pruebas de seleccin mltiple o en las de las pruebas de correspondencia de pares. Ejemplo: (Mal) Asocia cada elemento de la columna A con uno de la B. Columna A - Columna BCracovia Suiza Lucerna Polonia Funafuti Eslovaquia Bratislava Tuvalu Todas las premisas y respuestas estn asociadas a ciudades y pases de Centroeuropa, salvo una (heterognea) que se refiere a Oceana, lo que constituye una clave evidente. (Bien) Asocia cada elemento de la columna A con uno de la B. Columna A Columna BEvaluacin del Aprendizaje 45
Cracovia Lucerna Aquisgrn Bratislava
Suiza Polonia Eslovaquia Alemania
El resto de normas de elaboracin que afectan a todos los tems de cualquier tipo son las siguientes: Exhaustividad: abarcar con la prueba todas las lneas de la materia por evaluar, asignando un nmero de tems proporcional a la importancia de cada rea. De esta forma aumenta la validez de la prueba. Idoneidad: elegir el tipo de tem apropiado para cada uso. Entre los diversos tipos de tems, algunos son ms adecuados para medir ciertos objetivos, otros presentan limitaciones en la comprobacin de ciertos aprendizajes. Por tanto, cada tem debe elegirse en consonancia con el tipo de objetivo o tipo de aprendizaje que se pretende evaluar. Nmeros cerrados: no permitir la eleccin de tems. El elaborar una prueba con mayor nmero de tems del exigido para responder, a fin de que los alumnos elijan los que deseen contestar (una prueba de 60 tems que pide al alumno que slo responda a 50 de su eleccin), es una prctica contraria a la tcnica de evaluacin, ya que los resultados no son comparativos y adems se reduce la validez del contenido. Clasificacin: agrupar juntos todos los tems de un solo tipo y dar instrucciones para contestarlos. Como es posible que en una prueba aparezcan tems de distinto tipo, deben agruparse por bloques, evitando as posibles confusiones. Si las instrucciones fuesen algo complicadas pueden ponerse algunos tems resueltos como ejemplo. Contraste: dar a leer los tems a otros docentes por si existiesen ambigedades o errores en la redaccin que puedan pasar inadvertidos al autor de la prueba, ya que a menudo, al haber redactado uno mismo el tem, es difcil percatarse de un doble significado, una imprecisin, etctera. Improbabilidad: evitar que la respuesta a un tem sea tan obvia que se pueda contestar correctamente sin necesidad de haberla estudiado. RESUMEN: Normas generales: Elegir un vocabulario comprensible para el alumno Redactar preguntas que exijan respuestas exactas Evitar preguntas que se contesten con memorizacin No relacionar dos o ms preguntas Evitar trampas que despisten al alumno Desterrar trivialidades No dar a conocer claves reveladoras Abarcar todos los mbitos de la materia Elegir tems apropiados No incluir ms tems de los exigidos para responder Evaluacin del Aprendizaje 46
Agrupar tems del mismo tipo Contrastar con otros docentes Evitar respuestas obvias
PRUEBAS DE EVOCACIN
Las pruebas de evocacin sirven para medir conocimientos de datos simples que pueden expresarse con la brevedad que requieren este tipo de tems. En las preguntas o tems de estas pruebas el alumno debe evocar o redactar las respuestas, que pueden ser de dos tipos: De respuesta breve: se contesta con una palabra, frase o smbolo. De texto incompleto: la respuesta es una palabra o palabras que se insertan en el texto presentado.
Sus principales caractersticas son: Aunque los aprendizajes u objetivos ms complejos suelen medirse con otro tipo de preguntas, una excepcin a esta caracterstica es cuando la prueba se presenta en forma de problema matemtico que exige una respuesta breve. La siguiente pregunta sera un buen ejemplo: Cul ser la superficie de una habitacin de cinco lados, cuatro de ellos iguales (3 m) y uno mucho mayor (5 m)? ______________ Las pruebas de evocacin son muy adecuadas para las evaluaciones formativas, ya que indican de forma breve y precisa: o Si los alumnos han captado las ideas fundamentales. o Los aspectos de la materia en los que el formador deber insistir. Por otra parte, hay que tener en cuenta que las respuestas incorrectas que den los alumnos pueden usarse como alternativas en los tems de seleccin mltiple. Resultan relativamente fciles de construir, aunque, si se elaboran teniendo en cuenta un buen nivel de representatividad, discriminacin y dificultad, su construccin es ms complicada. Eliminan la posibilidad de respuesta por adivinacin, ya que carecen de alternativas. Admiten una amplia aplicacin en cuestiones cuyas bases estn constituidas por mapas, dibujos, esquemas, diagramas, etctera. No son ms difciles que las de seleccin mltiple. Parece ser que la correlacin entre dos pruebas de sesenta tems, una de seleccin mltiple y otra de elaboracin de respuesta, puede ser de 0,97, lo que significa que ambas pueden medir los mismos aspectos del aprendizaje.
47
NORMAS DE ELABORACIN DE PRUEBAS DE EVOCACIN

Unicidad: redactar la pregunta de manera que slo sea posible una respuesta breve. La pregunta que puede parecer simple a su autor a veces puede contestarse de maneras diferentes. Adems, la respuesta debe ser breve, ya que al requerir muchas palabras se introducen factores subjetivos que reducen la objetividad. Ejemplo: (Mal) Francia es un pas ............. . (Podra contestarse europeo, antiguo, grande, republicano, etctera) (Bien) Francia, por su tamao respecto a los dems pases de la Unin Europea, se clasifica como un pas ............. (Aqu slo es posible una contestacin, grande) Diferenciacin: evitar el uso de expresiones idnticas a las que figuran en los manuales en los que estudiaron los alumnos, ya que en estos casos slo se estimula la simple memorizacin y no la comprensin. Sin embargo, en algunos casos ser necesario que la expresin sea idntica a la que figura en el manual; por ejemplo, cuando se quiera, precisamente, que el alumno memorice algo, como puede ser un cdigo de seguridad. Pregunta directa: en general, es preferible la pregunta directa a la oracin incompleta, ya que hace ms especfica la respuesta, aumentando por tanto la probabilidad de que solamente sea adecuada una respuesta. Unidades de medida: cuando la respuesta trata de nmeros, es necesario indicar el tipo de unidades exigidas. De esta manera se le aclara la tarea al alumno y se facilita la calificacin. Ejemplo: (Mal) Qu superficie tiene Italia? ............. (Puede darse la respuesta en kilmetros cuadrados, en hectreas o incluso decirse "Montaosa" o "Irregular") (Bien) Qu superficie (en kilmetros cuadrados) tiene Alemania?.............. Flexibilidad: considerar correcta cualquier respuesta que exprese el concepto correcto. A veces una misma idea puede expresarse por varios trminos o vocablos, que deben considerarse vlidos si expresan correctamente el concepto de la respuesta. No obstante, debe procurarse siempre redactar la pregunta de manera que slo admita una nica respuesta. En este mismo sentido, no deben tomarse en cuenta los errores de ortografa, salvo que el examen sea, precisamente, de ortografa. Espacios iguales: los espacios en blanco para las respuestas deben ser de la misma longitud y ordenarse a la derecha de la hoja, pudiendo ir precedidos por el nmero del tem. Al ser iguales los espacios en blanco, se evitarn las claves sobre la longitud de la respuesta (especialmente en los tems de texto incompleto). El ordenar estos espacios a la derecha es por razones de orden prctico para facilitar la respuesta y la correccin.
48
Limitacin: en las pruebas de calificacin, limitar la cantidad de tems de evocacin al 20% del total. Es una sugerencia de P. A. Goring que se basa en que en general se trata de tems para medir objetivos sencillos, por lo que su uso debe ser limitado.
PASO 2.2. ELABORAR PRUEBAS OBJETIVAS DE SELECCIN

ACTIVIDAD
Julin y Carlos ya han impartido la sesin en la que han hablado de cmo se plantean las pruebas de evaluacin y en la que han profundizado adems sobre las pruebas de evocacin. Ambos formadores se renen para comentar la marcha de la misma. "Los alumnos -dice Julin- no han tenido demasiados problemas para comprender estas pruebas." "S -contesta Carlos-, a ver si acertamos tambin con el siguiente asunto, las pruebas objetivas de seleccin. Fjate, lee esta introduccin que he preparado para comenzar la clase." "A ver, trae". Julin lee el texto que le pasa su compaero: "Estas pruebas se caracterizan porque debe elegirse una respuesta entre varias propuestas. De los tres tipos que vamos a trabajar cada uno tiene una utilidad; las de verdadero o falso miden la capacidad para, entre otras cosas, distinguir conclusiones vlidas de las que no lo son. Las de correspondencia miden la capacidad para identificar relaciones entre dos cosas. Y, finalmente, las de seleccin mltiple miden aprendizajes y objetivos ms complejos que las dems". "Est bien, pero es demasiado fuerte comenzar la clase as -sigue Julin-. Sera mejor decir: Hoy vamos a ver las pruebas llamadas de seleccin. Empezaremos con las de verdadero o falso, las ms fciles, y seguro que todos vosotros en alguna ocasin habris tenido que realizarlas. Son aquellas en las que hay que marcar si una expresin es cierta o falsa. Luego veremos las de correspondencia, en las que se relacionan unos elementos con otros (por ejemplo, con flechas). Y despus el tercer tipo, las de seleccin mltiple, en las que hay que encontrar varias opciones correctas en una lista." Carlos consiente: "Bien, de acuerdo, lo haremos como dices. Creo que es ms claro que mi discurso terico."
49
PRUEBAS DE VERDADERO O FALSO

Las pruebas de verdadero o falso son un tipo de prueba objetiva que se incluye en la categora de pruebas de seleccin de una respuesta entre varias propuestas, junto con las pruebas de tems de correspondencia y las de seleccin mltiple. Su ubicacin en el esquema sera la siguiente:
Estas pruebas se caracterizan porque ante un enunciado determinado requieren la contestacin de "verdadero" o "falso", o "s" o "no". Suelen ser fciles de elaborar y poco dadas a la existencia de claves reveladoras. Se utilizan sobre todo en la medicin de las capacidades del alumno para: Diferenciar entre hechos y opiniones. Identificar relaciones de causa-efecto. Distinguir conclusiones vlidas de las que no lo son. Ahora vamos a entender mejor en qu consisten cada uno de los tipos de pruebas de verdadero o falso. Afirmacin verdadera o falsa. Las preguntas de verdadero o falso se caracterizan fundamentalmente por solicitar al alumno que, ante la afirmacin realizada, determine si es verdadera o falsa. Ejemplo: Instruccin: Indica si la siguiente afirmacin es verdadera o falsa. Pregunta: Un pas de clima mediterrneo tiene menos precipitaciones que uno de clima atlntico. (V o F) Respuesta: V. Responder s o no. Cuando el planteamiento adquiere forma interrogativa la respuesta que se busca es afirmativa (s), o negativa (no).
50
Ejemplo: Instruccin: Responde s o no a la siguiente pregunta. Pregunta: Un pas de clima mediterrneo tiene menos precipitaciones que uno de clima atlntico? (S o No) Respuesta: S. Justificacin de respuesta falsa. El tipo justificacin de respuesta falsa requiere que, una vez que respondamos si la afirmacin realizada es verdadera o falsa, en caso de ser falsa, indiquemos la verdadera. Lo cual supone adems del conocimiento de la verdad o falsedad de la afirmacin, el conocimiento de la verdadera respuesta.
Ejemplo: Instruccin: Indica si la siguiente afirmacin es verdadera o falsa. En caso de ser falsa, escribe la verdadera. Pregunta: El monte ms alto de Espaa es el Aneto. Respuesta: Es falso, el ms alto de Espaa es el Teide, ya que el Aneto es el monte ms alto de la Pennsula Ibrica, pero el ms alto de Espaa es el Teide, en Santa Cruz de Tenerife (Canarias). Hecho-opinin. El tipo hecho-opinin se suele utilizar para medir el pensamiento crtico. Consiste en distinguir si la observacin presentada es un hecho o una opinin, expresando el porqu. Ejemplo: Instruccin: Indica si la siguiente afirmacin es un hecho o una opinin, y expresa el porqu. Pregunta: El pueblo ms alto de Espaa es Trevlez (Alpujarras) Respuesta: No es una afirmacin correcta, aunque sea una opinin muy extendida. En primer lugar, habra que distinguir entre "municipio" y "pueblo", para hablar con mayor exactitud. Y habra que ver qu se entiende por pueblo una aldea de tres cabaas en lo alto del monte es un pueblo? En segundo lugar, habra que precisar si se trata de un lugar habitado todo el ao o solamente en una poca. RESUMEN: Items de verdadero o falso. Tipo 1: Afirmacin Verdadera o Falsa Tipo 2: Responder Si o No Tipo 3: Justificacin de respuesta falsa (V o F) Tipo 4: Hecho-Opinicn (H u O). En los primeros tres tipos slo una de las dos alternativas dadas es la verdadera En el tercer tipo, si la respuesta es falsa hay que indicar la verdadera En el cuarto tipo hay que diferenciar si la afirmacin expuesta es un hecho o una opinin (el hecho es verdadero y la opinn no tiene por qu), expresando el por qu.
51
Las pruebas de verdadero o falso presentan adems unas caractersticas que hacen que su uso sea limitado: El reconocer una proposicin como falsa no presupone que se conozca con exactitud la respuesta correcta. Hay autores que opinan que existe el riesgo de que el alumno que ley proposiciones falsas las retenga y posteriormente las reproduzca como verdaderas, mientras que otros tericos, demuestran con estudios experimentales que estos temores son infundados. Una prueba con gran nmero de tems de verdadero o falso se puede convertir en carente de significado, ya que es complicado encontrar muchas situaciones reales en las que algo sea categricamente verdadero o falso. Finalmente, se considera que la incidencia del azar en estos tems es del 50%, ya que cuando el alumno desconoce la respuesta, la cuestin se convierte en un asunto de cara o cruz. Para paliar esta situacin, existe una frmula de correccin de estas pruebas consistente en:
Al ser ste un procedimiento para la correccin objetiva, se deben evitar expresiones como: "una respuesta mala anula una buena". Adems, si la puntuacin es negativa, se deber calificar con cero puntos, ya que en un examen de conocimientos una puntuacin negativa no tendra sentido. Las normas especficas de elaboracin de pruebas de verdadero y falso son las siguientes: Cada enunciado slo debe incluir una idea o concepto, ya que la inclusin de dos o ms conceptos har el tem confuso. Ejemplo: (Mal) El ro ms largo de Espaa y que pasa por mayor nmero de ciudades con ms de 50.000 habitantes es el Ebro. V F. (Bien) El ro ms largo de Espaa es el Ebro. V F. Las proposiciones de tipo muy general deben evitarse, pues suelen tener excepciones. Tambin deben evitarse trminos absolutos del tipo siempre, nunca, slo, nadie o ninguno, pues suelen asociarse a conceptos falsos. Por el contrario, palabras como comnmente, usualmente, muchos y frecuentemente, suelen aparecer asociadas a respuestas verdaderas. Los tems verdaderos han de redactarse con la misma extensin que los falsos. Generalmente, los tems verdaderos suelen ser ms largos, ya que suelen contemplarse las excepciones. Conviene evitar las formulaciones negativas y especialmente la doble negacin. En particular, esta ltima es confusa (en especial si se utiliza S -
52
No) y puede interpretarse de forma afirmativa. Slo deben usarse cuando sean imprescindibles (normas de seguridad) y siempre recalcando la negacin. El porcentaje de tems verdaderos y falsos vara ligeramente segn la opinin de distintos autores: o Lafourcade recomienda que los tems falsos supongan un 60% del total. Segn ciertas investigaciones, las proposiciones falsas tienden a presentar mayor discriminacin entre los alumnos de alto y bajo rendimiento, puesto que existe una tendencia a aceptar (ante la duda o el desconocimiento) como verdadera toda proposicin cuya falsedad o certeza se debe juzgar. o Goring sugiere que la proporcin entre tems verdaderos y falsos sea del 50%. Afirma que algunos alumnos tienden a contestar verdadero cuando no estn seguros de la respuesta; mientras que otros tienen la misma tendencia a responder falso. Por lo que con esta proporcin se corrige. o Gronlund, partiendo de la misma teora de Goring, recomienda variar el porcentaje de afirmaciones ciertas entre un 40 y un 60 por 100. Considera que si se utiliza el mismo nmero de proposiciones falsas que verdaderas, esto puede proporcionar una clave para contestar a algunos elementos de la prueba.
PRUEBAS DE CORRESPONDENCIA
Las pruebas de correspondencia son un tipo de prueba objetiva que a su vez se incluyen en las pruebas de seleccin, junto con las pruebas de verdadero o falso y las de seleccin mltiple. Su ubicacin en el esquema sera sta:
Las pruebas de correspondencia consisten en la asociacin por parejas de elementos de dos conjuntos de informacin. Por ejemplo, unir con flechas dos conceptos que se relacionan. ste es el tipo de ejercicio que has realizado en la pgina de Actividad de este Tema. Algunos de sus rasgos son: Aplicacin. Generalmente se utilizan para medir la capacidad para identificar relaciones entre dos cosas y se basan en el conocimiento de asociaciones concretas. Este tipo de prueba suele medir asociaciones sencillas, siendo bastante amplia la variedad de estas asociaciones. Son pruebas que tambin pueden utilizarse con diagramas, grficos y mapas para localizar situaciones o relacionar dibujos y palabras.
53
Ventajas. Destaca su densidad, es decir, que dada la variedad de conceptos que incluye cada tem, es posible medir gran cantidad de aspectos en poco tiempo. Inconvenientes. Dos fundamentalmente: o La dificultad de encontrar material homogneo para la construccin de listas amplias de elementos para asociar. o El riesgo frecuente de que se faciliten "claves", ya que en estos tems se introducen con ms facilidad que en otros suficientes indicios que favorecen la eleccin de la respuesta correcta. RESUMEN: tems de correspondencia Con un tipo de prueba objetiva Forman parte de las pruebas de seleccin Consisten en asociar por parejas elementos de dos conjuntos de informacin Las normas especficas de elaboracin de pruebas de correspondencia son: Elaborar un nmero desigual de premisas y respuestas, explicando en las instrucciones que las respuestas pueden usarse una vez, varias veces o ninguna. As se evita que el alumno acierte el ltimo par por eliminacin. Ejemplo: Instrucciones: Al final de cada frase de la columna A escriba una ciudad de la columna B. Cada ciudad puede usarse una, varias veces o ninguna. Columna A La capital de Extremadura es... La ciudad de Extremadura con ms habitantes es... El parlamento extremeo se encuentra en..... Columna B Mrida Trujillo Cceres Badajoz Plasencia Los grupos de preguntas propuestas deben ser homogneos con el fin de que todas las respuestas parezcan razonables y evitar la existencia de claves. En el ejemplo anterior, el material es homogneo, ya que se recogen exclusivamente nombres de ciudades extremeas. Sin embargo, el material del tem sera ms heterogneo si en la columna B hubiese ciudades extremeas y gallegas, por ejemplo. La lista de premisas debe ser breve, aproximadamente entre cuatro y siete, de manera que sea ms sencillo encontrar elementos homogneos y se facilite la lectura evitando confusiones. El espacio ocupado por un tem debe caber en un solo lado de la hoja. De esta forma se evitan las distracciones y despistes de los alumnos al tener que andar manipulando las hojas para poder leer y contestar el tem. Han de evitarse las claves reveladoras a las que este tipo de tems son especialmente propensos. Las claves verbales, gramaticales y de
54
heterogeneidad se deslizan a menudo en la redaccin de estas pruebas, en especial cuando se hacen demasiado largas. La relacin de respuestas debe estar dispuesta en un orden lgico. Si se trata de palabras se pondrn por orden alfabtico, y si son nmeros por orden secuencial. De esta manera se evitan posibles claves y se facilita al alumno la bsqueda de la respuesta.
PRUEBAS DE SELECCIN MLTIPLE

Las pruebas que usan tems de seleccin mltiple son un tipo de prueba objetiva que a su vez se incluyen, junto con las pruebas de verdadero o falso y las de correspondencia dentro de lo que seran las pruebas de seleccin (seleccin de una respuesta entre varias propuestas). En las pruebas de seleccin mltiple la eleccin de la respuesta adecuada se da entre varias opciones. Su ubicacin en el esquema sera la siguiente:
El tem de seleccin mltiple es segn Lindquist (experto en evaluacin): "definitivamente superior a todos los dems tipos". Efectivamente, este tipo de tem, adems de ser objetivo, permite la medicin de aprendizajes y objetivos ms complejos, adaptndose muy bien al tratamiento estadstico para su anlisis, y contando con unos altos niveles de fiabilidad y validez. En estos tems, la parte correspondiente al planteamiento del problema recibe el nombre de "base" o, sencillamente, pregunta. Por su parte, las posibilidades que se ofrecen para la respuesta se llaman "opciones" o alternativas, denominndose "distractores" las opciones incorrectas. Existen dos tipos bsicos de pruebas de seleccin mltiple: Seleccin de la respuesta correcta, con una sola respuesta correcta o verdadera entre tres o ms opciones planteadas. Ejemplo: Base o pregunta: Cul es la capital de Pakistn? Opciones o alternativas: Islamabad/ Yakarta/ Kabul Respuesta correcta: Islamabad. Distractores: Yakarta, Kabul. Seleccin de la mejor respuesta, todas las respuestas planteadas en las opciones son verdaderas, pero una es la mejor, la ms correcta. Tiende a ser ms difcil que el tipo anterior, puesto que suelen pedirse discriminaciones ms refinadas y generalmente miden objetivos ms complejos basados en la comprensin, aplicacin o interpretacin. Ejemplo: Base o pregunta: Cul es la finalidad principal de una frontera? Opciones: a) Controlar el trnsito de personas y mercancas. Evaluacin del Aprendizaje 55
b) Impedir el trfico de sustancias prohibidas. c) Delimitar el territorio de un estado. Respuesta correcta: Delimitar el territorio de un estado. Mira el esquema que encontrars ms abajo para comprender mejor en qu consisten los tems de seleccin mltiple
Las pruebas de seleccin mltiple cuentan con una serie de ventajas entre las que destacamos: Amplia aplicabilidad a los distintos objetivos del aprendizaje. Se reduce la posibilidad de acierto por azar, ya que en la medida en que aumenta el nmero de opciones, se reduce la posibilidad de averiguar la respuesta correcta sencillamente por azar, lo que incrementa su fiabilidad. Valor diagnstico, ya que, segn elija el alumno un distractor u otro, se podr diagnosticar ms afinadamente el tipo de deficiencia en el aprendizaje (evaluacin formativa). Tienen una estructura sencilla, menos artificial. Generalmente son adecuadas para los alumnos de bajo nivel verbal, ya que no tienen necesidad de escribir o redactar la respuesta, basta con sealarla. Por otra parte, tambin nos encontramos con algunos inconvenientes, comunes con otros tipos de tems, como son: Su incapacidad para medir objetivos que supongan creatividad. La dificultad de encontrar suficientes distractores que resulten aceptables. Como en cualquier prueba verbal, se mide si el alumno sabe o comprende lo que hay que hacer ante un problema determinado, pero no se precisa de qu manera el alumno actuar ante una situacin real.
56
En la correccin de estos tems se debe contemplar la incidencia del azar en la eleccin de la respuesta, que es inversamente proporcional al nmero de opciones. De este modo, tendramos la siguiente frmula para averiguar el resultado final de la prueba:
Este tipo de pruebas tiene una serie de aplicaciones: Conocimiento de: o Datos especficos (quin, qu, dnde, cundo, cunto). o Terminologa (Qu significa...?). o Mtodos y procedimientos (Qu mtodo se usa para...? Cul sera el primer paso para...?). o Teoras (Qu principios son esenciales en la teora de...?). Comprensin de: o Categoras (Cul de las siguientes sustancias es la nica orgnica?). o Principios (La ley X se puede usar para explicar el funcionamiento de...). Aplicacin de principios y generalizaciones. Ejemplo: Si x + 9x = 50, a cunto es igual x? Interpretacin de relaciones de causa-efecto. Ejemplo: El hierro no se oxida si se evita... Justificacin de mtodos y procedimientos. Ejemplo: Por qu el agricultor debe someter sus cultivos a rotacin? En esta pantalla de Consulta y en la siguiente te vamos a mostrar las normas especficas de elaboracin de las pruebas de seleccin mltiple: La base del tem o pregunta debe tener significado por s misma, y presentar un problema definido. Es decir, el tem estar bien formulado si la pregunta tiene sentido por s sola sin necesidad de aadir las alternativas. En caso contrario tendramos una serie de tems del tipo verdadero-falso. Evaluacin del Aprendizaje 57
Ejemplo: (Mal) Los tomates... a) Son rojos. b) Son alargados. c) Crecen en vainas. (Bien) Cul de las siguientes propiedades es caracterstica de los tomates? a) Son rojos. b) Son alargados. c) Crecen en vainas. En general han de evitarse las formulaciones negativas, ya que confunden al alumno. En caso de que sea imprescindible utilizarlas (normas de seguridad) se recalcar especialmente la negacin. La respuesta ptima debe ser solamente una, para evitar construir una serie de tems de verdadero o falso en forma de seleccin mltiple. Se debe evitar sobrecargar de texto la base del tem. La pregunta ha de incluir lo estrictamente necesario para permitir averiguar la respuesta correcta. Ejemplo: (Mal) En numerosas ciudades antiguas, como Roma y Atenas, el puerto no formaba parte original de la ciudad, sino que constitua una localidad separada, con su nombre especfico. Cmo se llama el puerto de Atenas? a) El Pireo b) Ostia c) Olimpia d) Portos (Bien) Cmo se llama el puerto de la ciudad de Atenas? a) El Pireo b) Ostia c) Olimpia d) Portos Todos los distractores deben parecer razonables, para evitar una respuesta por eliminacin al parecer evidentemente absurdos e incoherentes. Las opciones de distraccin deben de resultar suficientemente atractivas al alumno que carezca del conocimiento que se pide, de manera que ste las seleccione prefirindolas a la respuesta correcta. Lo ideal es que cada uno de los distractores resulten elegidos por algunos alumnos, ya que si no reciben ninguna eleccin ser evidente que no sirven para distraer por ser demasiado incoherentes o absurdos. Ejemplo: (Mal) Terranova es una isla situada en: a) Suiza b) Canad c) Nepal Evaluacin del Aprendizaje 58
d) Groenlandia Es evidente que las alternativas a) y c) son absurdas. (Bien) a) Islandia b) Canad c) Estados Unidos d) Groenlandia Pueden usarse estrategias para aumentar lo razonable y atractivo de los distractores, por ejemplo: o Usar como distractores los conceptos equivocados de los alumnos o sus errores ms comunes. o Enunciar las opciones en el lenguaje del alumno. o Utilizar palabras que suenen bien (preciso, importante,...), tanto en los distractores como en la respuesta correcta. o Proponer distractores similares a la respuesta correcta, tanto en lo relativo a la longitud, como a la complejidad de la redaccin. o Usar con moderacin claves extraas, como respuestas estereotipadas, respuestas de apariencia cientfica o asociaciones verbales con la base del tem (recordando que mientras que las preguntas no pueden ser ni engaosas ni trucadas, s pueden serlo las respuestas). El resto de normas especficas de elaboracin de las pruebas de seleccin mltiple son: Es necesario hacer homogneas las opciones. Conviene variar al azar la posicin de la respuesta correcta. De lo contrario podra constituir una clave demasiado evidente. Esto puede hacerse bien por sorteo o colocando las alternativas en orden alfabtico. Debe evitarse el uso de la opcin "todas las anteriores" y utilizar con cuidado "ninguna de las anteriores". A veces el diseador de pruebas utiliza estas opciones al final del tem cuando tiene dificultad para encontrar un nmero suficiente de alternativas. Se debe modificar la longitud de la respuesta correcta para evitar dar claves. Generalmente la respuesta correcta suele ser ms larga dada la necesidad de hacerla inequvocamente correcta. Cuando no sea posible abreviarla puede aumentarse la longitud de los distractores o bien utilizar la alternativa ms larga como correcta o incorrecta de forma aleatoria. No debe existir coincidencia ni inclusin mutua entre las opciones, ya que cuando esto ocurre el nmero de alternativas razonables queda reducido. Ejemplo: (Mal) En el ao 2000, cul era la proporcin de poblacin extranjera en Alemania? a) Ms del 10% b) Ms del 7% c) Menos del 5% d) Menos del 3% Si a) es correcta, tambin lo es b), e igualmente, si d) es correcta, tambin lo es c).
59
(Bien) a) Ms del 10% b) Entre el 7 y el 10% c) Entre el 4 y el 7%. d) Menos del 4%. Se ha de evitar la inclusin de trminos absolutos en los distractores. Trminos como siempre, nunca, todo, ninguno o solamente suelen ir asociados a alternativas falsas y esto hace que la respuesta correcta sea ms obvia o aumente la probabilidad de adivinarse. Hemos de asegurarnos de que no existen tems que suministran informacin o claves para responder a otros tems de la prueba, ya que a veces la informacin dada en la base de un tem puede servir para responder a otro. Las palabras que se vayan a repetir en todas las alternativas forman parte de la base del tem y no de las opciones. Ejemplo: (Mal) Dubln es: a) La capital de Irlanda. b) La capital de Irlanda del Norte. c) La capital de Gales. d) La capital de Escocia (Bien) Dubln es la capital de: a) Irlanda. b) Irlanda del Norte. c) Gales. d) Escocia. Cuando se pretende medir la comprensin de trminos o conceptos, stos deben de figurar en la base, mientras que las definiciones o descripciones figurarn en las opciones. En caso contrario es posible que lo que se estimule sea la memoria y no la comprensin. A mayor nmero de distractores menor probabilidad de acertar la respuesta por azar. En general se recomienda el empleo de tres distractores ms la respuesta correcta, en total cuatro opciones. Aunque, no existen razones por las que no puedan emplearse menos opciones alternativas. Finalmente, la pregunta del tem debe de formularse con suma precisin de forma que necesariamente obtengamos una respuesta.
PASO 2.3. UTILIZAR PRUEBAS COMPLEJAS

ACTIVIDAD
Carlos camina pensativo en direccin al centro "Encinar del Valle".
"Ahora tengo que explicar el ejercicio interpretativo, que es la prueba objetiva ms completa y compleja."
Carlos no puede evitar darle vueltas a este tema.
60
"El ejercicio interpretativo es fundamental para una multitud de cosas, para la interpretacin de datos y relaciones, para la elaboracin de hiptesis y la definicin de problemas, para la diagnosis de fallos!".
Carlos mira sorprendido a su alrededor y se da cuenta de que ha llegado al Centro. Casi se da de bruces con Julin al que no ha visto aproximarse!
"Hola Carlos! Como te retrasabas, he estado preparando una actividad para explicar el ejercicio interpretativo. Adems, he pensado que tambin deberamos introducirles en otro tipo de pruebas ms subjetivas, como son las pruebas de ensayo breve o las de respuesta extensa... En todo caso, de momento vamos a centrarnos en los ejercicios interpretativos. Mira a ver que te parece el ejercicio que he preparado."
EL EJERCICIO INTERPRETATIVO
El ejercicio interpretativo, denominado por algunos autores prueba multi-tems de base comn, se utiliza para la medicin de aprendizajes ms complejos que los hasta ahora vistos. Se considera una modalidad de prueba objetiva ya que presenta a todos los alumnos la misma informacin y se pide que realicen el mismo tipo concreto de actividad. Consiste en una base comn de informacin o datos a partir de la cual se formula un conjunto de preguntas o tems de los tipos anteriormente analizados. El trabajo del alumno supone comprender y asimilar la informacin recibida de manera que sea capaz de responder correctamente a las preguntas, y, en los casos que as se requiera, explicar qu conclusiones se apoyan en dichos datos, cules los contradicen y cules no influyen en ningn sentido. Los datos o base de informacin pueden darse por escrito, en forma de tabla, material grfico o dibujos. En este tipo de pruebas, al darse a los alumnos el mismo conjunto de informacin para contestar a los tems, es menos probable que se responda utilizando nicamente conocimientos memorsticos (ya que los conocimientos necesarios para resolver la prueba deben de aportarse), lo que posibilita el uso de funciones mentales superiores (comprensin, anlisis...) que suponen aprendizajes de mayor calidad. Su mbito de aplicacin se da fundamentalmente en la evaluacin de aprendizajes significativos que supongan procesos mentales complejos, como pueden ser las capacidades para: Evaluacin del Aprendizaje 61
Interpretar datos y relaciones. Elaborar hiptesis. Diagnosticar fallos. Realizar reparaciones. Solucionar problemas y planteamientos difciles. Reconocer limitaciones de los datos. Formular conclusiones vlidas. Distinguir entre generalidades y particularidades. Aplicar principios. Realizar inferencias lgicas. Diagnosticar y definir problemas.
Entre las ventajas de los ejercicios interpretativos nos encontramos con: Aplicacin a situaciones reales y cotidianas de la vida profesional. Cada vez es ms frecuente que el ejercicio profesional est basado en la interpretacin de datos e informaciones recibidas, as como en la consulta, interpretacin y aplicacin de material bibliogrfico. Hacen posible la medicin de aspectos complejos del aprendizaje que hasta ahora solo se evaluaban mediante exmenes tradicionales (pruebas de ensayo). La evaluacin de los objetivos es ms global y completa que la de otro tipo de pruebas objetivas. Reduce la diferencia entre los alumnos que poseen mucha informacin (conocimientos memorsticos), y los que tienen informacin ms elemental; ya que la informacin indispensable para responder a los tems es comn. De esta manera, las conductas que se pretenden medir van ms all del simple recuerdo. El ejercicio interpretativo tiene los siguientes inconvenientes: Dificultad de construccin, pues resulta difcil encontrar material adecuado para su elaboracin, adems resulta complicado construir tems que no sean demasiado evidentes en funcin de la informacin aportada. Cuando la informacin est recogida en un texto escrito, se precisa una buena capacidad lectora para su correcta comprensin. Por tanto, los alumnos con dificultad lectora pueden tener problemas de interpretacin del texto. Al ser un ejercicio muy estructurado no alcanza a medir aprendizajes altamente sofisticados, para los que es preciso utilizar pruebas ms subjetivas (como las pruebas de ensayo).
62
Las normas de elaboracin del ejercicio interpretativo son: Es aconsejable limitar la utilizacin de este ejercicio para la evaluacin de aprendizajes de cierto nivel de complejidad que no puedan ser evaluados por otros tipos de tems. No merece la pena utilizar estas pruebas para medir conocimientos simples basados en el recuerdo que pueden evaluarse fcilmente con otros tipos de pruebas de menor dificultad de construccin. Es preciso seleccionar el material de introduccin (base de datos) en funcin de los objetivos perseguidos. Ha de tenerse en cuenta que si este material es demasiado sencillo el ejercicio puede convertirse en una simple medida de la habilidad para leer, y si es demasiado complejo puede resultar una especie de test de razonamiento abstracto. Las preguntas o tems deben construirse de forma que sea preciso el anlisis y la interpretacin de la base comn de informacin. En caso contrario podra incurrirse en dos errores: o Incluir preguntas que nicamente demandan datos, y pueden contestarse con solo leer la base de informacin comn (con lo que estaramos midiendo la habilidad lectora). o Incluir preguntas que pueden contestarse sin necesidad de leer la base de informacin comn (por lo general estas preguntas slo mediran conocimientos sencillos). La construccin de tems para el ejercicio interpretativo debe regirse por las normas especficas correspondientes para la elaboracin de cada tipo de tem. La base comn de informacin y los tems deben ser proporcionales en extensin. No compensara realizar una base de datos compleja a base de grficos, dibujos detallados o textos largos, para construir a partir de ella solamente uno o dos tems.
63
EJEMPLO DE EJERCICIO INTERPRETATIVO

Ejemplo tomado de Norman E. Gronlund, de su obra "Medicin y evaluacin en la enseanza".
Instrucciones: Las siguientes afirmaciones se refieren a los datos de la tabla anterior. Lee cada una de las afirmaciones y marca la respuesta de acuerdo con la siguiente clave: A = Si los datos de la tabla apoyan la aseveracin. C = Si los datos de la tabla contradicen la afirmacin. N = Si los datos de la tabla ni apoyan ni contradicen lo que se indica.
Ejemplo de ejercicio interpretativo de utilizacin de material grfico en la base de datos, tomado nuevamente de Gronlund, en esta ocasin de su obra "Educational Testing Service".
64
PRUEBAS DE ENSAYO BREVE

Las pruebas de ensayo breve o de respuesta restringida son pruebas escritas en las que se hace un planteamiento previo seguido de una pregunta que hay que responder argumentndola y adecundose a las restricciones que se puedan plantear en las instrucciones de tipo formal o relativas al contenido. Estas pruebas requieren un conocimiento previo de la materia por parte del alumno, as como su personal aportacin en lo relativo a su asimilacin, interpretacin y devolucin, de ah su importancia en la medicin de aprendizajes algo ms complejos. No obstante, no hay
65
que olvidar que al ser pruebas de ensayo breve, tanto el contenido como la respuesta del alumno estn limitados desde la propia formulacin de la pregunta. Adems hay que tener en cuenta que desde la propia naturaleza de cada pregunta se establecen unas bases precisas, que orientan la respuesta hacia el tipo especfico de aprendizaje que se pretende medir. Ejemplo Pregunta: Explica brevemente en qu consiste el dominio cognitivo. Especifica los niveles. (Procura no utilizar ms de 40 palabras, ni utilizar ms de 20 minutos). Respuesta: El dominio cognitivo: - Referido a las conductas que sitan en primer lugar los procesos mentales del sujeto que aprende. - Aglutina seis niveles de menor a mayor complejidad: Primero: conocimiento. Segundo: comprensin. Tercero: aplicacin. Cuarto: anlisis. Quinto: sntesis. Sexto: evaluacin. Como habrs observado, hemos propuesto una prueba en la que se especifica de manera muy concreta lo que queremos conseguir (nuestros objetivos al realizar la prueba): explica brevemente en qu consiste este dominio, especifica los niveles. Date cuenta en la insistencia de brevemente, y en la instruccin especfica que indica el mximo de palabras a utilizar (no utilizar ms de 40 palabras), y el lmite de tiempo (ni utilizar ms de 20 minutos). Aunque pueda parecer que sus aplicaciones son muy similares a las de la mayora de las pruebas objetivas, con estas pruebas se pueden medir objetivos ms complejos, gracias a la oportunidad que se le presenta al alumno de desarrollar la respuesta. Lo que por otro lado, provoca que estas pruebas se presten a una cierta subjetividad, que en todo caso puede controlarse y atenuarse utilizando procedimientos adecuados de correccin.
RESUMEN: Pruebas de ensayo breve Pruebas objetivas que miden los aprendizajes ms complejos. Miden niveles de: Conocimiento Comprensin Sntesis Presentan al alumno la oportunidad de desarrollar brevemente la respuesta Propician cierta subjetividad que se controla en la correccin
66
Las normas de elaboracin de las pruebas de ensayo breve son: Al organizar la prueba, conviene tener en cuenta que las respuestas a cada una de las cuestiones estn en hojas separadas. De esta forma resultar ms fcil analizar y corregir la misma pregunta contestada por todos los alumnos. Indicar con cierta exactitud el tiempo aproximado que debe emplearse en cada respuesta para orientar al alumno sobre la extensin y profundidad que se requiere en la respuesta. Es preferible aumentar el nmero de cuestiones, y a cambio reducir la longitud de las preguntas y de las respuestas, que hacer preguntas muy extensas que exijan respuestas demasiado largas. Los trminos en los que se formula la pregunta deben ser perfectamente comprensibles para los alumnos. Para la correccin te aconsejamos principalmente: Elaborar una respuesta modelo para cada pregunta, asignando previamente una puntuacin segn su importancia. Con el fin de ser lo ms objetivos posible, conviene calificar la misma pregunta al mismo tiempo a todos los alumnos, especialmente cuando las respuestas se presten a la opinin personal, creatividad u originalidad del alumno. De este modo se consigue una lnea de juicio ms homognea a la hora de asignar una puntuacin a cada respuesta Las normas de elaboracin de las pruebas de ensayo breve son: Al organizar la prueba, conviene tener en cuenta que las respuestas a cada una de las cuestiones estn en hojas separadas. De esta forma resultar ms fcil analizar y corregir la misma pregunta contestada por todos los alumnos. Indicar con cierta exactitud el tiempo aproximado que debe emplearse en cada respuesta para orientar al alumno sobre la extensin y profundidad que se requiere en la respuesta. Es preferible aumentar el nmero de cuestiones, y a cambio reducir la longitud de las preguntas y de las respuestas, que hacer preguntas muy extensas que exijan respuestas demasiado largas. Los trminos en los que se formula la pregunta deben ser perfectamente comprensibles para los alumnos. Para la correccin te aconsejamos principalmente: Elaborar una respuesta modelo para cada pregunta, asignando previamente una puntuacin segn su importancia. Con el fin de ser lo ms objetivos posible, conviene calificar la misma pregunta al mismo tiempo a todos los alumnos, especialmente cuando las respuestas se presten a la opinin personal, creatividad u originalidad del alumno. De este modo se consigue una lnea de juicio ms homognea a la hora de asignar una puntuacin a cada respuesta.
PRUEBAS DE ENSAYO DE RESPUESTA EXTENSA

Cuando los aprendizajes que queremos evaluar presentan un nivel de complejidad muy alto (capacidad para originar y expresar ideas, realizar juicios crticos de valoracin, integrar distintos aprendizajes en un planteamiento global de un problema) y no se pueden medir Evaluacin del Aprendizaje 67
satisfactoriamente a travs de pruebas objetivas, entonces utilizamos las pruebas de ensayo de respuesta extensa. Estas pruebas dan al alumno una mayor posibilidad de expresin, ya que le ofrecen la posibilidad de seleccionar cualquier informacin que posea y que considere adecuada para organizar la respuesta segn su criterio, integrando y evaluando ideas como considere ms apropiado. Ejemplo: Analiza las razones fundamentales de la creciente incorporacin de la informtica a los diferentes sectores productivos. Con este tipo de preguntas se mide la capacidad del alumno para dar un enfoque global a una determinada cuestin. Este procedimiento permite seguir el proceso natural del pensamiento en la resolucin de problemas, y requiere para su medicin una estructuracin de respuesta menor que la que imponen los elementos de las pruebas objetivas. El examen convencional es el instrumento que mejor se presta a la medicin de estos aprendizajes. Existen autores que destacan entre las ventajas de las pruebas de ensayo de respuesta extensa su validez real (aunque limitada), ya que consideran que los exmenes tradicionales con todas sus imperfecciones, han permitido que nuestra civilizacin alcanzase el nivel cientfico actual, y piensan que la seleccin realizada por estos exmenes fue en gran parte vlida. Afirman, adems, que sirven para prepararse (endurecerse), para la vida. Lo cierto es que estas pruebas pueden estimular al alumno a estudiar ms significativamente. Adems: Son instrumentos insustituibles para comprobar cmo organiza y expresa el alumno los conocimientos asimilados. El alumno puede revelar su expresin personal con ms libertad. Otorga un sentido de seguridad, favoreciendo al alumno tmido. Por otra parte, permiten: Apreciar el estilo, la ortografa, la construccin gramatical y la originalidad del pensamiento. Averiguar cules son los hbitos de trabajo del alumno. Apreciar la capacidad para emitir juicios crticos y para detectar valores. Realizar comparaciones en muchos aspectos del aprendizaje. Las limitaciones de estas pruebas son tantas que, probablemente, se las descartara por completo como instrumento de evaluacin si no fuera por el hecho de que miden importantes elementos del aprendizaje que no se pueden comprobar de otra manera. Por ello, resulta fundamental fijar de antemano los criterios para las distintas valoraciones de las respuestas, con el fin de que la fiabilidad de la prueba no resulte afectada. Los principales inconvenientes de las pruebas de ensayo de respuesta extensa son estos: Los principales enemigos son los estereotipos y el efecto halo. Son difciles de calificar, al admitir diversas respuestas. Suponen un gasto excesivo de tiempo en la correccin y la puntuacin.
68
La puntuacin es de poca fiabilidad, ya que el formador tiene que poner en juego elementos subjetivos al calificar. No pueden ser sometidas a procesamiento estadstico. Al incluir menos preguntas, suelen abarcar menos objetivos y contenidos que las pruebas objetivas, haciendo que la muestra del programa del curso sea menos significativa, y dando mayor aleatoriedad al examen. Las preguntas de estas pruebas pueden ser interpretadas de forma errnea por el alumno. Las normas para elaborar pruebas de ensayo de respuesta extensa son: Restringir el uso a aquellos casos u objetivos que no pueden medirse a travs de pruebas objetivas, compatibilizando su utilizacin con otros instrumentos de evaluacin. En formacin ocupacional por ejemplo, en los casos de mandos intermedios, informtica superior, metodologa didctica, o altas tecnologas. Especificar en la base de la pregunta los aspectos que se tomarn en cuenta para la evaluacin de la misma. De esta manera el alumno podr ponderar su respuesta. Plantear la pregunta de manera que quede claramente expresada la tarea del alumno, evitando cualquier posibilidad de interpretacin incorrecta. De otra manera, sera imposible determinar si una respuesta incorrecta se debe a una mala interpretacin de la pregunta, o a una estrategia del alumno para eludir una contestacin que desconoce. Proponer al alumno mediante la pregunta una situacin novedosa, que no haya sido realizada en clase y que no figure como ejemplo en sus manuales de estudio, pero cuya resolucin dependa de lo aprendido anteriormente. De esta forma se evita la mera repeticin de datos o ejemplos propuestos a lo largo del proceso de aprendizaje. Advertir a los alumnos en los casos en que la ortografa punte. Frecuentemente la concentracin del alumno en el desarrollo del contenido de la pregunta puede hacer descuidar los aspectos ortogrficos. Indicar el tiempo aproximado para cada pregunta. As el alumno puede organizar mejor su trabajo y tener una idea del nivel de profundidad que exige la respuesta. No plantear la prueba con preguntas opcionales. En las pruebas de ensayo se plantean en ciertas ocasiones varias preguntas de las cuales el alumno debe elegir un nmero menor que el dado. Con esta prctica disminuye la fiabilidad de la prueba ya que el instrumento de medicin no sera homogneo para todos los alumnos.
69
TEMA 3 DISEAR PRUEBAS DE EVALUACIN DE PRCTICAS

Julin y Carlos estn estructurando el tercer tema sobre la evaluacin de las prcticas o competencias metodolgicas, es decir, las competencias que se refieren al saber aplicar el procedimiento adecuado. "En este tema -dice Carlos- adems de revisar las caractersticas de las pruebas prcticas en general, qu vamos a ensear a los alumnos?" "Pues -le contesta Julin- los principales instrumentos para registrar los resultados de la evaluacin de estas pruebas, es decir: Paso 3.1: Especificar las escalas de calificacin. Paso 3.2: Establecer las listas de cotejo. Paso 3.3: Elaborar las hojas de evaluacin de prcticas." "Estas pruebas -contina Julin- pueden en su configuracin ser comunes a muy diferentes especialidades, porque hacen referencia a un mbito ocupacional amplio". Carlos aade: "Adems, una de sus caractersticas fundamentales es que colocan a los evaluados ante ejercicios que simulan situaciones reales de trabajo, con lo cual es una manera excelente de testar lo que han aprendido." "Efectivamente -contina Julin- y para que sean realmente eficaces deben estar diseadas de manera que identifiquen y definan las competencias profesionales que el alumno ha de saber aplicar. Una prueba de este tipo debidamente preparada tiene un alto grado de fiabilidad, siendo su diseo el principal trabajo del evaluador." "Desde luego! -argumenta Carlos. Hay que determinar los criterios e indicadores, as como pensar en el tipo de prctica y si la situacin que se va a crear es individual o grupal." "Y no hay que olvidarse -aade Julin- de establecer el sistema de puntuacin y realizar la hoja de evaluacin."
70
PASO 3.1. ESPECIFICAR ESCALAS DE CALIFICACIN

ACTIVIDAD
Despus de haber explicado a la clase la utilidad de las pruebas para la evaluacin de las prcticas, Julin se dirige a sus alumnos y comienza a explicar los instrumentos necesarios para este tipo de evaluacin. "La primera herramienta que vamos a estudiar para la evaluacin de las prcticas explica Julin- se denomina escala de calificacin. Consiste en una serie de enunciados sobre el aspecto que se va a evaluar." En ese momento un alumno le interrumpe: "Cuando dices enunciados, a qu te refieres exactamente?" "Pues me refiero a las preguntas realizadas sobre el aspecto o caracterstica que hay que evaluar -le contesta Julin-. Se trata de que primero determinis lo que queris averiguar, lo que necesitis evaluar, y a continuacin, elaboris una relacin de posibles respuestas que vayan de menor a mayor intensidad". Otro alumno hace un gesto y pregunta: "Y hay varias escalas de calificacin o no?." "Pues s hay varias escalas -contesta Julin-, concretamente nosotros vamos a estudiar tres: las escalas numricas, las escalas grficas y las escalas descriptivas.
71
PRUEBAS PARA LA EVALUACIN DE LAS PRCTICAS

Las pruebas para evaluar las prcticas hacen referencia a saber aplicar el procedimiento adecuado a las tareas y actividades profesionales propias de la ocupacin elegida. Son pruebas sobre procedimientos, organizacin, planificacin y colocan a los evaluados ante ejercicios que simulan situaciones reales de trabajo. Al alumno se le pueden pedir bsicamente tres cosas: Que identifique o reconozca la adecuacin de un procedimiento, el uso adecuado de una herramienta. Por ejemplo; explicar cmo armara un circuito sencillo. Que ejecute una tarea en condiciones simuladas a pequea escala. Aqu el alumno debe ejecutar movimientos, actividades y operaciones "como si" fueran reales, sea en modelos construidos a escala o sin ellos. Que lleve a cabo una tarea muy representativa de los objetivos que deben evaluarse. En este caso se selecciona una muestra representativa de una tarea o conjunto de tareas. Si el alumno realiza adecuadamente las operaciones de esa muestra de trabajo, se podr inferir que es capaz de resolver con eficacia todos los de su gnero. Estas pruebas evalan fundamentalmente dos tipos de rendimiento: La ejecucin de alguna actividad que implique destreza (por ejemplo, un trabajo de taller o manejo de maquinaria). El producto resultado de una ejecucin (por ejemplo, un plato de cocina o una pieza de torno). Para ello, se utilizan tres tipos de pruebas de evaluacin de prcticas: o Escalas de calificacin. o Listas de cotejo. o Hojas de evaluacin de prcticas. En este paso veremos las escalas de calificacin. En el segundo, hablaremos de las listas de cotejo. Finalmente, en el tercer paso estudiaremos las hojas de evaluacin de prcticas.
DISEO DE PRUEBAS DE EVALUACIN DE PRCTICAS

Los principales pasos para el diseo de las pruebas para la evaluacin de las prcticas son: Identificar las competencias profesionales que se quieren evaluar. Evaluacin del Aprendizaje 72
Determinar los criterios e indicadores competenciales de evaluacin. Definir el tipo de prctica o prcticas que realizar, especificando: o La situacin profesional que se propone: tareas o productos que se solicitan. o Las instrucciones para su desarrollo (subdividir la tarea en diferentes actividades si procede). o Las condiciones en las que se realizar la prctica (tiempo, materiales, grado de terminacin, normas de seguridad). Especificar si se trata de una situacin individual o grupal. Establecer el sistema de puntuacin para calificar los resultados de la prueba, en donde se indicar el procedimiento que debe seguir por el evaluador para calificarla, y los instrumentos de observacin y puntuacin en los que debe basarse. Confeccionar una hoja de evaluacin en donde se establezcan los indicadores que hay que evaluar y observar (rapidez, precisin, etctera) y la puntuacin en la que se basar la evaluacin de dicha prueba. Registrar los resultados y calcular la puntuacin total de la prueba. En el esquema podrs repasar las principales caractersticas de las escalas de calificacin.
ESCALAS DE CALIFICACIN
Las escalas de calificacin son uno de los tres instrumentos para la evaluacin de las prcticas. Consisten en una serie de enunciados o preguntas sobre el tem o indicador competencial que se pretende evaluar, seguido por una escala de opciones graduadas en intensidad, generalmente de menos a ms.
73
El evaluador observa al alumno cmo realiza la prctica establecida y debe marcar la opcin que a su juicio parece ms adecuada con relacin a lo que se trata de evaluar. Estas escalas pueden ser de tres tipos: numricas, grficas y descriptivas. Numricas: cuando la intensidad del comportamiento o rasgo observado se expresa en nmeros. Ejemplo: Rapidez mostrada en el diagnstico de averas de una caldera de calefaccin. 12345 Grficas: cuando la intensidad del rasgo observado se expresa en categoras. Ejemplo: Organiza las herramientas antes de iniciar el trabajo? Siempre Generalmente Raras veces Nunca Descriptivas: cuando las categoras de la escala describen de forma breve, pero lo ms exacta posible, las caractersticas o el rasgo observado. Este tipo de escala reduce la ambigedad en su interpretacin porque cada punto de la escala incluye la explicacin de su significado. Ejemplo: Hasta qu punto son naturales y agradables los ademanes del vendedor? Nunca son agradables al cliente. Son escasos sus ademanes naturales y agradables. A veces son naturales y agradables. Generalmente, pero no siempre. Siempre son naturales y agradables, estimulan al cliente.
CRITERIOS PARA LA ELABORACIN Y USO DE ESCALAS DE CALIFICACIN

Los rasgos y caractersticas deben ser directamente observables por la persona que debe evaluar. Los tems o preguntas deben tener una nica interpretacin. Debe cuidarse especialmente su redaccin. Siempre que sea posible, se aconseja que apliquen la escala varios evaluadores expertos en la materia. De esta forma se reduce la subjetividad y los prejuicios tienden a equilibrarse. El nmero de categoras de la escala debe oscilar entre tres y siete. o Con solamente una o dos categoras, es ms difcil matizar en qu grado el alumno realiza la prctica correctamente. o Por encima de siete categoras, se hace pesada y laboriosa la labor de evaluacin. Adems, cuando el nmero de categoras es muy elevado, la distincin entre ellas se hace difcil, es ms complicado delimitarlas claramente; por ejemplo, es ms difcil calificar entre 6,25 y 6,35 que hacerlo entre 2 y 5. Evaluacin del Aprendizaje 74
o Habitualmente, un nmero de cinco categoras es suficiente y garantiza la idoneidad de la escala
PASO 3.2. ESTABLECER LISTAS DE COTEJO

ACTIVIDAD
De camino al aula, Julin se encuentra con un alumno rezagado que se muestra especialmente interesado en los instrumentos utilizados para desarrollar las pruebas prcticas. Julin le explica que, despus de haber trabajado las caractersticas generales de estas pruebas, y de estudiar las llamadas escalas de calificacin, el siguiente paso ser conocer las listas de cotejo. "Vaya, yo crea que esos dos instrumentos eran semejantes", exclama el alumno. "Aunque ambos instrumentos parecen iguales -le contesta Julin- realmente tienen aplicaciones diferentes y definidas. Mientras en la escala de calificacin hay que indicar el grado en que se produce un comportamiento, en la lista de cotejo se pide si la caracterstica por observar se produce o no." "Intenta resolver el siguiente ejercicio, dice Julin, para ver si te han quedado claras las diferencias."
LISTAS DE COTEJO
Las listas de cotejo son aparentemente semejantes a las escalas de calificacin. La diferencia entre ambas estriba en que mientras en la escala de clasificacin hay que indicar el grado en que se produce un comportamiento, en la lista de cotejo se pide un sencillo juicio de s o no, es decir, si la caracterstica por observar se produce o no. La lista de cotejo es til para evaluar las destrezas. stas a su vez, pueden dividirse en una serie de actos especficos claramente definidos. Cada uno de ellos se resuelve en la lista con un tem o pregunta; por eso se llaman listas, ya que se forma una relacin o conjunto ordenado de preguntas que el evaluador debe responder observando al alumno en su prctica. Ejemplo: Para verificar el terminado de una repisa Caractersticas deseables 1- Las uniones de las ensambladuras se adosan perfectamente. 2- La superficie est bien alisada. 3- Los ngulos han sido cortados con precisin. Ejemplo: Para verificar el proceso para encuadernar un libro Caractersticas deseables 1- Corta con precaucin el hilo que une los cuadernillos. 2- Desprende los cuadernillos sin daarlos. S No S No
75
3- Limita bien el lomo para quitar restos de cola o tiras de papel.
CRITERIOS DE ELABORACIN Y USO DE LAS LISTAS DE COTEJO

Utilizar las listas de cotejo nicamente para evaluar aquellas actuaciones o productos que admiten distinciones dicotmicas (del tipo S/No) para evaluar de forma absoluta. Recordemos que para evaluar el grado habra que utilizar escalas de calificacin. Redactar un tem o pregunta para cada detalle comprendido en la ejecucin o en el producto que se va a evaluar. La relacin de detalles se logra basndose en un anlisis hecho por un experto de la materia que se va a evaluar. Tener en cuenta para la puntuacin el valor positivo o negativo de cada tem. Colocar las preguntas en orden consecutivo de acuerdo con la actuacin que se va a evaluar. Aadir a la lista aquellos actos que representen errores comunes, siempre que estn limitados en nmero y puedan identificarse claramente. Ordenar la lista como se espera que sucedan los detalles o pasos que el experto ha determinado que deben darse. Por ejemplo: primero, cortar la madera, segundo, lijarla, tercero, pintarla...
PASO 3.3. ELABORAR HOJAS DE EVALUACIN DE PRCTICAS

ACTIVIDAD
Julin comienza su clase sobre las hojas de evaluacin de prcticas. "Conociendo las escalas de calificacin y las listas de cotejo, resulta fcil entender qu son las hojas de evaluacin -explica Julin a sus alumnos-. Son un instrumento que sirve para registrar informacin y resultados de la realizacin de una prueba prctica. Pueden considerarse una integracin de las escalas de calificacin y las listas de cotejo, por eso las pasamos a estudiar ahora. Y ya veris que aunque parecen laboriosas, su diseo no entraa ninguna dificultad." En ese momento, un alumno formula una pregunta: "Pero, exactamente, cmo es eso de que una hoja de evaluacin, de alguna manera, es la suma de las otras dos pruebas?" "La integracin -explica Julin a todos los alumnos- radica en que en esta prueba se trata de calificar una serie de operaciones que en unos casos se presentan en forma de grados (escalas), y otros en forma dicotmica, de s o no (listas)." "En todo caso -aade Julin- vamos a realizar un ejercicio que os sirva para clarificar estas ideas."
76
HOJA DE EVALUACIN DE PRCTICAS

La hoja de evaluacin de prcticas es un instrumento que sirve principalmente para registrar informacin y resultados derivados de la realizacin de una prueba prctica de ejecucin. Este instrumento puede considerarse como una integracin de las escalas de calificacin y las listas de cotejo, en la medida en que trata de calificar una serie de operaciones que en unos casos se presentan en forma de grados (escalas) y en otros en forma dicotmica (listas de S o No). Resulta el procedimiento ms adecuado para objetivizar las evaluaciones prcticas en los cursos ocupacionales que no pueden realizarse con pruebas escritas. Estas hojas consisten habitualmente en un cuadro de doble entrada donde se relacionan las actividades a evaluar (es decir, aquellas que van a constituir el desarrollo de la prueba prctica) con el conjunto de factores (exactitud, acabado, etctera), en los que se describen los criterios de calificacin. Cada tarea tiene que tener una ponderacin adecuada en funcin de la importancia que tengan dentro del conjunto de la prctica. Y cada factor por evaluar en la realizacin de las mismas tendr su correspondiente escala de calificacin. Ver ejemplo de Hoja de Evaluacin de Prcticas
CRITERIOS PARA ELABORAR HOJAS DE EVALUACIN DE PRCTICAS

Describir los objetivos, conductas, actividades, aspectos observables, productos o tareas que se pretenden evaluar con la prueba prctica. Establecer el nmero y tipo de prcticas que se van a realizar. Ponderar las prcticas en funcin de la importancia que tengan dentro del conjunto de la prueba profesional. Determinar, de acuerdo con esta ponderacin, la puntuacin mxima alcanzable y la mnima exigible. Al final, la puntuacin de cada hoja de prcticas debe estar en relacin con la importancia de la misma, de ah que dos prcticas de distinta importancia no deban de pesar lo mismo en la nota final. Establecer una lista de operaciones significativas y observables que constituyan el apartado de actividades. Pormenorizar una serie de factores relacionados con la prctica, bajo los que se medir cada actividad, aspecto o producto considerado. Estos factores sern relevantes para cada caso y estarn definidos claramente, (exactitud, precisin, mtodo de trabajo, autonoma, etctera), de manera que no se presten a interpretaciones subjetivas. Describir el significado de cada uno de esos factores dentro de la prueba. Dar instrucciones claras y precisas sobre el procedimiento de calificacin de cada uno de los apartados, as como de la calificacin total de la prueba. Han de precisarse tambin las instrucciones especficas sobre las condiciones de aplicacin de la prueba (por ejemplo si es de realizacin individual, si el mximo son dos alumnos, si el motor est en marcha). Adjuntar lista de material necesario para la realizacin de la prueba.
77
RESUMEN: Elaboracin de hojas de evaluacin de prcticas Describir lo que se quiere evaluar y establecer el nmero y tipo de prcticas Ponderar las prcticas y determinar la puntuacin mxima obtenible. Hacer lista de operaciones que conformen la actividad Pormenorizar una serie de factores relacionados con la prctica y describirlos Dar instrucciones claras y precisas sobre la calificacin Intruciones especficas sobre las condiciones de aplicacin de la prueba Adjuntar la lista de material necesario para realizar la prueba
PLANTEAMIENTO DE LAS HOJAS DE EVALUACIN

Teniendo en cuenta el rendimiento que se pretende evaluar con estas pruebas, conviene saber que se pueden plantear en tres etapas: Que identifique o reconozca la adecuacin de un procedimiento, el uso adecuado de una herramienta, defina un concepto, etctera. Ejemplo: Explicar cmo instalara un sistema de riego automtico en el jardn de un chalet. Que aplique una tarea en condiciones simuladas a pequea escala. Aqu el alumno debe mostrar cmo ejecutara movimientos, actividades y operaciones como si fueran reales, sea en modelos construidos a escala o sin ellos. En otros casos, se pide la ejecucin de alguna actividad que implique actividad o destreza, como por ejemplo, un trabajo de taller o el manejo de maquinaria. Ejemplo: Cambiar el aceite de un motor de automvil. Que ejecute o lleve a cabo una actividad que represente una tarea profesional, vinculada a los objetivos de aprendizaje que deben evaluarse. Que haga un producto completo resultado de una ejecucin. En este caso se selecciona una muestra representativa de una tarea o conjunto de tareas que constituyan una prueba profesional equivalente o transferible a una situacin real de trabajo. Si el alumno realiza adecuadamente las operaciones de esa muestra de trabajo, se interpretar que es capaz de resolver todas las dems eficazmente. Ejemplo: Elaborar una receta completa.
FACTORES PARA EL DISEO DE UNA HOJA DE EVALUACIN DE PRCTICAS

A continuacin se incluyen una serie de factores que conviene tener en cuenta al disear una hoja de evaluacin de prcticas: Exactitud o precisin. Implica el uso de materiales en proporciones correctas, realizar clculos sin error y obtener medidas que se ajusten a las establecidas. Destreza. Supone demostrar habilidades psicomotoras en el manejo de instrumentos, manipulacin de mquinas o aparatos.
78
Secuencialidad. Significa la ejecucin de distintas operaciones en el orden establecido. Tiempo. Valora la rapidez de ejecucin, desarrollando la tarea en el tiempo estimado. Organizacin. Referido a la planificacin previa a la ejecucin, a la previsin de los elementos necesarios (instrumentos, equipo), de modo que se facilite el trabajo ordenado, el cuidado del equipo y el aprovechamiento del material. Adecuacin de instrumentos y materiales, si se utilizan. Ajuste a las normas de seguridad e higiene. Desarrollo de las actividades aplicando las normas que en este sentido se hayan determinado.
79
TEMA 4 DISEAR PRUEBAS DE EVALUACIND E ACTITUDES

Carlos y Julin estn preparando su siguiente clase, que se centrar en la evaluacin de las actitudes. Carlos comenta que evaluar las competencias a las que se refieren las actitudes, es bastante difcil, por lo subjetivo que resulta a veces decir si un alumno muestra o no tal actitud y en qu grado lo hace. Por ejemplo, es complicado evaluar si una persona muestra una actitud favorable al trabajo en equipo, algo que sin embargo es fundamental para saber cmo se comportar en cuando llegue a su puesto de trabajo real. Julin le apunta que, para evitar esa subjetividad, existen algunos tipos de pruebas, como son las entrevistas, las tcnicas de observacin y las tcnicas descriptivas, instrumentos que se utilizan fundamentalmente para la evaluacin formativa y la orientacin del alumno. Ambos concluyen que intentarn hacer una explicacin sencilla del tema de la evaluacin de actitudes, centrndose en los dos aspectos siguientes: Paso 4.1: Realizar entrevistas de evaluacin. Paso 4.2: Emplear tcnicas de observacin y descripcin.
PASO 4.1. REALIZAR ENTREVISTAS DE EVALUACIN

Carlos pasea agitado por su despacho, dando vueltas al tema de la evaluacin de actitudes. "La informacin que se obtiene con las pruebas de evaluacin sobre cmo se desarrolla el curso, es muy valiosa, porque es directa e inmediata. Lo que no me acuerdo muy bien es cmo se organizaba... Le preguntar a Julin por si tiene ms idea." Julin le comenta que el formador debe mantener cada cierto tiempo entrevistas con sus alumnos, bien sea de forma separada o conjunta con el grupo. As se facilita la recogida de datos y la aportacin de variada informacin para la marcha del curso: opiniones, preferencias, intereses, actitudes, satisfacciones, dificultades, problemas, aciertos, desaciertos
80
Julin concluye diciendo que lo importante no es recoger la informacin, sino analizarla y aprovecharla.
LA EVALUACIN DE COMPETENCIAS SOCIOPARTICIPATIVAS Y PERSONALES

Las competencias socioparticipativas hacen referencia al hecho de saber colaborar con otras personas de forma constructiva, y a saber participar en la organizacin del trabajo y de su entorno (saber estar). Si a estas competencias les incorporamos las personales, tendremos competencias que nos servirn para evaluar actitudes, competencias que nos interesa conocer por la implicacin de las actividades personales y profesionales en el buen desempeo de una profesin, y cuya formulacin es similar a la mayor parte de las especialidades laborales. Los instrumentos para evaluar las actitudes son: La entrevista La observacin Las tcnicas descriptivas
LA ENTREVISTA
Es una tcnica cualitativa de recogida de informacin muy utilizada en procesos de evaluacin y orientacin profesional. Dependiendo del grado de estructuracin en su diseo y del carcter de la informacin que se desea obtener, el tipo de entrevistas posible es muy variado: Entrevistas abiertas. Las preguntas no estn predeterminadas, slo existe una idea ms o menos de lo que queremos conseguir, con lo cual corremos el peligro de que la conversacin derive y no obtengamos la informacin que buscamos. Ejemplo Son muy adecuadas para determinadas situaciones y alumnos: por ejemplo, con aquellos ms desconfiados o reticentes a hablar cara a cara. Entrevistas semiestructuradas. Estn preparadas, pero tienen un guin abierto que permite que el formador pueda improvisar en un momento dado en funcin de la informacin que recibe en tiempo real del alumno. El orden puede saltarse y pueden dejarse de lado algunas preguntas e incorporarse otras.
81
Ejemplo El formador se entrevista con el alumno y van repasando diversos temas (contenidos, prcticas, compaeros, horarios, ...) pero sin llegar a tocar todos los previstos y parndose en aquellos donde hay ms problemas. Entrevistas estructuradas. Estn previamente determinadas, con un guin que recoge todas y cada una de las preguntas que queremos formular, en funcin de la informacin que precisemos. Ejemplo Una entrevista con cinco preguntas para investigar la disposicin al trabajo en equipo que muestra un alumno: hacemos todas las preguntas y en el orden previsto. Entrevistas en profundidad. Son mucho ms exhaustivas que las estructuradas, afinando mucho ms en las preguntas y repitindolas con formulaciones distintas, para poder ahondar en temas clave. Ejemplo Para decidir la calificacin o la continuidad en el curso de un alumno especialmente problemtico, el formador prepara una entrevista larga con una serie de treinta preguntas, en las que va repasando una tras otra las diversas actitudes que se esperan del alumno en este curso.
UTILIDADES DE LA ENTREVISTA DE EVALUACIN

Comunicacin directa: se establece una comunicacin directa entre entrevistado y entrevistador que posibilita la retroalimentacin, siendo necesario disponer de un espacio fsico y un tiempo de realizacin adecuados. Esto limita su uso generalizado como tcnica de recogida de informacin: las acciones formativas tienen una duracin reducida, un nmero elevado de alumnos, o faltan espacios adecuados para reunirse. Tipo de informacin obtenida: el entrevistado contesta a las preguntas con su propio discurso, aportando una informacin muy abierta, rica en matices y que requiere un anlisis laborioso y pormenorizado por parte del formador. El guin previo: necesario para la organizacin y sistematizacin de la informacin. Salvo en el caso de la entrevista abierta, en la que ms que un guin partiramos de una idea, las dems entrevistas precisan de un guin que recoja previamente los aspectos que se quieren tratar. El guin debe organizarse de tal modo que se d pie a la reflexin y a la elaboracin, y dejando margen para la comunicacin espontnea. Tcnica complementaria: la entrevista en la evaluacin de las actitudes debe contemplarse como una tcnica complementaria en la obtencin de informacin por parte del formador sobre las opiniones del alumno respecto a su proceso de aprendizaje, como su grado de motivacin, su inters por la especialidad que estudia, los puntos fuertes y dbiles en su proceso de aprendizaje o cmo ve el desarrollo del programa. Periodicidad: el nmero de entrevistas depender de la necesidad de obtener informacin complementaria sobre procesos de aprendizaje a los que sea difcil acceder mediante otras tcnicas. Puede quedar limitada a casos
82
particulares, realizarse peridicamente a determinados miembros del grupo, o a todo el grupo si se considera necesario.
APLICACIONES DE LA ENTREVISTA
Adems de su utilidad para evaluar actitudes, el formador se entrevistar con los alumnos por iniciativa de stos o de l mismo, para: Asuntos relativos a la marcha del propio alumno. Necesidades de orientacin. Dificultades de aprendizaje. Contraste de puntos de vista. Funcionamiento de las clases: necesidades vinculadas al material, asistencia de alumnos, cuestiones pedaggicas, etctera.
PAUTAS GENERALES DE ELABORACIN

Adems de su utilidad para evaluar actitudes, el formador se entrevistar con los alumnos por iniciativa de stos o de l mismo, para: Asuntos relativos a la marcha del propio alumno. Necesidades de orientacin. Dificultades de aprendizaje. Contraste de puntos de vista. Funcionamiento de las clases: necesidades vinculadas al material, asistencia de alumnos, cuestiones pedaggicas, etctera.
PASO 4.2. EMPLEAR TCNICAS DE OBSERVACIN Y DESCRIPCIN

ACTIVIDAD
Despus de explicar a sus alumnos la evaluacin de actitudes mediante entrevistas, Carlos prepara el tema de las tcnicas de observacin y descripcin. "Bueno, esto es fcil de explicar -piensa Carlos-. Todo el que ha dado clase alguna vez sabe que el formador est continuamente observando el comportamiento de sus alumnos. Cuando llega la hora de evaluar actitudes de manera ms formal, se hace lo mismo, pero de una forma ms estructurada, con ciertos parmetros predeterminados. En este caso, hay que centrarse en los aspectos concretos que se deben evaluar (por ejemplo, la actitud del alumno ante el trabajo) y olvidarse de otros que en ese momento son secundarios (a lo mejor, la capacidad de iniciativa). Tambin sera interesante hablarles de otras herramientas como los diarios y anecdotarios, que con sus anotaciones organizadas aportan una informacin cualitativa muy interesante."
83
LA OBSERVACIN
Es una tcnica que sirve para obtener informacin de carcter cualitativo, es decir, para evaluar aspectos a lo que es difcil acceder mediante otras tcnicas. En el caso de la formacin ocupacional, interesa observar ciertos comportamientos de los alumnos, como pueden ser su actitud cooperativa, constructiva, participativa, su capacidad de trabajo individual y en equipo, o sus relaciones informales. Es decir, todo aquello que pueda dar pistas de la actitud de los alumnos ante el mundo del trabajo. Desde un punto de vista metodolgico, es conveniente que la observacin sea directa, continuada y sistemtica para garantizar su rigor. Por su parte, las observaciones aisladas u ocasionales pueden encerrar algn valor, pero carecen de rigor, objetividad y cientificidad. Para que una observacin proporcione datos vlidos y fiables, debemos partir de un diseo programado y planificado, aunque flexible.
ACTITUDES OBJETO DE OBJERVACIN

Las principales actitudes que pueden evaluarse observando los comportamientos del alumno son: adaptabilidad, comunicacin, iniciativa, organizacin, persistencia, responsabilidad y trabajo en equipo.
84
85
RESUMEN: Otras actitudes evaluables por observacin Mente abierta y flexible Voluntad de detener todo juicio final Sensibilidad para las causas causa-efecto Espritu indagador Nivel de apertura al aprendizaje Preocupacin por el bienestar de otros Sentimientos expresados respecto a diferentes actividades Reacciones con los iguales ante el trabajo, a la crtica
TAREAS DESCRIPTIVAS
La observacin es una tcnica estructurada y sistemtica, mientras que las tcnicas descriptivas son ms abiertas. Se trata de anotar aquellos aspectos que llaman la atencin del formador. Por ejemplo, durante la realizacin de una prctica que consiste en pintar por equipos una pared, el formador anota en un cuaderno qu tipo de relaciones y comentarios muestran los alumnos. De esta forma, puede evaluar las actitudes hacia el trabajo en equipo. Proporcionan una informacin muy cualitativa y completa, pero tambin subjetiva y menos comparable. Existen principalmente dos tipos: diarios y anecdotarios.
DIARIOS
Es la tcnica ms utilizada. El formador relata en fichas la descripcin de los acontecimientos que considera ms significativos, intercalando, si lo considera oportuno, valoraciones, pensamientos o reflexiones. Lo aconsejable al trabajar con diarios es cotejarlos, es decir, que exista la posibilidad de contraste. Sera muy provechoso contar con unos diarios elaborados por varios formadores. Ejemplo: Nombre Formador _______________________ Fecha ______________ Actividad ______________________________ Duracin ___________ Notas: ____________________________________________________ __________________________________________________________ __________________________________________________________
ANECDOTARIOS
Recogen de forma episdica los hechos ms sobresalientes que se producen en el desarrollo de una determinada accin relativa al campo de aptitudes, actitudes, intereses,
86
reacciones... Se relatan las acciones que se consideran relevantes, sin opiniones personales, es decir, recabando solo los hechos. Cada ancdota debe plasmarse en una ficha. Ejemplo: Formador: ________________________________ Fecha __________ Alumno: __________________________________ Lugar __________ Contexto, situacin: __________________________________________ Incidente, ancdota: __________________________________________ Observaciones: ________________________________________________ _____________________________________________________________ Estas fichas pueden ser agrupadas y organizadas en los correspondientes archivos por personas, por tipo de conducta, por fechas, etctera. Un documento muy valioso puede ser el registro acumulativo por personas. En l se registran de forma resumida acontecimientos particulares. Por ejemplo: Registro acumulativo
En los anecdotarios partimos de una estructura predefinida siguiendo un esquema tipo que puede variar segn nuestras necesidades. Tienen la ventaja de poderse comparar varias personas entre s sujetos, e incluso permiten cuantificar de alguna forma las actitudes (como nmero de veces que muestra tal actitud o tal otra).
87
TEMA 5 ESTABLECER LAS CARACTERSTICAS DE LAS PRUEBAS

La Unidad Didctica sobre las pruebas de evaluacin llega a su fin. Carlos y Julin estn bastante satisfechos, pues consideran que han logrado que los alumnos conozcan los diferentes tipos de pruebas que hay, sus peculiaridades y cmo elaborarlas. "Mira, -dice Julin- estoy muy contento de la evolucin de los temas, pero me parece que para dar por terminada la Unidad deberamos introducir un ltimo apartado sobre las caractersticas tcnicas de las pruebas de evaluacin y lo importante que es tenerlas en cuenta en el momento de disear pruebas. Estas caractersticas garantizan su nivel de calidad. Si una prueba no cumple con estas caractersticas no sirve como instrumento de evaluacin, aunque sus preguntas correspondan perfectamente con los contenidos estudiados. Y viceversa. Carlos inquiere: "Y de qu caractersticas tendramos que hablar?" "Son bastantes -le contesta Julin-, pero creo que deberamos centrarnos en las ms importantes. Son el ndice de discriminacin, el de dificultad, la fiabilidad y la validez." "Me suenan, pero lo tengo algo olvidado, dice Carlos." "Bueno, yo controlo bastante lo referente a fiabilidad y validez. Para refrescarnos sobre discriminacin y dificultad vamos a llamar a Ramn y Mara, que son ms expertos en ese tema. Si te parece, preparamos este tema con tres apartados." Paso 5.1: Calcular los ndices de discriminacin y dificultad. Paso 5.2: Verificar la fiabilidad y la validez. Paso 5.3: Determinar otras caractersticas tcnicas.
PASO 5.1. CALCULAR LOS NDICES DE DISCRIMINACIN Y DIFICULTAD

ACTIVIDAD
Carlos habla con sus amigos Ramn y Mara para que le expliquen cmo pueden abordar con los alumnos el asunto de los ndices de discriminacin y dificultad.
88
"Es curioso, Carlos -comenta Mara-, el anlisis de las preguntas de la prueba es una operacin que he echado en falta ms de una vez. Me he encontrado con pruebas que he tenido que aplicar y que, al no ajustarse debidamente a los contenidos del programa formativo, realizaban una medicin del aprendizaje sesgada." "Efectivamente -aade Ramn-, porque no se sabe si una prueba es correcta hasta que no se ha usado realmente con alumnos. El formador tiene que analizar las preguntas despus de haber pasado la prueba a sus alumnos y teniendo en cuenta las respuestas que estos han dado." "Y sin embargo -seala Carlos-, yo nunca me he ocupado de analizar esos ndices. Cmo podramos transmitir a los alumnos cules son los objetivos de este anlisis?" "Muy sencillo -responde Ramn-, podrais empezar explicndoles que los anlisis informan sobre el logro de los objetivos del programa, que estiman la dificultad de cada una de las preguntas, que detectan la diferencia o discriminacin de cada pregunta en relacin con los alumnos buenos y deficientes. Que adems, nos permiten desarrollar criterios ms racionales para la concesin de calificaciones."
LA EFECTIVIDAD DE LAS PRUEBAS

El anlisis de las preguntas de una prueba de evaluacin es una tarea imprescindible para poder conocer, de manera genrica, la efectividad real de la formacin; y de manera particular, la eficacia de los instrumentos utilizados en la prueba de evaluacin. Este anlisis formara parte del conjunto de operaciones que se realizan en la evaluacin de acciones formativas. No hay que olvidar que, cuando se trata de elaborar un instrumento que pretende medir los conocimientos y destrezas para poder practicar una determinada ocupacin, el punto de partida debe ser el examen detallado de las caractersticas y actividades que suponen dicha ocupacin (la elaboracin de estos instrumentos se aborda con detalle en la Unidad "Diseo de pruebas de evaluacin"). Una vez realizado este anlisis, se derivarn del mismo los distintos objetivos para la formacin. As pues, contando con objetivos correctamente formulados y sistematizados, deberemos seleccionar los contenidos ms apropiados. De este modo habremos conseguido elaborar el Evaluacin del Aprendizaje 89
programa del curso. Definidos los objetivos y determinados los contenidos, procederemos a su sistematizacin y jerarquizacin (el anlisis de todo esto se vio en el Tema 1), para la elaboracin de las diferentes pruebas de evaluacin. Ahora nos vamos a ocupar de los objetivos del anlisis de las respuestas de los alumnos a cada una de las preguntas, y de las tcnicas de anlisis, como procedimientos que cumplen estos objetivos.
OBJETIVOS DEL ANLISIS DE LAS RESPUESTAS

Proporcionar informacin sobre el logro de los diferentes objetivos del programa. Por ejemplo, si se registran ms aciertos en las preguntas relacionadas con el conocimiento de hechos especficos, o en las relacionadas con el anlisis. Estimar la dificultad de cada una de las preguntas. Por ejemplo, algunas preguntas han sido tan fciles que las ha contestado el 95% de los alumnos, y otras tan difciles que slo obtuvieron el 3% de respuestas correctas. Estimar la discriminacin de cada pregunta entre los alumnos de ms nivel y los de menor nivel. Por ejemplo, discriminar mejor la pregunta que tiene mayor porcentaje de aciertos entre los alumnos con mayor nivel que entre los menos preparados, que otra que fue acertada por un porcentaje equivalente de ambos grupos. Determinar criterios ms racionales para la concesin de calificaciones. Por ejemplo, podrn incidir en la calificacin preguntas respondidas por el 100% de los alumnos? Finalmente, conviene tener en cuenta que cuando la mayora de los alumnos fracasa en una prueba, puede que sea necesario replantearla completamente.
NDICE DE DISCRIMINACIN
Una prueba posee discriminacin cuando diferencia correctamente los distintos niveles de rendimiento de los alumnos. As pues, el ndice de discriminacin (dc) indica en qu medida una pregunta es vlida para discriminar o diferenciar entre los alumnos de alto y bajo nivel. Por ello, discriminarn mejor las pruebas con preguntas con mayor porcentaje de aciertos entre los alumnos de mayor nivel que entre los de menor nivel. Y discriminarn peor las Evaluacin del Aprendizaje 90
pruebas con preguntas acertadas en un porcentaje similar por alumnos de mayor y menor nivel. Para obtener este ndice se separa, por una parte, el 27% de los alumnos que han obtenido las calificaciones ms altas en la totalidad de la prueba producto de nuestra evaluacin; y, por otra, el 27% de los que han obtenido las calificaciones ms bajas. El 46% de alumnos restante no se utiliza para el clculo del dc.
Ejemplo: Supongamos que tenemos un grupo de 40 alumnos de los cuales, el 27% seran 10,8: es decir 11 alumnos. Tenemos que comprobar cuntos alumnos de entre los 11 que ms alta nota sacaron en la prueba han contestado correctamente la pregunta que estudiamos. Supongamos que son 8. En el 27% del grupo inferior, que estar constituido por otros 11 alumnos, han sido 4 los que han contestado correctamente a la pregunta. Aplicando la frmula obtenemos el siguiente resultado: Dc= (8-4) / 11 = 0,36 En la siguiente tabla puedes ver el significado de los valores del ndice de discriminacin.
El porcentaje ideal de preguntas en una prueba, en virtud de su ndice de discriminacin, sera:
La discriminacin est estrechamente relacionada con la desviacin tpica de una prueba, ya que a mayor desviacin tpica, mayor discriminacin y viceversa. Por ello, si las
91
preguntas discriminan muy poco entre alumnos de alto y bajo nivel, la desviacin tpica ser pequea, y viceversa. El concepto de desviacin tpica se refiere a la desviacin habitual y repetida (el porcentaje cuantificado que se sale de la norma), contemplada en los procesos de medicin e identificada gracias a operaciones estadsticas.
NDICE DE DIFICULTAD
El ndice de dificultad (df) expresa la proporcin entre los alumnos que contestan correctamente a una pregunta y el nmero total de alumnos que realizan la prueba. Existen distintas formulas para la obtencin del ndice de dificultad, la ms sencilla es la siguiente:
Por ejemplo, si en un grupo de 30 alumnos una pregunta la contestan bien 12, su ndice de dificultad ser:
La siguiente tabla ofrece una interpretacin de los ndices de dificultad.
Imaginemos que una pregunta ha sido contestada bien por 14 alumnos de 15. Intuitivamente la podemos calificar de muy fcil. Pero y si hubiese 12 respuestas correctas? Seguira siendo muy fcil? El ndice de dificultad nos permite precisar esta intuicin: su df es de 0,80 (12/15) y, por tanto, la podemos calificar de relativamente fcil, pero no de muy fcil. Para una mejor comparacin e interpretacin, puede utilizarse tambin la siguiente tabla:
Para obtener el porcentaje de alumnos que supera una pregunta, basta con multiplicar por 100 el nmero de aciertos a dicha pregunta, y dividirlo entre el nmero total de alumnos que realiza la prueba:
92
Por ejemplo, una pregunta de una prueba de evaluacin ha sido contestada por 16 alumnos de un grupo total de 22. El porcentaje de aciertos ser:
Por tanto (ver tabla anterior), sera una pregunta relativamente fcil. La medicin de los conocimientos que realiza una prueba de evaluacin es ms precisa cuando todas sus preguntas poseen un grado de dificultad aproximadamente similar. Se puede afirmar que las preguntas que poseen una dificultad media (las contestadas por el 40% a 60% de los alumnos), son las que mejor discriminan entre alumnos buenos, mediocres y deficientes, y adems aumentan la fiabilidad de la prueba. De ah que, aquellas preguntas que aparecen como defectuosas en las tablas anteriores (muy fciles, poca discriminacin, etctera), deban ser revisadas para averiguar las causas de su deficiencia. Es posible que sta sea la tarea ms importante del anlisis de las preguntas, y adems uno de los principios fundamentales de la evaluacin formativa.
PASO 5.2. VERIFICAR LA FIABILIDAD Y VALIDED

ACTIVIDAD
Despus de escuchar las explicaciones de Julin, Carlos coincide con l en que puede resultar provechoso para los alumnos conocer las principales caractersticas tcnicas de las pruebas de evaluacin. En todo caso, no tiene muy claro hasta qu punto l mismo domina el tema, ya que aunque sabe aplicarlas por su experiencia, vacila en afirmar si sabra enumerarlas y explicarlas. "Vaya! Puede que este tema resulte mucho ms til de lo que pensaba! -le dice Julin. Yo he incorporado con la prctica la aplicacin de estas caractersticas a mi quehacer cotidiano, pero los alumnos, algunos de los cuales seguramente estn empezando a conocer este mbito de la evaluacin, necesitarn la explicacin terica para comprender su relevancia." Carlos detiene su reflexin para concentrarse en la relacin de caractersticas tcnicas que Julin ha comenzado a escribir en la pizarra. En total explicarn nueve, pero en la primera clase se centrarn tan solo en dos, ya que son las ms complejas: fiabilidad y validez. Estas dos caractersticas las tiene claras. Las puntuaciones de una prueba son fiables cuando aplicadas a los mismos alumnos en ocasiones diversas, producen resultados similares. Mientras que la validez hace referencia al grado de precisin con el que una prueba mide lo que se propone medir.
93
CARACTERSTICAS EVALUACIN
TCNICAS
DE
LAS
PRUEBAS
DE
Cualquier tipo de prueba que tenga como finalidad medir resultados del aprendizaje debe tener una serie de caractersticas que garanticen su nivel de calidad, con el fin de cumplir la funcin para la que ha sido destinada. La carencia o deficiencia de tales caractersticas puede llevar a la invalidacin total o parcial de una prueba como instrumento de evaluacin.
FIABILIDAD
Las puntuaciones de una prueba son fiables cuando aplicadas a los mismos alumnos en ocasiones diversas, producen resultados similares. Lgicamente, las situaciones (motivacin, cansancio, hora, lugar...) de las distintas oportunidades en que se aplique la prueba deben ser del mismo tipo. Ejemplo: Una misma prueba realizada a un grupo de alumnos estando despejados, y a otros despus de haber realizado un gran esfuerzo intelectual, no tendr la misma fiabilidad al tratarse de situaciones diferentes. Los factores que favorecen la fiabilidad de una prueba son: Nmero de preguntas (tems) incluidas. A mayor nmero de preguntas, mayor fiabilidad de la prueba, aunque en cada caso hay un lmite, a partir del cual, por mucho que se incrementen las preguntas la fiabilidad no aumenta apenas. Grado de homogeneidad de las preguntas. Cuanto ms homogneas sean las preguntas (preguntas que se refieran a un tema), ms aumentar el grado de fiabilidad. Grado de discriminacin de los tems. A mayor capacidad de un tem para discriminar los distintos niveles de rendimiento de un alumno, mayor ser la fiabilidad de la prueba. Grado de dificultad de la prueba. Los tems o preguntas de dificultad media otorgan mayor fiabilidad a una prueba. Objetividad de las puntuaciones. Cuanto menos influya el juicio personal del examinador en las puntuaciones, mayor ser la fiabilidad.
94
Tiempo previsto. Cuanto mayor es el tiempo previsto como necesario para realizar un examen, mayor fiabilidad. Respuesta correcta por azar. A ms alta probabilidad de obtener una respuesta correcta por azar, ms baja fiabilidad. Por ello, conviene desechar las preguntas con solamente dos posibles opciones de respuesta (50% de posibilidades de responder correctamente al azar) y, al menos, que tengan tres opciones (33,3% de posibilidades de responder correctamente al azar) Contenido de las preguntas. Las preguntas de contenido emocional afectan negativamente a la fiabilidad. Disposicin de los alumnos. La adversa disposicin mental de los alumnos, la falta de motivacin o la mala interpretacin de las instrucciones de la prueba, disminuye la fiabilidad. De todos estos factores que influyen en la fiabilidad, a continuacin vamos a desgranar los referidos a la dificultad, objetividad y tiempo, en la medida en que se consideran caractersticas a tener en cuenta en el diseo de las pruebas de evaluacin.
VALIDEZ
La validez hace referencia al grado de precisin con el que una prueba mide lo que se propone medir. Ejemplo: Una prueba que pretenda evaluar conocimientos estadsticos, y que slo contenga grficas, no tendr validez para calibrar el dominio que tiene un sujeto sobre la estadstica general, en cambio s ser vlida para medir sus conocimientos sobre representaciones grficas. La primera condicin necesaria para que una prueba sea vlida es que posea un grado adecuado de fiabilidad. Para ser vlido un instrumento necesita ser fiable, pero puede ser fiable sin ser necesariamente vlido. La validez puede ser de tres tipos: predictiva, de contenido y concurrente.
VALIDEZ PREDICTIVA
Es la medida en que una prueba puede pronosticar algo para el futuro.
95
Ejemplo: Quines podrn realizar eficazmente un trabajo administrativo? Si los que ms alto puntan en la prueba son los que en el futuro demuestran ser los administrativos ms eficaces, diremos que tal prueba tiene validez predictiva. Un procedimiento vlido para averiguar la validez predictiva, continuando con el mismo ejemplo, sera el siguiente: Ejemplo: (a) Aplicamos la prueba que pretendemos validar a un grupo de administrativos cuyos niveles de eficacia conocemos de antemano. De esta manera veremos si la prueba discrimina a los administrativos en cuanto a eficacia, es decir, si existe correlacin entre los ms eficaces y los que ms puntos han sacado en la prueba. (b) Despus se aplica la misma prueba a un grupo de administrativos nuevos. (c) Cuando hemos comprobado personalmente sus niveles de eficacia, correlacionamos tales niveles con las puntuaciones obtenidas en la prueba.
VALIDEZ DE CONTENIDO
Esta validez se determina observando detenidamente el contenido de la prueba y juzgando el grado en que verdaderamente mide los objetivos de un curso o unidad didctica. Es decir, se trata de comprobar si el contenido de la prueba es representativo de la materia que se ha impartido en el curso. El procedimiento para lograr este tipo de validez consiste en que el autor o autores de la prueba determinen su contenido mediante un anlisis profundo de la materia y la consulta con otros expertos. Cuantos ms y mejores expertos se consulten, ms difcil ser el caer en arbitrariedades y, por tanto, ms validez de contenido tendr la prueba.
VALIDEZ CONCURRENTE
Consiste en verificar la validez de una prueba mediante su correlacin con otra que se supone que mide los mismos conocimientos y que tiene a su vez una validez reconocida. Ejemplo: Se construye una prueba de evaluacin de conocimientos de clculo mercantil y se convalida relacionando sus resultados con otra prueba del mismo tipo de validez ya demostrada, que tambin se ha aplicado a los mismos sujetos. Si la correlacin es aceptable, la prueba es vlida. Recordemos que para ser vlido un instrumento necesita ser fiable. En general, la validez de una prueba es directamente proporcional a su fiabilidad. Pero existen excepciones, ya que una prueba muy heterognea en sus preguntas puede tener poca fiabilidad (consistencia interna), y sin embargo gran validez por la dificultad y poder discriminatorio de sus preguntas o tems.
96
PASO 5.3. DETERMINAR OTRAS CARACTERSTICAS TCNICAS

ACTIVIDADES
Julin y Carlos estn muy contentos con los resultados de su primera clase sobre las caractersticas tcnicas de las pruebas de evaluacin. "La verdad es que no ha sido tan complicado hacerles entender la importancia de la fiabilidad y la validez en las pruebas de evaluacin", comenta Carlos. "Es cierto -contesta Julin-. Y ahora slo nos queda terminar de explicar algunos de los factores que tambin influyen en la fiabilidad y hablar de otras caractersticas tcnicas." "Espero que no se len por haber separado la objetividad, la dificultad media y la adecuacin al tiempo estipulado del resto de factores que influyen en la fiabilidad de una prueba" comenta Carlos. "Claro que no -le calma Julin-. Creo que con la clase anterior y la de hoy en la que hablaremos de esos factores que acabas de mencionar, e incorporaremos el resto de las caractersticas tcnicas (representatividad, adecuacin a lo enseado y practicidad) entendern enseguida las caractersticas tcnicas en su conjunto."
97
CARACTERSTICAS TCNICAS
La objetividad, la dificultad y el tiempo son factores que influyen en la fiabilidad, y que ahora vamos a ver con ms detenimiento junto al resto de caractersticas tcnicas de las pruebas de evaluacin: representatividad, adecuacin a lo enseado y practicidad.
OBJETIVIDAD
Cuando a una prueba se le asigna una puntuacin independientemente del juicio de quien la corrige, podemos decir que se la ha calificado objetivamente. Si una prueba no es objetiva es muy difcil que sea fiable. En general los tems que requieren la seleccin de una respuesta que sea nica e indiscutible son objetivos. Debe procurarse que la seleccin de tems que realice el docente sea lo ms objetiva posible. Esto se consigue si los tems que abarcan los contenidos posibles de la materia que se va a evaluar se extraen de una muestra aleatoria, teniendo todos igual posibilidad de ser elegidos.
DIFICULTAD MEDIA
En general, una prueba de dificultad media est mejor diseada que otra que carezca de esta caracterstica. Est comprobado estadsticamente que si la dificultad es media podr ser superada por algo ms de la mitad de los examinados. La mayor o menor dificultad de la prueba viene dada por las oscilaciones de la media de los alumnos que la superan. En todo caso, la dificultad no siempre es una caracterstica de eficacia de una prueba, ya que tambin hay que considerar el tipo de alumnos y el tipo de materia.
ADECUACIN AL TIEMPO ESTIPULADO

Se considerar bien planeada con respecto al tiempo una prueba que sea resuelta por ms del 90% de los examinados en el plazo establecido previamente. Esta norma, no obstante, slo sirve para verificar la precisin de las previsiones efectuadas con respecto a la duracin del examen. De cualquier modo, no deben imponerse limitaciones innecesarias en el tiempo de una prueba, slo las derivadas de razones administrativas o del cansancio de los alumnos.
REPRESENTATIVIDAD
Una prueba es representativa cuando refleja fielmente el grado de consecucin de los objetivos propuestos. Es frecuente que al disear una prueba de evaluacin olvidemos el grado de importancia de cada uno de los objetivos programados, entonces la prueba resulta ms representativa de unos objetivos que de otros. Utilizando la Taxonoma de Bloom (Tema 1), el patrn de representatividad en las pruebas de evaluacin es de 40% de tems pertenecientes al campo de los conocimientos, y de un 60% al sector de las capacidades intelectuales.
98
FACTORES QUE INFLUYEN EN LA FIABILIDAD

Dificultad: una prueba de dificultad media est mejor diseada que otra que no Objetividad: los tems que requieren la seleccin de una respuesta nica e indiscutible son objetivos Tiempo: una prueba que ser resuelve por ms del 90% de los examinados en el plazo establecido est bien diseada.
ADECUACIN DE LA ENSEANZA
Cuando las respuestas que da un alumno a una prueba son producto de lo enseado por el formador, diremos que tal prueba se adecua a lo estrictamente enseado. ste es un factor que hay que tener en cuenta, ya que frecuentemente aparecen tems que tienen una relacin indirecta con lo enseado en clase, y sin embargo se excluyen otros directamente relacionados con aspectos fundamentales del tema impartido. Las pruebas deben contener tems que se limiten a comprobar lo enseado.
PRACTIDIDAD
Una prueba, adems de ser eficaz, debe reunir una serie de caractersticas que hagan que sea prctica y funcional. Estas caractersticas se refieren al tiempo empleado en su elaboracin, coste razonable, facilidad en la correccin y puntuacin, etctera. As, por ejemplo, una prueba muy complicada de corregir y puntuar no resulta prctica, ni tampoco lo sera una que requiriese largas y complejas aclaraciones a los alumnos, o que resultase econmicamente muy cara de confeccionar o distribuir. Otro factor que se debe considerar al disear una prueba de evaluacin es el anonimato del alumno, de ah que sea aconsejable utilizar un modelo de hojas de examen en el que se pueda cortar la cabecera donde figuren los datos de identificacin del alumno, dando a cada examen un nmero de referencia para localizar a su autor despus de la correccin. As se evita que el evaluador reconozca al alumno mientras dure el proceso de calificacin.
SNTESIS
Es el ltimo da de curso, y Julin y Carlos llegan tarde. Cuando entran en el aula, saludan brevemente a los alumnos e inician la sesin intercalando sus intervenciones: "A lo largo de esta Unidad Didctica -explica Julin- hemos visto las diferentes tcnicas e instrumentos para disear pruebas de evaluacin de conocimientos, prcticas o actitudes. Recordaris que comenzamos con la categorizacin de los objetivos, aludiendo a la formulacin que de ellos se haca en la Unidad Didctica de Planificacin; y finalizamos nuestra Unidad con el desglose pormenorizado de las caractersticas tcnicas de las pruebas de evaluacin." "A lo largo de la unidad hemos abordado el planeamiento de una prueba de evaluacin comenta Carlos por su parte- y hemos destacado la elaboracin de la tabla de especificaciones como elemento organizador que aglutina los indicadores de competencia que queremos valorar. Tambin hemos desgranado las pruebas objetivas y no objetivas de evaluacin y hemos insistido en la necesidad de practicar el diseo de pruebas de evaluacin, algo que hasta ahora habis hecho a travs de las propuestas de investigacin."
99
"Es muy importante -seala Julin- que tengis muy presente este ltimo punto, porque aunque evidentemente el conocimiento de la teora os va a facilitar la tarea de disear pruebas de evaluacin, las dominaris practicando en su diseo, y contrastando con otros profesionales. Dicho esto, os vamos a sugerir la realizacin de un ltimo ejercicio que os permita comprobar la asimilacin de los temas de la Unidad."
LOS OBJETIVOS EN LAS PRUEBAS DE EVALUACIN

Cada dominio de la dimensin de la conducta se puede agrupar en una de las tres categoras de la Taxonoma de Bloom:
PLANIFICAR LA EVALUACIN DE COMPETENCIAS

Partir del perfil profesional propio de cada especialidad formativa para identificar las competencias profesionales asociadas al mismo (tcnicas, metodolgicas y socioparticipativas). Formular los objetivos de aprendizaje (en correlacin con las competencias profesionales de la especialidad), y establecer los criterios de evaluacin e indicadores competenciales. Determinar qu resultados concretos se pretenden lograr, en trminos de competencias tcnicas, metodolgicas y socioparticipativas, indicando el grado de cumplimiento de los objetivos previamente formulados. Evaluacin del Aprendizaje 100
Determinar los momentos de la evaluacin. Disear las pruebas de evaluacin ms idneas y ajustadas posibles para medir competencias profesionales. Registrar y transmitir los resultados de la prueba de evaluacin. Emitir un diagnstico evaluativo.
PLANTEAR UNA PRUEBA DE EVALUACIN DE CONOCIMIENTOS

Comprobar que los aprendizajes que se evalan se ajustan al tipo de prueba Seleccionar las preguntas Elaborar un nmero de tems y prcticas superior al que se vaya a utilizar Cuidar la presentacin fsica y los aspectos de la prueba Elaborar una clave de respuestas Relacionar objetivos y contenidos que se evalan con los tems con los que se miden
LA TABLA DE ESPECIFICACIONES
La tabla de especificaciones es el organizador de la planificacin de la evaluacin de competencias que ayuda a sistematizar y racionalizar el plan de evaluacin. Se realiza antes de elaborar las pruebas de evaluacin y constituye el primer paso de la planificacin evaluativa.
LAS PRUEBAS OBJETIVAS

Tipo de examen escrito que se caracteriza por: El alto nmero de formulaciones breves en su enunciado y sobre todo en su respuesta. Las respuestas aceptables estn previamente determinadas, las rechazables lo son por exclusin. El procedimiento para la valoracin de los resultados de la prueba est previamente determinado.
PRUEBAS DE ENSAYO BREVE

Planteamiento previo seguido de una pregunta que hay que responder argumentndola y de manera escueta. Se valora la capacidad de sntesis.
101
PRUEBAS DE ENSAYO DE RESPUESTA EXTENSA PARA EVALUAR APRENDIZAJES COMPLEJOS

Dan al alumno una mayor posibilidad de expresin que las anteriores, ya que le ofrecen la posibilidad de seleccionar cualquier informacin que posea y que considere adecuada para organizar la respuesta segn su criterio, integrando y evaluando ideas como considere ms apropiado. Se valora fundamentalmente la capacidad de anlisis.
PRUEBAS PARA LA EVALUACIN DE LAS PRCTICAS

Hacen referencia a saber aplicar el procedimiento adecuado a las tareas y actividades profesionales propias de la ocupacin o profesin elegida. Al alumno se le puede pedir: Que identifique o reconozca la adecuacin de un procedimiento. Que ejecute una tarea en condiciones simuladas a pequea escala. Que lleve a cabo una tarea muy representativa de los objetivos que deben evaluarse.
DISEO DE ACTITUDES
PRUEBAS
PARA
LA
EVALUACIN
DE
LAS
La evaluacin de actitudes, bsicamente utilizada en la evaluacin formativa, supone la evaluacin de competencias socioparticipativas y personales, que hacen referencia al hecho de saber colaborar con otras personas de forma constructiva, adems de saber participar en la organizacin del trabajo. La recogida de informacin en estas pruebas es muy variada: opiniones, preferencias, intereses, actitudes, satisfacciones, dificultades, problemas, aciertos, desaciertos
102
CARACTERSTICAS EVALUACIN
TCNICAS
DE
LAS
PRUEBAS
DE
Discriminacin: una prueba posee discriminacin cuando diferencia correctamente los distintos niveles de rendimiento de los alumnos. As pues, el ndice de discriminacin (dc) indica en qu medida una pregunta es vlida para discriminar o diferenciar entre los alumnos de alto y bajo nivel. Dificultad: el ndice de dificultad (df) expresa la proporcin entre los alumnos que contestan correctamente a una pregunta y el nmero total de alumnos que realizan la prueba. Fiabilidad: cuando las pruebas aplicadas a los mismos alumnos en ocasiones diversas producen resultados similares. Validez (predictiva, de contenido, concurrente): hace referencia al grado de precisin con el que una prueba mide lo que se propone medir. Objetividad: puntuacin asignada independiente del juicio de quien la corrige. Adecuacin al tiempo estipulado. Representatividad: cuando refleja fielmente el grado de consecucin de los objetivos propuestos. Adecuacin a lo enseado: Las pruebas deben de contener tems que se limiten a comprobar lo enseado. Practicidad: una prueba, adems de ser eficaz, debe ser prctica y funcional.
DISEO DE PRUEBAS DE EVALUACIN

Explora el esquema siguiente para ver un resumen del procedimiento para disear pruebas de evaluacin.
103
104
NDICE
MDULO 7 DISEO DE PRUEBAS DE EVALUACIN DEL APRENDIZAJE ................................1 OBJETIVOS ...........................................................................................................................................1 ESTRATEGIA.........................................................................................................................................1 LA EVALUACION .................................................................................................................................1 PLANIFICACIN DE LA EVALUACIN.............................................................................................2 UNIDAD DIDCTICA 7.1 EVALUACIN DEL APRENDIZAJE.........................................................4 OBJETIVOS ...........................................................................................................................................4 SITUACIN ...........................................................................................................................................4 ESTRATEGIA.........................................................................................................................................5 TEMA 1. REFLEXIONAR SOBRE LO QUE SIGNIFICA EVALUAR ....................................................6 PASO 1.1. ACOTAR EL CONCEPTO Y SENTIDO DE LA EVALUACIN.........................................6 PASO 1.2. DIFERENCIAR ENTRE MEDICIN Y EVALUACIN .....................................................8 PASO 1.3. DISCRIMINAR LA EVALUACIN RESPECTO A LA NORMA Y AL CRITERIO.............10 TEMA 2. APLICAR LAS CARACTERSTICAS DE LA EVALUACIN .............................................13 PASO 2.1. CONSEGUIR LA OBJETIVIDAD EN LA EVALUACIN .................................................13 PASO 2.2. TOMAR DECISIONES JUSTAS.........................................................................................17 PASO 2.3. UTILIZAR LA EVALUACIN CRITERIAL .......................................................................19 TEMA 3 UTILIZAR DIVERSOS TIPOS DE EVALUACIN ................................................................21 PASO 3.1 DISTINGUIR ENTRE EVALUACIONES FORMATIVAS Y SUMATIVAS ..........................21 PASO 3.2. USAR EVALUACIONES CONTINUAS Y FINALES ..........................................................23 SNTESIS .............................................................................................................................................25 UNIDAD DIDCTICA 7.2 PRUEBAS DE EVALUACIN ...................................................................29 OBJETIVOS .........................................................................................................................................29 SITUACIN .........................................................................................................................................30 ESTRATEGIA.......................................................................................................................................30 TEMA 1. CLASIFICAR LOS OBJETIVOS.............................................................................................32 PASO 1.1. UTILIZAR LA TAXONOMA DE BLOOM.........................................................................32 TEMA 2. DISEAR PRUEBAS DE EVALUACIN DE CONOCIMIENTOS......................................36 PASO 2.1. PLANTEAR PRUEBAS DE EVALUACIN .......................................................................37 PASO 2.2. ELABORAR PRUEBAS OBJETIVAS DE SELECCIN.....................................................49 PASO 2.3. UTILIZAR PRUEBAS COMPLEJAS .................................................................................60 TEMA 3 DISEAR PRUEBAS DE EVALUACIN DE PRCTICAS..................................................70 PASO 3.1. ESPECIFICAR ESCALAS DE CALIFICACIN ................................................................71 PASO 3.2. ESTABLECER LISTAS DE COTEJO .................................................................................75 PASO 3.3. ELABORAR HOJAS DE EVALUACIN DE PRCTICAS ................................................76 TEMA 4 DISEAR PRUEBAS DE EVALUACIND E ACTITUDES .................................................80 PASO 4.1. REALIZAR ENTREVISTAS DE EVALUACIN.................................................................80 PASO 4.2. EMPLEAR TCNICAS DE OBSERVACIN Y DESCRIPCIN .......................................83 TEMA 5 ESTABLECER LAS CARACTERSTICAS DE LAS PRUEBAS............................................88 PASO 5.1. CALCULAR LOS NDICES DE DISCRIMINACIN Y DIFICULTAD .............................88 PASO 5.2. VERIFICAR LA FIABILIDAD Y VALIDED .......................................................................93 PASO 5.3. DETERMINAR OTRAS CARACTERSTICAS TCNICAS.................................................97 SNTESIS .............................................................................................................................................99
105

Diseño de Pruebas de Evaluacion

Uploaded by

Document Information

Copyright

Available Formats

Share this document

Share or Embed Document

Sharing Options

Did you find this document useful?

Is this content inappropriate?

Copyright:

Available Formats

Diseño de Pruebas de Evaluacion

Uploaded by

Copyright:

Available Formats

MDULO 7 DISEO DE PRUEBAS DE EVALUACIN DEL APRENDIZAJE

DIFERENTES TIPOS DE EVALUACIN

Evaluacin del Aprendizaje

Evaluacin del Aprendizaje

UNIDAD DIDCTICA 7.1 EVALUACIN DEL APRENDIZAJE

Evaluacin del Aprendizaje

Evaluacin del Aprendizaje

TEMA 1. REFLEXIONAR SOBRE LO QUE SIGNIFICA EVALUAR

PASO 1.1. ACOTAR EL CONCEPTO Y SENTIDO DE LA EVALUACIN

Evaluacin del Aprendizaje

Evaluacin del Aprendizaje

PROCESO COMPLETO DE EVALUACIN

PASO 1.2. DIFERENCIAR ENTRE MEDICIN Y EVALUACIN

DIFERENCIAR ENTRE MEDICIN Y EVALUACIN

Evaluacin del Aprendizaje

PASO 1.3. DISCRIMINAR LA EVALUACIN RESPECTO A LA NORMA Y AL CRITERIO

Evaluacin del Aprendizaje

EVALUAR RESPECTO AL CRITERIO

Evaluacin del Aprendizaje

TEMA 2. APLICAR LAS CARACTERSTICAS DE LA EVALUACIN

PASO 2.1. CONSEGUIR LA OBJETIVIDAD EN LA EVALUACIN

FACTORES QUE POTENCIAN LA OBJETIVIDAD

NIMO SERENO O ESTABILIDAD EMOCIONAL

Evaluacin del Aprendizaje

PASO 2.2. TOMAR DECISIONES JUSTAS

Evaluacin del Aprendizaje

TOMA DE DECISIN MOMENTO DE LA

Evaluacin del Aprendizaje

PASO 2.3. UTILIZAR LA EVALUACIN CRITERIAL

CRITERIOS QUE RIGEN LA EVALUACIN

Evaluacin del Aprendizaje

Evaluacin del Aprendizaje

TEMA 3 UTILIZAR DIVERSOS TIPOS DE EVALUACIN

PASO 3.1 DISTINGUIR ENTRE EVALUACIONES FORMATIVAS Y SUMATIVAS

Evaluacin del Aprendizaje

Evaluacin del Aprendizaje

PASO 3.2. USAR EVALUACIONES CONTINUAS Y FINALES

Evaluacin del Aprendizaje

Evaluacin del Aprendizaje

Evaluacin del Aprendizaje

ACLARACIONES SOBRE LA EVALUACIN

Evaluacin del Aprendizaje

RASGOS GENERALES DE LA EVALUACIN DEL APRENDIZAJE

Evaluacin del Aprendizaje

UNIDAD DIDCTICA 7.2 PRUEBAS DE EVALUACIN

Evaluacin del Aprendizaje

Evaluacin del Aprendizaje

TEMA 1. CLASIFICAR LOS OBJETIVOS

PASO 1.1. UTILIZAR LA TAXONOMA DE BLOOM

TAXONOMA DE LOS OBJETIVOS

Evaluacin del Aprendizaje

Evaluacin del Aprendizaje

TEMA 2. DISEAR PRUEBAS DE EVALUACIN DE CONOCIMIENTOS

Evaluacin del Aprendizaje

PASO 2.1. PLANTEAR PRUEBAS DE EVALUACIN

Evaluacin del Aprendizaje

Evaluacin del Aprendizaje

PLANTEAR UMA PRUEBA DE EVALUACIN

LA EVALUACIN DEL APRENDIZAJE Y EL CONTROL DE CALIDAD

Evaluacin del Aprendizaje

CONSTRUIR UMA TABLA DE ESPECIFICACIONES

Jerarquizacin de objetivos de conducta para la planificacin de la evaluacin

1. Simplificar la totalidad de objetivos

2. Dar importancia relativa a cada una de las partes