EvaluacindelAprendizaje:Unagua prcticaparaprofesores

Dra.YolandaEdithLeyvaBarajas Marzo,2010

Uno de loseducativas para realizar un trabajo sistemtico las obstculos que con mayor frecuencia tienen instituciones de
evaluacin del aprendizaje, consiste en la falta de una cultura de la evaluacin entre los actores del proceso educativo -alumnos, profesores y directivos-, lo que conduce a prcticas evaluativas que nos son congruentes con los contenidos, enfoques y propsitos del modelo educativo, o bien son insuficientes o superficiales. Tales prcticas suceden en gran medida por la carencia de bases tericas y tcnicas en algunas de las fases del proceso evaluativo: la planeacin, el diseo y desarrollo de instrumentos de evaluacin; el anlisis de la informacin, o la interpretacin y uso de los resultados. Estas carencias se reflejan en la emisin de juicios de valor subjetivos, superficiales o sesgados que impactan de manera negativa en los estudiantes. Generalmente estas prcticas no resultan tiles para la toma de decisiones que tienen que llevar a cabo los diferentes actores en los distintos momentos del proceso educativo. En este documento se presenta informacin pertinente para que los grupos acadmicos de las instituciones educativas encuentren una gua prctica que coadyuve al desarrollo de las competencias necesarias para llevar a cabo una evaluacin del aprendizaje congruente con los enfoques actuales de la educacin basada en competencias, y til para reorientar su intervencin. Inicia con un breve marco terico acerca del concepto de evaluacin, as como las dimensiones con base en las cuales se ha desarrollado una clasificacin o tipologa de la evaluacin, aspectos que sern de utilidad como sustento a una prctica educativa ms congruente y eficaz. Tambin se abordan aspectos metodolgicos necesarios para la planeacin colegiada de la evaluacin del aprendizaje, el diseo y elaboracin de los instrumentos y tcnicas para la recogida de informacin y algunas reflexiones acerca del anlisis e interpretacin de la informacin para garantizar que la emisin de juicios de valor sea vlida y por lo tanto til para la mejora del proceso educativo. Esta informacin constituye tambin un apoyo para orientar la prctica educativa del personal docente y a nivel institucional contribuye en la mejora de los sistemas de planeacin y actualizacin de los planes de estudio, ya que la evaluacin objetiva del aprendizaje es una fuente de informacin importante para evaluar la eficacia e impacto no solo de la intervencin didctica del docente, sino de la eficacia y funcionalidad del plan y programas de estudio.

Yolanda E. Leyva Barajas

1.IntroduccinalaEvaluacindelAprendizaje
Para iniciar haremos una breve reflexin acerca del concepto de evaluacin educativa. Muchos son los autores que han ido definiendo el concepto a lo largo de la historia, la evolucin del concepto ha permitido su construccin, integrando los nuevos enfoquesodefinicionesqueasuvezsehanidoconstruyendoapartirdelasdiferencias, carencias y perspectivas paradigmticas en ocasiones contrapuestas, conduciendo a la elaboracin de concepciones evaluativas diferentes a lo largo de la historia. No es el objetivo del presente hacer una revisin exhaustiva de este proceso, para ello sugiero revisarlaresearealizadaporRamos,PeralesyPrez(2009). En este trabajo nos limitaremos a sealar que la concepcin ha sufrido una evolucin hasta llegar a la que actualmente es reconocida por la comunidad de investigadores yacadmicosdedicadosalaevaluacineducativaanivelinternacional,y que tal evolucin lgicamente a enriquecido de manera progresiva la teora, la metodologaydesdeluegolosprincipiosticosnecesariosparagarantizareldesarrollode procesos evaluativos tiles y crebles. Tambin revisaremos algunas propuestas para la clasificacin o tipologa que nos permitan ubicar a la evaluacin del aprendizaje como procesosistemticoligadoalaintervencineducativa. Una sntesis actualizada acerca de las diferentes tendencias y definiciones de lo que actualmente representa la evaluacin educativa es la referida por el grupo de evaluacin y medicin (GEM) de la Universidad de Valencia: Se entiende por Evaluacinunprocesosistemticodeindagacinycomprensindelarealidadeducativa que pretende la emisin de un juicio de valor sobre la misma, orientado a la toma de decisionesylamejora(Jornet,2009). Ofreceademsunanlisisdeestadefinicin,destacandolossiguientesaspectos: Se trata de un proceso sistemtico; es decir, la evaluacin debe ser un proceso racionalmenteplanificadocomopartedeldesarrollodelaenseanza,deformaque nodebeentendersecomoalgoaislado,niimprovisado,nidesconectadodeldiseoy desarrollodeladocencia. de indagacin y comprensin de la realidad educativa; en este sentido, el elemento fundamental radica en el acercamiento a la realidad para conocerla adecuadamente y comprenderla, de formaquenopuededarseunaevaluacinde calidadsinosesustentasobreungradodecomprensinsuficientedelasituacin educativadeloevaluado. que pretende la emisin de un juicio de valor sobre la misma; finalmente se requiere emitir un juicio de valor, basado en criterios objetivos u objetivables, se entiende que un elemento de objetivacin imprescindible en el contexto de la 2

evaluacineducativaeselconsensointersubjetivoquepuedenmanifestarexpertos eneducacinacercadelacalidaddelosfenmenoseducativosevaluados. orientado a la toma de decisiones; es la base necesaria para poder tomar decisionesdecualquiertipo,seandemejora(evaluacinformativa)oderendicin decuentas(evaluacinsumativa). ylamejora;slopuedeentendersequeunaevaluacinesdecalidad,sipermite identificar no slo los elementos que requieren mejora, sino el cmo dinamizar el procesodemejoraoinnovacin,esdecir,elcarcterformativoseidentificacomo uncomponentefundamentalparacualquierevaluacin. En cuanto a las dimensiones con base en las cuales se clasifica a la evaluacin educativa,retomamoslareferidaporJornet,SnchezyLeyva(2009)lacualsesitaenel anlisis de las cuestiones clave que guan cualquier plan de evaluacin, y que por ello, orientan los procesos de la planificacin y diseo. Esta clasificacin, aunque originalmente fue realizada con objeto de identificar una tipologa de planes de evaluacin de docencia de educacin superior, ha sido aplicada y adaptada a diferentes situaciones,esgeneralizableyseadaptaalesquemaconceptualanteriormenteexpuesto. Lapropuestaincluyeotrasdimensionesquehemosdenominadotransversaleslas cualesseconsiderancomplementariasporquerefierenalasposiblesespecificacionesde losescenariosysituacioneseducativasenlosquesedesarrollalaintervencineducativa. Deestaclasificacinretomaremosporahora,ladimensinquehacereferenciaalaunidad deanlisisalacualsedirigeelprocesoevaluativo.Quseevalaopretendeevaluar?Las unidadesidentificablescomoreferenciadelosdiversosprocesosson: Laspersonas.Enesteepgrafesepuedendiferenciarevaluacionesreferidasaalumnos o estudiantes de cualquier nivel educativo, profesorado y figuras o agentes de la educacin(directoresescolares,coordinadoresacadmicos,orientadoreseducativos, supervisores). Las organizaciones educativas. Las cuales se pueden clasificar como formales (sistemaseducativos,nivelesy/omodalidadeseducativas,institucionesescolaresde educacin bsica, media superior o superior); no formales (programas sociopolticos de actuacin formativa laboral, social, econmica, empresarial), instituciones de formacinparalaempresa,entreotras. Los elementos materiales de la intervencin educativa. Se incluyen aqu todos los elementos en que se materializalaorganizacineducativa,talescomolosproyectos educativos, los curriculaoplanesdeestudio,programasdeintervencineducativaa cualquier nivel tanto del mbito educativo como empresarial o social; y materiales educativos(librosdetexto,fichasdidcticas,materialmultimedia).

 Paraelpropsitodeestetrabajo,nosubicamosenlaevaluacindepersonas,de manera especfica en la evaluacin del aprendizaje de alumnos o estudiantes, esta primera definicin nos brinda un primer paso para establecer la planeacin del proceso evaluativo ya que orienta en gran medida la metodologa de trabajo. Ahora bien se requiere contestar otras preguntas tales como qu evaluar?, es decir qu aspectos o rasgosdelaprendizajevamosevaluar;elparaqu?,esdecir,lafinalidadyconelloeluso quesehardelosresultadosdelaevaluacin.Ladefinicindelobjetivodelaevaluacin guiar otras fases de la planeacin y desarrollo del proceso, tales como el diseo y desarrollodetcnicaseinstrumentosdeobtencinyanlisisdelainformacin,ascomo el establecimiento de un marco que permita interpretar esta informacin, para dar sustentoalaemisindejuiciosyporlotantoalatomadedecisionesmsadecuadas. Laeleccindeuntipodeterminadodeevaluacindependedelosobjetivosdela misma,loscualesasuvezsonsubsidiariosdeunaperspectivapsicoeducativa,envirtudde la cual la evaluacin adquiere un sentido especfico (Miras y Sol, 1991). El marco psicoeducativo que se toma como referencia para interpretar la enseanza y el aprendizaje, determina en gran medida tanto la informacin que es necesario obtener, comoeltipodejuiciosqueseemitanylanaturalezadelasdecisionesqueseadopten. El enfoque actual que hemos revisado del concepto de evaluacin, en el caso especficodelaevaluacindelaprendizaje,implicaquenodebemoslimitarnosalmbito delosobjetivosmsfcilmentecontrastables,porqueseperderadevistalaimportante influencia de estrategias intelectuales y de procesos de pensamiento subyacentes a las tareas especficas, factores que nos permiten explicar causalmente el origen del xito o fracasodelalumnoorientandolaintervencinapropiadaacadacausadetectada;sloas laevaluacincumplesufuncindeperfeccionamientoymejoradelprocesoeducativo. Para determinar la finalidad de un proceso de evaluacin de aprendizaje, revisaremos ahora algunos conceptos que han dado origen a una tipologa de la evaluacindelaprendizaje,loscualesnosservirnparaorientarlaseleccindetcnicasy laconstruccindeinstrumentosquerecuperenlainformacinnecesariaysuficientepara sustentarelprocesoevaluativo. En el esquema presentado en la figura 1, Casanova (1998, 2007) representa la clasificacin de la evaluacin del aprendizaje en funcin de dimensiones tales como la funcionalidad u objetivo de la misma, la temporalidad en la cual se sita el proceso, el normotipootiposdereferenciasparalainterpretacindelosresultadosdelaevaluacin; yfinalmenteladimensindelosagentes,esdecirquinesvanaemitirlosjuiciosdevalor. Elnormotiposerefierealaclasificacindelostiposdereferenciasocriteriosque subyacen a las interpretaciones, en trminos de si tales referencias o criterios son externos o internos al propio estudiante o persona sujeta a evaluacin. La evaluacin 4

nomottica,cuyoreferenteesexterno,puedeserreferidaaunanormalacualdepende de la poblacin o grupo del cual forma parte el sujeto evaluado, o bien a un criterio establecidoenalgnprogramaeducativoformal.Cuandolareferenciaesnormativa,nos permite la comparacin del rendimiento de cada alumno con respecto al logrado por el grupo, entonces es comn escuchar que tal alumno tiene un rendimiento superior al rendimiento promedio de su grupo; o bien que un grupo especfico est una desviacin estndar por debajo del promedio nacional o estatal, ya que generalmente la norma representa la media de la poblacin evaluada y los puntajes de cada persona o grupo evaluado pueden distribuirse en torno a esta media en una distribucin normal. Si la referenciaempleadaescriterial,lainterpretacinesindependientedelnivellogradopor el grupo o poblacin a la cual pertenece el alumno o persona evaluada, en este caso el interssecentraendeterminarelniveldecompetenciadelalumnoconrespectoaunoo msestndarespreviamentefijados.
Porsunormotipo Porsufuncionalidad Porsutemporalidad Porsusagentes Figura1.Tipologadelaevaluacindelaprendizaje Nomottica Normativa Criterial Ideogrfica Diagnstica Formativa Sumativa Inicial Procesual Final Autoevaluacin Coevaluacin Heteroevaluacin

Por otra parte si lo que se requiere es conocerlaevolucindecadaalumnoalo largodesuprocesoeducativo,elcriteriocontraelcualcompararsuejecucinesinternoy es lo que se denomina evaluacin ideogrfica; la cual nos permite determinar los progresos que ha realizado cada alumno con respecto a su propia ejecucin, en otros cursos o momentos de un curso y comparar con ellos las nuevas adquisiciones. Esta historia personal o individualizada resulta esclarecedora respecto a las causas de cada situacin,enunmomentodadoypermiteproyectarsuposibleevolucinenelfuturo,as comodisearunprocesodeintervencinadaptadoycongarantasdeefectividad. Los ejemplos de su utilidad son especialmente evidentes en programas de educacin especial, o de preescolar; tambin en programas de educacin fsica en escuelas en donde cada alumno presenta diferencias muy significativas en cuanto a 5

nivelesmnimosdecondicinfsicapresentadosparapoderiniciarelprograma.Encada casosernecesarioestablecerunprocesofinodeevaluacindiagnsticaparadeterminar losnivelesactualesderendimientoyconbaseenellosestablecerunplandeintervencin acorde a las capacidades de cada alumno para despus en un proceso de evaluacin continuacompararelrendimientodelalumnolongitudinalmenteverificandosusavances sincompararsudesempeocontracriteriosexternosalmismo. La dimensin de funcionalidad se refiere a la funcin que cumplir el procesoevaluativorespectoalalumno,determinaelusoquesehardelosresultadosdel mismo, generalmente en la bibliografa se encuentra ligada a la dimensin de temporalidad.Deacuerdoconlanaturalezadelaevaluacincomoactividadproyectada sobre todos los componentes del proceso didctico, las decisiones tanto iniciales o diagnsticas,comocontinuoformativasyfinales,seproyectarnsobrelamismafuncin docente,lametodologa,losrecursosylascircunstanciascontextuales.Sloatravsdela evaluacin sistemticamente utilizada y aprovechada es factible transitar con cierta seguridadtantoenlosprocesosdeplaneacincomodedesarrollodelprocesoeducativo. La evaluacin se relaciona con la planeacin y la ejecucin como parte de un todo absolutamenteintegrado.

La evaluacin inicial o diagnstica proporciona informacin acerca de los conocimientos y las habilidades previas del sujeto. Debe considerarse siempre en trminos de su utilidad para facilitar adaptaciones constructivas de los programas educativosalosindividuos.Enestesentidocumpleconlafuncinreguladoraqueasegure quelascaractersticasdelsistemaseajustenalasdelaspersonasaquienessedirige;es decir que va a servir de base para adoptar decisiones relativas a la realizacin de actividades de apoyo, especficamente orientadas a la superacin de problemas que presenteelalumno,obiendarlugaramodificacionesespecficasenotroscomponentes delaenseanzaenfuncindelosproblemasdetectados.

La evaluacin formativa o procesual cumple una funcin reguladora de los procesos de enseanza y de aprendizaje lo cual nos permite llevar a cabo ajustes y adaptaciones de manera progresiva durante el curso porque se centra ms que en los resultadosdelaprendizajeenlosprocesosqueseponenenjuegoparaellogrodetales resultados. Slo centrados en los procesos podremos identificar reas de oportunidad para poder ofrecer una retroalimentacin apropiada a los estudiantes, de manera que ellos sepan qu es aquello que deben hacer o ajustar de su proceso para alcanzar los resultados esperados. Una estrategia de evaluacin formativa requiere un marco conceptualquepreciseyjustifiquelos: Losprocesosimplicadosenlasolucindediversastareas(anlisisdetareas) Lasdificultadespresentadasporlamayoradelosalumnosenelaprendizaje Mtodosytcnicasparaobtenerinformacindelosprocesosimplicados(mtodos cualitativosderecogidadeinformacin)

Principios de interpretacin de esta informacin mediante marcos tericos apropiados Estrategiasderetroalimentacinoportunaalosalumnos Pasosaseguirenlaadaptacindeestosprocesosdeaprendizaje Laevaluacinfinalosumativaconstituyeunbalancegeneraldelosconocimientos adquiridos o de las competencias desarrolladas despus de que se ha operado un programadeintervencineducativa,secentraenlosresultadosdelaprendizaje;esdecir que se orienta a verificar el cumplimiento de los objetivos y estndares previamente determinadosenelprograma,yporlotantonospermiteemitirunjuiciodeacreditacin acadmica. Tal funcin de control, obliga a que el tipo de evaluacin sea criterial en cuantoasunormotipo.Adicionalmenteposibilitalacomparacindegruposylaconexin entre niveles secuenciados, por lo que exige un espectro amplio de conductas representativas y significativas del aprendizaje alcanzado. La informacin cuantitativa proporcionada por la evaluacin sumativa, permite adems cumplir con la funcin de controlyacreditacindelaprendizaje,imprescindibleparalaplaneacinysistematizacin delaprcticaeducativa. Unareflexinrelativaaladimensindefuncionalidadeslarelativaalosprocesos mixtos;esdecir,enlosquesecombinanconsecuenciasdeambostiposenlaevaluacin se identifican recomendaciones de mejora, al tiempo que se utiliza la informacin para apoyarunadecisindecarctersumativa.Cualquieradelasfinalidadesimplicatomade decisiones en cuanto a la intervencin educativa. Desde la diferenciacin realizada por Scriven (1967), los extremos de esta dimensin sumativo vs. formativo, se han tomado comoelementosexcluyentes.DesdelaposicindeJornet,SnchezyLeyva(2008),nose puedenentendertotalmenteas.Siasumimosalaeducacincomounprocesoquesedaa lolargodetodalavidadelapersonayendiferentesescenariosysituacioneseducativas, es cierto que la intervencin educativa estar acompaada por procesos evaluativos en losqueseproducentantoactosorientadosalarendicindecuentascomootrosdirigidos alamejora. Enrelacinconlatipologaenfuncindelosagentes,Casanova(2007)refiereque laautoevaluacinseproducecuandoelsujetoevalasuspropiasactuaciones,esuntipo deevaluacinquetodapersonarealizaalolargodesuvida;enelcasoquenosocupa,es desumaimportanciaqueelalumnorealicedemaneracontinuaejerciciosdevaloracin desuaprendizaje,demaneraqueleseaposibleidentificaraspectosquedebemejorar.En lamedidaenqueunalumnologrecontrastarsusavancescontraestndaresdeactuacin establecidos, podr identificar reas de mejora, con lo cual estar en condiciones de regular su aprendizaje hacia el logro de competencias tiles para su desarrollo social y profesional. Lacoevaluacin,ladescribecomolaevaluacinmutua,conjuntadeunaactividad o trabajo determinado realizado entre varios. En este caso, lo recomendable es que

despus deunaseriedeactividadesdidcticas,losparticipantestantoalumnoscomoel profesorevalenciertosaspectosqueconsiderenimportantesdetalactuacinconjunta. Generalmentetrasuntrabajoenequipos,demaneranatural,cadaunovaloraloqueleha parecido ms interesante de los otros, por ejemplo se puede valorar si las actividades resultaron atractivas, si el contenido del trabajo realizado es pertinente, si el nivel de colaboracinfacilitellogrodelosobjetivos,etc.;esmuyimportanteenlaconduccinde estosprocesosdecoevaluacinpediralosalumnosquesecentrenenlavaloracintanto de los aspectos positivos o que ellos consideren como los ms destacados, como en aquellosqueesnecesariotrabajarmsparamejorarlacalidaddeltrabajodesarrolladoen conjunto. La heteroevaluacin consiste en la evaluacin que realiza una persona sobreeltrabajo,actuacinorendimientodeotrapersona.Esaquellaquehabitualmente haceelprofesordesusalumnos.Dadoqueesunprocesoimportanteeimprescindiblede controlenlosesquemasymodeloseducativosvigentes,ricoporlosdatosyposibilidades queofrece,delicadoporelimpactoquetieneenlaspersonasevaluadas,ycomplejopor lasdificultadestcnicasquesuponelaemisindejuiciosdevalorvlidosyobjetivos;es queestamosproponiendoestaguaprcticaparaprofesores. Como nota complementaria a estapropuestadetipologadeCasanova(2007)es importante sealar que los elementos sistmicos y holistas que se integran en la concepcin de la educacin, apuntan a que la finalidad de los procesos puede ser diferentesegnseanalicedesdeunauotraunidaddeanlisis.Porponerunejemplo;una pruebadeseleccinoadmisinconstituyesindudaalgunaunaevaluacinsumativapara lapersonaquedebesuperarla,perodesdedeterminadosmodelosdegestineducativa puede entenderse como un acto orientado a la seleccin de estudiantes con el fin de asegurarunosnivelesmnimosdecompetenciaenaquellosquesonadmitidos,demanera que puede formar parte de una orientacin dirigida a la mejora de la gestin de la institucin. Este ejemplo ilustra que la finalidad depende del plano de la intervencin desdeelqueseanalice,enrelacinalaunidadaqueseimpute(estudianteoinstitucin), y del modelo de gestin que la utilice. Por ello, la catalogacin en los extremos de este continuo siempre se debe entender referida a la unidad objeto de anlisis y como un indicadordelatendenciadominanteenlafinalidaddelprocesoevaluativo. Unarecomendacinespecialmentetilparalaplaneacindelprocesoevaluativo, es el reconocimiento de lo que Jornet y Leyva (2008) definen como las dimensiones transversales, ya que son las que identifican caractersticas del escenario y situacin educativa en que se desarrolla la intervencin, tales dimensiones se refieren al grado o niveleducativo,laedaddelosestudiantes(adultos,adolescentesonios);lamodalidad de entrega presencial o en lnea; entre otros. La multidisciplinariedad, junto a la variabilidadydiversidaddelobjetodeestudioencienciasdelaeducacin,ylaevidencia puestademanifiestoporlasnecesidadessocialesacercadelautilidaddelaintervencin, 8

han ido abriendo los marcos de referencia en que sustentar el anlisis de las diversas unidadesobjetodeevaluacin. La comprensin de la realidad con el fin de intervenir sobre ella, requiere de aproximacionesmuydiferenciadasencuantoalgradodeformalizacindelconocimiento. En el caso de la evaluacin del aprendizaje, a un nivel macroanaltico, existe un mayor desarrollo terico que en el de las organizaciones educativas. Asimismo, hay zonas disciplinares de la evaluacin de la educacin, en cada una de las unidades objeto, que tienen mayor tradicin y desarrollo que otras. Por ejemplo, el desarrollo terico en el mbito de las aptitudes es mayor que en el de las habilidades sociales o que en el rendimiento.Estedesarrollotericometodolgicodesigualenunmomentoenelqueha sidomuyimportantelapenetracindelosmovimientosdecalidadendiversasreasde lasCienciasSociales,ascomounplanteamientoepistemolgicomsflexible,hatenido como consecuencia que los referentes acerca de la calidad de los procesos de intervencinseincluyancomoelementosqueorientanlaidentificacindeloscriteriosde interpretacindelosprocesosevaluativos(Jornet,SnchezyLeyva,2008). A manera de resumen de este muy breve marco terico, evaluar el proceso educativoqueimplicaalaenseanzayalaprendizaje,significainterpretarlosresultados obtenidosdelaactividadqueconjuntaaprofesoresyalumnosencuantoallogrodelos objetivos de la educacin, sean stos referidos a conocimientos o al desarrollo de competencias, adems de que la evaluacin del aprendizaje como proceso sistemtico mediante el cual se recoge informacin acerca del aprendizaje del alumno, permite no slomejorareseaprendizajeydetectarelementosparaformularunjuicioacercadelnivel alcanzado,sinoquetambininformaacercadelacalidaddelaprendizajelogradoydelo queelalumnoescapazdehacerconeseaprendizaje,aspectoespecialmentetilparael enfoqueorientadoaldesarrollodecompetencias. Comoprocesosistemticopodemosconsideraralaevaluacincomounaseriede actividades planeadas con suficiente anticipacin que responden a intenciones claras y explcitasyqueguardanunarelacinestrechayespecficaconelprogramaescolar,con lasactividadesdeenseanzaydeaprendizajeyconlascircunstanciasenquesedanesas actividades. Las caractersticas del aprendizaje, las posibilidades del profesor y las circunstanciasenquehadedesarrollarselaevaluacin,determinancualeslaestrategia ms adecuada, o simplemente posible, y a que nivel de rigor o complejidad puede llegarse.Loqueesrealmenteindispensable,esqueeljuiciodeevaluacinnosebaseen impresiones subjetivas, situaciones excepcionales o aisladas, ni en informacin insuficiente,irrelevanteoaccesoria. Adems de la estrategia de recogida y anlisis de la informacin, los cuerpos colegiados o academias deben establecer los estndares de ejecucin esperados como resultado del anlisis y discusin de lo que persiguen los programas de intervencin, facilitandoconellounainterpretacinadecuadadelnivellogradoporlosestudiantes.Los 9

estndares deben ser difundidos entre los estudiantes, de manera que el proceso de evaluacinseatransparente,justoyequitativo,sloaspodrsertilparaapoyarlatoma dedecisionesdetodoslosusuarios:lospropiosestudiantes,losprofesoresyacadmicos tanto a nivel individual como colegiado, y para aquellos que asumen actividades de direccinenloscentrosescolares,locualensumarepresentalacreacindeunacultura delaevaluacin.

10

2.PlaneacindelaEvaluacindelAprendizaje
Resulta evidente bajo la perspectiva anteriormente sealada, que un proceso evaluativo requiere de una fase de planeacin la cual de acuerdo con estndares de calidad en la elaboracin de pruebas educativas y psicolgicas (APA, 1999) debe ser realizadaporacademiasogruposcolegiadosdeprofesoresdeunainstitucineducativaya seaqueestosgruposseorganicenpormateria,semestreoporreacurricularespecfica del plan de estudios. Un proceso de planeacin de la evaluacin requiere que tales academias o grupos colegiados conozcan el perfil de egreso y el plan de estudios o estructura curricular que gua y organiza las diversas materias o asignaturas, ya que debern realizar un anlisis de cmo contribuyen los programas de tales materias o asignaturasallogrodelascompetenciasexpresadasenelperfildeegreso. Este ejercicio de discusin y anlisis colegiado servir para llegar a acuerdos respectoaquevaluar,esdecirquedeberndecidircualeslainformacindedesempeo delosestudiantesquesirvadesustentoparahacerinferenciasacercadelosprocesosy resultados de aprendizaje esperados, as como los niveles mnimos de desempeo o competencia que se exigirn de los alumnos. Para una revisin de lo que implica la evaluacin de competencias revisar el apunte de Evaluacin de Competencias de Leyva (2009).Unavezdefinidoelquevaluar,deberndecidirelparaquevaluar,esdecirla finalidad de la evaluacin y el uso que se har de los resultados del proceso, tambin debern llegar a acuerdos acerca de cules son las tcnicas e instrumentos ms apropiados de recogida y anlisis de la informacin y de cmo conviene interpretar los resultados. Antes de iniciar cualquier accin, es indispensable hacer las especificaciones pertinentes,paradespusseleccionarlosmaterialesquetengancongruenciaconelplan preconcebido. El desarrollo del esquema requiere una detallada consideracin de los objetivos, enfoques y contenidos de las unidades de instruccin que contienen los programas de estudio. Un procedimiento recomendado por Gronlund (1982) es el de desarrollar una tabla de especificaciones, seguida deampliascategorasquepuedenser subdivididas de acuerdo con la naturaleza de la instruccin y la complejidad de sus finalidades,paraasegurarnosqueelcampohasidoadecuadamenteconsideradotantoen loscontenidoscomoeneltipodeconductaquesedebermanifestaroutilizar,dadoque de esta fase del proceso depende la validez de constructo y contenido del proceso evaluativo. La tabla de especificaciones rene informacin que nos permite verificar la congruenciainternadelprocesoevaluativo;yaquecomoresultadodelanlisisydiscusin colegiadadelosprofesores,seredactarnindicadoresdeaprendizajequeensuconjunto renan la evidencia suficiente del desarrollo de competencias y del grado de cumplimientodelosobjetivosopropsitosexpresadosenlosprogramasdeestudiodelas 11

asignaturas. Una expresin adecuada del enunciado de cada indicador de aprendizaje, debecomprendertreselementos:a)laconductaoejecucinespecficaquedebeexhibir elestudiante,lacualserelacionadirectamenteconelprocesooresultadodeaprendizaje ainferir;b)lascondicionesenquedebermanifestarsetalconductaoejecucin,yc)el estndaronormadeejecucinaceptable. Laeducacinformal,seguaporprocesosclaramenteorganizadosporuncurrculo oplandeestudiosyprogramasdeestudiodelasasignaturasomateriasqueintegranlas diferenteslneascurricularesdelplan;porloquepodemospartirdelosobjetivosydelos contenidosdecadaunadelasunidadesdeinstruccindesglosadasportemasysubtemas enelcasodeplanesdiseadosporobjetivos;obienlascompetenciasalograrjuntocon suscomponentesdeclarativos,procedimentalesyactitudinales.Cuandoestosnoexisteno no estn actualizados, se debe iniciar desde un perfil referencial de validez, con el subsecuente desglose de objetivos y contenidos necesarios para especificar lo que se deseaevaluar. Una forma apropiada de hacer un plan detallado de evaluacin o tabla de especificaciones consiste en redactar, por cada unidad temtica del programa, o competencia, una serie de indicadores especficos que se aceptarn como evidencia de quesehanlogradolosresultadosdeaprendizajepropuestos,enelniveldeprofundidad deseado. Para elaborar esta tabla de especificaciones es conveniente el uso de algn sistema de clasificacin de tales indicadores de aprendizaje de acuerdo con el grado de profundidadyalcancequeseesperalograrencadaprograma,cuidandoqueelenfoquey propsito general de la materia o asignatura en cuestin, quede adecuadamente representado,paralocualserecomiendaelusodeunataxonoma. Paraestapartedeldiseoserecomiendaunataxonomadeobjetivoseducativos acorde con los descubrimientos ms recientes en materia de procesos implicados en el aprendizaje.Paratalpropsitoserealizunarevisinyanlisisdediversastaxonomasen la literatura especializada. Entre las ms conocidas se encuentran las publicadas por Bloom (1956), Gagn (1972), Tuckman (1979), Merril (1994), Haladyna (1997), Marzano (2000, 2006); aunque existen otros enfoques diferentes o complementarios. Como resultado de tal revisin, para esta gua prctica propongo utilizar la taxonoma de Marzano (2000, 2006) la cual ha resultado ser til y congruente con los modelos educativos actuales basados en competencias tanto de nivel medio superior como en diversascarrerasdeeducacinsuperior. Marzanodesarrollasupropuesta,apartirdeunanlisisdelataxonomadeBloom, principalmente de sus debilidades. Para su integracin, rescata aquellos aspectos an vigentesdelataxonomapublicadaporBloomen1956,incorporandolosavancesdelos ms de 40 aos posteriores a su publicacin. Cabe hacer un parntesis y sealar cules sonlascrticasmscomunesalataxonomadeBloom,yenqueconsisten;unadeellases quesesustentaenunaconcepcindelaprendizajeaunnivelunidimensional,asumiendo elconstructodecomplejidadcomonicoelementoparasepararlosnivelesdeldominio 12

cognoscitivo, otra crtica relacionada con este constructo, es acerca de la estructura jerrquica que presupone que aquellos niveles subordinados involucran menor nivel de complejidad de los procesos cognoscitivos inherentes. Ambas caractersticas de la taxonoma no se pueden sostener desde los descubrimientos actuales de investigacin bsicadelosprocesoscognoscitivosenelhombre(Furst,1994). Estascrticassesustentanenelprincipiobsicodequeladificultaddeunproceso mentalesunafuncindealmenosdosfactores:lacomplejidadinherentealprocesoen trminosdelospasosinvolucradosenelprocesamientodelainformacinyenelgrado de familiaridad con el proceso. La complejidad de un proceso mental es invariante, es decirqueelnmerodepasosysusrelacionesnocambian,noobstantelafamiliaridadcon elprocesopuedecambiaralolargodeltiempo.Amayorfamiliaridadconunprocesose asociaunmenortiempodeejecucinyunamayorfacilidadenlamisma.Enconsecuencia no es conveniente ordenar jerrquicamente los procesos mentales en funcin de su complejidad,resultamsefectivoordenarlosentrminosdecontrol,yaqueactualmente sabemosquealgunosprocesosejercenuncontrolsobrelaoperacindeotrosprocesos. Elmodelotericoenquesesustentalataxonoma,espropiamenteunateoradel pensamientohumano,ynounaestructuracomoenelcasodelsustentodelataxonoma de Bloom. Tcnicamente los modelos y las teoras son sistemas que permiten predecir fenmenos,mientrasqueunaestructurarepresentaconjuntosorganizadosdeprincipios quedescribencaractersticasdeunfenmenodadoperononecesariamentepermitenla prediccindelfenmeno.LapropuestadeMarzano(2000,2006)constadetressistemas deconocimientointerrelacionados:selfsystemosistemadeautoconciencia,queintegra autoeficaciaymotivacin;elsistemametacognitivoyelsistemacognoscitivo. a) El sistema denominado selfsystem consiste en una red de creencias y metas interconectadas que permiten emitir juicios acerca de la conveniencia de involucrarseenunanuevatarea.Estesistemaestambinunprimerdeterminante de la motivacin que uno desarrolla frente a la tarea. Si una tarea se considera comorelevanteoimportante,silaprobabilidaddexitopararesolverlaesaltaysi existe algn efecto positivo asociado a ella, el individuo estar motivado a comprometerseconlatarea. b) El sistema metacognitivo acta una vez que la tarea se ha seleccionado, es responsable de establecer metas relacionadas con la nueva informacin y de disear estrategias para alcanzar las metas. Una vez activado el sistema metacognitivointeractademaneracontinuaconelsistemacognoscitivo. c) El sistema cognoscitivo cuya funcin es propiamente el procesamiento de informacin fundamental para el logro de la tarea, es el responsable de las operaciones analticas tales como hacer inferencias, comparar y clasificar informacinentreotras.

Esta teora de aprendizaje, permite el diseo de un sistema jerrquico del pensamiento humano desde la perspectiva de dos criterios: el flujo de informacin y el 13

nivel de control de los procesos involucrados. En trminos del flujo de informacin, el procesamiento de la informacinsiempreiniciaconelsistemadeautoeficacia,prosigue conelsistemametacognitivoyfinalizaconelsistemacognoscitivo,esdecirquelostres sistemasrepresentanunaorganizacinjerrquicaentrminosdelflujodelainformacin. Ademsdequeelestatusdelosdiversosfactoresdentrodeunsistemacontrolaelestatus delosdiferentesfactoresdentrodelosdemssistemas. Por ejemplo si dentro del sistema de autoeficacia no existen creencias que concedanimportanciaalatarea,osepiensaquetienepocasprobabilidadesdelograruna ejecucinaceptable,elindividuonoseinvolucrarenlatareaosuniveldecompromiso sermnimoodebajamotivacin.Adems,ansilatareasepercibecomoimportantey elsujetopiensaquepuederealizarla,peroelsistemametacognitivonoestablecemetas clarasonoexisteunmonitoreoefectivo,laejecucindelatareapuedefallar.Finalmente an cuando funcionen bien todas las operaciones de los dos primeros sistemas, pero el procesamientodelainformacindentrodelsistemacognoscitivonooperaefectivamente, latareanosecompletar. Adicionalmente estos tres sistemas tambin tienen una jerarqua relativa al nivel de conciencia requerida o recursos de procesamiento conciente para controlar la ejecucin. Es decir que en el sistema de autoeficacia los procesos para establecer la relevancia,eficaciaymotivacinhacialaejecucindeunatarea,representanunnivelde introspeccin y pensamiento conciente mayor que aquel involucrado en los procesos metacognitivos de establecimiento de metas y monitoreo conciente. Finalmente en el sistemacognoscitivo,losprocesosdeutilizacindelainformacinsonlosquerequieren mayor grado de pensamiento conciente en su ejecucin, seguidos de los de anlisis, comprensinyporltimolosderecuperacinquepuedendarsedemaneraautomtica.

Enelcasodelaelaboracindepruebaseducativasrealizadasapartirdereactivos deopcinmltiple,paraevaluacinsumativa,unavezqueseredactenlosindicadoresde aprendizaje acordes a los objetivos o competencias que se desea evaluar, se deben realizar ponderaciones por rea, ya que la tabla de especificaciones cumple una doble funcin: a) sirve de gua a los redactores de reactivos acerca de la naturaleza de la evidencia que se desea recuperar para verificar si el sujeto evaluado tiene el nivel requeridodeconocimientosocompetenciasyb)permiteobtenervalidezdecontenidoy constructoalverificarlacongruenciaentrelosreactivoselaboradosylosindicadoresde aprendizaje planteados. Adicionalmente la ponderacin nos indica el esquema de muestreo ms apropiado para evaluar el universo de conocimientos y habilidades con baseenunanlisisderelevancia,garantizandoquetalmuestreosearepresentativopara poderemitirjuiciosvlidosapartirdelosresultadosdelaaplicacindelaspruebas. En la tabla 1, se presenta un resumen de la taxonoma que Marzano public en 2000lacualmantieneenlasegundaedicinpublicadaen2006,conunadescripcinde cadaunodelostressistemasyporcadaniveldeestossistemas. 14

Tabla1.TaxonomadeObjetivosEducativos Lostressistemasdepensamiento
Nivel6:SelfSystem Examinandorelevancia Examinandoeficacia Examinandorespuesta emocional Examinandomotivacin Descripcindelosobjetivos Identificalaimportanciadelconocimientoyelrazonamientoquesubyaceasu percepcin Identificalascreenciasacercadesuhabilidadparamejorarsucompetenciao comprensindelconocimientoyelrazonamientoquesubyaceaestapercepcin Identificarespuestasemocionalesalconocimientoylasrazonesdeestasrespuestas

Identificasuniveldemotivacinparamejorarsucompetenciaocomprensin relativaalconocimientoylasrazonesdeesteniveldemotivacin Nivel5:SistemadeMetacognicin Especificacindemetas Estableceunplandemetasrelativasalconocimiento Monitoreodeprocesos Monitorealaejecucindelconocimiento MonitoreodeClaridad Determinaelgradoenelcualtieneclaridadacercadelconocimiento Monitoreodeexactitud Determinaelgradodeexactituddelconocimiento SistemaCognoscitivo Nivel4:Utilizacindelconocimiento Tomadedecisiones Usasuconocimientoparatomardecisionesopuedetomardecisionesacercadeluso desuconocimiento Solucindeproblemas Usasuconocimientopararesolverproblemasopuederesolverproblemasacercade suconocimiento Cuestionamiento Usasuconocimientoparageneraryprobarhiptesisogeneraypruebahiptesis experimental acercadesuconocimiento Investigacin Usasuconocimientoparaconducirinvestigacionesopuedeconducirinvestigaciones acercadelconocimiento Nivel3:Anlisis Empate Identificaimportantessimilitudesydiferenciasentreelconocimiento Clasificacin Identificacategorassuperordinadasysubordinadasrelacionadasconel conocimiento Erroresdeanlisis Identificaerroresenlapresentacinousodelainformacin Generalizacin Construyenuevasgeneralizacionesoprincipiosbasadosenelconocimiento Especificacin Identificaaplicacionesespecficasoconsecuenciaslgicasdelconocimiento Nivel2:Comprensin Sntesis Identificalaestructurabasedelconocimientoylascaractersticasocomponentes crticosdelosquenoloson.Extraelaesenciadelainformacingenerandouna macroestructura. Representacin Reconocecaractersticasdeinformacinycreaunanlogosimblicodela informacincontenidaenunamacroestructura.Lainformacinpuedeserprocesada endosmodosprimarios:lingsticoodeimgenes. Nivel1:Recuperacin Recuerdo Reconocecaractersticasdeinformacin,aunquenonecesariamenteentiendela estructuradelconocimientoopuedediferenciarcomponentescrticos. Ejecucin Ejecutaunprocedimientosinerroressignificativosperononecesariamenteentiende cmoyporqufunciona.

15

Enestapropuestataxonmica,adiferenciadelapropuestapublicadaporBloom, Marzanodividedemaneraclaraeldominiodelconocimientoylasoperacionesmentales, alpostulartressistemasdepensamientoqueoperancontresdominiosdeconocimiento. En la tabla 2, se presenta una sntesis de tales dominios del conocimiento con sus componentes, una descripcin para cada componente y un ejemplo. Es importante destacarquedentrodecadadominio,existeunordenjerrquicoquetienequeverconla complejidaddecadacomponente. Tabla2.Componentesdelostresdominiosdeconocimiento
DominiodeInformacin Componentes Vocabulario Descripcin Ejemplos Significadodetrminosaunnivel Elsignificadodeltrmino generalymuchasvecessuperficial. democraciasinlosdetallesdesus implicacionesendiversoscontextos. Contieneninformacinespecfica Lascaractersticasdeunlugar: acercadepersonas,lugares,cosas ChetumaleslacapitaldeQuintana yeventos. Roo. Eventosimportantesqueocurren Loseventosqueocurrenentreel entredospuntoseneltiempo. iniciodeunacampaapolticaylas eleccionespresidencialesenun pas. Involucraneventosqueproducen Organizacindesecuenciascausales unproductoounefecto. dealgneventohistrico. Comnmentelosefectostienen Secuenciadelosprocesosde redescomplejasdecausas. divisincelular. Eventosespecficosqueocurrenen Undebatepolticoentrecandidatos undeterminadotiempoylugar, delospartidospolticos,previoalas entrepersonasespecficasycon eleccionespresidencialesdeun secuenciasdetiempoycausales pas. particulares. Sondeclaracionesdecarcter Elamoresunadelasemociones general,representanabstracciones humanasmspoderosas. queidentificanclasesocategoras depersonas,lugaresosituaciones. Tiposespecficosde generalizacionesqueserefierena relacionescausaleso correlacionales. Causal:Latuberculosisesproducida porunabacteriadenominada tuberclebacillus Correlacional:Lasciudadescon mayordensidaddepoblacin presentanndicesdecriminalidad elevados.

Detalles

Hechos

Secuenciasde tiempo

Secuenciascausa efecto

Episodios

Ideas organizadas

Generalizaciones

Principios

16

Dominiodeprocedimientosmentales Componentes Reglassimples Habilidades Descripcin Ejemplos Eseltipomssimple,consistede Elprocedimientopararealizaruna unaproduccinsi(unasituacinX) restaentredosnmeros entoncesejecutalaaccinY)yse naturales. empleanenlospasosdealgn procedimiento Procedimientosmentalesque Obtenerlamediaaritmticaola normalmentenopresentanvariantes varianzadeungrupodedatos. ensuaplicacin,tienenresultados especficosyunnmeroespecfico depasos. Consistenenlaproduccindeun Interpretacindeungrficoque patrngeneralenelcualse presentaunafuncinentre incorporanreglasgenerales,nohay variables. unordenonmerodepasosrgido. Tcnicamenteserefierena Elaborarunplande procedimientosmscomplejoscon mercadotecniadealgnproducto variossubcomponentesyque oservicio. requierenalgunaformade administracinycontrol. Dominiodeprocedimientospsicomotores Descripcin Estosprocedimientossedesarrollan generalmentesinunainstruccin formal,noobstantepueden mejorarse,porloquepueden clasificarsecomotiposde conocimientoenlamedidaenque sonhabilidadesaprendidas. Ejemplos Fuerzaesttica Equilibriocorporal Velocidaddemovimientos Velocidaddedigitacin Destrezadigital Destrezamanual Estabilidad,uniformidady consistenciabrazomano Control,precisin Involucrapasosdeunprocedimiento Lanzaruntirolibreenbasquetbol enelcualactanprocedimientos bsicosenparalelo. Conjuntoorganizadode Extraerunapiezadental. procedimientoscomplejosparael Conducirunaeroplanoendiversas logrodeunametaespecfica. condicionesclimticasyde visibilidad.

Algoritmos

Tcticas

Procesos

Procedimientos macro

Componentes Procedimientos bsicoso Habilidades fundamentales

Procesos

Combinaciones simplesde procedimientos Combinaciones complejasde procedimientos

Aslosprocesosmentalesquesubyacenalossistemasdepensamientointeractan de diversas maneras con los tres dominios de conocimientos, los cuales pueden clasificarseentrescategorasgenerales:a)eldominiodelainformacinqueserefiereal conocimientodeclarativo;yaquelqueseconocecomoconocimientoprocedimental:b) eldominiodeprocedimientosmentalesyc)eldelosprocedimientospsicomotores.Dado queestostrestiposdeconocimientosonmuydiferentes,resultaconvenientepensaren elloscomodominiossobrelosqueactanlostressistemasdelpensamiento. Ejemplos: 17

 Ejemplo1.Tabladeespecificacionesparaevaluarhabilidadeslectoras
Competenciapara lacomunicacin escrita. Bloquesorasgosde competencias Comprensin lectoradetextos informativos, cientficosy literariostanto continuoscomo discontinuos. Evidencia necesaria para verificar que se Nivelesde desarroll la competencia a evaluar. Se deben complejidad enunciar tantos indicadores como el grupo sugeridos colegiadodeterminequeessuficiente. 1.Recuperacin 2.Comprensin 3.Anlisis 4.Utilizacindel conocimiento 5.Metacognicin 6.Autoeficacia
Ponderacin

1 2 3 Identificalasideascentralesdediversostiposde X textos Identificaelpropsitodediversostiposde X textos Diferencialospropsitosdediversostiposde X texto. Relacionaciertasideascontenidaseneltexto paraobtenerinformacinquelepermite comprobarhiptesis. Elaborainferenciasapartirdelacomparacin dedistintasfuentes. Reconocesusaciertosysusfallasenla comprensindediversostiposdetexto. Reconocesusinteresesygustosentrelos diversostiposdetextos. Precisineneluso Seleccionalaspalabrasadecuadasdeacuerdoal X delvocabularioyen contexto elusodelas Identificaelsignificadodepalabrasy X estructuras expresionesapartirdelcontexto lingsticasenla Aplicalasmetforasdemaneraadecuaday X comunicacin acordealcontextoendiversassituaciones. escrita. Aplicaadecuadamentelasreglasde concordanciaentreadjetivoysustantivoyentre verboysustantivo Aplicalostiemposverbalescorrectamentede acuerdoconelmensajeacomunicar Detectasuserroresgramaticalesysemnticos ensusescritos. Redaccindetextos Completaoracionesqueemitenunmensaje X informativosy claroyespecfico. cientficos. Diferenciaoracionesprimariasysecundariasde X unprrafoapartirdelaintencincomunicativa. Establecenexosentrelosprrafosdeuntexto X conunaintencincomunicativaclarayexplcita. Jerarquizaenunordenlgicoloselementosa comunicar(planderedaccin) Reconoceycorrigefallasdetectadasensus escritos.

Indicadoresdeaprendizaje

4 5 6 Dominio X
S.Causa efecto Episodio Generaliz . Proced. macro Proced. macro Proced. macro macro

50%

30%

X X

X Proced.
Tcticas S.Causa efecto Proced. macro Algoritm.

Algoritm. Proced. macro S.Causa efecto S.Causa efecto S.de tiempo Proced. macro Proced. macro

X X

20%

100%

Ejemplo2.Tabladeespecificacionesparaevaluaruncursodematemticas 18

Competenciasenla solucinde problemasmediante elusodelas Matemticas

Evidencianecesariaparaverificarquese Nivelesdecomplejidad desarrolllacompetenciaaevaluar.Se sugeridos debenenunciartantosindicadorescomoel grupocolegiadodeterminequees suficiente.

1.Recuperacin 2.Comprensin 3.Anlisis 4.Utilizacindel conocimiento 5.Metacognicin 6.Autoeficacia

Dominio
Ponderacin

Bloquesorasgosde competencias Usodelas operaciones numricasbsicas.

Indicadoresdeaprendizaje Aplicalosalgoritmosdelasoperaciones bsicasenlasolucindeejercicioscon nmerosenterosyfraccionarios. Aplicalajerarquadelasoperaciones bsicasconenterosyfracciones. Encuentraelmnimocomnmltiployel mximocomndivisor. Identificasustiposdeerroresenlasolucin deoperacionesconnmerosenterosy fracciones. Aplicalasleyesdelosexponentesen operacionesaritmticas. Conviertedelanotacinderadicalala notacindepotencia Aplicalasleyesdelosradicales Identificaycorrigesuserroresenla aplicacindelasleyesdelosexponentes. Reconocesuscapacidadesparaelusode operacionesconpotenciasyraces. Traducelospolinomiosdellenguajecomn alalgebraicoyviceversa. Estableceenformaalgebraicalasrelaciones entredatosatravsdepolinomios. Identificatrminossemejantesenlos polinomios Identificaeltipodeerroresquecometeen latraduccinyestablecimientode relacionesentrelospolinomios. Planteamedianteellenguajealgebraicoun problemaparasusolucin. Establecerelacionesentrevariablesdeun problemamedianteellenguajematemtico. Seleccionaalternativasviablesdesolucina problemasplanteados. Solucionaproblemasmedianteelusodelas matemticas. Corrigelassolucionesdadasadiversos problemasplanteadosmediantela identificacindeltipodeerrorquecometi. Identificasusinteresesygustosporlas matemticasylasolucindeproblemas.

1 X

Algoritmo

20%

X X

Algoritmo Reglas simples Proced. macro Algoritmo Algoritmo Reglas simples Algoritmo Proced. macro Tcticas Tcticas Reglas simples Tcticas

Usodelas operacionescon potenciasyraces.

X X X X X

X X

20%

Traducciny operacionescon polinomios

20%

Solucinde problemasmediante elusodelas matemticas.

X X

X X

Tcticas Proced. macro Proced. macro Proced. macro Proced. macro Proced. macro

40%

19

3.Tcnicaseinstrumentosderecogidade datosparalaevaluacinformativa
Para la evaluacin formativa, se recomienda obtener toda la informacin necesariapararegularelprocesoeducativoenelaula,porloquesesugiereseleccionar entre las diversas tcnicas disponibles para recabar la informacin necesaria acerca del progresoydificultadesquelosalumnosenfrentanenelprocesodeaprendizaje,ascomo desarrollar los instrumentos que resulten ms apropiados para registraryanalizardicha informacin. Casanova (1998, 2007) presenta un paradigma evaluador para la evaluacin formativa centrado en tcnicas cualitativas de recogida de informacin, el cual se representaenelesquemapresentadoenlafigura2.

Figura 2. Paradigma de evaluacin formativa

En el proceso de planeacin de la evaluacin una vez definido el propsito de la misma y los indicadores de aprendizaje a evaluar, se requiere decidir cules son las tcnicas e instrumentos ms apropiados a estos propsitos y al uso que se har de los resultados del proceso evaluativo, si el propsito es formativo, se recomienda como lo sealaCasanova(1998;2007)unparadigmacualitativoquepermitarecogerinformacin de los procesos, por lo que se requiere integrar diversas tcnicas e instrumentos como parte de una estrategia que adems permita la triangulacin de fuentes de informacin paralainterpretacinylainferenciadeprocesosdealtoordenasociadosalaprendizaje.

20

Nosetrataslodereunirmuchainformacin,serequieretenerunaestrategiaque permita integrar la informacin en un todo coherente que apoye la toma de decisiones continua y oportuna para ir ajustando la intervencin educativa hacia el logro de los propsitos o desarrollo de las competencias. Para plasmar la informacin obtenida mediante las tcnicas que se apliquen, es muy importante contar con instrumentos o registrosadecuadosacadatcnicaparadargarantaderigurosidadysistematicidad.

Figura3.Instrumentosderegistrodeinformacin

Conviene tambin una revisin a la propuesta de Tenbrink (1997) relativa a tcnicaseinstrumentosparalaevaluacindeaspectosdeldesempeoquerequierenla observacindeprocedimientospsicomotoresentiemporeal,obienlaevaluacindelos productosderivadosdeldesempeodealgunaactividadyparalaevaluacindeactitudes y otros rasgos sociopersonales; aspectos implicados en el concepto de competencia (Leyva,2009). Losinstrumentosmscomunesquesirvenparaobservardemanerasistemticael rendimiento y la ejecucin de los estudiantes, as como aspectos o rasgos socio personalesydeactitudes,sonlaslistasdecontrol,tambinllamadaslistasdecotejoylas escalasdeevaluacin. Paralaconstruccindelistasdecontrolvlidas,fiablesyfcilesdeusarserequiere: 1. Especificarunaejecucinoproductoadecuado 2. Enumerar las conductas o caractersticas ms importantes para verificar si se producen 3. Aadircualquiererrorcomn 4. Ordenarlalistadeconductasocaractersticasenelordenenqueseproducen 5. Ofrecerunmododeutilizarlalista 21

 Lasescalasdeevaluacin,sonvariantesdelaslistasdecontrolenelsentidodesu finalidad y construccin; no obstante tienen la ventaja de que nos permiten formular juicios sistemticos acerca del grado en el que se presenta algn comportamiento o caracterstica relacionado con el desempeo a observar. Consisten en un conjunto de caractersticasajuzgaryalgntipodejerarqua,yelobservadorusalaescalaparaindicar lacualidad,cantidadonivelderendimientoobservado. Ambostiposdeinstrumentossontilesporqueayudanalobservadoracentrarse enaspectosespecficos,observablesdelelementoquesejuzga,demaneraquecuandose usa con un grupo de estudiantes, todos sern juzgados desde un marco de referencia comn,loqueofreceobjetividadyconfiabilidad;siempreycuandosepongacuidadoenla enumeracindelascaractersticasoelementos;yenelcasodelasescalasdeevaluacin, laescalaestbiendiseada.Tenbrink(1997)ofrecealgunasrecomendacionestilespara suconstruccinentrminosdeaquelloquesepretendeevaluar: Enelcasodelaevaluacindeprocedimientoscomocantar,tocaruninstrumento, dibujar, dirigir una discusin,debatir,usarunasierra,jugartenis,sacarunamuela,etc.; para enunciar los pasos del procedimiento es comn preguntarnos Qu comportamientos importantes muestran las personas que pueden ejecutarlo con xito? Si lo que est sujeto a evaluacin es un producto; como una pintura, un proyecto, un guin,unplano,unamaqueta,unaescultura,unplandeclase,etc.;paralaenumeracin de elementos a juzgar, conviene dar respuesta a la pregunta Qu aspectos son caractersticosdelaaltacalidaddeproductosdeestetipo?Finalmentesiloqueesobjeto de estudio es algn rasgo sociopersonal o actitud como extroversin, veracidad, paciencia,cooperacin,educacin,generosidad,etc.;enestecasolapreguntapertinente esQuaspectosoaccionesimportantesseasociancomnmenteaestaactitudorasgo sociopersonal? Una vez enumeradas las caractersticas o elementos a juzgar, en el caso de las escalasdeevaluacin,esmuyimportanteladefinicindelaescalademedicinparacada elementoocaractersticaenunciada.Aunqueunaescaladefineuncontinuodefondo,en realidad marcamos ciertos hitos que no necesariamente representan unidades significativas;esdecirquenopodemosasumirquetodastenganelmismovaloryquela distancia entre cada una de ellas sea igual, como sucede con escalas para medir alguna magnitud fsica. No obstante, en el momento de construir una escala podemos representar grficamente distancias iguales entre los valores adoptados. Una recomendacintilparadefinirestosvaloresconsisteenprimerodefinirlosextremosdel continuoyenseguidalospuntosintermedios,normalmenteseusanescalasimpares(3a5 niveles),siemprequesepuedadetectarunpuntoneutroounpuntomedioclaroentrelos dosextremos. Lostrestiposmscomunesdeescalassonlanumrica,lagrficayladescriptiva; aunque a veces se usan combinaciones de ellas. La escala descriptiva implica una 22

descripcin verbal ms completa de los puntos a lo largo del continuo. Presentamos a continuacin algunos ejemplos de escalas; las de la figura 4 son ejemplos de escalas numricasyrepresentangradosofrecuencias;mientrasqueenlafigura5,presentamos unaescalagrficayunadescriptiva.

Figura4.Escalasdeevaluacinnumricas

Laescaladescriptivahaprobadoserdegranutilidadparaprocesosdeevaluacin formativayaquepermitecomunicarconmayorclaridadalapersonaevaluadaacercade susituacinrespectoacadaelementodesuejecucinodesempeo.

Figura5.Escalasdeevaluacingrficaydescriptiva

Para ser congruentes con los aspectos tericos acerca de lo que significa la evaluacin del aprendizaje, los procedimientos de evaluacin deben contribuir al aprendizaje del estudiante y no slo medirlo, adicionalmente el aprendizaje que se requiere para el desarrollo de competencias profesionales tanto genricas como especficas a algun campo profesional de la educacin superior es complejo y multidimensional por lo que requiere valorarse a travs de mltiples formas (Murphy, 2006)aspectoqueademsrequieredeestrategiasdetriangulacinparaelanlisisdela informacin como se advierte en el paradigma propuesto por Casanova (2007) representadoenlafigura2. 23

Laevaluacindecompetencias Hemoscomentadoya,quelasociedadmodernadelegaenlaeducacinsuperiorla funcindedesarrollarenlosestudiantesaquellascompetenciasquelepermitanactuarde maneraeficazyresponsableendichasociedad(YnizyVillardn,2006).Lanecesidadde ajustar los resultados pretendidos con lo evaluado requiere reflexionar acerca de la concepcin de competencia como resultado de aprendizaje, para ms informacin es conveniente revisar la concepcin ms actualizada de competencia en el marco de la educacin superior que presento en (Leyva, 2009). En este espacio slo comentaremos que: En primer lugar la competencia supone la adquisicin de conocimientos, habilidadesyactitudes,porloqueesnecesariorecuperarevidenciasdelostrestiposde adquisiciones. En segundo lugar la competencia supone la movilizacin estratgica de estos elementos como recursos disponibles y necesarios para dar respuesta a una situacin determinadaenuncontextoespecfico,porlocualserequiereconstatarlacapacidadde movilizarlosrecursosdeformaeficazyticaparaatenderaunademanda. En tercer lugar la competencia se demuestra haciendo, por lo que requerimos recogerevidenciasdedesempeoapartirdeactividadesplaneadasqueponganenjuego talescompetencias. Encuartolugareldesarrollodecompetenciasesunprocesodeaprendizaje,locual permite aprovechar las potencialidades de la evaluacin para favorecer el logro de los objetivosformativos. DeacuerdoconYnizyVillardn(2006)laevaluacinenlaformacinuniversitaria cumple dos funciones fundamentales: la funcin sumativa de certificacin de unos aprendizajes exigidos y la funcin formativa para favorecer el logro de dichos aprendizajes.Esdecirquerefierealaevaluacinensufuncinsumativacomoevaluacin de competencias y en su funcin formativa como evaluacin para el desarrollo de competencias. Esta concepcin enlaza adems con el concepto de evaluacin autntica, perspectiva que enfatiza el hecho de que una evaluacin debe reflejar los desafos, el trabajoylosestndaresvigentesenelejercicioprofesionaldemaneraquecomprometaal alumno en forma interactiva con oportunidades para explicar, dialogar e investigar (Wiggins,1989).Talenfoquedeevaluacinrequierequeelalumnoacteeficazmentecon elconocimientoadquirido,enunampliorangodetareassignificativasparaeldesarrollo decompetenciasquepermitanensayarlarealidadcomplejadelavidasocialyprofesional.

24

La competencia no puede ser observada directamente en toda su complejidad pero puede ser inferida a partir del desempeo, lo que lleva a pensar en los tipos de actuacionesquepermitanreunirevidenciasuficienteparahacerjuiciosrazonablesacerca deloslogrosdecadaestudianteenrelacinconlosresultadosdeaprendizajepretendidos yclaramenteespecificados,locualayudaalospropiosestudiantesalacomprensindelo queseesperadeellos,alavezquesirveparainformaraotraspersonasinteresadassobre elsignificadodeunacalificacindeterminada(YnizyVillardn,2006). Elportafoliosdeevaluacin Una de las herramientas en el contexto educativo que est experimentando un notable aumento en su utilizacin como sistema de evaluacin ligado a la intervencin educativa,eslaprcticadelportafoliosdeevaluacin,locualrepresentaunindicadorde labsquedademejorasenelcontextoeducativoyrespondealanecesidaddesubsanar algunasdelasdeficienciascrucialesderivadasdeunmodelodeenseanzamsestticoy enciclopdico,queunconocimientoflexibledetipocondicional(Barber,2005). Elconceptodelportafoliosdeevaluacinexistedesdehacetiempoennumerosos mbitos;artistas,arquitectos,fotgrafos,diseadoresgrficoslosusanparapresentarsus trabajosaclientespotenciales.Eneducacinsonunfenmenorelativamenterecientey hasta ahora es que se empieza a explorar su potencial. A principios de los noventa se hablabadesuusoprincipalmenteenreferenciaalaevaluacin(Polin,1991). Unportafolioesunregistrodelaprendizajequeseconcentraeneltrabajodelalumno yensureflexinsobrelastareasoactividadesimplicadasparasudesarrollo;medianteun esfuerzo cooperativo entre el alumno y el docente, se rene material indicativo del progreso hacia los resultados esenciales esperados (National Education Association, 1993). Usados en el marco delaevaluacin,losportafoliossoncoleccionessistemticas realizadas por alumnos y docentes que sirven como base para examinar los logros, los progresos,losprocesos,lasactitudesyelesfuerzoademsdesatisfacerlasexigenciasde responsabilidad habitualmente alcanzadas por procedimientos de prueba ms formales (Johns,1992)locualloshacepertinentesparaenfoquesmixtos. Aunqueexistendiferenciasdenfasisenlasdefinicionesdeportafolios,lamayora compartenciertascaractersticasesenciales: 1. Consistenencoleccionesdelatareadelosalumnos,unaseriedetrabajosproducidos porcadaunodeellos. 2. Lascoleccionessondeliberadasynoazarosas 3. Esunamuestradelostrabajosreunidosconunpropsitodeterminado. 4. Incluyenlaoportunidadquetienenlosalumnosdecomentarsutrabajooreflexionar acercadel.

25

Lo cierto es que el uso del portafolios de evaluacin ha probado ser una herramientamuyvaliosadeevaluacintantosumativacomoformativa,siempreycuando seincorporedeformaplanificadaenelprocesodeenseanzayaprendizaje;suusotiene muchas implicaciones psicopedaggicas ya que coadyuva tanto al fortalecimiento de las capacidades cognoscitivas de los alumnos, como a las metacognitivas, es decir de autorregulacin de su proceso de aprendizaje. Esto es debido a que el portafolios promuevequeelestudiante,medianteladocumentacindeevidenciasdesuaprendizaje, haga un seguimiento y reflexin de su propio desempeo, y con ello la evaluacin continua a lo largo del tiempo, brindando informacin til para la identificacin de sus logros y fallas, con lo cual sefacilitaelajusteprogresivodesusestrategiasyhbitosde estudio. Deacuerdoconalgunosinvestigadoresydocentes(Agra,GewercyMontero,2003; SedaSantana,2002;Barber,2005;Barragn,2005;ArraizySabirn,2005),laestrategia deportafoliopuedeservirprincipalmenteparainvolucraralosalumnosconelcontenido delaprendizaje,promoverlashabilidadesdelareflexinylaautoevaluacin,documentar su aprendizaje en reas que no se prestan a la evaluacin tradicional y facilitar la comunicacin de los logros de los alumnos ante diferentes audiencias. Consecuentemente,elnfasisrealizadoenlaprcticahabitualdelportafoliosproporciona unosbuenoshbitoscognitivosysocialesenlosalumnos.Enestamayorparticipacinen su propio proceso de aprendizaje, el alumno tambin aprende a responsabilizarse de la direccinquetomasueducacin,delniveldeprofundizacinconelquedecidetratarlos contenidosydeloslogrosconseguidos. Atendiendoalanecesidadquesetienedecontarconenfoquesmixtosqueporun ladofavorezcanelvalorestratgicodelaevaluacinformativaalavezqueseapoyenlos juicios de acreditacin acadmica que todo sistema educativo formal demanda como parte de su normativa, los portafolios han mostrado ser herramientas apropiadas en el cumplimiento de ambas funciones; adems de queresultaidneoparalaevaluacinde competencias, ya que permite integrar una gran variedad de tareas y actividades que pongan en juego los conocimientos, habilidades y actitudes de los estudiantes tanto en trabajoindividualcomodeequipo. Resulta especialmente til para estos propsitos la propuesta documentada por DanielsonyLeslie(1999),lacualconsisteentresetapasoportafolios:eldetrabajo,elde evaluacinyeldepresentacin.Laprimerafaseoetapadenominaportafoliosdetrabajo contienetantotrabajosencursocomomuestrasterminadasorientadasporcompetencias uobjetivosdeaprendizaje.Comosupropsitoeseldediagnosticarlasnecesidadesdelos estudiantes mediante evidencias de los procesos implicados en el desarrollo de las competencias u objetivos y en el nivel de logro alcanzado por cada alumno, permite cumplirlafuncinformativadelaevaluacin.Encuantoalproceso,seestructuraentorno deunreadecontenidoespecficaodeunacompetenciaysedocumentaelprogresodel alumno en el logro de las competencias u objetivos, mediante diversas evidencias de desempeodetectandolagunasoerroresconceptualesodeprocedimiento.Elportafolio 26

detrabajoserevisaensutotalidadparaevaluarsuselementosdemaneracontinua.En estaparte,paracumpliradecuadamentelafuncinformativa,resultamuyimportantela retroalimentacin del profesor para ayudar al alumno a detectar sus reas de oportunidad. Es posible trasladar algunos de los elementos del portafolios de trabajo a la siguientefaseoetapalacualconsistepropiamenteenelportafoliodeevaluacin,elcual tiene la finalidad de documentar el cumplimiento de competencias u objetivos, en esta fasesecumpleunafuncindecarctersumativo,esdecirquesecentraenresultadosy permitelaemisindeunjuiciodeacreditacinacadmica. Tambin algunos de los elementos pueden trasladarse a un portafolios de presentacin el cual tiene como propsito demostrar el nivel ms alto de realizacin alcanzadoporelalumno.Puedemantenerseatravsdetodouncicloagregandonuevos elementoscadaao.Elusomsgratificanteparaelalumnoeseldepresentarsusmejores trabajoseinterpretarsusignificado,locualfortalecesumotivacinorientadaalatareay sirvecomounrefuerzodelaautoeficacia. Esta propuesta en fases, resalta la importancia de que sean los propios estudiantes quienesseleccionenloquevanaincorporartantoalportafoliosdeevaluacincomoalde presentacin,conlocualilustranloqueelloscreenqueesimportantedesuaprendizaje, qu es lo que valoran y qu quieren mostrar a los dems. Estrategia que promueve el desarrollodehabilidadesmetacognitivas,esdecirhabilidadesparalareflexinacercade del propio pensamiento o conocimiento sobre nuestro aprendizaje, as como, sobre nosotrosmismosencuantoaprendices,locualsefacilitasiparaellotenemosevidencias tangiblesdelosavancesylogrosquesevandocumentandocomopartedelejerciciode integrar los portafolios. Esta ventaja adems de que resulta especialmente relevante ya queelestudiantesesensibilizaacercadelaimportanciaquetieneladocumentacinde todaslasevidenciasdesudesempeo,esunafuentedemotivacinydeafirmacindela autoestima, aspectos que favorecen el logro de las competencias y desde luego la verificacindequesealcanzaronlosestndaresestablecidos. Hoy en da la autoevaluacin y autogestin del conocimiento son caractersticas fundamentales que deben estar presentes en todo estudiante que pretenda iniciar estudiosdeeducacinsuperioroincorporarsealmundodeltrabajo.Laprimeraserefiere a los pensamientos personales de los alumnos en cuanto a sus conocimientos y habilidades, a sus estados afectivos en relacin a su conocimiento, sus habilidades, motivacin y caractersticas. La autogestin se refiere a su vez a la reflexin sobre el pensamientoenaccinqueayudaalindividuoaorganizarlosaspectosenlaresolucinde problemas(Klenowski,2005).

En sntesis, la propuesta especfica de esta gua prctica para la evaluacin del aprendizaje,esquelaestrategiadelportafoliosdeevaluacinseconviertaenpartedela metodologadelaenseazaqueseinsertaenlosprocesosdelaevaluacinformativade 27

losaprendizajes,detalformaqueseaposiblelaevaluacindetrayectoriasacadmicasy por lo tanto del desarrollo de competencias obtenidas por los alumnos en dichas trayectorias, lo que permite que existan ms posibilidades de que los alumnos reciban retroalimentacin de manera oportuna para apoyar su toma de decisiones acerca de su propioaprendizajeyqueparalosdocentesconstituyatambinunafuentedeinformacin tilparareorientarsuprctica,lograndoquesuintervencinseaacordeyoportunapara atenderlasnecesidadesyreasdeoportunidaddetectadasporlosalumnos. Hemos hecho nfasis en la importancia que tiene asegurar la utilidad de la evaluacin, lo cual se logra cuando se cumple la funcin formativa respecto a la retroalimentacin como elemento fundamental que coadyuva a la mejora. Sin embargo estoslosucedesiesefectivayoportuna.Paraelloesnecesariotenerclaridadrespectoa losestndarescontraloscualessevaacontrastareldesempeodelosestudiantespara saberelgradoenquecadaunodeellosehaacercadoalosestndaresesperadosensu ejecucin o desempeo en las diversas actividades y tareas lo cual requiere como ya se comentdeltrabajocolegiadoenlafasedeplaneacinparadeterminarlosresultadosde aprendizaje esperados. A partir de estos resultados esperados, se procede al anlisis de lastareasoactividadesqueponganenjuegotalesresultados;yenparalelosetrabajaen elestablecimientodelosestndaresdeejecucinydesempeoquereflejenaquelloque seesperaqueelestudiantedemuestredurantelaejecucindelastareasyactividades. La mejor forma de lograr tanto la orientacin del alumno hacia el logro de tales estndares,ascomoladeproporcionarunaretroalimentacinefectivayoportunaesla incorporacin de rbricas basadas en el establecimiento de estndares de ejecucin y niveles de desempeo esperados en las diversas actividades y tareas. Las rbricas se realizan una vez que se ha determinado la actividad o tarea a realizar para poner de manifiesto el desempeo del estudiante, lo que a su vez constituye una forma de garantizar que los profesores han logrado comunicar eficaz y oportunamente a los alumnosloqueseesperadeellosparacadaactividadotareaprogramada(Stevens&Levi, 2005). Tambin servirn como referente para la deteccin oportuna de profesores y alumnos de aspectos logrados, as como de aspectos que requieren ms trabajo para cerrarlasbrechasentreelestndaryloquecadaalumnoescapazdedesarrollarencada dimensinocriterioevaluado. Los 4 componentes de las rbricas de evaluacin, organizados en trminos del procesoparaconstruirlasson: 1. Descripcindeunatareaoactividad 2. Dimensiones:Soneltipodehabilidadesqueseponenenjuegopararealizarlatarea, representanloscriteriossobreloscualesvamosacentrarnuestraatencin. 3. Escaladevaloracin:sonlosnivelesdelogroenlaejecucinodesempeo 4. Descripcindelniveldeejecucindecadaniveldelaescala(retroalimentacin)

28

Debemos considerar estos componentes en la construccin de rbricas, como se puedeobservarlasrbricasrepresentanunaescaladeevaluacindescriptivaporloque podemos seguir los mismos pasos en su construccin. De manera similar a las listas de cotejo y las escalas de evaluacin, se requieren dos insumos para que tenga sentido su construccin: Haber realizado la planeacin en donde se especifiquen los resultados de desempeoesperadosyhaberelegidoaquellasactividadesotareasqueponganenjuego algunoovariosdeestosresultados.Sloaspodremosdefinirlasdimensionesocriterios implicados. Ahora bien, para definir una escala que sea apropiada, necesitamos antes determinarsielpropsitodelaevaluacinesformativo,sumativoomixto,generalmente seusanentre3y5nivelesdeejecucinodesempeosiesquevamosutilizarlatcnicade observacindealgunaejecucinoconductaentiemporeal;odecalidadenelcasoenel queloqueestemosevaluandoseaunproducto. Finalmente para poder describir cada uno del niveles de ejecucin por cada dimensinocriterio,serequieredeterminarelestndaroniveldeejecucinsatisfactorio o de competencia mxima a lograr por cada dimensin. A partir de haber definido ste nivel se procede a describir, segn sea el nmero de niveles de ejecucin lo que representacadaunodeellos.Facilitalatarea,pensarinicialmenteenlosextremos,porlo quedespusdelnivelcompetente,sepuededescribirelnivelqueimplicaraquenoseha cubiertoelestndar;esdecirquelaejecucindelapersonanoessatisfactoria,ydespus pensar en l o los niveles intermedios y describir de manera cualitativa cada tipo de desempeo o ejecucin. Es muy importante que las diferencias entre los niveles estn claramentedelimitadas. En trminos de las principales ventajas que se han documentado del uso de las rbricaspodemosdestacarlassiguientes: 1. Proporcionanretroalimentacinoportuna 2. La retroalimentacin informa sobre el rendimiento en cada dimensin o componentedeunatarea 3. Promuevenelpensamientocrticoylareflexin 4. Facilitanlacomunicacincondiversasaudiencias 5. Nospermitenrefinarlosmtodosdeenseanza Como se puede deducir de estas ventajas las rbricas son un aproximacin adecuadacuandolafuncindelaevaluacinesformativa;noobstante,hanprobadoser una herramienta muy poderosa para la evaluacin sumativa en el contexto de la educacin basada en competencias, sobre todo en aspectos del aprendizaje que no puedenevaluarseatravsdepruebasobjetivas,porquerequierenalgntipodeevidencia de desempeo. En todo caso para ambas funciones se requiere tener una metodologa clara para la determinacin de estndares de ejecucin contra los cuales contrastar el desempeodecadapersonaevaluada.

29

4.Elaboracindereactivosydiseodepruebas objetivasparaevaluacinsumativa

La construccin de pruebas objetivas con reactivos de opcin mltiple se recomienda principalmente para la evaluacin sumativa, ya que nos permiten hacer un muestreomsrepresentativodeloscontenidosyprocesosquesedeseaevaluaralfinal deuncursoodeunperododeterminado. Los estmulos de una prueba objetiva pueden ser de diferentes formas, sin embargo diversas investigaciones y la propia evidencia emprica resultante de las aplicaciones,demuestranquelosreactivosdeopcinmltiplesonlosmsestablesynos sirven no solo para medirlosresultadosdeconocimiento,sinodeunagranvariedadde habilidadesycapacidadesintelectuales,porloqueresultanserlosdeusomscomn.Las investigacionestambinhandemostradoquelosestmulosdeopcinmltipleconcuatro opciones son los mejores, siempre que se inicie con cinco opciones y se elimine la que consistentementetengamenorfrecuenciaderespuestas. Algunasventajasdelaspruebasobjetivasconformadasporreactivosdeopcinmltiple son: 1. Sepuedenadaptarfcilmentealosresultadosdeaprendizajeespecficos. 2. Permitenunmuestreomsadecuadodeldominioaevaluar. 3. Sepuedencalificarmsrpidoyobjetivamente. 4. Sonmssencillasdeaplicar. 5. Poseenunasolarespuestacorrecta Los reactivos de opcin mltiple se conforman por una base y cuatro o cinco opciones de respuesta. La base es el enunciado que presenta la situacin problema planteada explcita o implcitamente en una pregunta, afirmacin o enunciado incompleto.Lasopcionesseentiendencomolasposiblesrespuestas,entrelascualesuna responde correctamente al enunciado o pregunta y las otras son respuestas incorrectas llamadasdistractores.

Sugerenciasgeneralesparaelaborarunreactivo
Encuantoasuescritura: Ellenguajeusadoenlaredaccindeunproblemadebeserapropiadoparalamateria quecubre,particularmenteenloqueserefierealvocabulariotcnico. Deberedactarseconsencillezycorreccin.Elproblemanodebemedirhabilidadpara comprenderestructurasgramaticalescomplejas,exceptocuandoseestmidiendoesta habilidadenparticular. 30

Eviteerroresgramaticales:depuntuacinydeortografa,ascomoabreviaturas. Eviteelusocomplicadodegerundios,participios,artculosypreposiciones. Empleeconceptosconocidosenlugardesinnimosovocabulariorebuscado. Silosartculosopreposicionesqueacompaanalossustantivossonigualesparatodas lasopciones,debenformarpartedelabase. Tome en cuenta el tiempo de lectura por reactivo, utilice la informacin necesaria perosuficiente,paraoptimizareltiempo. Eviteelaborarreactivosqueevalensloelsentidocomndelsustentante. Tomeencuentaelnivelescolaryeldemaduracindelosexaminados. Encuantoalcontenido: Tomecomoreferencialatabladeespecificaciones. Elaborereactivosconbaseenlosindicadoresoresultadosdeaprendizajedelatabla. Eviteaumentarladificultadeligiendoaspectospocosignificativosdelconocimiento. Incluyaunasolaideaalelaborarelreactivo. Eviteevaluarconceptosdemaneratextual. Eviteevaluarcontenidosintrascendentesotriviales. Noelaborepreguntascapciosas. Los reactivos que evalan comprensin siempre deben ser originales para evitar respuestasaprendidasdememoria. En la mayora de los casos el problema debe contener slo material relevante a su solucin. Indicacionesparaelaborarlabase Cadareactivodebepresentar,porsmismo,unproblemaquealserresueltopermita demostrarquesehaalcanzadounresultadodeaprendizajedeterminado. Incluya todos los elementos estrictamente necesarios para comprender el sentido correctodelapregunta,detalmaneraquesinleerlasopcionestengasentidopropio. Los reactivos deben ser independientes unos de otros, sin que la informacin contenidaenunosugieralasolucindeotro. Elaboreunesquemadeindagacinynoslounapalabraofrase. Cuidequelaredaccinseaprecisayadecuada. No sobrecargue el enunciado con material no pertinente por el deseo de seguir enseando. Evitetrminosqueconfundanodenclavesdelarespuestacorrecta. Evitequeunapreguntaayudearesponderotra. Redacteelenunciadoenformaafirmativasiemprequeseaposible.

Indicacionesparaelaborarlasopciones Delasopciones(4)slounasercorrecta. 31

Larespuestacorrectadeberesolverelproblemasatisfactoriamente. La respuesta correcta debe ser incuestionable (Por lo menos dos personas debern revisarelreactivoparadeterminarsilasolucincorrectaestclara) Incluyadistractoresplausibles. Debentenerconcordanciagramaticalconlabase. Deben guardar entre s un equilibrio coherente en su aspecto gramatical: sintaxis, gnero,nmero,tiempoverbal,etc. Debensercongruentesconelcamposemnticodelabase. Eviterepetirelmaterialencadaopcineincluyaelcontenidocomnenlabase. Nodeberepetirseningunaopcinniconsinnimos. Debenpresentarlamismaextensin. Evite que una opcin ayude a elegir la opcin correcta, por indicios gramaticales o plausibilidad. Presntelasalazar,amenosqueserequieraunordencronolgicoonumrico. Incluyaenlosdistractoresloserroresmscomunesdelosestudiantes. Noutiliceenlasopciones:todaslaanteriores,ningunadelasanteriores,nos, etc. Evite las formas negativas (no, excepto) o las absolutas (nunca, siempre, completamente,totalmente). Utiliceenunciadosverosmilesperoincorrectos.Evitelasfrasesinadecuadas,ridculas ohumorsticas. Norepitapalabrasdelenunciadoentrelasopciones.

Variantesconformatodeopcinmltiple:
En cuanto a variantes de reactivos de opcin mltiple, podemos identificar al menos 5 tipos los cuales son ms adecuados a cierto tipo de indicadores o resultados de aprendizajeaevaluar:

1. 2. 3. 4. 5. Simple Jerarquizacinuordenamiento Seleccindeelementosdeunlistado RelacindeColumnas Multireactivos(decabeceraogrupodereactivosdependientesdelcontexto)

En el siguiente apartado brindamos una breve descripcin de cada tipo, el formato general que presentan, as como ejemplos para facilitar la elaboracin de reactivos que sean ms acordes al tipo de indicador de aprendizaje a evaluar, sea este para evaluar conocimientos del dominio declarativo o procedimental. Generalmente para recabar evidencia de competencias, los multirreactivos presentan la posibilidad de utilizar una granvariedaddecontextosyfactoresquepermitanevaluarpensamientodealtoorden, necesariosparasolucindecasosyproblemasyparalatomadedecisionessustentada.

32

1.FormatoSimple: Es el planteamiento de un problema en forma sencilla, sin embargo existen diversasformasdeformularlabase,porejemploconformainterrogativa,imperativa,de completamientoydemaneraexcepcionalnegativa. Formato:
BASE:Textoy/grficas.Sielreactivocontieneesquemas,grficasoimgenes,esimportantequeincluya tambinlasinstruccionesparaqueseentiendaconclaridadloquesetienequehacer. OPCIONES:(Textosy/grficas) A) B) C) D)

Ejemplos:
Enqupalabraestsubrayadalaslabatnica? A) Avenida B) Consecuencia C) Revistero D) Consulado Elijalaopcinquepresentaunapalabragrave. A) Paz B) Clula C) Fotografa D) Situacin Laopcinquepresentaunapreposicines: A) el B) en C) ha D) su LassiguientespalabrassonagudasEXCEPTO: A) situacin B) potenciar C) consulado D) adems

Interrogativa

Imperativa

Completamiento

CompletamientoNegativa

33

2.Jerarquizacinuordenamiento Este tipo de pregunta requiere elegir la opcin que contiene el ordenamiento o secuenciacorrectadediversoselementos.Labasedelreactivoindicaquelasituacinpor resolver es ordenar, con base en algn criterio, una serie de elementos presentados al azar en una lista. Las opciones se forman a partir de la combinacin de varios ordenamientosyslounacombinacinescorrecta. Estetipodereactivoestilparaevaluarentreotrosaspectos:Identificacinde procesos,procedimientosyeventoshistricos.Elnmerodeelementosaordenarno debersermuygrandeyseasignarunpuntoporelordenamientocorrectoyningunopor losdems. Formato:
ENUNCIADO:. 1. 2. 3. Aquseescribelalistadeelementosendesorden 4. 5. OPCIONES: A) 3,2,4,1,5 B) 2,4,3,5,1 C) 5,1,2,4,3 D) 4,3,1,2,5 E) 2,3,4,5,1

Ejemplo:
IndicalasecuenciaenlaqueseordenancronolgicamentelosacontecimientosdelavidapolticadeBenito Jurez. 1. DerrocaSantaAnna 2. SeconvirtiengobernadordeOaxaca 3. FuedesterradoaCubayNuevaOrleans 4. ContribuyalacadadeMaximilianoI A) 2,3,1,4 B) 1,2,4,3 C) 2,4,3,1 D) 4,1,3,2

34

 3.Seleccindeelementosdeunlistado: Eselformatodereactivomedianteelcualselesolicitaalsustentantequeelijade entredistintoselementos,unaseriedeellosmenoralaenunciada.Estetipodeformato permite evaluar la capacidad de discriminacin de caractersticas, datos, elementos, circunstancias, eventos y reglas, entre otros aspectos; de un proceso, fenmeno o procedimientodeterminado. Formato:
ENUNCIADO:. 1. 2. Aquseescribelalistadeelementosmayorala 3. solicitadaenlabase. 4. 5. OPCIONES: A) 1,2,5 B) 2,3,5 C) 1,2,4 Seeligeunnmerodeelementosrelacionadosconunaspectoespecfico D) 2,4,5

Ejemplo:
Delossiguientestiposdetejidopresentadosenlalista,eligeloscincotiposdetejidoconectivo. 1. Muscularestriado 2. seo 3. Cartilaginoso 4. Conjuntivodenso 5. Nervioso 6. Adiposo 7. Sanguneo A) 1,3,4,5,7 B) 2,3,4,6,7 C) 1,2,3,6,7 D) 2,3,4,5,6

4.Formatoderelacindecolumnas: Esunaformamodificadadelestmulodeopcinmltipledondeseenlistanenuna columnaunaseriedepremisasyenlaotracolumnalasrespuestasposibles.Noobstante, amenosquetodaslasrespuestassirvancomoopcionesrazonablesparacadapremisa,el formatoserinadecuado.Haydoserrorescomunesalelaborarestetipodereactivos: 35

 Tendenciaamantenerlamismacantidaddepremisasyrespuestas; Incluirdemasiadoselementosenambaslistas. Reglasparasuelaboracin a. Incluyaslomaterialhomogneoencadaestmulo, b. Utilice listas de tamao razonable y ubique las respuestas a la derecha; esto permite unamayorfacilidaddelecturaybsqueda. c. Utiliceunnmeroderespuestasmenoromayorqueeldelaspremisasyhagaquelas respuestassepuedanusarmsdeunavez,parareducirlarespuestaportanteo. d. Especifique en las instrucciones las bases de la correspondencia e indique que cada respuestapuedeusarseunaomsveces,onousarse. Formato:
ENUNCIADO:(Instruccionesydescripcinenlabase. TTULODELACOLUMNAIZQUIERDA TTULODELACOLUMNADERECHA 1.__________________________________ a)_______________________________ b)_______________________________ 2.__________________________________ c)_______________________________ d)_______________________________ OPCIONES: A) 1a,b;2c,d B) 1a,c;2b,d C) 1b,c;2a,d D) 1c,d;2a,b

Ejemplo:
Relacionelosmovimientosconsusconsecuencias. Movimientos Consecuencias 1.Rotacin a)Cambioaparentedeltamaodelsol b)DesviacindeloscuerposencadalibrehaciaelEste 2.Traslacin c)DeformacionesdelaTierra d)Estacionesdelao A) 1a,b;2c,d B) 1a,c;2b,d C) 1b,c;2a,d D) 1c,d;2a,b

36

5.Multirreactivos Eselformatomedianteelcualpodemosevaluardeformaintegrada,unavariedad deconocimientosyhabilidadescognoscitivas.Puedenserdebasetericaymetodolgica ydedistintoniveltaxonmico.Esteformatoserecomiendaparaplantearunproblemao describir un contexto y con base en l elaborar una serie de reactivos. Su construccin debe presentar consistencia y claridad en el problema presentado en la base y en las preguntasquesedesprendendel. Formato:
Instrucciones: Situacinocaso:. Base1 1. Opciones: A) B) C) D) Base2 2. Opciones: A) B) C) D) Seincluyentodoslosreactivosqueseestimeconveniente

Ejemplo1.EstadsticaparalacarreradePsicologa Instrucciones:Leaelsiguientecasoyrespondalassiguientescuatropreguntas: . Se aplic un inventario de habilidades de estudio, en su versin autoreporte a 900 alumnos de las licenciaturasdepsicologa,ingenierayderecho.Losresultadosindicanquelosalumnosdepsicologa presentan una distribucin negativamente sesgada en la escala de autorregulacin; los alumnos de ingenieramuestranunsesgopositivoenlaescaladeadquisicindelainformaciny;losalumnosde derecho muestran distribuciones con sesgo casi igual a cero en las escalas de autorregulacin y adquisicindeinformacin.

37


1. FormadedistribucinquerepresentamejorlaspuntuacionesdelosalumnosdePsicologa
A)

B)

D)

Razonamiento. LarespuestacorrectaesA),yaqueunacurvaconsesgonegativoextiendeunadesuscolashacialos puntajesbajosyacumulalamayoradelosdatosenlaspuntuacionesaltas.LaopcinC)esincorrectapor quehacereferenciaaunacurvaaplanadaoconbajacurtosis,D)noescorrectaporquehacereferenciaa curvasconsesgospositivosylaopcinBesincorrectaporquehacealusinaunacurvasonsesgocasiigual acero. 2.Deacuerdoconladistribucindefrecuencias,cmoeslamayoradelosalumnosdeingeniera? A)Unaproporcinmayordealumnosaltamenteestratgicosenadquisicindeinformacin B)Todoslosalumnossonmedianamenteestratgicosenadquisicindeinformacin C)Unaproporcinmayordealumnosbajosenestrategiasdeadquisicindeinformacin D)Todoslosalumnossonaltamenteestratgicosenadquisicindeinformacin Razonamiento. LarespuestacorrectaesC)yaqueunacurvaconsesgopositivoextiendeunadesuscolashaciala derechayacumulalamayoradelosdatosenlaspuntuacionesbajas.A)esincorrectaporquerepresenta unacurvaconsesgonegativo.B)esincorrectaporquerepresentaunacurvaconsesgoigualacero.D)es incorrectaporquehacereferenciaaunacurvaaplanadaoconbajacurtosis. 3.Cmosonlosvaloresdelasmedidasdetendenciacentraldelaspuntuacionesdelosalumnosdederechoen cuantoasusestrategiasdeadquisicindelainformacin? A) lamodaesmayorquelamediaylamediana B) lamodaesmenorquelamediaylamediana C) lamediaesdiferentedelamodaylamediana D) lamediaesigualquelamodaylamediana Razonamiento. LaopcincorrectaesD)yaqueenunacurvaconsesgocasiigualacero;lamedia,lamedianayla modaseubicanenelmismovalordebajodelacurva.LasopcionesA),B)yC)sonincorrectasporquese refierenavalorestomadosdecurvasconsesgopositivoynegativo.

38

 4.Cmosonlamayoradelosalumnosdederechoensusestrategiasdeadquisicindeinformacin,encomparacincon losalumnosdeingeniera?
A) conmejoresestrategiasdeadquisicindeinformacinquelosingenieros B) casiigualdeestratgicosenadquisicindeinformacindelosingenieros C) menosestratgicosenadquisicindeinformacinquelosingenieros D) muypordebajodelosingenierosenadquisicindeinformacin Razonamiento. LaopcincorrectaesA)yaquelosalumnosdederechoalmostrarunadistribucinconsesgocasiigual aceroposeenunadistribucincasinormal,mientrasquelosingenierostienenunadistribucinconsesgo positivo.LasopcionesA),B)yD)sonincorrectasporqueserefierenasituacionesenlascualeslosalumnos dederechopresentarancurvasconsesgopositivoonegativo.

Ejemplo2.CarreradeOdontologa:readeformacinoperativa Leeconatencinlainformacindelsiguientecasoclnicoycontestalasdospreguntasasociadas: Sepresentaaconsultaunpacientede12aosdeedad.Durantelaexploracinseobservaincisivocentral izquierdo de color pardo y el incisivo central derecho de coloracin rojiza, ambos incisivos se muestran sintomticos;enlaradiografaseobservatratamientodeconductosconmuypocaestructuraradicularenel centralizquierdoyenelincisivocentralderechounazonaradiolcidaenformadebombillaaniveldeltercio medio del conducto. Al interrogarlo, el paciente refiere haber sufrido fractura de ambos incisivos superiores centralesalaedaddesieteaos,conexposicindelapulpavitalenelcentralizquierdo,alcualselerealizel tratamientodeconductosdeinmediato.
1. Quprocedimientosedebihaberrealizadoparapreservarmsestructuraradicularenelcentral izquierdo? A)Tratamientosdeconductos B)Apicognesis C)Observacinycontrol D)Implanteendodntico Respuestacorrecta:B) Razonamiento. Alaedaddesieteaoselpicelosincisivoscentralesnoseencontraratotalmenteformado,porlo que el tratamiento inicial en caso del central izquierdo, con la pulpa dental expuesta debi ser la apicognesisopulpotomaconhidrxidodecalcioparapermitirlaformacinradicularyelcierreapical,y posteriormenteyafinalizadosteefectuareltratamientodeconductos.

2.Qutratamientoserecomiendaparaelincisivocentralderecho?
A) Observacinycontrol B) Apicognesis C) Cirugaexploratoria

39

D) Tratamientosdeconductos

RespuestacorrectaD) Razonamiento. Enelcasodelcentralderechoeldiagnsticoesmuyclaro,dadoquesedescribenlascaractersticas clnicasyradiogrficasquecorrespondenaunaresorcinradicularinterna,encuyocasoserequiererealizar eltratamientodeconductosparaevitarquestacontine.

Ejemplodeformatoparacapturadereactivos.

No. Concepto 0 Identificacin 1 Rasgodelperfila evaluare indicador. 2 Clasificacinpor dominioypor niveltaxonmico

Estndaroespecificacin Nombredelredactor,fechaynmerodereactivo Incluyaaquelrasgodelperfilreferencialdevalidezcorrespondiente. Enseguidaelindicadorespecficoqueevalaelreactivoquevaaredactar. Clasifiquelosreactivosdeacuerdoconeldominio,esdecirtipode conocimiento:Informacin,procedimientomental,procedimiento psicomotor. Clasifiquelosreactivosdeacuerdoconlosnivelesdetaxonmicosdediseo Nivel1.Recuperacin Nivel2.Comprensin Nivel3.Anlisis Nivel4.Utilizacindelconocimiento Redaccindela Sigaloslineamientosderedaccinpresentadosenelpunto3.3 basedelreactivo. RecomendacionesGenerales,deestemanual. Redacteelenunciadodeformaclara,nouseformasnegativas,noutilice determinantesespecficos(siempre,nunca,etc.). Serecomiendaseleccionareltipodeformato(simple,eleccindeunlistado, relacindecolumnas,jerarquizacinymultirreactivo)msapropiadoaltipo deresultadodeaprendizajeaevaluar. Sepuedenincluirdibujos,imgenes,cuadros,etc.,dependiendodeloquese deseaevaluar. Respuesta Todoslosreactivosdebenserde4opciones. correctay ColoquelarespuestacorrectaenlaopcinAparafinesdelBancode distractores Reactivossilasopcionespuedenpresentarsealeatoriamente. Exceptosielreactivotienelasopciones"fijas",encuyocasodebeindicarse cuidadosamentelarespuestacorrecta. Elreactivodebeincluirunarespuestacorrecta,nicaydemostrable. Razonamiento Esmuyimportanteincluirlajustificacin,procedimientooexplicacinpara llegaralarespuestacorrecta. Seexplicartambincmoseconstruyeronlasrespuestasincorrectaso distractores. Referencias Elreactivodebeincluirporlomenosunareferenciadedondesehaya obtenidolainformacin,conesteformato: Autor(fecha)"ttulo",editorial,pas,pginas.

40

Anlisisycalibracindereactivos En trminos generales el procedimiento de calibracin de reactivos sirve para el diseodelosexmenesyconsisteenlossiguientespasos: Eleccin de una muestra representativa de sustentantes para la aplicacin piloto delosexmenes. Integracindeunaversindecadaexamenparasuaplicacinenelestudiopiloto. Anlisisdereactivos. Los reactivos que en la calibracin no cumplan con los parmetros mnimos de dificultadydiscriminacinrecibirnunaprimerarevisinporpartedelsupervisor, quienestimarsielreactivomereceserrediseadoodesechadodefinitivamente. Encasoderediseo,elreactivoserrevisadoporelredactordelreactivo,porel revisoryporelsupervisor,conobjetodeobtenerunanuevaversin. Los reactivos que cumplan con los parmetros requeridos, sern considerados como "aprobados" y se darn de alta definitiva en el Banco de reactivos del examencorrespondiente,conlosndicespsicomtricosobtenidoenelpiloteo. Losreactivosclasificadoscomo"desechables"serneliminadosdelBanco. Calibracindereactivos Toda pregunta en una prueba tiene un componente de varianza de error adjudicablealevaluadorynoalsustentanteporestodebemosverificarsilapreguntaes pertinentealgrupodeestudiantesalqueestsiendoaplicada. Para las pruebas de aprovechamiento utilizadas para evaluacin en aula existen procedimientos sencillos que nos permiten asegurar una mayor calidad en nuestros procesos de evaluacin. Slo se justifican procedimientos ms complejos cuando se requiereunamayorprecisinenprocesosdeevaluacinagranescala. Laspreguntastienenunadificultadrelativadeacuerdoconelgrupoynivelenque seapliquen.Unapreguntaconunabajafrecuenciadeaciertostieneunadificultadmayor queotraconunafrecuenciaalta.Ladificultaddelreactivoesunainformacinbsicapara labasededatosdelbancodereactivosyparaelmomentodeldiseodelaprueba,yaque stadebeestarbalanceadaencuantoaladificultadglobalydecadaunadesusreaso secciones. El ndice de dificultad de acuerdo con el modelo clsico, ser la frecuencia de respuestas correctas entre el nmero total de alumnos y se expresa en trminos de porcentaje:

41

 GD= donde P=Totalderespuestascorrectasdelossustentantes N=Totaldesustentantes(slorespuestasvlidas) Los parmetros generalmente aceptados por los evaluadores para el ndice de dificultadclsicaes: 20 % GD 80 % Otro indicador importante a obtener es el poder de discriminacin, es decir la capacidad del reactivo para distinguir entre sustentantes de alto y bajo rendimiento ya quenospermitedeterminarsilapreguntalaaciertanmsfrecuentementelosestudiantes delgruposuperior,comparadosconlosestudiantesdelgrupoinferior.Silapruebaylas preguntas estn bien elaboradas, se espera que el estudiante que conteste mayor cantidaddepreguntascorrespondaalqueobtieneunmayorrendimientoenlapruebay viceversa. Mientrasqueladificultadeselporcentajederespuestascorrectasalreactivoentre eltotaldepersonasevaluadas,elpoderdediscriminacinesladiferenciaderespuestas correctasentreelgruposuperioryelgrupoinferiorysecalculamediantelafrmula: P(GS ) P(GI ) x100 PD= N donde: P(GS)=RespuestascorrectasdelGrupoSuperior P(GI)=RespuestascorrectasdelGrupoInferior N=Totaldesustentantes(slorespuestasvlidas) Desde luego se espera que el ndice de discriminacin sea mayor a cero, de lo contrarioelreactivoserechaza.Elcriteriodeaceptacindeunreactivoentrminosdesu poder de discriminacin debe ser estricto, por lo que conviene que el poder de discriminacinseamayoroigualal30%delgradodedificultaddelreactivo. Para facilitar la interpretacin del poder de discriminacin podemos usar la relacindiscriminativalacualestincluidaenelreportedelanlisisdereactivos,paraque unreactivoseaaprobadoserequierequeestarelacinseamayoroigualauno(RD 1). Lafrmulaes: PD RD= ND 42

P x100 ; 0 GD 100% N

LosreactivosconvaloresinferioresdeRDdebenrevisarsepersonalmenteporlos redactoresdereactivosparaverificarsuredaccin,laopcincorrecta,elcomportamiento delasopcionesdistractoras,etc. Estos indicadores clsicos del reactivo se pueden obtener de manera automtica con Kalt de uso general. Tambin se puede calcular mediante otros procedimientos especficosdeteoraderespuestaaltem,siseobtieneelpaquetedeKaltCriterial. Anlisisdedistractores

Para analizar cada una de las opciones de respuesta, se construyen tablas de contingencias con las opciones de respuesta y la frecuencia de respuestas de los sustentantes divididos en Grupos Superior (GS) e Inferior (GI) como una particin de la poblacinsustentante,divididaentrminosdelamediana. Para que un reactivo sea aceptable se deben verificar varias relaciones. Las verificaciones a realizar corresponden al funcionamiento de un reactivo en la tabla de contingencias,deacuerdoconlassiguientescondiciones: a) SeesperanmsrespuestascorrectasenelGrupoSuperiorqueenelInferior. b) Se espera que la diferencia en respuestas del Grupo Superior e Inferior sea por lo menosigualaunvalornormativode0.3deltotalderespuestascorrectas. c) SeesperaquelosdistractoresseanmsatractivosparaelGrupoInferiorqueparael Superior. d) Se espera que los distractores sean igualmente plausibles, es decir que no haya distractoresmsatractivosqueotrosyquenohayaunoenparticularquecompitacon larespuestacorrecta. Todas estas comparaciones fijan la validez de las opciones en trminos de la dificultaddelreactivoydelazardelasrespuestasdelossustentantes.Losreactivosque no cumplen con el patrn de cotejo por dificultad y por azar deben ser revisados o eliminados.Estasrelacionesestablecen,asimismo,losconjuntosdevaloresesperadospor azaroporgradodedificultad,conloscualessepuedenefectuarpruebasdehiptesis 2 (Chi cuadrada) para verificar ladiferenciaentrevaloresobservadosyvaloresesperados. Esta informacin ayuda a los redactores en la revisin y mejoramiento de aquellos distractores que no funcionan adecuadamente. El procedimiento est incluido en el software y permite el anlisis de todas y cada una de las preguntas de la prueba para mejorarlacalidaddelaevaluacin.

Para evaluar la dificultad del reactivo de una manera rpida y accesible utilizaremos la medida clsica del grado de dificultad como porcentaje de respuestas correctas.Tambinsepuedecalcularmedianteotrosprocedimientoscomoenelcasodel

43

anlisis de Rasch. En el Manual Tcnico del CENEVAL (1999), se describen ambos procedimientos.

Ejemploparaunclculorpido:
Supongamosquetenemosungrupode40estudiantesylesaplicamosunapruebaobjetiva con reactivos de cinco opciones de respuesta. Despus de calificar a los alumnos, los ordenamos desde el que obtuvo el mayorporcentajederespuestascorrectashastaelde menor porcentaje, y dividimos al grupo por la mediana de manera que nos quedan dos gruposigualesaloscualesdesignaremoscomogruposuperiorygrupoinferior.

Opciones Superior20 Inferior20 Total40 *=respuestacorrecta

Elndicededificultaddeacuerdoconelmodeloclsico,serlafrecuenciaderespuestascorrectas (15),entreelnmerototaldealumnos(40)yseexpresaentrminosdeporcentaje: GD= donde P=Totalderespuestascorrectasdelossustentantes N=Totaldesustentantes(slorespuestasvlidas)

A 1 5 6

B* 12 3 15

C 4 3 7

D 2 7 9

E 1 2 3

P x100 ; 0 GD 100% N

Ennuestroejemplo:

GD=15/40=0.375*100=37.5

Elreactivodelejemplotieneunvaloraceptableporqueseencuentraentreel20%yel80%, (anconelcriteriomsestrictode27%y73%queexigeKalt),observamosademsquese tratadeunreactivodifcilyaquelocontestaronmenosdel50%delosalumnos.

Ennuestroejemplo,elpoderdediscriminacindelreactivoes: PD=(123)/40 =9/40 =0.225 x100=22.50

Ylanormadiscriminativaes: ND=0.3xGD esdecir: 30%delGD 30%(37.5)=11.25

44

Larelacindiscriminativa: RD=22.5/11.25=2 2 1 porloqueelreactivoqueestamosanalizandoesaceptable.

Anlisisdelaprueba Desde la planeacin hemos trabajado en garantizar la validez de los exmenes que estamosconstruyendo,noobstante,ademsdelavalidacinlgicadecontenidodecada reactivodelaprueba,esnecesariohaceralgunosanlisisempricosapartirderesultados delasaplicaciones,quenospermitanverificarlacalidaddelaprueba. Latabladeespecificacionesyelperfilreferencialdevalidezelaboradosporgrupos colegiados o comits acadmicos, constituyen los fundamentos de la validez terica del instrumento. Son tambin instrumentos base para los procedimientos de validacin por jueces, lo cuales tienen que emitir juicios respecto a si los reactivos son adecuados y pertinentes al perfil referencial y a la tabla de especificaciones, y si el muestreo del universo es representativo. Al final de este documento se proporciona un ejemplo de formato que han de llenar los jueces que validen cada reactivo de una prueba objetiva (Anexo). Elconceptodevalidez Desde un punto de vista cientfico, la validez de constructo es en s la validez, mientrasquelosdemstiposdevalidez(predictiva,concurrente,convergente,factorial) pueden ser considerados ms bien como estrategias de coleccin y anlisis de datos empleadas para probar las conexiones conceptuales entre la medicin y el constructo (Angoff,1988;APA,AERA&NMCE,1999).Aquelnfasisestdadoensustentarelgrado en que los puntajes en la prueba representan la medida de la caracterstica o atributo psicolgicoquesesuponeevalalaprueba,esdecir,elconstructoterico,porloquees necesarioestablecerprocedimientosparalarevisinlgicadetaladecuacin,elanlisis de su estructura interna o el anlisis de la relacin de la prueba con variables externas (casodelavalidezconcurrente,opredictiva). La validezdeunainferenciadependedelaintencinespecficadelaprueba,del procedimiento usado, as como de las condiciones de la coleccin de los datos, de los procedimientosdeenjuiciamientoymedicinseguidos,delanlisisdelosprocedimientos empleados y de las caractersticas de las personas que proporcionan los datos y la informacin. Estas dependencias originan la identificacin de diversas fuentes de evidenciaquepuedenaclarardiversosaspectosdelavalidez,locualnosignificaquesean

45

distintostiposdevalidez.Lavalidezesunconceptounitarioyserefierealgradoenelcual laevidenciaacumuladaapoyalainterpretacindelasmedidasdelapruebadeacuerdo conelpropsitopropuesto. Enfuncindeestasformasdiversasdeobtenerevidenciasdevalidez,seadoptaron categoras tales como la validez de contenido, de constructo y de criterio, esta ltima subdividida a su vez en dos categoras denominadas predictiva y concurrente. Esto no implica que sean diferentes tipos de validez o que alguna estrategia de validacin sea mejorparacadatipodeterminadodeinferenciaousoposibledeunaprueba;dehechono esposiblehacerunadistincinrigurosaentreestascategoras. En la nueva versin de estndares de la APA, AERA, NMCE (1999) no se sigue ya con esta clasificacin; en cambio, se describen las fuentes de evidencia que pueden emplearseparaevaluarunainterpretacinpropuestadelasmedidasdeunapruebapara un propsito particular. En esta publicacin de estndares se presentan cinco fuentes o lneas de evidencia de validez, las cuales se describen en una breve introduccin del captulo que agrupa los 24 estndares de validez. En el glosario del documento, los autores proporcionan definiciones de los trminos, explicando la diferencia entre el uso tradicionalyelactual. Anlisisdeconfiabilidad Ademsdelavalidez,debemosdemostrarquelosexmenesqueconstruimosson confiables,esdecirquepodemosobtenerlamismamedicinendiferentescondiciones. Confiabilidadindicaconsistenciayprecisinenlamedicin. Enalgncasolacondicinserelpasodeltiempo(estabilidadtemporal),esdecir, quesinquemedieningnaprendizajeextra,lapersonaqueesmedidaendosmomentos diferentes debe dar las mismas respuestas al instrumento. Por el dinamismo que representa el proceso de aprendizaje el primer caso est expuesto a cambios en cortas temporadas,midindoseenmuchasocasioneslaestabilidaddelinstrumentoviciadacon el dinamismo de aprendizaje, por lo que no se sugiere realizar estudios de este tipo en perodosqueexcedanlostresmeses. Enunsegundocasolacondicinsersimilituddeinstrumentos(equivalencia),es decir, que un estudiante deber obtener calificaciones similares si se le aplican dos instrumentos de medicin formados con la misma cantidad de preguntas seleccionadas conndicesdedificultadsimilaresconbaseenunatabladeespecificacionescomn. Las mediciones en el rea educativa, a diferencia de aquellas efectuadas en las ciencias naturales, difcilmente mantienen una precisin exentadevariabilidadentreun instrumentoyotroapesardelosgrandesesfuerzosporbuscarlaequivalencia.

46

Eneltercercasolacondicinconsisteenlarelacinqueguardancadaunadelas partesdelinstrumento,conelresultadofinalqueseobtiene(consistenciainterna).Esto implica la relacin que guarda la calificacin total del estudiante con las calificaciones obtenidasenlostemasylaspreguntasqueintegranelinstrumento. La consistencia interna es, en la mayora de los casos, la forma ms estable de medir la confiabilidad de un instrumento. Adems, un estudio de consistencia interna permite la obtencin automtica de la validez terica, siempre y cuando el universo de conocimientosestbiendefinidoyelmuestreodelosconocimientossearepresentativo. Por esto y, asumiendo el cuidado requerido en la elaboracin de la tabla de especificaciones y la elaboracin de las preguntas que representen el conocimiento en formaampliayenlataxonomarequerida,seproponeunaformabrevedeobtencinde laconsistenciaenelinstrumento,incluyendoambosndicesrequeridos. La confiabilidad de un instrumento se acostumbra estimar por medio de la Alfa de Cronbach (o de CronbachHoyt), la cual parte de un anlisis de varianza mltiple, bajo ciertashiptesissimplificatorias.EnelsoftwareKalt,seobtieneelvalordelAlfamediante una forma directa, empleando solamente tres variables: el nmero de personas, la varianza muestral y los grados de dificultad de los reactivos, que son los parmetros empleadosgeneralmenteennuestromedio(Tristn,1996). Lafrmuladirectaparaelclculodelaconfiabilidades: ALFA= donde N=nmerodereactivos GD=Gradodedificultaddecadareactivo s2=varianzadepuntuacionesdelossustentantesenporcentajedeaciertos Encadaaplicacinseobtienedemanerarutinarialaconfiabilidaddetodoelinstrumento, ascomoportemaoreadelexamen.LosvaloresaceptablesdeALFAsecotejancontra unmodeloentrminosdelnmerodereactivos,buscandoentodosloscasoslosvalores msaltosdeALFA. Anlisisdeerrordemedida.

N GD(100 GD) 1 N 1 s2 N 2

47

MedianteelsoftwareKalt,seobtieneencadacorridaenformarutinariadiversos erroresdemedida(Tristn,1999).Enparticularsetienenlossiguienteserroresestndar: a)errorestndarparalamedia=

b)errorestndarparalamediana=

2N

c)errorestndarparaladesviacinestndar= d)errorestndardemedida= s 1 e)errordemedidadecadasujeto= t 0.975 ( M 1)

2N

s M 1

enestasexpresiones: M=nmerodereactivos N=nmerodesustentantes s=desviacinestndardelasdificultadesdelosreactivos t0.975(M1)=valordetdeStudentpara97.5%deconfianza(5%enpruebaestadsticade2 colas)paraMreactivos(M1gradosdelibertad) =confiabilidad(ALFAdeCronbach) =desviacindelaspuntuaciones =3.14159265359 Longituddelexamenydelassecciones Tanto los valores de confiabilidad como de error de medida, obtenidos de manera rutinaria,nospermitirnapoyarlatomadedecisionesrespectoaladeterminacindela longitudmsadecuadadelapruebaydelassecciones. Lalongituddelinstrumentosedeterminaenfuncindeestoselementosbsicos:las proporciones de reactivos especificadas en la tabla de validez de contenido, el tiempo disponible para la aplicacin del cuestionario y el error de medida deseable para dictaminar el nivel de desempeo o dominio de un sustentante. En relacin con las proporcionesyeltiempo,losconsejostcnicosdecidenenfuncindeexperienciasprevias o de opiniones sometidas a consenso. En el caso del error, en cambio, se dispone de un modelo matemtico. A partir de un modelo procedente de la teora de muestras pequeas se pueden encontrar lmites inferiores para el valor del error de medida que conducen, asuvez,a

48

longitudesdeunexamenopartesdelmismo(Tristn,1999).Eltamaodelamuestrade reactivosquedebeaplicarsealossustentantestieneunerrordadoporlaexpresin: s errordemedida t 0.975 ( M 1) M 1 donde: M=nmerodereactivos s=desviacinestndardelasdificultadesdelosreactivos t0.975(M1)=valordetdeStudentpara97.5%deconfianza(5%enpruebaestadsticade2 colas)paraMreactivos(M1gradosdelibertad) Sepuedeobtenerunatablaendondesepresentenalgunosvaloresindicativosdela longituddelexamenodesuspartes,enrelacinconelerrordemedidaesperado: error% Nmeromnimodereactivos

20 12

15 19

12 27

10 39

5 131

Lainformacinestadsticaqueseobtieneapartirdelateoraclsicadeanlisisde losresultadosdeunaaplicacindelosinstrumentos,estilparaeldiseodeversionesde exmenes vlidos, confiables y objetivos, adems de que permite la mejora continua tanto de reactivos, como de las versiones de examen que se diseen a partir de los mismos, razn por la cual siempre se recomienda hacer una aplicacin piloto de los exmenes,esdecirunaaplicacinqueenlamedidadeloposiblerepliquelascondiciones de una situacin de prueba, principalmente en trminos de la representatividad de la poblacinalaquesedirige. Enelcasodelaaplicacindeexmenesobjetivosagranescalaydealtoimpacto; los estndares de calidad de la APA (1999) exigen realizar anlisis de reactivos y del comportamientodelaprueba;enestoscasosresultamsapropiadocontarconmodelos logsticos de anlisis para integrar bancos de reactivos a partir de los cuales se puedan generar exmenes que cumplan tanto las especificaciones de una tabla de validez de contenido, como los estndares de calidad necesarios para garantizar un proceso evaluativotcnicamenteimpecable.

49

ReferenciasBibliogrficas
Agra, M. J.; Gewerc, A. y Montero, L. (2003): El portafolios como herramienta de anlisis en experienciasdeformacinonlineypresenciales.Espaa,Enseanza,21. AmericanPsychologicalAssociation,AmericanEducationalResearchAssociation,NationalCouncil onMeasurementinEducation(1999):StandardsforeducationalandpsychologicalTesting. Washington.APA. Arraiz, A. y Sabirn, F. (2005): El portafolios, una herramienta intersubjetiva para la evaluacin etnogrficadecompetencias.EnActasAIOSP/IAEVGInternacionalConference,Lisboa,14 16deseptiembre. Barber,E.(2005).Laevaluacindecompetenciascomplejas.EDUCERE.Vol.31. Barragn, R. (2005): El portafolio, metodologa de evaluacin y aprendizaje de cara al nuevo Espacio Europeo de Educacin Superior. Una experiencia prctica en la universidad de Sevilla,RevistaLatinoamricadeTecnologaEducativa,4(1). Bloom, B. et al. (1990): Taxonoma de los objetivos de la educacin: Clasificacin de las metas educacionales.BuenosAires:ElAteneo. Casanova,M.A.(1998):LaEvaluacinEducativa.Mxico,SEPCooperacinEspaola. Casanova, M. A. (2007): Manual de Evaluacin Educativa. 9 ed. Madrid, Espaa, Editorial la Muralla,S.A. Centro Nacional de Evaluacin para la Educacin Superior, (1999): Manual Tcnico. Mxico, CENEVAL. CommitteeonTestStandards:AmericanEducationalResearchAssociation,NationalEducation AssociationandNationalCouncilonMeasurementsUsedinEducation(1955):Technical recommendationsforachievementtests.Washington:TheNationalEducationAssociation. Danielson,C.yLeslie,A.(1999):UnaIntroduccinalusodeportafoliosenelaula.Mxico.Fondo deCulturaEconmico. Furst,E.J.(1994):Bloomstaxonomyphilosophicalandeducationalissues.EnL.W.AndersonyL. A. Sosniak (Eds.) Blooms taxonomy a frothyyear retrospective. 93rd Yearbook of the NationalSocietyfortheStudyofEducation. Gagn,R.M.(1970):Lascondicionesdelaprendizaje.Madrid:Aguilar. Gronlund,N.E.(1982):Elaboracindetestsdeaprovechamiento.Mxico:Trillas. Haladyna,T.M.(1997):Writingtestitemstoevaluatehigherorderthinking.Boston:Allyn&Bacon.

50

 Johns, J. (1992): How professionals view portfolio assessment en Reading Research and Instruction,nm.32,1. Jornet, J. M. (En prensa): La evaluacin de los aprendizajes universitarios. Publicaciones de la UniversidaddeCdiz. Jornet, J. M.; Snchez, P. y Leyva, Y. (2008) Dimensiones de clasificacin de los procesos de Evaluacin Educativa. En Jess M. Jornet y Yolanda E. Leyva (Coords.) Conceptos, metodologayprofesionalizacinenlaevaluacineducativa.INITE,Mxico. Klenowsky, V. (2005): Desarrollo del portafolios para el aprendizaje y la evaluacin: procesos y principios.Nancea,Madrid. Leyva, Y. E., (2009): Fundamentos de la educacin basada en competencias. (En prensa) Mxico, INITE. Leyva,Y.E.,yJornet,J.M.(2006).Elperfildelevaluadoreducativo.BoletnCENEVAL,n7(Nov.), pgs.26.Mxico:CENEVAL. Marzano,R.J.(2000):DesigningaNewTaxonomyofEducationalObjectives.CorwinPress,Inc.A SagePublicationsCompany.California. Marzano, R. J. (2006): Designing a New Taxonomy of Educational Objectives; 2nd. Ed., Corwin Press,Inc.ASagePublicationsCompany,California. Merrill,M.D.(1994):Instructionaldesigntheory.EnglewoodCliffs,NJ:Educational.

Miras,M.ySol,I.(1991):Laevaluacindelaprendizajeylaevaluacinenelprocesoenseanza aprendizaje.EnColl,C.,et.al.(Comp.)DesarrolloPsicolgicoyEducacinII.Psicologade laEducacin.Espaa:AlianzaEditorial. Murphy,R.(2006):Evaluatingnewprioritiesforassessmentinhighereducation.EnC.BryanyK. Clegg(Eds.)InnovativeAssessmentinHigherEducation.NewYork.Routledge. National Education Association (1993): Student Portfolios, Washintong, D. C. National Education Association. Poln,L.(1991):PortfolioAssessment.InTheWritingNotebook,Nm8,3 Ramos,G.Perales,M.J.yPrez,M.A.(2009):ElconceptodeEvaluacinEducativa.EnJessM. Jornet y Yolanda E. Leyva (Coomps.) Conceptos, metodologa y profesionalizacin en la evaluacineducativa.Mxico,INITE. Scriven, M. (1967): The methodology of evaluation: Perspectives of curriculum evaluation. AERA monographseriesoncurriculumevaluation,1,3983.Chicago:RandMcNally

51

SedaSantana, I. (2002): Evaluacin por portafolios. Revista Latinoamericana de Estudios Educativos.134. Stevens, D. D. & Levi, A. J. (2005): Introduction to Rubrics: An Assessment Tool to Save Grading Time,ConveyEffectiveFeedbackandPromoteStudentLearning.Canada,StylusPublishing, LLC. Tenbrink, Terry (1997): Evaluacin: Gua Prctica para Profesores. Madrid, Narcea S. A. de Ediciones.255273. Tuckman,B.W.(1979):Evaluatinginstructionalprograms.Boston:Allyn&Bacon. Tristn Lpez, Agustn (1995): Nuevas capacidades de Kalt para el dictamen de cuestionarios objetivos.MemoriadelIForoNacionaldeEvaluacinEducativa.Mxico:CENEVAL. Tristn,Agustn,(1996):FormulacindirectaparacalcularlaConfiabilidadconAlfadeCronbach, CuadernosdelCENEVAL961. Tristn, Agustn (1999) Contribucin al estudio del error de medida (parte 1). Notas sobre EvaluacinCriterial.CENEVAL/ICI. Tristn, Agustn (1999) Contribucin al estudio del error de medida (parte 1). Notas sobre EvaluacinCriterial.CENEVAL/ICI.

Yniz,C.yVillardn,L.(2006):Planificardesdecompetenciasparapromoverelaprendizaje.Bilbao, Mensajero.

Wiggins, G. (1989): A True Test: Toward More Authentic and Equitable Assessment. Phi Delta Kappan,70/9,703713.

52