EVALUACIN DE LA CALIDAD DE LA EDUCACIN

OEI

(*) Este trabajo fue elaborado por Alejandro Tiana y Horacio Santngelo, con la colaboracin de Francesc Pedr, para ser presentado como documento base en la VII Reunin Ordinaria de la Asamblea General de la OEI, celebrada en Buenos Aires del 26 al 28 de octubre de 1994.

Las polticas suelen y deben ser, en democracia, objeto de juicios por parte de la ciudadana. La poltica educativa lo es de modo muy especial por diversas razones: su carcter prcticamente universal, su relacin con el mundo de los valores, aspiraciones y expectativas, el hecho de tratarse de un proyecto colectivo, etc. Pero es importante que estos juicios se basen en evaluaciones lo ms objetivas posibles. Una evaluacin es, en cierto modo, un juicio hecho sobre un dato o conjunto de datos con referencia a determinados valores de referencia. La evaluacin de la educacin, si se postula como un elemento til para la poltica y la administracin de la educacin, no puede apoyarse en prejuicios o posiciones ideolgicas, sino que precisa de la existencia de un anlisis cientfico de la realidad que se enjuicia a la luz de valores explcitos de referencia. Si la evaluacin implica juicio, ste debe resultar de observaciones concretas basadas en normas o valores lo ms objetivos posibles. Dicho de otro modo, la evaluacin puede considerarse como la apreciacin sistemtica, sobre la base de mtodos cientficos, de la eficacia y de los efectos reales, previstos o no,

buscados o no, de las polticas educativas y del sistema educativo, tanto desde la perspectiva de un microenfoque -centrado en el aula o en el centro- como de un macroenfoque -centrado en los distintos niveles y modalidades y, tambin, en su conjunto-. ste es el sentido que en el presente documento se atribuye a la evaluacin de la educacin.

1. Gnesis y expansin del concepto evaluacin de los sistemas educativos

de

En trminos generales, la necesidad de proceder a una evaluacin objetiva de los sistemas educativos es un fenmeno relativamente reciente. De hecho, corre en paralelo a la consideracin de la educacin escolar como algo que concierne no slo al docente y al alumno, sino que tiene importantes implicaciones sobre cuanto acontece fuera del recinto escolar. Es a lo largo del siglo XIX cuando el progresivo proceso de conversin de la pedagoga en una ciencia, junto a los avances en el terreno de la psicometra, se traducen en la posibilidad de exmenes concebidos, administrados y sancionados por agentes distintos al docente, por los cientficos e investigadores de la educacin. Pero las relaciones entre estos avances y la administracin educativa eran por aquel entonces todava inexistentes, aunque pueda citarse el precedente de la Inglaterra de finales del XIX donde se instaur un sistema de retribucin a los maestros que tena en cuenta los resultados alcanzados por sus alumnos. A principios de siglo aparecieron las primeras tentativas de indicadores relacionados con los gastos escolares, las tasas de abandono o de promocin, etc., junto a los primeros tests estandarizados de concepcin psicomtrica. No es hasta los aos treinta cuando surgen, en los Estados Unidos, de la mano de la Carnegie Corporation y de los primeros institutos universitarios de investigacin educativa, las primeras aproximaciones alternativas al estudio de las diferencias entre los objetivos escolares y los logros alcanzados. Pero ser veinte aos ms tarde cuando la teora del capital humano ofrecer a la enseanza un importante instrumento para la planificacin educativa. Y desde su seno surgirn tres lneas paralelas de investigacin en materia de evaluacin de resultados: con respecto a las necesidades de mano de obra, a las tasas de rendimiento social y a la demanda social. En el tiempo, se produce una coincidencia entre estas lneas y los movimientos de reforma educativa que insisten en dotarse de mecanismos de evaluacin que prueben su bondad y mejora con respecto a los mtodos tradicionales. El nfasis en la objetivacin y la cuantificacin no tard en ser contestado en la dcada de los aos setenta por medio de una reaccin en pro de la evaluacin cualitativa. Los ochenta vern, pues, florecer un gran nmero de aproximaciones, contrapuestas algunas y complementarias otras, a la evaluacin de la educacin. En ltima instancia, la necesidad de una renovacin de la concepcin y prestacin del servicio pblico de la educacin, en el contexto de la crisis del Estado de bienestar, conducir en los noventa a un renacer de los

mtodos cuantitativos de evaluacin de la educacin, en sintona con nuevas frmulas de gestin y evaluacin de las polticas pblicas. Actualmente, tanto en Europa como en Amrica, los planes y las instituciones dedicados por entero a la evaluacin de la calidad de la educacin a escala nacional son una realidad que ha cobrado vida en muy poco tiempo. Este tipo de actuaciones se inicia con fuerza, en un primer momento, en aquellos pases que cuentan con una administracin educativa tradicionalmente descentralizada. En estos casos -sirvan de ejemplo los Estados Unidos e Inglaterra y Gales-, las autoridades centrales pueden ver en los mecanismos de evaluacin un procedimiento para recuperar o detentar el control de la informacin. Por otra parte, en los pases de estructura administrativa tradicionalmente centralizada -como Francia-, o que se hallan sumidos en procesos de descentralizacin -con destino a las regiones, como en Espaa, o a los propios centros escolares, como en los Pases Bajos-, los organismos y planes de evaluacin cobran vigor como mecanismos que posibilitan un seguimiento de las polticas educativas -y particularmente de las reformasmucho ms detallado, significativo y til a los efectos de coordinacin y toma de decisiones. La influencia que en estos desarrollos han tenido las iniciativas internacionales, y muy especialmente de la IEA (Asociacin Internacional para la Evaluacin de la Enseanza, desde 1962) ha sido muy importante, sobre todo cuando la publicacin de algunos resultados, a finales de los aos ochenta, puso de manifiesto que pases que han ido ganando terreno en trminos de competitividad econmica internacional a las grandes potencias, tambin han mejorado sensiblemente su posicin en el terreno de los resultados acadmicos, casi hasta extremos insospechados. Muy particularmente, los Estados Unidos se han visto afectados por una crisis de la imagen pblica de la educacin que se ha nutrido considerablemente de la posicin acadmica relativamente dbil que los escolares estadounidenses parecen mostrar comparativamente con respecto a los japoneses y a los alemanes, rivales tambin en el terreno econmico. No estar de ms recordar aqu que uno de los grandes textos que urgieron la necesidad de un escrutinio constante de los resultados acadmicos en los Estados Unidos a principios de los ochenta se titul, precisamente, Una nacin en peligro. Organismos internacionales como la OCDE y la Unesco han invertido en los ltimos aos grandes esfuerzos en la definicin de sistemas de indicadores internacionales de la educacin, con el convencimiento de contribuir as a mejorar el conocimiento que los polticos y administradores de la educacin tienen de sus propios sistemas con respecto a otros que pueden tomar como comparables y, por consiguiente, como referentes. En Amrica Latina, la diversidad y multiplicidad de experiencias es una constante desde los aos ochenta. Bastar recordar aqu desde las evaluaciones de programas especficos, como las realizadas en Mxico en 1978 (Cursos Comunitarios), en Colombia en 1979 (ICOLPE) o en Per en 1984 (PRONEI), hasta campaas de evaluacin de logros y rendimientos escolares de amplio alcance como en Chile desde 1982 (PER y SIMCE) o en Argentina desde 1993. Estas ltimas campaas tienden, cada vez ms, a

convertirse en un rasgo permanente de la labor que se espera lleven a cabo las administraciones educativas.

2. La evaluacin de sistemas educativos en su contexto

El reciente nfasis en la evaluacin de la calidad de la educacin aparece en un contexto muy preciso en el que coinciden, al menos, tres tipos de tendencias:

en primer lugar, las nuevas demandas que la sociedad y la economa proyectan sobre los sistemas educativos, en el marco de la internacionalizacin y de la incesante bsqueda de competitividad en los mercados mundiales, pero tambin de la mejora de la calidad; en segundo lugar, las crisis econmicas que, de modo recurrente, han afectado a la capacidad de dar salida a todas y cada una de las necesidades de orden social patentes en nuestras sociedades; no en ltimo trmino y en buena medida como resultado de los efectos de esas recurrentes crisis econmicas sobre la opinin pblica y sobre las ideologas, una nueva cultura -la rendicin de cuentas- que se acompaa de una falta de confianza en la capacidad del Estado para dar salida de modo eficaz, eficiente y econmico a todas y cada una de las necesidades que una poblacin cada vez ms exigente plantea.

Crisis econmica
Los efectos ms directos de la crisis econmica sobre los sistemas educativos se refieren, por supuesto, a la reduccin del gasto pblico. Pero hay otros efectos indirectos, no tan obvios, que tienen que ver con la manera como ese gasto se lleva a cabo. Por un lado, en una poca de crisis econmica no slo se reduce la inversin pblica, sino que se hace ms necesario establecer prioridades. Desde la perspectiva actual, la poca de las grandes inversiones en educacin, en capital y recursos humanos, veinte y treinta aos atrs, parece haber dejado la impresin de que el sistema educativo es un pozo sin fondo, que nunca puede llenarse y donde nunca hay suficiente para contentar demandas, cuantitativas y cualitativas, siempre crecientes. En el seno de cada pas, el gasto pblico en educacin tiene que competir con otras posibles inversiones cuyos resultados aparentan estar mucho ms al alcance de la mano, son mucho ms visibles y, en ltima instancia, rentables a corto plazo. En los ltimos aos la educacin ha dejado de ser la prioridad fundamental frente a otras preocupaciones como el desempleo, la ocupacin de los jvenes, la proteccin social y la recuperacin econmica. Paradjicamente, en un contexto de crisis, las demandas educativas an crecen ms, siguiendo su propia lgica de escalada. Los Estados, en semejante situacin, se ven sobrecargados de necesidades a las que deben dar salida, en una coyuntura econmica que no permite hacerlo con todas por igual. La solucin consistir en establecer prioridades para el gasto pblico. Estas prioridades pueden fijarse en funcin de diferentes criterios. Uno de los

posibles es la rentabilidad. El sector educativo puede ofrecer rentabilidad tan slo a largo plazo, lo cual le hace poco atractivo a quien desea ante todo resultados a corto plazo. Por consiguiente, los efectos de la crisis econmica coyuntural son mucho ms importantes que una simple reduccin monetaria o porcentual, ya que dan lugar a una nueva concepcin de la prestacin de los servicios pblicos: una prestacin basada en los principios de la rendicin de cuentas, la auditora y la evaluacin de resultados que, por otra parte, vienen a ejercer de contrapeso a una tendencia no menos comprensible hacia la descentralizacin de la administracin educativa y hacia la autonoma -curricular, econmica, de gestin- de los centros educativos. En suma, se trata de conferir autonoma para producir un servicio pblico de mayor calidad, ms eficaz y eficiente respecto de las demandas regionales o locales y ms econmico; a cambio, deben aceptarse las reglas impuestas por los necesarios mecanismos de evaluacin. Autonoma y descentralizacin s, pero con control de resultados.

Evaluacin y rendicin de cuentas

La rendicin de cuentas pretende destacar que es necesario controlar y evaluar, externamente a la escuela, el rendimiento y el logro de los alumnos, de los docentes, de los centros y del sistema en su conjunto. Se trata de conseguir que ste rinda cuentas, como empresa pblica que es, a la ciudadana en general y a sus representantes, del mismo modo que lo hacen las restantes empresas pblicas. De este modo se pretende conseguir un mejor conocimiento y uso de las condiciones ptimas que han de permitir lograr las finalidades y los objetivos sobre los que existe un acuerdo pblico. Aunque la rendicin de cuentas encuentra un eco generalmente favorable, como lo atestigua el creciente nfasis en la evaluacin, no faltan crticas. As, para algunos es la expresin de la ruptura del consenso acerca de qu es lo que la educacin debe aportar al individuo, a la comunidad y al pas. Otros ven en ella la mera trasposicin de unas actitudes y prcticas propias del mundo de la empresa, de la ingeniera y de la ciencia al aula, en una especie de reduccionismo. Sea como sea, la rendicin de cuentas no slo tiene que ver con la mejora del servicio pblico de la educacin, sino que es un nuevo paradigma de aplicacin en los restantes sectores de la actividad pblica y social que desarrolla el Estado. En parte, el debate sobre ella tiene que ver con la administracin y distribucin de los recursos humanos, econmicos y materiales, tareas que se han convertido en cotidianas y primordiales en los Estados modernos. Y, en esta medida, la rendicin de cuentas apunta a la naturaleza de la responsabilidad que se supone incumbe a quienes gestionan esa administracin. Por consiguiente, se trata de algo mucho ms amplio y complejo que el simple examen de los procesos y los productos educativos, pues cuestiona, en ltima instancia, quin debe determinar sobre qu debe rendirse cuentas, de qu modo, quin debe hacerlo y ante quin.

En este contexto, bien podra afirmarse que la evaluacin no es sino una forma distinta y nueva de hacer poltica y, ms concretamente, de explicar las polticas por medio de los logros alcanzados o, eventualmente, fallidos. No es extrao, pues, que la gran obsesin con que se abre la dcada de los noventa sea, sin duda alguna, la de la eficacia y, por ende, la del nfasis en la evaluacin de los sistemas educativos. En realidad, esto puede no parecer nuevo, puesto que ah estn los servicios de inspeccin escolar: todos los sistemas educativos cuentan con organismos y cuerpos administrativos destinados a controlar el funcionamiento de los mismos y a poner remedio a sus eventuales disfunciones. Este es el papel tradicionalmente asignado a los servicios de inspeccin, presentes bajo una u otra forma en la prctica totalidad de los sistemas educativos. Pero lo cierto es que las nuevas estrategias de evaluacin aparecen bajo el paradigma de la rendicin de cuentas y conllevan la creacin de instituciones ad hoc a las que se quiere imprimir un nuevo estilo de gestin.

3. Modelos e instrumentos
En trminos generales se parte de que la legislacin en vigor prev un mecanismo especfico de evaluacin, ya sea de los resultados globales del sistema de enseanza, ya sea de cada nivel concreto. As, las estrategias de evaluacin no slo tienen por objeto la regulacin y el desarrollo del sistema tareas tradicionalmente desempeadas por la inspeccin-, sino, por encima de todo, permitir la rendicin de cuentas por parte de las instituciones docentes y de los niveles de la administracin responsables de la puesta en prctica de las polticas diseadas. Y, no en menor medida, verificar que los contenidos y los objetivos de la educacin responden a las necesidades, intereses y capacidades de los alumnos. Para ello es necesario que los insumos (la especificacin de los objetivos y el contenido de la enseanza) puedan ser adaptados, cambiados y variados en funcin de los productos (resultados logrados por los alumnos) y viceversa. Para conseguirlo es preciso reforzar las unidades responsables de la evaluacin o bien crear otras de nuevo cuo, no tan slo en el nivel central sino tambin a escala regional o local. Por otra parte, tanto la legislacin como la presin de los parlamentos insisten en la necesidad de que los poderes pblicos, en diversos mbitos, publiquen regularmente informes de situacin sobre el estado de la enseanza basndose en el conjunto de informaciones disponibles, ya se trate de los datos ms aspticos de la investigacin-evaluacin o de los sondeos pblicos de opinin, como de los datos ms matizados procedentes de la inspeccin, de la investigacin-accin o de los resultados de los proyectos de centro. En general, los procedimientos adoptados dependen del modelo de administracin del sistema educativo. All donde existe una tradicin de gestin centralizada, las instituciones educativas y las autoridades locales y regionales tienen cada vez mayor responsabilidad en el terreno de la evaluacin. Se procura ampliar la gama de mtodos de evaluacin y, en la medida de lo posible, convertir la evaluacin en un proceso activamente participado por todos los actores. Por el contrario, all donde se emprenden procesos de

descentralizacin en profundidad o bien all donde han predominado tradicionalmente las estructuras descentralizadas, se intenta reinvestir de poder los proverbialmente mermados rganos centrales. De este modo pasan a disponer de un nuevo instrumento con el que supervisar las diferencias interterritoriales y corregirlas mediante polticas compensatorias que garanticen la equidad.

Modelos
Generalmente se suelen considerar cuatro modelos distintos de evaluacin que, a decir verdad, se corresponden con cuatro posibles funciones. Estos cuatro modelos no se encuentran reflejados en estado puro en ningn pas. Se presentan aqu, por tanto, a efectos ilustrativos. Son los siguientes: a) Modelo descriptivo. El objetivo final es realizar un inventario de los efectos de una poltica educativa dada. El ejemplo ms notorio es el inventario de los logros y rendimientos acadmicos de un nivel educativo. Idealmente, se trata de confeccionar una lista en la que se contabilizan los efectos o las variaciones entre un estado t y un estado t+n. Se busca exhaustividad -registrando cualquier variacin- y neutralidad. Se trata de informar: generar los datos y exponerlos, sin entrar en anlisis. b) Modelo analtico. Consiste no slo en registrar los resultados, sino en explicar por qu un objetivo o meta dados no se han alcanzado. Aqu se privilegian uno o varios parmetros que corresponden a las prioridades de la poltica educativa en curso, olvidando o relegando a un segundo trmino los dems efectos que aqulla hubiera podido crear en otros parmetros. Se trata de descubrir la distancia que separa los objetivos formulados de los alcanzados finalmente y de explicarla por medio del recurso a las condiciones que han presidido la ejecucin de esa poltica educativa. Se efecta un diagnstico y se explican las diferencias, atribuibles a fallos en el proceso de puesta en prctica de la poltica. c) Modelo normativo. A diferencia de los dos anteriores, en este modelo los evaluadores sustituyen los valores de referencia de quienes disearon la poltica educativa, cuyos efectos se examinan por otros distintos. La sustitucin puede ser debida a que los objetivos iniciales no eran claros y unvocos, a que no se comparten con los decisores o a que se asume abiertamente una poltica distinta. En este caso, la evaluacin no es til a los polticos sino puramente a los evaluadores. El resultado ser la propuesta de una poltica educativa distinta. d) Modelo experimental. Bajo este modelo se trata de descubrir si existen relaciones estables de causalidad entre el contenido de una poltica educativa determinada y un conjunto dado de fenmenos de ndole educativa que se dan en el terreno. Si la autoridad pblica decide que un programa escolar comprenda un cierto tipo de matemticas, por ejemplo, sus consecuencias determinarn el fracaso o el xito de los alumnos en el bachillerato. Se postula, pues, la existencia de correlaciones explicables entre causas, o variables independientes (el contenido del programa), y consecuencias, o variables

dependientes (los efectos a medio o largo plazo sobre la situacin acadmica de los alumnos). Se trata de sacarlas a la luz y, si es preciso, de realizar sobre el terreno y en pequeas muestras experimentos previos para poner a prueba las mejores soluciones, generalizables despus al conjunto.

Instrumentos y tcnicas
La evaluacin acostumbra a servirse de dos tipos de instrumentos: las tcnicas de explotacin de la informacin y los planes de investigacin. El uso de unas y otras no es de ningn modo excluyente.

las tcnicas de explotacin de la informacin: estudios de casos, anlisis de datos, tests sobre pequeas muestras, construccin de modelos, estudio de series estadsticas longitudinales, etc. En materia de evaluacin, su uso presenta un problema especfico, que es el del valor de la informacin tratada. Los datos cuantitativos son seguramente los ideales. Por ello no es extrao que una de las fuentes preferidas sea los resultados de los exmenes escolares o, alternativa o complementariamente, la realizacin de pruebas estandarizadas a toda una cohorte de la poblacin escolar; los planes de investigacin, procediendo del siguiente modo: identificando el objeto de evaluacin, midiendo las variaciones posibles, postulando qu hubiera sucedido si no se hubiera intervenido por medio de la poltica educativa en cuestin, y explicando lo acontecido. Para aislar este plan en las dimensiones del tiempo y del espacio se usan dos tipos de corte: o longitudinal: en diversos momentos temporales, por ejemplo cada dos aos, se miden los resultados acadmicos en matemticas de los alumnos de 12 aos de edad y se compara la evolucin. Cuando se introduce un cambio curricular los incrementos o decrementos sern atribuidos muy probablemente a su causa. o transversal: se comparan grupos simultneos de alumnos: uno con el currculum tradicional y el otro con el currculum reformado y se comparan los resultados; otra posibilidad consiste en examinar grupos simultneos en el tiempo pero de distinta localizacin geogrfica (regional, local).

Puede apuntarse, pues, que la distancia que separa el nfasis en las tcnicas de explotacin o en los planes de investigacin obedece a una distinta actitud: el predominio de las primeras acostumbra a indicar una manera de entender la evaluacin que slo pretende establecer mecanismos de control. El predominio de los planes de investigacin, por el contrario, indicara ms bien una apuesta decidida por la evaluacin como algo ms que un mero control, como una necesidad poltica y tcnica para orientar los procesos de toma de decisiones y, en suma, la mejora de la calidad de la educacin. En trminos generales, es posible afirmar que cualquier sistema de evaluacin de los sistemas educativos debera contemplar el empleo de cuatro tipos distintos de enfoques o lneas:

estudios estadsticos, con el objetivo de recoger todos los datos e informaciones estadsticas relacionados con el sistema educativo, incluyendo, adems, su adecuado tratamiento y puesta a disposicin de todos los posibles usuarios (administracin, investigadores, medios de comunicacin, etc.).

evaluacin de los alumnos, de carcter pedaggico; se trata de elaborar evaluaciones de mbito nacional o bien de aplicacin a una muestra estadsticamente representativa de un grado o nivel. En ningn caso el resultado de estas evaluaciones debe influir en el expediente acadmico de los alumnos, puesto que ste no es su objetivo. evaluacin de los recursos, para evaluar los efectos resultantes sobre la calidad de la enseanza. En esta lnea son especialmente significativos los estudios de evaluacin sobre los efectos de la formacin inicial y continua de los docentes y directores de centros. En ningn caso este tipo de evaluaciones debe interferir la labor que realizan los servicios de inspeccin o supervisin escolar. evaluacin de las innovaciones, de modo que su eventual generalizacin cuente con el respaldo de una evaluacin objetiva y cientfica. evaluacin de los centros de enseanza, con el objetivo de determinar cules son los factores de eficiencia, por medio del estudio y anlisis pormenorizados de cmo funcionan los centros donde los alumnos obtienen mayor rendimiento. evaluacin del sistema, con el objetivo de informar, con indicadores pertinentes cuidadosamente escogidos, acerca de los gastos, funcionamiento y resultados del sistema, sobre las disparidades geogrficas o de otra ndole.

Factores a tener en cuenta en la puesta en prctica de sistemas de evaluacin

Aunque la experiencia acumulada hasta el momento en esta materia es limitada y, paradjicamente, todava no ha sido objeto de procesos de evaluacin, lo cierto es que es posible sugerir algunas caractersticas que pueden tomarse como factores necesarios para el xito en la puesta en prctica de sistemas de evaluacin de la calidad de la educacin. En sntesis, podran ser:

Independencia: una relativa independencia de los organismos encargados de la evaluacin frente a los prescriptores, que permita el ejercicio de un espritu crtico responsable y basado en un cdigo deontolgico profesional. Estos organismos pueden ser, en parte, del gobierno, del parlamento, o totalmente autnomos (centros de investigacin, asociaciones, etc.); Cientificidad: como garanta de objetividad, que demanda una excelente capacitacin tcnica y pluridisciplinar de los evaluadores. Se deben emplear con rigor instrumentos empricos de medida, suficientemente comprobados y contrastados, tanto en la esfera de lo cuantitativo como en la mucho ms difcil de lo cualitativo; Transparencia: una transparencia suficiente de la informacin administrativa, que permita el acceso de todos los actores implicados a las fuentes. En el marco de un servicio pblico, la evaluacin no debe ser nunca confidencial; Pluralidad: una pluralidad de rganos de evaluacin que permita la emulacin entre expertos y su utilizacin por los decisores como bazas en la negociacin; por ejemplo, al servicio del poder ejecutivo, pero tambin del parlamento, de la administracin central y de las entidades locales. Participacin: Todos los actores implicados deben participar activamente, en alguna medida, en cualquier momento del proceso de evaluacin. Ello ayuda a distinguir entre control y evaluacin y, de otro lado, contribuye a difundir la cultura de la evaluacin entre todos los sectores.

La evaluacin internacional y los sistemas de indicadores

Es difcil escapar al atractivo de cualquier intento de situar los resultados del propio sistema educativo con respecto a otros de parecidas caractersticas. Hasta ahora, todos los intentos de evaluaciones internacionales han sido objeto de fuertes crticas de ndole epistemolgica y metodolgica, pero no por ello los medios de comunicacin han dejado de reproducir en lugar preeminente los resultados, especialmente cuando -por inesperados- pueden suscitar el debate en un pas dado. Es previsible que a corto plazo este tipo de evaluaciones internacionales se incremente porque el momento es especialmente proclive a acoger dichas iniciativas, pero los problemas de orden tcnico (en el diseo y ejecucin) e interpretativo (transferibilidad y comparabilidad de conceptos y datos) parecen, hoy por hoy, de difcil solucin. En cualquier caso, el prestigio de las entidades e instituciones organizadoras -independientes y no gubernamentales- justifica que se preste atencin a sus resultados. La lnea de investigacin sobre el diseo de indicadores internacionales de la educacin, aunque no exenta de problemas, parece mucho ms prometedora en el futuro. De un lado, permite avanzar en la creacin de un cuerpo internacional de conocimientos sobre los sistemas educativos; de otro, facilita una coleccin de indicadores con una utilidad evidente, tanto para enjuiciar la evolucin temporal del propio pas como para tener una indicacin con respecto a la posicin relativa que ocupa en el concierto de los pases de su ms inmediata referencia.

4. Usos de la evaluacin en poltica educativa

Resulta insuficiente presentar la evaluacin educativa como una mera exigencia de la correcta prestacin de un servicio pblico como la educacin. De hecho, la funcin evaluadora debe formar parte integrante de cualquier proceso orientado a la consecucin de resultados. Pero no es menos cierto que la informacin resultante de aplicar dicha funcin puede tener muchos usos alternativos o complementarios a los que cabe otorgar en el estricto marco del sistema educativo. En efecto, junto a los usos internos, directamente relacionados con los procesos, los resultados y, en sentido amplio, el gobierno de los sistemas educativos, resulta decisivo aplicar esas informaciones a otros usos que cabe concebir como externos, esto es, fuera de los estrictos lmites de los sistemas educativos.

Usos internos en relacin con las polticas educativas

La primera utilidad de la evaluacin de los sistemas educativos tiene que ver, lgicamente, con el gobierno de los mismos en el sentido amplio del trmino, es decir, con la recogida de informacin significativa para los procesos de toma de decisiones y para la reconsideracin, cuando sea oportuno, de las decisiones tomadas a la luz de sus efectos sobre el sistema educativo. Es difcil imaginar cmo, sin la existencia de procedimientos de evaluacin que suministren informacin significativa, puede procederse al seguimiento y eventual reorientacin de polticas educativas. Por todo ello, no es extrao que

los pases que han decidido poner en prctica sistemas de evaluacin en los ltimos aos estn ntimamente convencidos de que, pese a sus dificultades de todo orden, se han introducido en un camino sin retorno. Difcilmente sera hoy posible volver a aquellas pocas en que el gobierno de los sistemas educativos se basaba en informes retricos o en meras intuiciones. En este sentido, es posible destacar algunos posibles usos internos de la evaluacin en relacin a la poltica y a la administracin educativa. Sin ser excluyentes, intentan ofrecer una muestra de las distintas posibilidades que brinda un sistema de evaluacin de la calidad de la educacin. La evaluacin ha devenido un instrumento crucial tanto para el gobierno y conduccin de los sistemas educativos como, ms particularmente, para el seguimiento y la puesta en prctica de reformas educativas. a) Gobierno y conduccin de los sistemas educativos La funcin evaluadora debera incidir decisivamente en el gobierno y la conduccin de los sistemas educativos, mostrando esencialmente cules son los resultados conseguidos. En sntesis, es condicin imprescindible para la correcta formulacin de polticas educativas. Efectivamente, el diagnstico de los sistemas educativos, que suele identificarse con una foto fija, debe suceder en momentos sucesivos, lo cual, siguiendo con el smil, abocara a una imagen en movimiento que puede ser objeto de anlisis con mucha mayor profundidad, alcance y perspectiva. Cuando estos anlisis se hacen de forma recurrente en funcin de un conjunto de objetivos de poltica educativa claramente enunciados, la evaluacin suministra una base coherente para orientar un sistema educativo hacia el logro de dichos objetivos, para urgir intervenciones, cuando sean necesarias. Ms all de la funcin de diagnstico, que se corresponde a la necesidad interna del propio sistema educativo de promover un informe de situacin sobre procesos y resultados, la evaluacin tambin puede obedecer a criterios de control de calidad y eficacia de las polticas adoptadas; en suma, de evaluacin de polticas pblicas. b) Seguimiento y evaluacin de reformas educativas Las labores de gobierno y conduccin de los sistemas educativos incluyen el seguimiento y la evaluacin de polticas y reformas educativas. Buena parte de las polticas educativas, con cierta frecuencia, comprende procesos complejos de reforma estructural, organizativa o curricular. Estos procesos se acostumbran a acometer en tres fases, que corresponden al examen de alternativas, a la puesta en prctica de proyectos piloto o experimentales, y, finalmente, a la generalizacin de la reforma. En estas tres fases la informacin suministrada por los procedimientos de evaluacin es crucial para la toma de decisiones, con implicaciones no slo pedaggicas, sino tambin polticas, sociales y econmicas. E, igualmente, para difundir, como se ver ms adelante, los logros y problemas suscitados por la reforma en curso. En cualquier caso, conviene tener presente que no es por desgracia frecuente la evaluacin de polticas educativas y reformas educativas sobre la base de datos fiables, vlidos y representativos.

Usos internos en relacin con la administracin y gestin de los sistemas educativos

La evaluacin es conveniente para tareas de: a) Diagnstico. La evaluacin es un mecanismo privilegiado para la recogida de informacin significativa. Se trata, sin lugar a dudas, de convertir la recoleccin y procesamiento de datos de ndole estadstica en un conjunto ordenado de variables y de indicadores -concebidos como agrupaciones de variables-, que permitan conseguir una aproximacin al estado de la educacin, de sus sucesivos niveles y modalidades en un momento temporal dado. De esta forma, la estadstica de la educacin tiende a adoptar un talante mucho ms propenso al anlisis de fenmenos. Se trata, en suma, de responder a cuestiones relativas a qu es lo que sucede y sugerir, por medio de la interrelacin entre variables, por qu sucede. As, v.gr., la determinacin de los niveles de rendimiento escolar en distintos grados y su anlisis, por ejemplo, basndose en zonas o regiones, cobra sentido en cuanto, ms que una finalidad en s, deviene un instrumento para suscitar la mejora de la calidad. Por consiguiente, la evaluacin en la forma de centros especficos a ella dedicados, puede concebirse, en primer trmino, como un instrumento de investigacin social cuyo principal objetivo es el diagnstico de situaciones y el suministro de informacin sobre el comportamiento y la buena marcha del sistema educativo. b) Base para la toma de decisiones. Con cierta frecuencia, la puesta en prctica de polticas educativas y los sucesos que se desencadenan plantean alternativas y opciones para cuya resolucin se hace imprescindible tomar en consideracin los datos aportados por actuaciones puntuales de evaluacin, encaminadas precisamente a iluminar el proceso de toma de decisiones. Slo si un sistema educativo dispone de mecanismos estables y continuados de evaluacin podr producir informaciones tiles para alumbrar alternativas de modo rpido y fiable. c) Investigacin. La existencia de datos acumulados sobre el comportamiento de los sistemas educativos y sus resultados, permite ofrecer un capital nada despreciable a los investigadores de la educacin. Bien es verdad que la influencia sobre las polticas educativas de la investigacin educativa de corte acadmico ha sido ms bien reducida en los ltimos aos. Pero no lo es menos que nuestros pases siguen necesitando estudios e investigaciones que sugieran vas de mejora de la calidad. Estos estudios slo sern posibles si las administraciones educativas hacen un esfuerzo de acopio y difusin de datos sobre los sistemas educativos. d) Prospectiva. Anticipar las necesidades futuras es una de las grandes preocupaciones de los polticos y los administradores de la educacin. De nuevo las proyecciones y los estudios prospectivos slo tendrn visos de seriedad si se apoyan en un sistema coherente y fiable de informacin sobre el sistema educativo. En los aos noventa ya no basta con poner el acento en la evolucin de la demanda cuantitativa de educacin; es preciso anticipar

igualmente de qu modo se comportarn los flujos del sistema y cul ser la previsible evolucin en trminos de resultados, cuantitativos y cualitativos.

Usos externos
La informacin suministrada por la evaluacin de los sistemas educativos ofrece igualmente diversos usos externos a los directamente relacionados con la puesta en prctica de polticas educativas y con el gobierno y administracin de sistemas educativos. Ciertamente las polticas educativas, como gnero particular de las polticas sociales, son concebidas para dar salida a necesidades especficas cuya satisfaccin es relativamente difcil de evaluar por comparacin a otras polticas mucho ms fcilmente cosificables. Y esto es as en gran medida porque los efectos de las polticas educativas generalmente son apreciables slo a medio y largo plazo, y tambin porque la propia definicin del servicio pblico a prestar -la educacin- es de naturaleza, si no imprecisa, s al menos no unvoca. Y, desde luego, concurrente con otras fuentes educativas como la familia, los medios de comunicacin social o las organizaciones sociales, con las que no siempre se da la necesaria sintona ni en fines ni en medios. Disponer de datos contrastables, fiables y vlidos sobre los procesos y resultados educativos puede convertirse en un mecanismo de gran fuerza y legitimidad no slo para informar a la opinin pblica, sino incluso para transformar actitudes y prejuicios que debieran desaparecer o quedar en entredicho ante la presentacin de datos objetivos. Por desgracia, la imagen pblica de nuestros sistemas educativos no es, por razones de muy diversa ndole, favorable, pero sera inapropiado y contraproducente dar por sentado que esa imagen no pueda, de modo progresivo, cambiar y mejorar sobre la base de la formulacin de objetivos concretos de poltica educativa que, a la luz de evaluaciones sucesivas, se logran en gran medida. En una poca de escasez de recursos, tampoco est de ms sugerir que las inversiones educativas se traducen en logros efectivos, cuantificables si cabe. Pero esto no debe hacerse tan solo por un mero cambio en el modo de proceder en lo que respecta a la gestin de los recursos pblicos, que tienden a primar ahora la eficacia, la eficiencia y la economa, acaso por encima de otros criterios, sino porque la fe que aos atrs se tena en la inversin en capital humano como motor de desarrollo se ha convertido en una certeza demostrable. Ahora bien, este argumento se desmorona ante la opinin pblica, ante los medios de comunicacin o ante los restantes miembros de un gobierno, cuando no se pueden presentar datos y resultados fehacientes. Esta ltima consideracin apunta igualmente al valor estratgico de la educacin para el desarrollo. El debate poltico, econmico y social sobre el papel que la educacin debe jugar en el desarrollo del propio pas, debe hacerse desde la pluralidad de opciones, pero es obligacin de las administraciones educativas suministrar informaciones significativas que alumbren y enriquezcan estos debates.

Este uso estratgico debe acompaarse, con todo, de una especial sensibilidad hacia la educacin. Cuanto puede ganarse con mucho esfuerzo gracias a la evaluacin puede perderse en un momento si la presentacin de resultados no se reviste y acompaa del debido respeto hacia aquellos aspectos, ricos y variados, de los procesos educativos de los cuales los instrumentos de evaluacin slo pueden facilitar una ligera aproximacin. No se debiera olvidar que las cifras y los datos slo permiten entrever la complejidad de un aula en lo que respecta a las relaciones humanas que en su seno y en su entorno se desarrollan.

http://www.oei.es/oeivirt/rie10a09.htm