NACION ACREDIT CION CREDITA CONSEJO NACIONAL DE ACREDITACION

AUTOEVALUACIN CON FINES DE ACREDITACIN DE PROGRAMAS DE PREGRADO

Gua de Procedimiento -CNA 03Tercera Edicin

Edicin correspondiente a Lineamientos para la Acreditacin de Programas

Daro Abad Arango Martha Vitalia Corredor Guillermo Hoyos Vsquez Jess Virgilio Nio Cruz Jaime Restrepo Cuartas Harold Jos Rizo Otero Alberto Roa Varelo

Los siguientes acadmicos han pertenecido al Consejo Nacional de Acreditacin, en perodos anteriores: Luis Enrique Orozco Silva; Pedro Polo Verano; Ramss Hakim Murad; Rafael Serrano Sarmiento; Emilio Aljure Nasser; Carlos Augusto Hernndez Rodrguez; Jos N. Revelo Revelo; Bernardo Restrepo Gmez; Uriel Giraldo Galln;Edgar Daz Puentes; Guillermo Pramo Rocha.

Bogot D.C. Diciembre de 2003

AUTOEVALUACIN CON FINES DE ACREDITACIN DE PROGRAMAS DE PREGRADO.

Gua de Procedimiento -CNA 03Tercera Edicin Sistema Nacional de Acreditacin Consejo Nacional de Acreditacin ISSN 0123-0506 Derechos reservados Distribucin gratuita Prohibida su reproduccin con fines comerciales Diseo e Impresin: Corcas Editores Ltda Bogot D.C. Diciembre de 2003

Indice
Pg.

INTRODUCCIN ...................................................................................................... 5 1. EL PROCESO DE AUTOEVALUACIN ............................................................. 6 1.1. Orientaciones generales ................................................................................... 6 1.1.1. Liderazgo, consenso y participacin ............................................................. 8 1.1.2. Claridad y Transparencia ............................................................................... 8 1.1.3. Organizacin y Coordinacin ......................................................................... 8 1.1.4. Capacitacin .................................................................................................. 8 1.1.5. Articulacin con la planificacin .................................................................... 9 1.1.6. Calidad de la informacin ............................................................................... 9 1.2. ORIENTACIONES ESPECFICAS ................................................................... 9 1.2.1. Comunicacin y coordinacin ...................................................................... 10 1.2.2. Diseo del modelo de autoevaluacin .......................................................... 11 1.2.3. Sugerencias sobre ponderacin .................................................................... 11 1.2.4. Recoleccin de la informacin ..................................................................... 13 1.2.5. Emisin de juicios ........................................................................................ 14 1.2.6. Ejemplos de ponderacin ............................................................................. 16 1.2.7. Ejemplos de gradacin ................................................................................ 17 1.3. FUENTES E INSTRUMENTOS DEL PROCESO DE AUTOEVALUACIN .. 22 1.3.1. Fuentes .................................................................................................... 22 1.3.2. Instrumentos ................................................................................................ 24 2. EL INFORME DE AUTOEVALUACIN ............................................................. 27

Autoevaluacin con Fines de Acreditacin - Programas de Pregrado

AUTOEVALUACIN CON FINES DE ACREDITACIN DE PROGRAMAS DE PREGRADO

INTRODUCCION
El proceso de acreditacin, al que decide acogerse voluntariamente una institucin de educacin superior, se inicia formalmente con un proceso de autoevaluacin, que es responsabilidad de la respectiva institucin. El Consejo Nacional de Acreditacin, CNA, en un esfuerzo por facilitar las tareas de la autoevaluacin, de la evaluacin de pares y de la evaluacin final, public, en agosto de 2003, el documento gua bsica del proceso: Lineamientos para la acreditacin de programas. El ingreso formal al Sistema Nacional de Acreditacin y el proceso de autoevaluacin de programas con fines de acreditacin, solamente se puede iniciar una vez la institucin haya recibido, de parte del CNA, la visita de apreciacin de condiciones iniciales, con la que se determina si la institucin rene o no las condiciones que le permitan adelantar, con probabilidades de xito, procesos de acreditacin. Atendiendo a las observaciones del CNA, derivadas de esta visita, la institucin tomar la decisin de iniciar o no el proceso de autoevaluacin conducente a la acreditacin. Esta autoevaluacin debe culminar segn la fecha determinada en el cronograma presentado por la institucin. El Consejo Nacional de Acreditacin espera que el proceso de autoevaluacin y el informe que de l resulte, sean el resultado de un trabajo responsable y crtico de las comunidades acadmicas respectivas, de forma que el gran esfuerzo institucional y del programa respectivo, sirvan a los fines de la acreditacin y estn orientados a

Consejo Nacional de Acreditacin

fortalecer el compromiso institucional de mejorar continuamente la calidad de los programas acadmicos y, por tanto, el servicio pblico educativo que con ellos se ofrece. En esta direccin, esta gua de procedimiento, hace algunas sugerencias para facilitar a las Instituciones de Educacin Superior el desarrollo de los procesos de autoevaluacin con fines de acreditacin de los programas acadmicos de pregrado, que voluntariamente se acojan al proceso. Dado que ste es un acto voluntario y autnomo de cada una de las instituciones y programas, las recomendaciones presentadas aqu, son de carcter indicativo. Constituyen, pues, una base flexible a partir de la cual se extraigan los elementos para consultar las fuentes y elaborar instrumentos de evaluacin, pertinentes, adecuados y efectivos. La gua contiene orientaciones de carcter general, sugerencias para organizar el proceso, construir el modelo de autoevaluacin, realizar la ponderacin y la construccin de los juicios y para elaborar el informe de autoevaluacin. Incluye, algunos ejemplos sobre fuentes e instrumentos para recoger la informacin, que pueden ser tiles para lograr avanzar con xito en el proceso.

1. El PROCESO DE AUTOEVALAUCIN
1.1. ORIENTACIONES GENERALES
La consolidacin de una cultura de la evaluacin de la calidad es un presupuesto bsico de todas las instituciones de educacin superior que estn comprometidas con el mejoramiento continuo y la bsqueda de la excelencia. En este sentido, la autoevaluacin debe ser una prctica permanente, que posibilite una mirada crtica a la forma como las instituciones y los programas asumen el desarrollo de todos los procesos, de forma que aseguren la calidad de los servicios que

Autoevaluacin con Fines de Acreditacin - Programas de Pregrado

ofrecen. Si el proceso de autoevaluacin se realiza con fines de acreditacin, se deben seguir los lineamientos definidos para tal fin por el CNA*. El xito y la seriedad de un proceso de autoevaluacin exige que la institucin asuma el liderazgo del proceso y favorezca una amplia participacin de la comunidad acadmica en ste. No se puede perder de vista que esta mirada al interior, auto estudio, debe asumirse de manera integral, es decir, mediante la valoracin uno a uno de todos los procesos, con el propsito fundamental de identificar fortalezas, debilidades y plantear planes de mejoramiento, que tengan como finalidad mejorar la calidad del programa sometido al proceso de acreditacin y asegurar a la sociedad y al Estado, que cumple con los ms altos requisitos de calidad en el cumplimiento de sus propsitos y objetivos. La institucin evaluar la calidad de sus programas en trminos de las caractersticas de calidad que, agrupadas por factores, aparecen descritas en el documento Lineamientos para la Acreditacin de programas, Edicin de Agosto de 2003. Los juicios de calidad sobre las caractersticas, los factores y el programa sern construidos a la luz de los criterios sobre los cuales opera el Sistema Nacional de Acreditacin. Se sugiere que quienes lideran el proceso de autoevaluacin de los programas por acreditar, se familiaricen con estos criterios, que aparecen en el Captulo 7, numerales 7.1 a 7.10, del documento mencionado. Algunos de los elementos indispensables para el xito del proceso de autoevaluacin son los siguientes:

* Consejo Nacional de Acreditacin CNA. Lineamientos para la Acreditacin de Programas, Bogot D.C. Colombia. Agosto de 2003.

Consejo Nacional de Acreditacin

1.1.1 Liderazgo, consenso y participacin

Las directivas de la institucin y del respectivo programa deben asumir el liderazgo y promover la participacin y el compromiso de los diferentes estamentos en las actividades autoevaluativas. Igualmente, deben comprometerse a apoyar financieramente el proceso de autoevaluacin y la implementacin de las propuestas de mejoramiento de la calidad que resulten de este proceso.

1.2.2 Claridad y transparencia

La institucin debe disponer de polticas que hagan explcitos a toda la comunidad los propsitos y objetivos del proceso de autoevaluacin. Es importante que haya claridad y transparencia en la ejecucin y el desarrollo del proceso, de manera que se cree un clima de confianza y de seguridad, se facilite la mirada crtica y responsable de todos los elementos, evitando as malentendidos y conflictos.

1.1.3 Organizacin y coordinacin

Se recomienda constituir un comit institucional permanente de autoevaluacin que se encargue de planificar, dirigir, coordinar el proceso y revisar el informe final. Conviene que este comit est conformado por directivos, acadmicos de prestigio de la institucin y representantes de los estudiantes; y que est apoyado por grupos de trabajo en cada programa con el propsito de orientar el desarrollo del proceso, la redaccin del informe final por parte del respectivo programa, el diagnstico de problemas, la bsqueda de soluciones y la coordinacin de estrategias para sustentar e introducir los cambios que se requieran para mejorar la calidad.

1.1.4 Capacitacin
Es indispensable que las personas involucradas en la autoevaluacin con fines de acreditacin de un programa, en especial los acadmicos
8

Autoevaluacin con Fines de Acreditacin - Programas de Pregrado

que la lideren, se familiaricen con el contenido del documento Lineamientos para la Acreditacin de Programas, edicin de Agosto de 2003 y reciban una capacitacin previa en los procedimientos y las tcnicas de autoevaluacin, y en el manejo de los instrumentos que utilizarn en el proceso.

1.1.5 Articulacin con la planificacin

Es aconsejable que la institucin utilice los resultados de la autoevaluacin de los distintos programas para elaborar e implementar planes y proyectos de mejoramiento de la calidad, que se articulen a la planificacin institucional.

1.1.6 Calidad de la informacin

Para el desarrollo de la autoevaluacin se requiere disponer de informacin suficiente, confiable y transparente, sin exceder la que resulte pertinente y significativa para hacer un juicio sobre el cumplimiento de las caractersticas y para la toma de decisiones sobre el mejoramiento de la calidad. Es recomendable que la institucin mantenga archivos electrnicos con la informacin obtenida en la autoevaluacin.

1.2 ORIENTACIONES ESPECFICAS

Con el nico propsito de facilitar el proceso de autoevaluacin, el Consejo Nacional de Acreditacin estima conveniente poner a consideracin de las instituciones de educacin superior que hayan decidido acreditar programas de pregrado, las siguientes sugerencias de orden prctico:

Consejo Nacional de Acreditacin

1.2.1 Comunicacin y coordinacin

La participacin de toda la comunidad en los procesos de autoevaluacin, exige que se abran los espacios necesarios de comunicacin y coordinacin, que permitan acceder a toda la informacin necesaria para la construccin de juicios de calidad, soportados y argumentados desde las acciones de todos los participantes en los diversos procesos que desarrollan los programas y la institucin. Para esto se sugiere a la institucin: a. Conformar el comit institucional de coordinacin, al que se hizo alusin atrs, para que disee el modelo de autoevaluacin y oriente y coordine los diversos procesos. b. Crear mecanismos para dar a conocer a profesores, estudiantes, directivos y personal administrativo las polticas y el modelo de autoevaluacin, as como el cronograma de actividades en relacin con la autoevaluacin y la acreditacin. c. Promover la organizacin de grupos de autoevaluacin en los programas que han asumido voluntariamente el compromiso de realizar la acreditacin y orientar sus actividades. d. Realizar talleres con quienes van a intervenir en la autoevaluacin, con el fin de analizar el documento Lineamientos para la Acreditacin de Programas, edicin Agosto de 2003, con miras a familiarizarlos con el modelo de acreditacin y capacitarlos en aspectos procedimentales. e. Definir los instrumentos y los mtodos para la recoleccin de la informacin necesaria y pertinente dentro del proceso de autoevaluacin.

10

Autoevaluacin con Fines de Acreditacin - Programas de Pregrado

1.2.2 Diseo del modelo de autoevaluacin

Es preciso que la institucin disee un modelo de autoevaluacin construido a partir de una poltica de mejoramiento de la calidad formulada por sus rganos de direccin. En este sentido cada programa definir el modelo de autoevaluacin considerando la formulacin de los objetivos que se persiguen con el proceso, la descripcin de la metodologa, la definicin de los componentes del modelo y sus interrelaciones. Este modelo ser la base sobre la cual se soportarn las dems etapas del proceso, por lo que ha de reflejar todas las especificidades del programa que garanticen la excelencia.

1.2.3 Sugerencias sobre ponderacin

Como se seala en la edicin de Agosto de 2003 de Lineamientos para la Acreditacin de Programas, indicadores, caractersticas y factores deben ser sometidos al reconocimiento diferenciado de su importancia como elementos que se utilizan para evaluar la calidad; esto puede traducirse eventualmente en que se les asignen valores relativos dentro del conjunto al que pertenecen. Esta jerarquizacin debe hacerse antes de entrar a calificar el desempeo de la institucin o del programa con respecto a cada uno de esos elementos. La importancia relativa de los elementos, establecidos antes de la evaluacin, define su incidencia en la calidad global del programa. La asignacin de pesos distintos a las diversas caractersticas (ponderacin) no significa que la evaluacin se convierte en un proceso cuantitativo; debe recordarse que esa ponderacin resulta de un anlisis cualitativo de la incidencia de cada caracterstica en una totalidad determinada por la naturaleza del programa y por un proyecto institucional, que responde a ideas sobre la sociedad, la cultura y la educacin superior. En estas condiciones, la ponderacin refuerza y explicita, pero no sustituye, el anlisis cualitativo, razn por la cual la ponderacin previa debe ser claramente justificada. Es importante aclarar que, al hacerse la ponderacin de los indicadores que corresponden a una caracterstica, slo se pretende asignar a cada una de stas un mrito relativo en cuanto dimensin del

11

Consejo Nacional de Acreditacin

cumplimiento de la caracterstica correspondiente, ponderacin que no le otorga mayor o menor peso intrnseco. El proceso de definicin de la ponderacin y su justificacin, es fundamentalmente acadmico y la responsabilidad de su desarrollo en la etapa de autoevaluacin es de las respectivas comunidades institucionales y; en el caso de la evaluacin externa, de los pares acadmicos. En este proceso se harn lecturas diferenciadas de las caractersticas, segn el tipo y la clase de programa de que se trate y de acuerdo con la especificidad de la misin y del proyecto institucional. Es dable ponderar primero los factores, luego ponderar las caractersticas referidas al factor en el que estn inscritas, para posteriormente ponderar los indicadores referidos a cada una de las caractersticas. Sin embargo, dado que la calidad se reconoce fundamentalmente a travs de las caractersticas, y puesto que la agrupacin de stas en factores es un tanto arbitraria y ms bien asunto de conveniencia para efectos de la organizacin del trabajo de evaluacin, recomendamos que se intente primero una ponderacin de cada caracterstica, refirindola a la calidad de la institucin o del programa y no simplemente al cumplimiento del factor en el que est ubicada. Ponderar el conjunto de las caractersticas teniendo como referente la calidad global, o ponderar las caractersticas referidas a un factor y luego ponderar los factores, son enfoques vlidos; en todo caso, se debe evitar dar la misma importancia o el mismo peso a todos los elementos de un conjunto (lo que equivaldra a no hacer una verdadera ponderacin) o ponderar las caractersticas referidas solamente al factor correspondiente para luego darle a todos los factores el mismo peso. La ponderacin se puede hacer de diversas maneras: Se pueden ubicar los elementos en orden de importancia dentro del conjunto; se les puede ubicar clasificndolos en grupos de mayor o menor importancia o se puede asignar a cada elemento un valor dentro de una escala numrica, por ejemplo de 0 a 100. La referencia, en cada caso, puede ser el conjunto al que pertenecen o la calidad globalmente

12

Autoevaluacin con Fines de Acreditacin - Programas de Pregrado

considerada. Los mtodos de ponderacin que se utilicen deben incluir el reconocimiento de la importancia crtica de determinadas caractersticas, decisivas para juzgar la calidad total del programa, importancia que los evaluadores han de tener en cuenta, independientemente de los mtodos de ponderacin empleados. Debe advertirse que la utilizacin de mtodos numricos no implica un desconocimiento de la importancia de hacer juicios integrales sobre la calidad y de tener muy en cuenta los aspectos cualitativos de la evaluacin. De hecho, consideramos que la ponderacin debe ser un ejercicio fundamentalmente cualitativo, que puede traducirse, por razones prcticas, en equivalentes numricos. As mismo, la calificacin sobre el grado de cumplimiento, en el caso de cada caracterstica, puede ser puramente cualitativa, no obstante que dicho grado de cumplimiento se exprese con un equivalente numrico. A manera de ilustracin, incluimos en el apartado 1.2.6 ejemplos de ponderacin. Las decisiones de la institucin y del programa en materia de ponderacin, un proceso que incide tan decisivamente sobre los posibles resultados de la evaluacin, deben ser suficientemente justificadas. Por otra parte, al hacer esta ponderacin o jerarquizacin de las caractersticas y dems elementos del modelo, debe considerarse que se trata de acreditar programas de pregrado y no instituciones. Por tanto, la ponderacin o jerarquizacin de las caractersticas y dems elementos del modelo exige partir de una comprensin holstica o global del programa. La ponderacin debe ser entendida como una manera de hacer visible, previa justificacin, la especificidad del programa y el modo como la institucin lo orienta teniendo en cuenta referentes universales y la misin y el proyecto institucionales.

1.2.4 Recoleccin de la informacin

Terminada la fase de diseo del modelo, el grupo responsable de la autoevaluacin del programa, con la orientacin del comit institucional,

13

Consejo Nacional de Acreditacin

proceder a recoger la informacin relativa a los indicadores correspondientes a cada una de las caractersticas de calidad definidas por el Consejo Nacional de Acreditacin y agrupadas en los siguientes factores de anlisis: 1) Misin y Proyecto Institucional (Caractersticas 1 a 4). 2) Estudiantes (Caractersticas 5 a 9). 3) Profesores (Caractersticas 10 a 17). 4) Procesos Acadmicos (Caractersticas 18 a 31). 5) Bienestar Institucional (Caracterstica 32) 6) Organizacin, Administracin y Gestin (Caractersticas 33 a 36). 7) Egresados e Impacto sobre el Medio (Caractersticas 37 a 39). 8) Recursos Fsicos y Financieros (Caractersticas 40-42).

1.2.5 Emisin de juicios

Una vez completado el proceso de ponderacin, se puede proceder a calificar el grado de cumplimiento de cada caracterstica, utilizando una escala numrica o una no numrica como la que se sugiere en esta gua. De la combinacin de la ponderacin de cada caracterstica con la calificacin de su grado de cumplimiento (gradacin en el juicio) se obtiene la valoracin de las caractersticas y del factor al que pertenecen. De esta manera se tienen los fundamentos para juzgar cun cercano est el programa o la institucin del logro mximo de la calidad. La calificacin del grado de cumplimiento y la emisin de juicios resultantes, deben ser procesos fundamentalmente acadmicos que,

14

Autoevaluacin con Fines de Acreditacin - Programas de Pregrado

en el caso de la autoevaluacin, estarn a cargo de las respectivas comunidades institucionales y, en el caso de la evaluacin externa, a cargo de los pares acadmicos. En todos estos procesos se harn lecturas diferenciadas de las caractersticas, segn el tipo y la clase de programa de que se trate y de acuerdo con la especificidad de la misin y del proyecto institucionales. La emisin del juicio integral sobre la calidad del programa, puede realizarse con o sin la intermediacin de equivalentes numricos. Tanto en el caso de la autoevaluacin que realizan las instituciones como en lo referente a la evaluacin externa que efectan los pares, la importancia relativa de las caractersticas responde a consideraciones cualitativas y a ideas sobre la educacin y la formacin en las distintas reas. Esto requiere un anlisis crtico de los elementos subjetivos involucrados en las evaluaciones. Aunque no es posible eliminar completamente la subjetividad en los juicios, s se puede ejercer un control crtico a travs de la contrastacin de opiniones argumentadas, a travs de la intersubjetividad. Por esa razn se insiste en que la autoevaluacin debe ser un proceso participativo y en que el juicio de los pares debe resultar de un consenso de equipo. Dado que se trata de un proceso mediante el cual se est tratando de construir un juicio de calidad de un programa, algunas caractersticas pueden ser tan importantes que su cumplimiento se constituye en un requisito indispensable para reconocer que un programa cumple con las altas calidades que exige la acreditacin. Al respecto debe considerarse que el reconocimiento de la importancia determinante de una caracterstica puede no ser explcito en la asignacin de los pesos relativos; sin embargo, el anlisis cualitativo de los resultados tendr en cuenta el carcter definitorio de su cumplimiento en la construccin del juicio global sobre la calidad. Adems, debe tenerse en cuenta que la calificacin hace referencia a la realidad de la calidad ya alcanzada en relacin con cada caracterstica, es decir, que en esta calificacin no se tendrn en cuenta simples planes de mejoramiento y los propsitos de

15

Consejo Nacional de Acreditacin

implementacin que muestren las directivas institucionales. Sin embargo, la institucin puede aportar evidencias de las acciones que est adelantando para lograr un mayor grado de cumplimiento de una determinada caracterstica. Finalmente, los juicios sobre el cumplimiento de las caractersticas permitirn hacer una apreciacin global sobre la calidad del programa y sobre cada uno de los ocho factores de anlisis sealados en la pgina 49 de Lineamientos para la Acreditacin, Edicin Agosto de 2003. El Consejo Nacional de Acreditacin, tal como se esboza en los Lineamientos para la Acreditacin y en esta gua, considera que el juicio sobre la calidad de un programa es un proceso fundamentalmente cualitativo que se basa en un anlisis integral de las caractersticas de calidad y de los factores que las agrupan. El hacer referencia a la necesidad de tener en cuenta todas y cada una de las caractersticas persigue asegurar que la evaluacin sea completa y que facilite detectar, adems de fallas de conjunto, debilidades especficas. Al finalizar la elaboracin de los juicios sobre el cumplimiento de las caractersticas de calidad, se sugiere discutir los resultados de la autoevaluacin con los diferentes estamentos del programa y con otras personas de la institucin, de suerte que estos debates permitan clarificar las fortalezas y debilidades del programa, verificar su calidad y generar compromisos personales e institucionales para un mejoramiento continuo.

1.2.6 Ejemplos de ponderacin

Se pueden escoger sistemas de ponderacin no numricos. Por ejemplo, se pueden ordenar todas las caractersticas segn su importancia en la evaluacin global de la calidad del programa o dentro del factor al que pertenecen o, si no se pretende ser tan discriminativo entre caractersticas de similar importancia, se las puede clasificar en unos pocos grupos de mayor a menor importancia relativa.

16

Autoevaluacin con Fines de Acreditacin - Programas de Pregrado

1.2.7 Ejemplos de gradacin

As mismo, para efectos de la calificacin del grado de aproximacin de las caractersticas al logro ideal, se pueden usar escalas no numricas como la siguiente: A: B: C: D: E: Se cumple plenamente. Se cumple en alto grado. Se cumple aceptablemente. Se cumple insatisfactoriamente. No se cumple.

Tambin puede usarse ponderaciones de tipo numrico como las que contienen las tablas siguientes, que corresponden a situaciones hipotticas, en las que a las caractersticas se las designa por un nmero y se las agrupa arbitrariamente en factores. No sobra insistir en que esta manera de ponderar no es la nica forma posible de hacerlo.

17

Consejo Nacional de Acreditacin

Factor

Caracterstica

Ponderacin como importancia relativa respecto al total. Escala de 1 a 10

Ponderacin del factor, derivada de la ponderacin de las caractersticas, expresada en relacin con el conjunto

A A A A Total Factor A B B B Total Factor B C C C Total Factor C D D D Total Factor D E E Total Factor E Total General

1 2 3 4

2 2 3 5 12 17.9%

5 6 7

4 5 1 10 14.9%

8 9* 10

8 10 6 24 35.8%

11 12 13

2 1 10 13 19.4%

15 16

3 5 8 67 11.9% 100%

*Caractersticas de importancia crtica. 18

Autoevaluacin con Fines de Acreditacin - Programas de Pregrado

En este ejemplo, las caractersticas 9 y 13 han recibido una ponderacin de 10, pero la nmero 9 se ha marcado con un asterisco para sealar su importancia crtica en el juicio sobre la calidad. Si esta caracterstica no se cumple aceptablemente, puede concluirse que el programa no ha alcanzado niveles altos de calidad. En esta gua se sugiere, como se ha dicho y se reitera ms adelante, que para los juicios se haga una gradacin de tipo cualitativo. Sin embargo, para continuar desarrollando los ejemplos que acabamos de presentar, vamos a suponer que el cumplimiento de cada caracterstica se grada dentro de una escala de 0 a 5. De esta manera, y si utilizramos el enfoque de ponderar la importancia de las caractersticas con respecto a la calidad global del programa, en el proceso de evaluacin se podra llegar a una situacin hipottica como la siguiente:

19

Consejo Nacional de Acreditacin

1 Factor

7 6 5 4 3 Evaluacin Logro Relacin Ponderacin Grado de 2 con el ideal: cumplimiento teniendo como Caracte- importancia Escala de logro Cada en cuenta rstica la ponde- elemento ideal: 0a5 relativa evaluado Mximo racin respecto al posible con 5 total. (1.0) Escala de 1 a 10

A A A A Total factor A B B B Total factor B C C C Total factor C D D D Total factor D E E Total factor E Total general

1 2 3 4

2 2 3 5 12

3 4 4 2

6 8 12 10 36

10 10 15 25 60 20 25 5 50 40 50 30 120 10 5 50 65 15 25 40 335

0.6 0.8 0.8 0.4 0.60 0.6 0.8 0.8 0.72 0.2 0.2 0.4 0.25 0.8 0.6 0.2 0.32 0.8 0.6 0.68 0.45

5 6 7

4 5 1 10

3 4 4

12 20 4 36

8 9* 10

8 10 6 24

1 1 2

8 10 12 30

11 12 13

2 1 10 13

4 3 1

8 3 10 21

15 16

3 5 8 67

4 3

12 15 27 150

*Caracterstica de importancia crtica 20

Autoevaluacin con Fines de Acreditacin - Programas de Pregrado

En el ejemplo que acabamos de presentar se ha utilizado, para cada caracterstica, el mismo resultado de la ponderacin (columna 3) que aparece en la primera tabla. La columna denominada grado de cumplimiento hace referencia al estimativo que se hace, en relacin con cada caracterstica, de cun aproximado est el programa a un cumplimiento ptimo. Una calificacin de 5 es el reconocimiento de que ese ptimo se ha alcanzado. Para precisar el peso que en una situacin real tiene cada caracterstica, y para el efecto final de evaluar la calidad, se tiene en cuenta simultneamente el mrito relativo que se ha asignado a las caractersticas, es decir, su ponderacin (columna 3) y la calificacin del grado de cumplimiento de cada una (columna 4). El resultado de este proceso es la evaluacin a que hace referencia la columna 5, que es simplemente la multiplicacin de los valores de la columna 3 por los de la columna 4. En la columna 6 se indica, para cada caracterstica, la calificacin ideal que se podra lograr, es decir, la nota mxima posible (5) multiplicada por cada uno de los valores de ponderacin (columna 3). Finalmente, para reconocer la cercana al ideal en cada caracterstica (y por derivacin en el conjunto) se hace el cociente entre el valor obtenido en la evaluacin (columna 5) y el valor ideal correspondiente (columna 6). Estos cocientes se muestran en la columna 7 como relacin con el logro ideal. Si se quisiera expresar este resultado como porcentaje del logro ideal, bastara multiplicar por 100 los valores de la columna 7. En estos ejemplos se resalta la importancia de la ponderacin. As, si en el ltimo caso se hubiera prescindido de la ponderacin, el resultado final, es decir, el grado de aproximacin al logro ideal, hubiera sido 0.57 en vez de 0.45. En los ejemplos anteriores se han sealado caractersticas que se consideran de importancia crtica en una evaluacin global de la calidad. Como se expresa en la edicin de agosto de 2003 de los Lineamientos para la Acreditacin de programas y en la Gua para la Evaluacin Externa, la valoracin de esas caractersticas es decisiva en la fundamentacin del juicio sobre la calidad de un determinado programa. Su mrito ira an ms all de lo que sugiere el alto peso relativo que se les otorga en el ejemplo numrico acabado de presentar.
21

Consejo Nacional de Acreditacin

1.3 FUENTES E INSTRUMENTOS DEL PROCESO DE AUTOEVALUACIN

1.3.1 Fuentes
Formalmente se definen las siguientes fuentes de informacin para los procesos autoevaluativos: Fuentes Documentales y Fuentes No Documentales. Las fuentes documentales, revisten especial importancia porque dan cuenta de la historia del programa y de la institucin, as como de sus criterios y directrices expresadas en las declaraciones de visin, misin, metas, polticas, procesos, procedimientos, actividades, estatutos, reglamentos, resultados de anteriores evaluaciones y registros estadsticos del programa. Las fuentes no documentales, que denominamos actores son los miembros de la comunidad universitaria y los del sector externo, responsables y protagonistas de los hechos que son objeto de evaluacin y quienes podrn identificar y expresar las fortalezas y debilidades. Los actores presentan particularidades en su papel institucional, y es indispensable entender y definir sobre qu asuntos y bajo qu criterios se pronunciarn. En la medida en que tales actores participen ms, se sientan ms comprometidos y tengan un mayor sentido de pertenencia, expresarn mayor lealtad con las metas del programa y de la institucin, y con los principios de la autoevaluacin para el desarrollo y mejoramiento. Los actores, intervienen dinmicamente en el proceso formativo como partcipes, en los asuntos que ms les competen, y como observadores participantes en otros. En el ejercicio autoevaluativo, los actores, movilizarn tanto su autoevaluacin como individuos miembros de una colectividad con propsitos y metas y se posicionarn respecto de ellas, como se constituirn en observadores participantes de proceso formativo del programa y de la institucin.

22

Autoevaluacin con Fines de Acreditacin - Programas de Pregrado

Presentamos a continuacin, una lista sucinta de las fuentes no documentales -actores- y la pertinencia de su participacin en el proceso autoevaluativo. Profesores: su compromiso con la actividad docente, investigativa y de extensin, se constituye en el ncleo de la calidad de un programa. Este protagonismo le confiere una importancia especial en el proceso de reflexin y anlisis, tanto sobre su propio quehacer, como sobre el conjunto de polticas y recursos acadmicos y administrativos que sustentan la calidad de un programa. Personal administrativo y directivo: son una fuente privilegiada para obtener informacin de primera mano sobre la organizacin y los procesos internos de un programa. Estudiantes: los estudiantes son los sujetos protagnicos y a la vez los destinatarios del proceso formativo del programa y de la Universidad. Ellos darn cuenta, no slo de su satisfaccin respecto del proceso formativo sino de su grado de compromiso y participacin. Egresados: los egresados son, en su ejercicio profesional, los representantes ante la sociedad, del proceso de formacin, vivenciado en el Programa acadmico; por lo que estn en capacidad de reflexionar, dar cuenta de dicho proceso y confrontarlo con su actuar en la sociedad en la que se hallan insertos. Empleadores y Representantes de Agencias Gubernamentales y otras entidades: son, no slo quienes reciben a los egresados, que pasaron por un proceso de formacin, sino que interactan con los procesos resultantes de las funciones de investigacin y extensin del programa acadmico y de la universidad en general. Tendrn ellos una visin de la pertinencia y de la idoneidad de los resultados de las funciones sustantivas de la universidad y evidenciarn el grado de interaccin y comunicacin para el desarrollo social, cientfico y tecnolgico, en que se halla comprometido el programa.

23

Consejo Nacional de Acreditacin

Cada institucin deber decidir, segn sus circunstancias o la complejidad del programa, cules son las fuentes ms adecuadas para recolectar la informacin que se necesite. La sugerencia de mltiples fuentes para algunos indicadores corresponde a la necesidad de obtener mayor confiabilidad de la informacin al ser contrastada con ms de una fuente y asegurar de esta forma que la informacin sea completa y sin sesgos. Para la seleccin de las fuentes documentales relativas a evaluaciones previas disponibles, es de mucha utilidad, observar la especificacin de las decisiones planteadas, cul es la informacin que ofrece y el uso racional de la misma; la fuente primaria de datos, las polticas para la evaluacin y el acceso a la fuente de datos. En todos los casos es necesario que la seleccin de las fuentes siga dos principios: la pertinencia y la adecuacin. La pertinencia tiene que ver con la identificacin y el logro de la colaboracin de quienes pueden aportar la mejor informacin para el elemento que se est analizando. La adecuacin significa contar con los datos suficientes para realizar juicios de cumplimiento rigurosamente argumentados.

1.3.2 Instrumentos
La recoleccin de los datos exige tambin la definicin y utilizacin de instrumentos vlidos y confiables, que permitan tener seguridad en la informacin que se obtiene y basar la construccin de los juicios en sta. Los instrumentos deben ser elaborados en funcin de la estructura de la institucin y del programa en particular. En todos los casos se hace necesario que los instrumentos cumplan con las dos caractersticas fundamentales que deben tener: la confiabilidad y la validez. La validez de un instrumento se refiere al grado en que ste realmente mide lo que quiere medir y la confiabilidad se refiere a que el instrumento recoge la informacin con un mnimo grado de error. En esta direccin se proponen instrumentos como los documentos, las encuestas, las entrevistas y los talleres. Los documentos permiten identificar de forma exacta y precisa, informacin valiosa respecto del proyecto institucional; de las polticas,

24

Autoevaluacin con Fines de Acreditacin - Programas de Pregrado

estrategias y de la reglamentacin para el desarrollo de todos los procesos acadmicos y administrativos de la institucin; la planeacin y evaluacin institucional; la estructura organizacional; las funciones propias de las diversas unidades, as como los derechos y deberes de los diversos actores de la comunidad institucional; la administracin y disponibilidad de recursos financieros, educativos y de infraestructura; las polticas para la seleccin, evaluacin, promocin y estmulos a los diversos actores de la comunidad; el proyecto curricular y el modelo pedaggico; la vinculacin de la institucin y de los programas con las comunidades acadmicas nacionales e internacionales. Los documentos son herramientas valiosas que revelan los propsitos y la filosofa que deben inspirar y motivar todas las acciones de la comunidad universitaria. En este sentido, el proceso de autoevaluacin exige identificar los documentos claves para responder a cada uno de los aspectos que es necesario evaluar, clasificarlos y analizarlos para extraer de stos elementos valiosos para la elaboracin de los juicios de cumplimiento y para analizar la coherencia entre lo que la institucin y el programa dicen que son y lo que realmente se percibe en la prctica. Las encuestas estn orientadas a consultar la comunidad universitaria para: identificar el grado de conocimiento que tienen del proyecto institucional, aspectos organizacionales y acadmicos, reglamentos y aquellos lineamientos cuyo conocimiento es fundamental para garantizar la calidad de los servicios que se ofrecen; captar su percepcin o apreciacin de la forma cmo se desarrollan los diversos procesos dentro de la institucin, sobre el reconocimiento que se hace de su trabajo y sobre los estmulos, los medios y el ambiente para el desarrollo de sus funciones; identificar la forma cmo desarrollan su trabajo dentro del programa. En cada caso, segn el aspecto, ser necesario encuestar los miembros de la comunidad que puedan, por sus funciones y papel dentro del respectivo programa, dar cuenta de los indicadores que se estn analizando para lograr construir un juicio sobre determinada caracterstica. En rigor, las encuestas deben ser sometidas a jueces expertos e inicialmente aplicados como prueba piloto y a partir de ello, corregirlos y reformularlos para llegar a la versin

25

Consejo Nacional de Acreditacin

mas ajustada a los objetivos de la evaluacin. Es importante que los instrumentos de respuesta masiva, cuenten adems con alternativas de respuesta que incluyan categoras que vayan desde lo excelente a lo deficiente. Igualmente considerar la opcin de no responde o no aplica. Estos instrumentos deberan contar con un espacio para que el encuestado exprese sus comentarios de manera ms amplia. Las entrevistas se plantean para completar y aclarar informacin que no haya sido posible recoger con las encuestas o cuando se trate de miembros de la comunidad a quienes les quede difcil el diligenciamiento de las encuestas o con quienes sea ms fcil este tipo de estrategia para recoger informacin. En este sentido se plantea la entrevista para completar con otros miembros de la comunidad, como directivos de la institucin, egresados del programa, empleadores, informacin semejante a aquella que se seala en las encuestas. Los talleres son herramientas que posibilitan abordar desde una perspectiva integral y participativa, caractersticas de los procesos acadmicos que requieran un anlisis ms amplio que la sola respuesta a una proposicin en una escala determinada. Aspectos acadmicos y administrativos relacionados con los desarrollos de la docencia, investigacin, la relacin programa sociedad, el proyecto curricular, el modelo pedaggico, el manejo de la poltica de egresados, los recursos acadmicos, bibliogrficos, nuevas tecnologas de la informacin y de la comunicacin, fsicos, financieros y la reglamentacin existente, exigen un dilogo amplio con los miembros de la comunidad del programa involucrada en cada caso. Los talleres como instrumentos de recoleccin de informacin, anlisis y planeacin, exigen una gran capacidad de convocatoria, motivacin y conduccin de parte del comit de autoevaluacin respectivo. Se recomienda que el trabajo de los talleres permita ir ms all de la recoleccin de la informacin, para identificar lneas de accin que puedan transformar las debilidades que se vayan detectando para llegar al establecimiento de un plan de mejoramiento que haga efectivas las acciones y que involucre a las directivas de la institucin y a los actores directamente responsables del programa.

26

Autoevaluacin con Fines de Acreditacin - Programas de Pregrado

La administracin de los instrumentos corresponde a la etapa de recopilacin de informacin al tiempo que sus resultados constituyen un elemento importante en la fase analtica o reflexiva del desarrollo del proceso de autoevaluacin. La forma de administracin de los instrumentos, variar segn los distintos actores y reconocer el pluralismo de valores y la representacin de intereses diferentes que favorezcan la participacin y la expresin del saber de los participantes. En todos los casos, la informacin recolectada con estos instrumentos deber ser organizada, analizada y procesada de forma que permita argumentar de manera coherente, clara y completa los juicios de calidad de las caractersticas, los factores y el programa en su conjunto.

2. EL INFORME DE AUTOEVALUACIN
El informe de autoevaluacin contiene el resultado del juicio de calidad construido por la institucin y el programa respecto al servicio que ofrecen, tomando como base los lineamientos sealados por el CNA para tal fin. Este informe debe tener un cuerpo central y estar acompaado de anexos. El cuerpo central, que ojal no supere las 100 pginas, debe contener, en forma sinttica, el resultado de los anlisis y los juicios sobre el cumplimiento de las caractersticas y la apreciacin global de cada factor. Las justificaciones, tanto de las ponderaciones utilizadas como del grado de cumplimiento atribuido a cada caracterstica, deben ser incluidas como anexo al informe pues son fundamentales para las evaluaciones externa y final. Adicionalmente, debe incluirse como anexos la informacin que haya sido utilizada como base del juicio sobre el cumplimiento de las caractersticas de calidad, informacin complementaria sobre el modelo de autoevaluacin, la metodologa y los instrumentos empleados en la recoleccin de los datos y los criterios utilizados en la construccin de los juicios.

27

Consejo Nacional de Acreditacin

El informe de autoevaluacin debe ser enviado al Consejo Nacional de Acreditacin por el representante legal de la institucin, una vez sea aprobado por las instancias pertinentes de la misma. Deben enviarse al Consejo Nacional de Acreditacin un original y tres copias del informe y de los anexos ms significativos. Adems, copia del informe y de la totalidad de los anexos debe ser enviada en medio magntico. La institucin y el programa deben tener en cuenta que el informe de autoevaluacin constituye el principal documento de trabajo de los pares acadmicos, designados por el Consejo Nacional de Acreditacin para realizar la evaluacin externa del programa y emitir el juicio del par sobre su calidad. El contenido del cuerpo central del informe comprender: A. Introduccin Debe incluir una breve descripcin de la metodologa empleada y un resumen de las acciones realizadas en el proceso de autoevaluacin. B. Aspectos generales a. Sntesis de la misin y del proyecto institucionales. b. Informacin bsica del programa: Nombre del programa y ttulo que otorga. Ao de iniciacin de actividades docentes. Duracin y jornada. Acto acadmico por el cual se constituy el programa. Nmero, nivel de formacin acadmica y dedicacin de los profesores del programa.

28

Autoevaluacin con Fines de Acreditacin - Programas de Pregrado

Nmero total de estudiantes matriculados. Valor de la matrcula y dems derechos pecuniarios por perodo acadmico. Nmero de promociones y de graduados. Plan de estudios, sntesis de objetivos y otros aspectos relevantes del currculo. C. Resultado de la autoevaluacin del programa El informe, como se seal anteriormente, presentar los juicios sobre el cumplimiento de las caractersticas, la apreciacin global de los factores de anlisis y la conclusin sobre la calidad del programa, todo ello debidamente sustentado. D. Plan de mejoramiento El informe deber incluir el plan definido por la institucin para consolidar las fortalezas y superar las debilidades encontradas en el proceso de autoevaluacin con miras a buscar alta calidad en todos los procesos acadmicos. El plan de mejoramiento deber incluir actividades con su cronograma, responsable, recursos para su financiacin e indicadores de gestin que permitan monitorear su desarrollo. Como se indic en el numeral 1.1.5 la planificacin institucional se debe articular con los planes de mejoramiento de cada uno de los programas. El Consejo Nacional de Acreditacin invita a las instituciones de educacin superior que hayan iniciado la autoevaluacin con fines de acreditacin de programas, a solicitar la informacin o aclaracin que consideren necesaria.

29

CALLE 20 No. 3-19 ESTE PBX: 3419588 www.corcaseditores.com e-mail: info@corcaseditores.com