III

AR

I L OS I

UNIVERSIDAD CARLOS III DE MADRID DEPARTAMENTO DE INGENIERIA TELEMATICA

TESIS DOCTORAL

TEORIA DE MODELADO DEL E-LEARNING Y APLICACION A UN SISTEMA DE PISTAS ADAPTATIVO EN INTELIGENTE UTILIZANDO TECNICAS DE TUTORIA WEB SEMANTICA

Autor: Pedro Jos Munoz Merino e Ingeniero de Telecomunicaci n o Director: Dr. Carlos Delgado Kloos Doctor Ingeniero de Telecomunicaci n o

Legan s, Mayo de 2009 e

DE

MA

ID

I : UN

V
ER

SID A D

TESIS DOCTORAL

TEORIA DE MODELADO DEL E-LEARNING Y APLICACION A UN SISTEMA DE PISTAS ADAPTATIVO EN TUTORIA INTELIGENTE UTILIZANDO TECNICAS DE WEB SEMANTICA
Autor: Pedro Jos Munoz Merino e Director: Carlos Delgado Kloos

Firma del Tribunal Calicador: Firma Presidente Vocal Vocal Vocal Secretario

Calicaci n: o

Legan s, e

de

de

A la memoria de mi querida madre Rosa

Agradecimientos
Son muchas las personas a las que quiero agradecer y dedicar esta tesis doctoral, tanto a las que han contribuido directamente con sus comentarios, consejos, ense anzas o ayuda, n as como las que me han apoyado, hecho pasar buenos momentos y dado su cari o a lo largo n de los a os, ya sea antes o durante la realizaci n de esta tesis doctoral. n o En primer lugar, quiero agradecer especialmente a mi director Carlos Delgado, por haberme dado la oportunidad de trabajar en el Departamento, por su conanza en m, as como por sus ideas, gua, y ayuda durante la realizaci n de la tesis. Es para m un gran honor y o satisfacci n que Carlos me haya dirigido esta tesis doctoral. o Tambi n quiero dar las gracias a todos los compa eros del Departamento de Ingeniera e n Telem tica de la Universidad Carlos III, por ser un lugar maravilloso donde trabajar tanto en a lo profesional como en lo humano. A los compa eros del grupo Gradient, porque me han aportado ideas, comentarios, y n fructferas discusiones en relaci n con la tesis, as como un marco maravilloso de trabajo. o Quiero agradecer a Abelardo por sus ideas, sugerencias y ayuda; a Mario por las fructferas y prolongadas conversaciones sobre diferentes aspectos de la tesis que tuvimos en el despacho; a todos los dem s compa eros actuales del grupo Gradient y a los que fueron antiguos a n miembros, por contribuir en diferentes ideas de esta tesis doctoral: a Luis, Gustavo, Mari Carmen, Sergio, Raquel, Jos Jes s, Blanca, Derick, Rosa, Jos Pablo, Eduardo, Jorge, y e u e Natalia. A Dani y a Mario, por ser excelentes compa eros de despacho y sobre todo amigos, y n que siempre me han apoyado con la tesis, d ndome animos y ayuda. a A aquellos compa eros con los que he compartido y pasado buenos momentos bien en n el comedor de la Universidad, o en actividades fuera de ella: a Luis Ram n, Jos Pablo, o e Jos Alberto, Dani, Mario, Julio Villena, Simon, Alfonso Rebolleda, Derick, Eduardo, Guse tavo, Estrella, Sara, Jorge, Jos Mara, Luis, Jos Carlos, David Garca... y tanta gente m s. e e a Tambi n estoy en deuda con Carlos Garca Rubio, mi paisano conquense, que siempre e me ha proporcionado ayuda muy valiosa cuando la he necesitado, a el tambi n quiero darle e las gracias de forma especial. Al equipo del Innovation Centre de Intel Ireland por acogerme para realizar una estancia de investigaci n de algo m s de 3 meses. o a A los alumnos de los que he sido su tutor en su proyecto n de carrera, y que han desarrollado software que tiene relaci n con esta tesis: a Jes s, Patricia, y Manuel. o u Tambi n quiero agradecer a los profesores de la Universidad Polit cnica de Valencia que e e fueron importantes en mi desarrollo cientco, en especial a Pablo Beneit que me inculc el o gusto por la telem tica, y a Carlos Palau que me introdujo en la investigaci n con mi Proa o

yecto Fin de Carrera. Tambi n quiero agradecer a mi profesor de matem ticas en el instituto e a Luis Dominguez, que nos ense o una forma maravillosa de razonar, que a n en la lejana n u del tiempo, me ha servido enormemente durante la tesis. Quiero agradecer a mi familia por su apoyo y sentimientos tan positivos hacia m, en especial a mi padre Jos Luis y mi abuela Rosa, que me han dado su cari o, comprensi n, e n o y que siempre se preocupan por mi. Tambi n quiero agradecer a mis tos Rosa Mari, Pedro e y Mari Carmen, que se han interesado por la evoluci n de la tesis, me han dado su apoyo, y o me desean lo mejor. Fundamentalmente, quiero dedicar esta tesis a la memoria de mis seres queridos que no pudieron ver comenzar esta tesis doctoral. A mi madre Rosa, que tantas ense anzas, n cari o, y atenci n me proporcion de peque o, y que es para m un modelo a seguir en todos n o o n los aspectos de la vida. A mi abuelo Pedro, que siempre me anim para que hiciera una o ingeniera, a mi abuelo Emilio que me ense o a luchar fuerte por mis objetivos y persitir, a n mi abuela Rosa que tan buenos consejos me dio. Pero fundamentalmente, por tanto como me quisieron todos ellos. Mi mayor deseo sera que pudieran estar presentes en este momento. No quiero dejar pasar la oportunidad de agradecer a mis amigos de Cuenca por su amistad, apoyo y buenos momentos, en especial a Edu, Almudena, Diego, Enrique, Marta y Julio. Tambi n a mis compa eros y amigos de teleco de Valencia, que a pesar de la distancia no e n me olvido de ellos, en especial a Amparo, Jos y Jaipi. Y tambi n a todos los amigos que he e e ido conociendo durante estos a os en las residencias de la Universidad: a Juan Carlos actual n director de la residencia Fernando de los Ros que me ha dado apoyo y ayuda en estos mo mentos nales, a Pablo, Javi, Dani, Beatriz, Ra l, que aunque ya abandonaron la residencia u hemos pasado tantos buenos momentos.

Resumen
El e-learning es un factor clave en la actual sociedad de la informaci n. El poder habio litar las mejores pr cticas de ense anza a trav s de las tecnologas de la informaci n para a n e o posibilitar un aprendizaje m s efectivo para los alumnos, as como proporcionar un sencia llo y exible acceso a todas las potencialidades para los profesores, al mismo tiempo que se maximiza la eciencia y adecuaci n de su implementaci n usando las tecnologas de la o o informaci n, supone un reto en el que hay que tener en cuenta multitud de variables y faco tores. Ello engloba las teoras tradicionales de aprendizaje en aula, pero tambi n muchos e nuevos aspectos que surgen o se enfatizan por el uso de las tecnologas de la informaci n. o Numerosas investigaciones se han llevado a cabo para el avance en esta materia. Tales investigaciones se centran por lo general en aspectos especcos, pero no obstante creemos tambi n necesaria una teora de modelado del e-learning integradora de diferentes variables e y aspectos involucrados para poder comprender mejor esta materia tan compleja, as como cubrir ciertas carencias especcas de modelado para la conformaci n de dicha teora. o En esta tesis se proporciona una teora de modelado del e-learning, que incluye una vi si n global sobre qu modelar y c mo hacerlo, las interrelaciones entre diferentes conceptos o e o y elementos, una visi n ideal sobre el e-learning, una propuesta de proceso de desarrollo o en ciclo de vida, y un plan general de evaluaci n de los diferentes aspectos involucrados o (llev ndolo a la pr ctica con la valoraci n de diferentes funcionalidades de sistemas de gesa a o ti n del aprendizaje). Adem s, como parte de esta teora, se han analizado las relaciones eno a tre las funcionalidades de sistemas de gesti n del aprendizaje y los est ndares de e-learning o a actuales, se ha denido un nuevo modelo que extiende UML y otro basado en la especicaci n IMS-CP (Content Packaging) para el modelado de cursos completos en sistemas de o gesti n del aprendizaje, se ha contribuido en varias herramientas de autor que pueden verse o como modelados en lenguaje natural de diferentes aspectos del e-learning de forma que sean sencillos de utilizar por profesores sin grandes conocimientos tecnol gicos, y se ha creado o una nueva teora de reglas de adaptaci n personalizadas que son at micas, reusables, inter o o cambiables, e interoperables. Finalmente, en la parte de arquitecturas, se ha denido una nueva arquitectura que permite combinar sistemas de tutora inteligente existentes con t cni e cas de Web sem ntica, explicando sus elementos, relaciones, retos, y los diferentes criterios a de dise o, ofreciendo algunas guas para la toma de decisiones cuando diferentes soluciones n de implementaci n son posibles. Esta arquitectura denida, permite incorporar las ventajas o de la Web sem ntica dentro de los sistemas de tutora inteligente. a Adicionalmente, esta teora se ha aplicado en profundidad a un caso concreto, que es la provisi n de pistas en el aprendizaje basado en problemas a trav s de ordenador. La idea o e general de la provisi n de pistas consiste en ofrecer una ayuda al estudiante para la resoluo
I

II

ci n de ciertas tareas. Este es un aspecto muy relevante que ha sido abordado en diversos o estudios desde diferentes puntos de vista. No obstante, debido a su complejidad y n meu ro de variables involucradas, quedan diversos aspectos por estudiar. Esta tesis contribuye en algunos de esos aspectos sobre las pistas a trav s de ordenador. En primer lugar, se ha e denido una nueva especicaci n de pistas para el aprendizaje basado en problemas, que o recopila funcionalidades de otros sistemas del estado del arte, pero tambi n incluye nuevas e funcionalidades basadas en nuestras propias ideas, dando una justicaci n pedag gica de o o cada aspecto. En relaci n con esta especicaci n de pistas, se ha establecido un mapeo a o o XML, y otra representaci n a UML. As mismo, se ha dise ado una herramienta de autor o n que permite a profesores sin grandes conocimientos tecnol gicos crear los ejercicios con o pistas de acuerdo con la especicaci n. Para poner en pr ctica este modelo de pistas, se ha o a implementado un m dulo reproductor de pistas programado en python como una extesi n o o al tutor inteligente XTutor. Este reproductor permite desplegar ejercicios con pistas que cubren los casos de la nueva especicaci n denida y que quedan disponibles va Web para o su uso por parte de los alumnos. Tambi n se ha dise ado una herramienta de competici n e n o innovadora para aprovechar la motivaci n junto con el aprendizaje basado en problemas. o Para la evaluaci n del modelo de pistas denido, se han realizado diferentes experiencias o en un total de tres asignaturas, en una de ellas durante cuatro ediciones. Se han tomado datos cuantitativos y cualitativos globales de la herramienta y las interacciones de los alumnos, se ha comparado el incremento de aprendizaje con respecto a un sistema de evaluaci n sin o pistas, y con respecto a tutores humanos generando pistas. Los resultados sobre estos aspectos concluyen un efecto positivo del modelo de pistas y del sistema reproductor de pistas implementado. Adem s, hemos analizado qu estrategias de provisi n pistas producen maa e o yores incrementos de aprendizaje, c mo diferentes t cnicas de provisi n de pistas producen o e o diferentes comportamientos de los alumnos, y la opini n de los alumnos con respecto a dio ferentes estrategias de pistas del modelo. Estas contribuciones, las cuales son explicadas en la tesis, permiten concluir sobre qu t cnicas de pistas pueden ser mejor y sobre las necesie e dades de adaptaci n de los sistemas. Finalmente, en relaci n con la evaluaci n, proponemos o o o un modelo inicial para utilizar el sistema de pistas como una herramienta para ayudar en la evaluaci n de contenidos y alumnos. o A pesar de que existen algunas soluciones que aplican t cnicas de Web sem ntica para e a lograr la adaptaci n de algunos aspectos en e-learning debido a las ventajas que presenta, sin o embargo el dominio de la provisi n de pistas adaptativas usando t cnicas de Web sem ntica o e a no haba sido explorado. En esta tesis se contribuye con una nueva soluci n para la genera o ci n de pistas adaptativas personalizadas usando t cnicas de Web sem ntica. Para ello, se ha o e a implementado una instancia de la arquitectura general propuesta en la teora de modelado del e-learning, que en este caso concreto combina el tutor inteligente XTutor con la extensi n del m dulo de pistas implementado, y el razonador de Web sem ntica CWM. Las reglas o o a adaptativas y personalizadas de pistas se han articulado en base a la teora global de reglas adaptativas, y en base a las mejores pr cticas. Adem s, como parte de las contribuciones, a a hemos denido nuevas ontologas en este marco sobre usuarios, problemas, pistas, concep tos, etc. de forma que denan un marco de datos sobre el que se pueda realizar inferencias mediante las reglas denidas ejecut ndose en el razonador CWM. Con todo ello, se aporta a una soluci n a la integraci n de la Web sem ntica en sistemas de pistas para aprendizaje o o a basado en problemas, logrando todas las ventajas de la Web sem ntica. a

Abstract
The e-learning is a key factor in the present information society. The fact of being able to enable the best teaching practices using the information technologies in order to make possible a more effective students learning, as well as to provide an easy and exible access to all the potentialities for teachers, at the same time that the efciency and adjustment of its implementation is maximazed using the information technologies, means a challenge in which a lot of variables and factors must be taken into account. It includes the traditional classroom learning theories, but also a lot of new issues that arise or emphasize because of the use of the information technologies. There have been many researches for the advance of this topic. Such researches usually focus on specic e-learning issues, but nevertheless we think there is a need of a theory of the e-learning modeling which integrates different aspects and variables involved in order to be able to understand better this complex topic, as well as to cover certain specic modeling lacks for formulating such theory. In this thesis, we provide a theory of the e-learning modeling, which includes a global view about what to model and how to do it, the relationships among different concepts and elements, an ideal e-learning view, a proposal of an e-learning process development, and a general plan for the evaluation of the different aspects involved (with a practical example, rating the importance of different learning management system functionalities). In addition to it, as part of this theory, we have analyzed the relationships between different learning management systems functionalities and present e-learning standards, we have dened a new model which extends UML and another one based on the IMS-CP (Content Packaging) specication for the modeling of complete courses within learning management systems, we have made contributions regarding several authoring tools which can be seen as natural language modelings about different e-learning aspects in a way that are easy to use by teachers without high technological expertise, and we have created a new theory of personalized adaptive rules which are atomic, reusable, interchangeable, and interoperable. Finally, regarding the architecture topic, we have dened a new architecture that permits combining existing intelligent tutoring systems with semantic Web techniques, explaining its elements, relationships, challenges, and the different design criterions, offering some guidelines to make decisions when different implementation solutions are possible. This dened architecture permits to introduce the semantic Web advantages within the intelligent tutoring systems. In addition to it, we have applied this theory deeply to a specic case, which is the computer based generation of hints in problem based learning. The general idea under the generation of hints consists of offering some help to the student for solving certain tasks. This is a relevant issue that has been studied by different researches from different points of view. Nevertheless, because of its complexity and high number of variables involved, there
III

IV

are several issues to study. This thesis contributes in some of these computer based hinting issues. First of all, we have dened a new specication of hints for problem based learning, which compiles functionalities from other hinting systems of the state of the art, but it also includes new functionalities based on our new ideas, giving a pedagogical justication for each aspect. Regarding this specication of hints, we have dened an XML binding, and another UML representation. Moreover, we have designed an authoring tool which permits teachers without high technological expertise to create exercises with hints according to the specication. In order to put into practice this hinting model, we have implemented a hinting player module programmed in python as an extension of the XTutor intelligent tutoring system. This hinting software player allows loading and executing exercises with hints covering the different cases of the new dened hinting specication, and these exercises with hints are made available via Web for the students. Furthermore, we have designed an innovative competition tool to take advantage of motivation together with problem based learning. In order to evaluate the dened hinting model, we have performed different experiences in a total of three courses, in one of them during four editions. We have taken quantitative and qualitative global data from the implemented hinting system and the students interactions, we have compared the learning gains of the hinting system with respect to an assessments system without hinting functionalities, and with respect to human tutors providing hints. The results about these aspects conclude a positive effect of the hinting model and the implemented hinting player system. In addition, we have analyzed which hinting strategies produce better learning gains, how different hinting techniques produce different studentsbehaviors, and the students opinions about different hinting strategies of the model. These contributions, which are explained in the thesis, permit to conclude about which hinting techniques might be better and about the adaptation needs of the systems. Finally, regarding the evaluation, we propose an initial model to use the hinting system as a tool to help in the evaluation of contents and students. Although there exist some solutions to apply semantic Web techniques to achieve adaptation of some e-learning aspects because of its advantages, however the domain of the provision of adaptive hints using semantic Web techniques had not been explored. This thesis contributes with a new solution for the generation of personalized adaptive hints using semantic Web techniques. To do so, we have implemented an instance of the general architecture we proposed in the theory of the e-learning modeling, combining in this specic case the XTutor intelligent tutoring system with its hinting module extension that we implemented, and the CWM semantic Web reasoner. The adaptive and personalized hinting rules have been created based on the global theory of adaptive rules, and on best practices. In addition, as part of the contributions, we have dened new ontologies in this framework for users, problems, hints, concepts, etc. so that they dene a data framework in order to make inferences based on dened rules executing within the CWM reasoner. With all of this, we provide a solution for integrating the semantic Web with hinting systems in problem based learning, achieving all the advantages of the semantic Web.

Publicaciones, Proyectos de Investigaci n, y Proyectos Fin de o Carrera

En este espacio se enumeran las publicaciones que tienen relaci n con la tesis doctoral, o los proyectos de investigaci n en los que he participado con relaci n con la tesis doctoral, o o as como los proyectos n de carrera en los que he sido tutor que tienen relaci n con la tesis o doctoral.

Publicaciones
Entre las publicaciones que tienen relaci n con la tesis doctoral se encuentran dos ino dexadas en el ndice JCR SCI (son las [1], y [2]), dos indexadas en el listado de congresos CORE con categora A (son las [3] y [4]), dos indexadas en el listado de congresos CORE con categora B (son las [5], [6]), un captulo de libro ([7]), otras cinco en otros congresos internacionales (son las [8], [9], [10], [11], [12]), y una en un congreso nacional ([13]). S lo se han incluido en este listado aquellos artculos que ya han sido publicados o o aceptados para su publicaci n. No se incluyen en este listado los artculos que tienen relaci n o o con la tesis que est n en proceso de revisi n en este momento. Adicionalmente, varias partes a o de los contenidos de esta tesis a n no se han publicado, y en un futuro pr ximo se espera u o generar los correspondientes artculos para ser enviados a congresos y revistas.

Proyectos de Investigaci n o
Durante la realizaci n de esta tesis doctoral, he colaborado con los siguientes proyectos o de investigaci n que tienen relaci n con la tesis: o o E-LANE: European-Latin American New Education. Proyecto de la Uni n Europea. o Programa @LIS. iCOPER : Interoperable Content for Performance in a Competency-driven Society. Proyecto de la Uni n Europea. o SIEMPRE: Seguimiento Inteligente y Extensible para el Modelado de la Pr ctica Edua cativa. Proyecto del Ministerio de Ciencia y Tecnologa.
V

VI

MOSAIC-learning: Aprendizaje Electr nico M vil, de C digo Abierto, Basado en o o o Est ndares, Seguro, Contextual, Personalizado y Colaborativo. Proyecto del Ministea rio de Ciencia y Tecnologa. Learn3: Hacia el aprendizaje en la 3a Fase. Proyecto de Ciencia e Innovaci n. o Sistema de Teleeducaci n integrado. Proyecto de la Comunidad de Madrid. o Anotaci n y B squeda de recursos educativos. Proyecto de la Comunidad de Madrid. o u Generaci n de anotaciones sem nticas de recursos de teleeducaci n. Proyecto de la o a o Comunidad de Madrid. Integraci n Vertical de Servicios Telem ticos de Apoyo al Aprendizaje en Entornos o a Residenciales. Proyecto de la Comunidad de Madrid.

Proyectos Fin de Carrera

Los proyectos n de carrera donde he participado como tutor y que tienen relaci n con o la tesis son [14], [15], y [16]. En [14] y [16] como unico tutor, y en [15] como co-tutor junto con la profesora M. Carmen Fern ndez Panadero. a

 Indice general
1. Introducci n y objetivos o 1.1. Motivaci n . . . . . . . o 1.2. Objetivos . . . . . . . . 1.3. Planicaci n de Tareas . o 1.4. Estructura de la Memoria 1 3 6 9 13 17 17 18 23 28 30 31 40 41 42 43 44 45 45 46 46 47 48 50 50 50 51 52 52 53

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

2. Estado del Arte 2.1. Modelado en E-learning . . . . . . . . . . . . . . . . . . . . . . . . . . . 2.1.1. Ingeniera Software . . . . . . . . . . . . . . . . . . . . . . . . . . 2.1.2. Ingeniera Web . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2.1.3. Dise o Instruccional del Aprendizaje . . . . . . . . . . . . . . . . n 2.1.4. Sistemas de Aprendizaje en E-learning . . . . . . . . . . . . . . . 2.1.5. Especicaciones Existentes para el E-learning . . . . . . . . . . . . 2.1.6. Limitaciones y Extensiones en Especicaciones de E-learning . . . 2.1.7. Modelos UML para el E-learning . . . . . . . . . . . . . . . . . . 2.1.8. M todos Formales para el E-learning . . . . . . . . . . . . . . . . e 2.1.9. Herramientas de Autor . . . . . . . . . . . . . . . . . . . . . . . . 2.1.10. Competici n en Educaci n . . . . . . . . . . . . . . . . . . . . . . o o 2.1.11. Adaptabilidad y Personalizaci n en E-learning . . . . . . . . . . . o 2.2. Sistemas de Pistas para el Aprendizaje . . . . . . . . . . . . . . . . . . . . 2.2.1. Introducci n e Importancia de Sistemas de Pistas y de Resoluci n o o de Ejercicios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2.2.2. Funcionalidades no Adaptativas de Sistemas de Pistas . . . . . . . 2.2.3. Sistemas de Pistas con Adaptaci n . . . . . . . . . . . . . . . . . . o 2.2.4. Experiencias realizadas con Sistemas de Pistas . . . . . . . . . . . 2.3. Web Sem ntica en Educaci n . . . . . . . . . . . . . . . . . . . . . . . . . a o 2.3.1. Introducci n a la Web Sem ntica . . . . . . . . . . . . . . . . . . o a 2.3.2. Arquitecturas de Web Sem ntica en Educaci n para Personalizaci n a o o 2.3.3. Ontologas de Web Sem ntica en Educaci n . . . . . . . . . . . . . a o 2.3.4. Herramientas de Autor para Web Sem ntica en Educaci n . . . . . a o 2.3.5. Aplicaciones de Web Sem ntica en Educaci n . . . . . . . . . . . a o 2.3.6. Aplicaciones Adaptativas de Web Sem ntica en Educaci n . . . . a o
VII

VIII

INDICE GENERAL 55 56 60 63 65 68 70 80 85 87 88 89 93 96 97 101 105 108 108 110 112 115 118 127 129 129 130 135 136 142 149 154 161 162 163 163 165 172 177

3. Teora de Modelado del E-Learning 3.1. Contribuciones de la Teora de Modelado del E-learning . . . . . . . . . . 3.2. Relevancia de la Teora de Modelado del E-learning . . . . . . . . . . . . . 3.3. Visi n Global del Modelado del E-learning . . . . . . . . . . . . . . . . . o 3.3.1. Qu Modelar en E-learning? . . . . . . . . . . . . . . . . . . . . e 3.3.2. Qu T cnicas de Modelado Utilizar en E-learning? . . . . . . . . e e 3.4. Visi n Ideal del E-learning . . . . . . . . . . . . . . . . . . . . . . . . . . o 3.5. Relaci n entre Funcionalidades de LMSs y Especicaciones de E-Learning o 3.6. Modelado de Cursos en LMSs mediante IMS-CP . . . . . . . . . . . . . . 3.7. Modelado de Cursos en LMSs mediante UML . . . . . . . . . . . . . . . . 3.7.1. Selecci n de los Diagramas UML Base . . . . . . . . . . . . . . . o 3.7.2. Descripci n del Modelo . . . . . . . . . . . . . . . . . . . . . . . o 3.7.3. Aplicaci n del Modelo a un Curso Real en la Plataforma .LRN de o Gesti n del Aprendizaje . . . . . . . . . . . . . . . . . . . . . . . o 3.8. Herramientas de Autor en E-Learning . . . . . . . . . . . . . . . . . . . . 3.8.1. Herramienta Generadora de Varias Funcionalidades del E-learning . 3.8.2. CourseEditor: Herramienta Generadora de Cursos Compatible con IMS-LD . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3.9. Teora de Reglas Adaptativas . . . . . . . . . . . . . . . . . . . . . . . . . 3.10. Arquitectura para Combinar T cnicas de Web Sem ntica con ITSs . . . . . e a 3.10.1. Descripci n de los Elementos y sus Relaciones . . . . . . . . . . . o 3.10.2. Criterios de Dise o y Decisiones . . . . . . . . . . . . . . . . . . . n 3.11. Ciclo de Vida del E-Learning . . . . . . . . . . . . . . . . . . . . . . . . . 3.12. Evaluaci n en E-Learning . . . . . . . . . . . . . . . . . . . . . . . . . . o 3.12.1. Evaluaci n de Diferentes Funcionalidades de Sistemas de Gesti n o o del Aprendizaje . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4. Especicaci n de Pistas para Aprendizaje Basado en Problemas o 4.1. Contribuciones de la Nueva Especicaci n . . . . . . . . . . . . . . . . . . o 4.1.1. Contribuci n con Respecto a otros Sistemas de Pistas . . . . . . . . o 4.1.2. Contribuci n con respecto a IMS-QTI . . . . . . . . . . . . . . . . o 4.2. Relevancia de la Nueva Especicaci n . . . . . . . . . . . . . . . . . . . . o 4.3. Caractersticas del Modelo de Pistas y Justicaci n . . . . . . . . . . . . . o 4.4. Mapeo XML y su Relaci n con la Sem ntica de la Especicaci n de Pistas o a o 4.5. Modelo UML . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4.6. Herramienta de Autor . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4.7. Reproductor de Pistas Implementado en XTutor . . . . . . . . . . . . . . . 4.7.1. Introducci n a XTutor . . . . . . . . . . . . . . . . . . . . . . . . o 4.7.2. Analoga de la Tecnologa de XTutor con J2EE . . . . . . . . . . . 4.7.3. Aspectos Generales de la Extensi n de XTutor para la Provisi n de o o Pistas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4.7.4. Ejemplos de la Especicaci n de Pistas Ejecut ndose en XTutor . . o a 4.7.5. Detalles de la Implementaci n del Reproductor de Pistas en XTutor o 4.8. Otras Aplicaciones . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

 INDICE GENERAL 5. Evaluaci n del Modelo de Pistas Propuesto o 5.1. Contribuciones de la Evaluaci n del Modelo de Pistas Propuesto . . . . . . o 5.2. Relevancia de las Conclusiones de la Evaluaci n del Modelo de Pistas . . . o 5.3. Aspectos Generales sobre el Uso de la Herramienta . . . . . . . . . . . . . 5.3.1. Objetivos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5.3.2. Metodologa . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5.3.3. Resultados . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5.3.4. An lisis Crtico . . . . . . . . . . . . . . . . . . . . . . . . . . . . a 5.4. Comparaci n del Incremento de Aprendizaje entre Sistema con y sin Pistas o 5.4.1. Objetivo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5.4.2. Metodologa . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5.4.3. Resultados y An lisis Crtico . . . . . . . . . . . . . . . . . . . . . a 5.5. Comparaci n del Incremento del Aprendizaje entre el Sistema de Pistas y o un Tutor Humano . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5.5.1. Objetivos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5.5.2. Metodologa . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5.5.3. Resultados y An lisis Crtico . . . . . . . . . . . . . . . . . . . . . a 5.6. Evaluaci n de Diferentes Estrategias para Provisi n de Pistas . . . . . . . . o o 5.6.1. Objetivos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5.6.2. Metodologa . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5.6.3. Resultados y An lisis Crtico . . . . . . . . . . . . . . . . . . . . . a 5.7. Evaluaci n de Contenidos, Alumnos y Ejercicios Basado en la Informaci n o o del Sistema de Pistas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6. Aplicaci n de T cnicas de Web Sem ntica para Pistas Adaptativas o e a 6.1. Contribuciones Realizadas en Relaci n con la Aplicaci n de T cnicas de o o e Web Sem ntica para Pistas Adaptativas . . . . . . . . . . . . . . . . . . . a 6.2. Relevancia de las Aportaciones Realizadas en Relaci n con la Aplicaci n de o o T cnicas de Web Sem ntica para Pistas Adaptativas . . . . . . . . . . . . e a 6.3. Implementaci n de la Arquitectura General de Web Sem ntica para Pistas o a Adaptativas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6.3.1. Deniciones de T rminos . . . . . . . . . . . . . . . . . . . . . . e 6.3.2. Elementos de la Arquitectura Implementada . . . . . . . . . . . . . 6.3.3. Decisiones Tomadas en la Arquitectura Implementada de Pistas Adaptativas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6.4. Ontologas en el Sistema de Pistas Adaptativas . . . . . . . . . . . . . . . 6.4.1. Ontologa de los Conceptos de un Curso . . . . . . . . . . . . . . . 6.4.2. Ontologa sobre Informaci n General de los Ejercicios . . . . . . . o 6.4.3. Ontologa sobre las Diferentes T cnicas de Pistas Aplicadas a los e Ejercicios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6.4.4. Ontologa de los Alumnos . . . . . . . . . . . . . . . . . . . . . . 6.4.5. Ontologa de los Ejercicios con Pistas que se Generan para los Alumnos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6.5. Denici n de Reglas para el Sistema de Pistas . . . . . . . . . . . . . . . . o 6.5.1. Suposiciones Iniciales . . . . . . . . . . . . . . . . . . . . . . . .

IX

181 183 186 187 187 188 189 192 194 194 194 198 200 200 200 205 211 212 213 222 264 271 273 275 277 277 277 279 280 281 282 285 287 289 289 290

INDICE GENERAL 6.5.2. Denici n de los Diferentes Aspectos que Intervendr n en la Adapo a taci n . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . o 6.5.3. Adaptaci n del Contenido . . . . . . . . . . . . . . . . . . . . . . o 6.5.4. Adaptaci n de las T cnicas de Pistas . . . . . . . . . . . . . . . . . o e 6.5.5. Adaptaci n de las penalizaciones por intentos incorrectos . . . . . . o 6.6. Ejemplo de Adaptaci n de Pistas . . . . . . . . . . . . . . . . . . . . . . . o 6.6.1. Ejercicios Iniciales Considerados . . . . . . . . . . . . . . . . . . 6.6.2. Ejercicios Finales Considerados . . . . . . . . . . . . . . . . . . . 6.6.3. Anotaciones Sem nticas . . . . . . . . . . . . . . . . . . . . . . . a 6.6.4. Uso de N3 y CWM para Componer una Regla de Pistas Adaptativa

291 291 298 303 303 304 304 306 307 317 317 317 319 321 323 325 327 329 329 329 331 333 336 338 340 343 343 345 346 347 351 365 373

7. Conclusions 7.1. List of Contributions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7.1.1. Theory of the E-learning Modeling . . . . . . . . . . . . . . . . . 7.1.2. Specication of Hints for Problem-based Learning . . . . . . . . . 7.1.3. Evaluation of the Hinting Model and the Implemented Hinting Tutor 7.1.4. Application of Semantic Web Techniques for Achieving Adaptive Hints . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7.2. Applications Related to the Contributions . . . . . . . . . . . . . . . . . . 7.3. Limits of the Presented Contributions . . . . . . . . . . . . . . . . . . . . 8. Conclusiones 8.1. Lista de Contribuciones . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8.1.1. Teora de Modelado del E-learning . . . . . . . . . . . . . . . . . . 8.1.2. Especicaci n de Pistas para Aprendizaje Basado en Problemas . . o 8.1.3. Evaluaci n del Modelo de Pistas y del Tutor de Pistas Implementado o 8.1.4. Aplicaci n de T cnicas de Web Sem ntica para Lograr Pistas Adapo e a tativas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8.2. Aplicaciones Relacionadas con las Contribuciones . . . . . . . . . . . . . . 8.3. Lmites de las Contribuciones Presentadas . . . . . . . . . . . . . . . . . . 9. Trabajos Futuros 9.1. Teora del Modelado del E-learning . . . . . . . . . . . . . . . . . . . . . 9.2. Especicaci n de Pistas para Aprendizaje Basado en Problemas . . . . . . o 9.3. Evaluaci n del Modelo de Pistas y de la Implementaci n del Tutor de Pistas o o 9.4. Aplicaci n de T cnicas de Web Sem ntica para Lograr Pistas Adaptativas . o e a Referencias A. Anexo I: XML Schema de la Especicaci n de Pistas Denida o B. Anexo II: Ejemplos XML de la Especicaci n de Pistas denida o

 Indice de guras
2.1. Ejemplo de modelo de proceso software en cascada . . . . . . . . . . . . . 2.2. Ejemplo de modelo de datos (imagen obtenida de www.webml.org) . . . . 2.3. Ejemplo de modelo de hipertexto con WebML (imagen obtenida de www.webml.org) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2.4. Ciclo de vida de una sesi n de item (imagen obtenida de la especicaci n o o IMS-QTI) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2.5. Representaci n de los elementos de un assessmentItem (imagen obtenida de o la especicaci n IMS-QTI) . . . . . . . . . . . . . . . . . . . . . . . . . . o 2.6. Arquitectura de OKI basada en capas . . . . . . . . . . . . . . . . . . . . . 2.7. Modelo UML de las diferentes posibilidades de IMS-LD (imagen obtenida de la especicaci n IMS-LD) . . . . . . . . . . . . . . . . . . . . . . . . . o 3.1. 3.2. 3.3. 3.4. Diferentes maneras posibles de modelar el e-learning . . . . . . . . . . . . Curso en Moodle sobre seguridad . . . . . . . . . . . . . . . . . . . . . . Curso en .LRN sobre seguridad . . . . . . . . . . . . . . . . . . . . . . . . Paquete IMS-CP para describir un curso de sistema de gesti n del aprendio zaje utilizando el editor RELOAD . . . . . . . . . . . . . . . . . . . . . . 3.5. Representaci n de una instancia de foro . . . . . . . . . . . . . . . . . . . o 3.6. Relaci n de herencia entre instancias de foro . . . . . . . . . . . . . . . . . o 3.7. Una relaci n de herencia con instancias de diferentes funcionalidades en o sistemas de gesti n del aprendizaje . . . . . . . . . . . . . . . . . . . . . . o 3.8. Una relaci n de asociaci n de tipo T pico . . . . . . . . . . . . . . . . . . o o o 3.9. Una relaci n de asociaci n de tipo Utilizaci n . . . . . . . . . . . . . . . . o o o 3.10. Una relaci n de agregaci n . . . . . . . . . . . . . . . . . . . . . . . . . . o o 3.11. Modelado de la p gina de curso principal . . . . . . . . . . . . . . . . . . a 3.12. P ginas de un subgrupo del curso . . . . . . . . . . . . . . . . . . . . . . . a 3.13. Modelado de la p gina de subgrupo principal . . . . . . . . . . . . . . . . a 3.14. P gina inicial de la herramienta de autor . . . . . . . . . . . . . . . . . . . a 3.15. Primer formulario para denir un bloque de preguntas frecuentes . . . . . . 3.16. Una parte de instancia XML de ejemplo de acuerdo a la especicaci n de o preguntas frecuentes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3.17. Pantalla de conguraci n para una tarea en la herramienta CourseEditor . . o 3.18. Descripci n de una unidad did ctica en la herramienta CourseEditor . . . . o a 3.19. Descripci n de otra unidad did ctica en la herramienta CourseEditor . . . . o a
XI

19 24 25 36 37 39 43 69 75 76 86 89 90 90 91 91 92 94 95 95 98 99 100 102 103 103

XII

INDICE DE FIGURAS 3.20. Relaci n de composici n entre una regla global y las subreglas que son parte o o de ella . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 106 3.21. Descripci n de una regla en secuencia con condici n . . . . . . . . . . . . 107 o o 3.22. Arquitectura general para combinar t cnicas de Web sem ntica con tutores e a inteligentes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 109 3.23. Lista de decisiones a tomar en la arquitectura denida . . . . . . . . . . . . 110 3.24. Ciclo de vida global de desarrollo en e-learning . . . . . . . . . . . . . . . 113 3.25. Ciclo de vida de desarrollo en e-learning detallado para la fase de planicaci n113 o 3.26. Evaluaci n en e-learning . . . . . . . . . . . . . . . . . . . . . . . . . . . 116 o 3.27. Tasa de exito en el examen nal dependiendo del grado de utilizaci n del o sistema . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 120 4.1. 4.2. 4.3. 4.4. 4.5. Arquitectura General de Sistemas de Pistas . . . . . . . . . . . . . . . . . Arbol de problemas para calcular la puntuaci n . . . . . . . . . . . . . . . o Modelo conceptual UML de la especicaci n de pistas . . . . . . . . . . . o Diagrama de Objetos UML de instancia de pistas de nivel cero de jerarqua Diagrama de Objetos UML de instancia de pistas para problema sin pistas de nivel 1 de jerarqua . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4.6. Diagrama de Objetos UML de instancia de pistas para problema con pistas de nivel 1 de jerarqua . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4.7. Evaluaci n Global en la Herramienta de Autor . . . . . . . . . . . . . . . . o 4.8. Secci n en la Herramienta de Autor . . . . . . . . . . . . . . . . . . . . . o 4.9. Problema Global en la Herramienta de Autor . . . . . . . . . . . . . . . . 4.10. Feedback en la Herramienta de Autor . . . . . . . . . . . . . . . . . . . . 4.11. Pista de Grupo en la Herramienta de Autor . . . . . . . . . . . . . . . . . . 4.12. Problema Pista en la Herramienta de Autor . . . . . . . . . . . . . . . . . 4.13. Interacciones de un alumno con un ejercicio con pistas sobre EJBs en XTutor 4.14. Ejercicio de suma ejecut ndose en el reproductor de pistas de XTutor . . . a 4.15. Ejercicio de Ecuaciones ejecut ndose en el reproductor de pistas de XTutor a para diferentes perles . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4.16. Ejercicio de Ros ejecut ndose en el reproductor de pistas de XTutor . . . . a 4.17. Evaluaci n Global ejecut ndose en el reproductor de pistas de XTutor . . . o a 4.18. Organigrama reducido para etiqueta assessment . . . . . . . . . . . . . . . 4.19. Organigrama reducido para etiquetas de problemas . . . . . . . . . . . . . 4.20. Organigrama reducido para etiqueta de pista . . . . . . . . . . . . . . . . . 4.21. Organigrama reducido para etiqueta de grupo . . . . . . . . . . . . . . . . 5.1. Diferentes fases de la experiencia dependiendo del grupo . . . . . . . . . . 5.2. Incremento medio de conocimiento de alumnos usando tutor humano y sistema de pistas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5.3. Diferentes fases de la experiencia en la edici n 2006/2007 dependiendo del o grupo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5.4. Diferentes fases de la experiencia en la edici n 2007/2008 . . . . . . . . . o 5.5. Histograma de incremento de conocimiento para temas S+I del subgrupo A 5.6. Histograma de incremento de conocimiento para temas S+I del subgrupo B 5.7. Histograma de incremento de conocimiento para temas S+I del subgrupo C 128 141 150 153 154 155 156 157 158 158 159 160 166 166 168 170 171 173 174 175 176 202 208 214 215 223 225 226

 INDICE DE FIGURAS 5.8. 5.9. 5.10. 5.11. 6.1. 6.2. 6.3. 6.4. 6.5. 6.6. 6.7. Histograma de incremento de conocimiento para temas M+F del subgrupo A Histograma de incremento de conocimiento para temas M+F del subgrupo B Histograma de incremento de conocimiento para temas M+F del subgrupo C Estructura de cada ejercicio con pistas y relaciones sem nticas . . . . . . . a

XIII

227 228 229 266

Arquitectura Implementada para lograr pistas adaptativas . . . . . . . . . . 278 Ontologa de conceptos para un laboratorio de comunicaci n entre procesos 281 o Ontologa sobre informaci n general de los ejercicios . . . . . . . . . . . . 283 o Ontologa sobre las diferentes t cnicas de pistas aplicadas a los ejercicios . 285 e Ontologa sobre caractersticas generales de los alumnos . . . . . . . . . . 288 Ontologa sobre las diferentes t cnicas de pistas en relaci n con los alumnos 289 e o Ontologa de los ejercicios con pistas que se generan nalmente para los alumnos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 290 6.8. Diferentes aspectos considerados para la adaptaci n de pistas . . . . . . . . 291 o 6.9. Diferentes aspectos considerados para la adaptaci n de contenidos y tipo de o pistas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 292 6.10. Ejemplo de reglas diferentes a aplicar en funci n de salidas de otras reglas . 293 o 6.11. Algunos ejercicios iniciales considerados en XML . . . . . . . . . . . . . . 304 6.12. Algunos ejercicios nales en XML como evoluci n de P1 como raz . . . . 305 o 6.13. Regla de ejemplo compuesta de varias reglas at micas . . . . . . . . . . . 308 o 6.14. Diferentes ejercicios con pistas para P1 dependiendo del usuario que lo solicita316

 Indice de tablas
2.1. Un resumen de las especicaciones de la organizaci n IMS . . . . . . . . . o 3.1. Relaciones entre funcionalidades de sistemas de gesti n del aprendizaje y o especicaciones actuales (primera parte) . . . . . . . . . . . . . . . . . . . 3.2. Relaciones entre funcionalidades de sistemas de gesti n del aprendizaje y o especicaciones actuales (segunda parte) . . . . . . . . . . . . . . . . . . . 3.3. Utilizaci n del sistema y tasa de exito en el examen nal . . . . . . . . . . o 3.4. Uso de foros para cada materia . . . . . . . . . . . . . . . . . . . . . . . . 3.5. Uso de evaluaciones autom ticas de ejercicios para cada materia . . . . . . a 3.6. Uso del sistema de gesti n de entregas para cada materia . . . . . . . . . . o 3.7. Inter s de las funcionalidades disponibles en la experiencia . . . . . . . . . e 3.8. Inter s de las funcionalidades no disponibles en la experiencia . . . . . . . e 33 81 82 120 121 121 122 123 124

4.1. Comparaci n entre diferentes aspectos de J2EE y XTutor . . . . . . . . . . 164 o 5.1. Resultados de la encuesta sobre aspectos generales del modelo y la herramienta de pistas en la edici n 2006/2007 de Laboratorio de Arquitectura de o Ordenadores . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 190 5.2. Resultados de la encuesta sobre aspectos generales del modelo y la herramienta de pistas en la edici n 2007/2008 de Laboratorio de Arquitectura de o Ordenadores . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 191 5.3. Comparaci n entre diferentes ediciones de la asignatura Laboratorio de Aro quitectura de Ordenadores . . . . . . . . . . . . . . . . . . . . . . . . . . 198 5.4. Notas obtenidas por los dos grupos de la experiencia en el pre-test y el post-test206 5.5. Conjuntos de estrategias de provisi n de pistas dependiendo de los subgruo pos y temas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 219 5.6. Estadsticos descriptivos sobre test inicial, test nal e incremento de apren dizaje para cada subgrupo de t cnicas de pistas y materias (escala de 0 a e 10) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 224 5.7. Correlaci n parcial entre el incremento de aprendizaje para S+I y M+F con o respecto a las diferentes estrategias de provisi n de pistas empleadas y al o nivel inicial de los alumnos, quitando el efecto del resto de variables . . . . 232 5.8. Comparaci n del comportamiento de los alumnos ante la t cnica de penalio e zar por visualizar pistas o no . . . . . . . . . . . . . . . . . . . . . . . . . 244
XV

XVI

INDICE DE TABLAS

5.9. Medidas sim tricas para determinar el grado de relaci n del comportamiento e o de los alumnos ante la t cnica de penalizar por visualizar pistas o no . . . . e 5.10. Medidas direccionales para determinar el grado de relaci n del comportao miento de los alumnos ante la t cnica de penalizar por visualizar pistas o e no . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5.11. Indices de riesgo sobre la relaci n entre penalizar o no por ver pistas y el o comportamiento del alumno . . . . . . . . . . . . . . . . . . . . . . . . . 5.12. Comparaci n del comportamiento de los alumnos ante la t cnica de penalio e zar por visualizar pistas o no dividida por tipos de problemas y su grado de dicultad para los primeros problemas de cada materia . . . . . . . . . . . 5.13. Comparaci n del comportamiento de los alumnos ante la t cnica de penalio e zar por visualizar pistas o no dividida por tipos de problemas y su grado de dicultad para los segundos problemas de cada materia . . . . . . . . . . . 5.14. Estadstico chi-cuadrado de Pearson para cada uno de los 8 problemas para comparar comportamiento de los alumnos con respecto a penalizar o no por ver pistas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5.15. Comparaci n del comportamiento de los alumnos ante la t cnica de pistas o e disponibles directamente desde el inicio, o s lo disponibles como respuesta o ante un intento incorrecto . . . . . . . . . . . . . . . . . . . . . . . . . . . 5.16. Medidas sim tricas para determinar el grado de relaci n del comportamiento e o de los alumnos ante la t cnica de dejar disponibles las pistas desde el inicio e o dejarlas disponibles s lo ante un intento incorrecto . . . . . . . . . . . . o 5.17. Indices de riesgo sobre la relaci n entre penalizar o no por ver pistas y el o comportamiento del alumno . . . . . . . . . . . . . . . . . . . . . . . . . 5.18. Comparaci n del comportamiento de los alumnos ante la t cnica de dejar o e disponible directamente la pista o s lo ante un intento incorrecto dividida o por problemas con diferente grado de dicultad para los cuartos problemas de cada materia . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5.19. Estadstico chi-cuadrado de Pearson para cada uno de los 4 problemas pa ra comparar comportamiento de los alumnos con respecto a dejar la pista disponible desde el inicio o s lo ante un intento incorrecto . . . . . . . . . o 5.20. Comparaci n del comportamiento de los alumnos ante el aspecto de efecto o en la puntuaci n por resoluci n de pistas . . . . . . . . . . . . . . . . . . . o o 5.21. Medidas sim tricas para determinar el grado de relaci n del comportamiento e o de los alumnos (pistas respondidas, y n mero de pistas respondidas correcu tamente) ante la t cnica de penalizar por visualizar pistas o no . . . . . . . e 5.22. Resultados de la encuesta sobre la importancia de diferentes aspectos de provisi n de pistas en la edici n 2006/2007 de Laboratorio de Arquitectura o o de Ordenadores . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5.23. Resultados de la encuesta sobre la preferencia de diferentes aspectos de provisi n de pistas en la edici n 2006/2007 de Laboratorio de Arquitectura de o o Ordenadores . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5.24. Resultados de la encuesta sobre la preferencia de diferentes aspectos de provisi n de pistas en la edici n 2007/2008 de Laboratorio de Arquitectura de o o Ordenadores . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

245

245 246

247

248

249

251

251 252

253

254 256

257

259

260

261

 INDICE DE TABLAS 5.25. Resultados de la encuesta sobre lo que los alumnos consideran justo acerca de diferentes aspectos de provisi n de pistas en la edici n 2006/2007 de o o Laboratorio de Arquitectura de Ordenadores . . . . . . . . . . . . . . . . . 5.26. Resultados de la encuesta sobre lo que los alumnos consideran justo acerca de diferentes aspectos de provisi n de pistas en la edici n 2007/2008 de o o Laboratorio de Arquitectura de Ordenadores . . . . . . . . . . . . . . . . . 5.27. Resultados de la encuesta sobre el comportamiento de los alumnos ante diferentes aspectos de provisi n de pistas en la edici n 2006/2007 de Laborao o torio de Arquitectura de Ordenadores . . . . . . . . . . . . . . . . . . . . . 5.28. Resultados de la encuesta sobre el comportamiento de los alumnos ante diferentes aspectos de provisi n de pistas en la edici n 2007/2008 de Laborao o torio de Arquitectura de Ordenadores . . . . . . . . . . . . . . . . . . . . . 5.29. Colecci n de datos para ejercicios de tipo azul . . . . . . . . . . . . . . . . o 5.30. Colecci n de datos para ejercicios de tipo naranja y amarillo . . . . . . . . o

XVII

262

262

263

264 267 268

6.1. Niveles de conocimiento de cuatro usuarios en dos conceptos del laboratorio de IPC. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 307

Captulo 1

Introducci n y objetivos o
El e-learning (electronic learning) se puede denir como todo proceso de ense ann za/aprendizaje que se facilita a los alumnos a trav s de sistemas basados en ordenador, y e que usualmente utiliza Internet como medio de distribuci n y ejecuci n. Los sistemas por o o ordenador m s utilizados para este prop sito son los llamados sistemas de tutora inteligente a o (ITS: Intelligent Tutoring Systems) y los sistemas de gesti n del aprendizaje (LMS: Learo ning Management Systems). El e-learning presenta una serie de ventajas sobre el aprendizaje tradicional en clase, tales como que se puede aprender en cualquier lugar y en cualquier momento, profesores de reconocido prestigio pueden dejar sus materiales y ense anzas disn ponibles para un gran n mero de gente a un coste peque o, se puede aprovechar la enorme u n capacidad de c mputo y procesamiento de los ordenadores para realizar tareas que seran imo posibles de hacer de forma tan efectiva por profesores (como personalizaci n a cada alumno o en funci n de condiciones, evaluaci n autom tica de ex menes, realizaci n de estadsticas, o o a a o etc.) o permite la visualizaci n multi-media de diferentes recursos. No obstante, el aprendio zaje tradicional en clase presenta otra serie de ventajas sobre el e-learning. Es por ello que a pesar de existir cursos que s lo emplean e-learning, hay otros que s lo emplean el apreno o dizaje tradicional en clase, pero tambi n hay otros que emplean una combinaci n de ambas e o aproximaciones. El e-learning es un factor clave en la actual sociedad de la informaci n. El poder habio litar las mejores pr cticas de ense anza a trav s de las tecnologas de la informaci n para a n e o posibilitar un aprendizaje m s efectivo para los alumnos, as como proporcionar un sencillo a y exible acceso a todas las potencialidades por parte de los profesores, al mismo tiempo que se maximiza la eciencia y adecuaci n de su implementaci n usando tecnologas de o o la informaci n, supone un reto en el que hay que tener en cuenta multitud de variables y o factores. Ello engloba las teoras tradicionales de aprendizaje en aula, pero tambi n muchos e nuevos aspectos que surgen y se enfatizan por el uso de las tecnologas de la informaci n. o Para poder sacar el m ximo partido a las tecnologas de la informaci n orientadas al a o aprendizaje, es necesario un correcto modelado de las diferentes caractersticas involucradas en las mismas, a trav s de diferentes formas de representaci n conocidas. Los aspectos a e o modelar deben abarcar tanto los contenidos, recursos, servicios, as como las reglas de adap taci n o personalizaci n de los sistemas, y tambi n las diferentes arquitecturas de elementos o o e involucradas. La realizaci n correcta de los diferentes tipos de modelados permitir conseo a guir interoperabilidad y reusabilidad entre diferentes sistemas y actores, facilitar a profeso1

Captulo 1. Introducci n y objetivos o

res y dise adores sin conocimientos tecnol gicos la creaci n de recursos y funcionalidades, n o o conseguir las t cnicas m s efectivas para cada uno de los alumnos, conseguir sistemas de e a aprendizaje completos en sus caractersticas y funcionalidades, o habilitar las arquitecturas m s propicias. Todo ello redundar en una reducci n de costes, un aminoramiento del tiempo a a o en la preparaci n de los diferentes materiales de e-learning, y un aumento en la efectividad o del aprendizaje para los alumnos. El dise o de los diferentes aspectos involucrados en un sistema de e-learning debera n seguir una serie de fases ordenadas gobernadas por un ciclo de vida, y la implementaci n de o cada uno de los factores involucrados debe actualizarse en funci n del conocimiento previo o existente en el estado del arte, y de evaluaciones del sistema fruto de experiencias con los alumnos para conocer datos de todo tipo como comparaciones de incremento de aprendizaje entre diferentes situaciones del sistema o con respecto a otros sistemas, comparaciones de comportamiento de los alumnos ante diferentes condiciones del sistema, opiniones de los alumnos ante diferentes aspectos, etc. Por otro lado, en los ultimos tiempos ha surgido con fuerza la denominada Web sem ntia ca, que permitir razonar a las m quinas con diferentes datos para conseguir una Web ina a teligente, gracias a unas anotaciones que tienen en cuenta las relaciones sem nticas entre a diferentes conceptos. Para ello, se deben denir ontologas de los diferentes datos sobre los que se van a razonar, se deben anotar los diferentes recursos en base a las reglas dadas por las ontologas denidas, y se deben denir reglas de personalizaci n y adaptaci n para que o o la informaci n pueda ser procesada de acuerdo con ciertos razonamientos. Los benecios de o integrar los diferentes sistemas de la informaci n en esta nueva concepci n de Web sem ntio o a ca son muchos. De hecho las anotaciones y reglas de Web sem ntica cuando son aplicadas en a e-learning pueden ser vistas como un modelado formal de ciertos aspectos del e-learning. Es benecioso integrar a los sistemas educacionales existentes que usualmente utilizan modelado de recursos en base a cheros XML dentro de esta Web sem ntica que utiliza lenguajes a formales. En este contexto, en esta tesis se propone una teora de modelado del e-learning incluyen do una integraci n con la Web sem ntica, as como una aplicaci n pr ctica en profundidad o a o a de dicha teora para la provisi n de pistas adaptativas en aprendizaje basado en problemas. o La realizaci n de ex menes autom ticos a trav s del ordenador, es una estrategia bien o a a e conocida no s lo para la evaluaci n nal de los alumnos (evaluaci n sumativa), sino tamo o o bi n como una estrategia que permite la adquisici n de conocimiento durante el proceso e o (evaluaci n formativa). Una de las t cnicas que se puede utilizar es la provisi n de pistas en o e o ex menes autom ticos. El concepto que est detr s de la t cnica de provisi n de pistas es a a a a e o que un alumno puede solicitar alguna ayuda cuando el estudiante no es capaz de responder alg n problema del examen (de aqu en adelante en esta tesis, se utilizan los t rminos prou e blema y ejercicio indistintamente, queriendo denotar el mismo signicado). Esto fuerza al alumno hacia un proceso de descubrimiento durante el aprendizaje. Existen en la actualidad m ltiples sistemas de pistas que posibilitan diferentes funcionalidades en relaci n con esu o ta t cnica. Algunas de las funcionalidades de sistemas de pistas existentes no proporcionan e ninguna adaptaci n, mientras que otros proporcionan adaptaci n de las pistas en funci n o o o de diferentes caractersticas del usuario. La adaptaci n es fundamental ya que diferentes o alumnos con diferentes perles, preferencias, etc. aprenden de forma diferente e incluso esto puede depender del tipo de contenidos, dise o de los materiales, u otros factores. La n

1.1. Motivaci n o

efectividad de un sistema de pistas puede depender en gran medida de su destreza a la hora de realizar la adaptaci n ya que se deben habilitar las condiciones necesarias para que cada o alumno aprenda de la mejor manera, y por lo tanto es un factor importante a tener en cuenta. La aplicaci n del modelado para abarcar un completo abanico de posibilidades de los siso temas de pistas tanto con adaptaci n como sin ella y model ndolo desde diferentes puntos de o a vista, supone un reto con diversos benecios, as como la integraci n de las funcionalidades o de provisi n de pistas existentes en tutores inteligentes dentro de la Web sem ntica. o a

1.1.

Motivaci n o

Las soluciones de e-learning actuales son desarrolladas en gran parte de las situaciones utilizando la fuerza bruta, sin pensar previamente sobre la estructura, sin un orden acordado, o sin ning n m todo de desarrollo. Con el n de incrementar la calidad y la mantenibilidad de u e los materiales de e-learning generados, se requiere un m todo formal para realizar materiales e de e-learning, que es lo que podra llamarse como una ingeniera del e-learning. Lo que es requerido en este momento por los materiales de e-learning es an logo a lo a que se requera con las aplicaciones software y Web y que dio lugar a las denominadas ingenieras del software y la ingeniera Web respectivamente. La ingeniera del software as como la ingeniera Web tratan de modelar diferentes aspectos del software y la Web de forma que se puedan lograr desarrollos de aplicaciones f cilmente mantenibles, reutilizables, a mejorables, evaluables, m s efectivas, etc. a La primera motivaci n que dio lugar a esta tesis se basa en la idea de poder aproveo char las ense anzas de ingeniera del software y de ingeniera Web para aplicarlas en lo n que podramos llamar como una ingeniera del e-learning, para lograr desarrollos completos de e-learning f cilmente mantenibles, reutilizables, evaluables, mejorables, etc., extrapolana do todas las ventajas de la ingeniera del software y de la ingeniera Web al campo del e-learning. As pues, se postula que las formas de modelado utilizadas para el software y la Web, servir n como punto de partida para extrapolarlas con las modicaciones apropiadas a al campo del e-learning. De hecho, actualmente existen diversos trabajos que tratan de modelar el e-learning desde diferentes puntos de vista, proporcionando informaci n muy diversa. Entre estos trabajos o se encuentra el proceso de estandarizaci n en que actualmente est envuelto el e-learning, o a dando lugar a diferentes especicaciones y est ndares. Debido a la complejidad y cantidad a de temas abarcados por el e-learning, dichos trabajos proveen informaci n muy diversa, en o bastantes casos no relacionada, o con carencias especcas de modelado no cubiertas. Es necesario por lo tanto, lneas de trabajo que pongan un cierto orden, explicando de forma global todos los conceptos y aspectos, y los relacione de forma adecuada, proponiendo nuevos modelos all donde se detecten carencias importantes. Para que de esta forma, con los nuevos modelados del e-learning, se obtengan diferentes benecios. Esta es la motivaci n o general que lleva a enunciar una teora de modelado del e-learning, fruto de la evoluci n o natural de la motivaci n inicial de extrapolar ideas de modelado de software y de la Web. o Esta motivaci n general se concreta en otras motivaciones m s especcas para realizarlo, o a las cu les se enumeran a continuaci n: a o Poder localizar aquellas funcionalidades o servicios de e-learning para los cuales exis-

Captulo 1. Introducci n y objetivos o ten carencias de modelado en los actuales est ndares y especicaciones, lo cual repera cutir en que se podr n tomar medidas deniendo nuevos est ndares o extendiendo los a a a existentes, de forma que se garantice la interoperabilidad y reuso de dichos aspectos, o se pueda sacar toda la potencialidad de aprendizaje relacionada con dichos aspectos. Garantizar la interoperabilidad y reusabilidad de diferentes cursos completos. Garantizar un dise o m s efectivo y ecaz de cursos, as como m s f cilmente exn a a a tensible y reusable entre profesores, mediante diferentes m todos de representaci n e o gr ca sistem ticos para el dise o de cursos. a a n Propiciar el dise o de cursos, actividades, recursos, servicios, etc. de una forma senn cilla y r pida por parte de profesores sin grandes conocimientos tecnol gicos, propora o cionando una capa de abstracci n a la tecnologa pero sin reducir la potencialidad de o lo que se puede dise ar. n Poder realizar un conocimiento lo m s completo posible de los diferentes aspectos del a e-learning sin obviar ninguna variable, para as poder sacar el m ximo rendimiento de a los mismos tanto por parte de alumnos como de profesores. Mucho se ha escrito en relaci n con el dise o de recursos at micos, interoperables, o n o reusables, etc., pero se ha indagado menos sobre el dise o de reglas adaptativas en n e-learning que tengan esas mismas caractersticas. Las mismas ventajas de interopera bilidad, reducci n de costes, reusabilidad, extensibilidad, completud, etc. pueden ser o conseguidas en el mundo de las reglas adaptativas, en caso de que se dena una forma de modelado de reglas adaptativas que tenga en cuenta esas premisas y que proponga un modelo de representaci n sencillo, adecuado y completo. o Poder integrar de una forma efectiva sistemas existentes de e-learning en la Web sem ntica, incorporando de este modo todas las ventajas que comporta la utilizaci n a o de la Web sem ntica, entre las cuales destacan las siguientes: a Interoperabilidad de datos y reuso con otras disciplinas. De esta forma los sistemas educacionales podran intercambiar recursos de datos existentes de la Web, de otros sistemas educacionales y sistemas de negocios. Extensi n de los datos para poder ser procesados. As los razonadores de Web o sem ntica podran hacer uso de todos los datos anotados de la Web y de otros a sistemas para sacar conclusiones con inferencias m s potentes, en lugar de s lo a o poder procesar datos locales de sistemas educacionales especcos. Utilizaci n de herramientas robustas que ya han sido implementadas para la Web o sem ntica, en lugar de tener que dise ar herramientas especcas para sistemas a n educacionales. Las reglas e incluso los razonadores sem nticos pueden ser reutilizados entre a sistemas educacionales diferentes, sin tener que reescribir implementaciones de c digo especcas para cada sistema educacional. o

1.1. Motivaci n o

Adem s de denir la teora de modelado del e-learning en general fruto de todos los a motivadores previamente comentados, tambi n se decidi escoger un aspecto especco del e o e-learning para aplicar dicha teora en profundidad sobre tal aspecto. De entre todos los aspectos del e-learning posibles, se eligi el de la provisi n de pistas en ex menes autoo o a matizados para aplicar la teora de modelado del e-learning a denir, porque por un lado se observ que es un aspecto muy relevante y util en el proceso de ense anza/aprendizaje como o n diferentes estudios corroboran, y por otro lado porque no existe en la actualidad ninguna especicaci n que tenga en cuenta las diferentes tipologas que se pueden dar en la provisi n o o de pistas. Si bien la especicaci n IMS-QTI en su versi n 2 nombra el concepto de pista, no o o establece ninguna taxonoma de las diferentes posibilidades de provisi n de pistas y adem s o a los cheros XML que representan instancias de pistas son muy grandes debido a que est n a basados en condiciones. Es por ello, que el motivador inicial para elegir el modelado de pistas fue que en un area tan relevante no hubiera un modelado que abarcara las posibilidades m s relevantes a de provisi n de pistas existentes en los diferentes sistemas de pistas del estado del arte que o se han implementado. Este modelado implicara un mejor conocimiento de todas las carac tersticas y procesos involucrados en la provisi n de pistas, lo cual redundara en habilitar o un aprendizaje y dise o de materiales m s efectivo en el futuro. n a Adicionalmente, en relaci n con el objetivo de modelado de pistas, se tuvieron como o motivadores los siguientes: Habilitar la interoperabilidad y reusabilidad de los diferentes recursos de pistas posibles, proporcionando un mapeo a XML que describiera ejercicios con pistas de forma m s reducida que la especicaci n IMS-QTI v2, de tal forma que los cheros ocupaa o ran menos espacio, fueran m s f cilmente ejecutables por sistemas reproductores de a a pistas, y fuera m s f cil su composici n entre diferentes cheros para formar otros a a o nuevos fruto de la adaptaci n. o Proporcionar sistemas de representaci n completos y de forma gr ca para que profeo a sores con diferentes perles (algunos sin conocimientos tecnol gicos) pudieran editar o de forma sencilla y r pida todas las caractersticas del modelo. a Poder conocer cu les son las mejores pr cticas en relaci n con el modelo de pisa a o tas propuesto, comparando un sistema que implemente las caractersticas del modelo con otros sistemas, y tambi n comparando entre s diferentes caractersticas del proe pio modelo denido. De esta forma, sabiendo lo que incrementa en mayor medida el conocimiento, se podr n habilitar a los alumnos las estrategias de aprendizaje m s a a efectivas en relaci n con la provisi n de pistas. o o Poder conocer cu les son los comportamientos de los alumnos ante diferentes estratea gias de provisi n de pistas. De esta forma, se pueden corregir o guiar hacia determio nados comportamientos a los alumnos en el sistema. Conocer la opini n de los alumnos ante diferentes aspectos de la provisi n de pistas o o del modelo propuesto, para as poder satisfacer de manera m s adecuada sus necesi a dades, conocer lo bueno del modelo propuesto, etc.

Captulo 1. Introducci n y objetivos o Conseguir la adaptaci n inteligente de las diferentes pistas y t cnicas de provisi n de o e o pistas que se proporcionan a los alumnos para as poder lograr un aprendizaje perso nalizado y dependiente de diferentes factores, de tal forma que sea lo m s efectivo a posible en cada situaci n concreta y tipo de alumno, en lugar de ser siempre est tico. o a Utilizar en dicha adaptaci n de pistas el modelo de reglas antes comentado que proo porciona una serie de benecios. Integrar sistemas educacionales de provisi n de pistas dentro de la Web sem ntica para o a poder aprovechar todas las ventajas comentadas que la Web sem ntica proporciona. a

1.2.

Objetivos

Esta tesis doctoral tiene dos objetivos nales, los cuales se pueden desglosar en diferentes subobetivos. A continuaci n se presentan ambos objetivos junto con su desglose correso pondiente en subobetivos: 1. Denici n de una teora de modelado del e-learning, que por un lado aporte una visi n o o global de modelado del e-learning, y por otro lado modele de forma completa desde diferentes puntos de vista aspectos para los que se detectan carencias. En concreto, esto implica los siguientes subobjetivos: a) Proporcionar una visi n global que incluya qu aspectos del e-learning se pueden o e modelar, categoriz ndolos y enumer ndolos, y para cada uno de dichos aspectos a a de qu formas diferentes se pueden modelar. e b) Proporcionar una visi n ideal de evoluci n del e-learning, teniendo en cuenta el o o modelado de los diferentes aspectos. c) Establecimiento de la relaci n entre los diferentes est ndares de e-learning exiso a tentes (as como de otras especicaciones del estado del arte), y los aspectos de modelado que cubren y aquellos en los cuales tienen carencias. d) Proponer un nuevo modelado de cursos de e-learning mediante XML, utilizando la especicaci n IMS Content Packaging. o e) Proponer un nuevo modelado de cursos de e-learning mediante UML, utilizando una extension de UML. f ) Contribuir en la realizaci n de diferentes herramientas de autor de e-learning o (abarcando diferentes servicios, y aspectos de la especicaci n IMS Learning o Design), las cuales pueden ser vistas como un modelado de diferentes aspectos en lenguaje de personas con bajos conocimientos tecnol gicos. o g) Denir una nueva teora de reglas adaptativas, que permita el modelado de reglas de adaptaci n de un sistema de forma sencilla y clara para los dise adores, y de o n forma que sea f cilmente extensible con nuevas reglas, exible, basado en reglas a at micas, reusables, interoperables, combinables seg n condiciones, e intercamo u biables.

1.2. Objetivos

h) Denir una nueva arquitectura que permita combinar t cnicas de Web sem ntica e a con sistemas de tutora inteligente, integrando de esta forma a los sistemas de e-learning en la Web sem ntica aprovechando todas sus ventajas. Para ello, la a arquitectura debe proporcionar una soluci n que combine el modelado en XML o que tpicamente usan muchos sistemas de e-learning con el modelado mediante t cnicas formales de la Web sem ntica. La arquitectura denida debe enumerar e a y explicar los diferentes elementos involucrados, sus interrelaciones, as como los diferentes criterios de dise o a decidir durante la implementaci n de la arn o quitectura junto con algunas guas para ayudar en dichas decisiones. i) Denir un nuevo ciclo de vida del e-learning para la generaci n de contenidos, o reglas, assessments, etc., el cual incluya todos los aspectos involucrados en el e-learning, su orden de ejecuci n, ciclo para la mejora de los materiales, etc. o j) Establecimiento de los criterios generales para la evaluaci n de los diferentes o aspectos de e-learning, y aplicaci n de la evaluaci n a la calicaci n de la imo o o portancia de diferentes funcionalidades de sistemas de gesti n del aprendizaje. o 2. Crear un nuevo sistema de pistas adaptativo en tutora inteligente utilizando t cnicas e de Web sem ntica, donde se apliquen varios de los diferentes aspectos de la teora a comentada. En concreto, esto implica los siguientes subobjetivos: a) Denir un nuevo modelo de datos como parte de una nueva especicaci n de o pistas para aprendizaje basado en problemas. Dicho modelo de datos debe describir las diferentes posibilidades de provisi n de pistas abarcando los conceptos o recogidos en otros sistemas de pistas del estado del arte, as como incluyen do otros nuevos aspectos basados en nuestras propias ideas y experiencia como profesores. b) Denir un mapeo a XML del modelo de datos establecido de la especicaci n o de pistas, de forma que cualquier instancia de ejercicio con pistas pueda ser representado en XML. Dicho mapeo a XML debe cumplir que los archivos XML obtenidos, representando instancias de ejercicios con pistas, deben ser de la menor longitud posible y deben poder ser f cilmente insertables unos con otros para a poder componer nuevos ejercicios con pistas a partir de otros iniciales, dependiendo de los criterios de adaptaci n considerados. o c) Denir un modelo que permita representar en UML cualquier instancia de ejercicio con pistas. d) Denir un mapeo a RDF del modelo de datos establecido de la especicaci n o de pistas, de forma que cualquier instancia de ejercicio con pistas pueda ser representado en RDF. e) Implementar una herramienta de autor que sea de f cil utilizaci n por profesoa o res y dise adores de ejercicios sin conocimientos tecnol gicos, de forma que n o puedan crear las diferentes instancias de la especicaci n de pistas denida, y o que permita importar y exportar en formato XML de acuerdo al mapeo XML denido para la especicaci n de pistas. Esta herramienta se puede ver como un o modelado de alto nivel en palabras habituales para personas sin conocimientos tecnol gicos. o

Captulo 1. Introducci n y objetivos o f ) Implementar un reproductor de pistas como extensi n al tutor inteligente XTuo tor desarrollado en el MIT (Massachusetts Institute of Technology), de forma que pueda cargar y ejecutar ejercicios con pistas denidos en XML seg n la u especicaci n denida. Los alumnos podr n acceder va Web a dicho sistema o a implementado para resolver los ejercicios propuestos, pudiendo visualizar los ejercicios, introducir las soluciones, pedir pistas correspondientes, etc. g) Dise ar una aplicaci n de competici n entre alumnos basada en ejercicios con n o o pistas. h) Conocer par metros generales sobre el uso y satisfacci n de los alumnos con el a o sistema de pistas. i) Comparar la efectividad del sistema con pistas con respecto a otro sistema sin pistas para observar si se produce un benecio signicativo. j) Comparar el incremento de conocimiento que produce el sistema con pistas con respecto a tutores humanos dando pistas en clase. De esta forma se quiere corroborar que dicho sistema de pistas es tan efectivo para el aprendizaje como un tutor humano, y por lo tanto se podra dejar a los alumnos solos interaccionando con el tutor obteniendo al menos similares resultados que con tutores humanos. k) Evaluaci n de diferentes estrategias de provisi n de pistas para conocer o o qu t cnicas de provisi n de pistas pueden ser mejores que otras porque hacen e e o incrementar m s el conocimiento de los alumnos, y si siempre dicha mejora es a en la misma direcci n o depende de ciertos factores y es necesaria por lo tanto la o adaptaci n. En concreto se quieren evaluar para diferentes materias, las t cnicas o e de no penalizar por ver pistas con respecto a penalizar por ver pistas cuando en ning n caso hay un lmite m ximo de pistas a visualizar, no penalizar por ver u a pistas y con un lmite m ximo de pistas a visualizar con respecto a penalizar por a ver pistas pero sin un lmite m ximo de pistas a visualizar, dejar pedir la pista a directamente con respecto a s lo dejar pedir la pista ante un intento incorrecto, o tener efecto en la puntuaci n del problema inicial seg n la resoluci n de las piso u o tas asociadas con respecto a no tener ning n efecto en la puntuaci n, bonicar u o en el problema inicial por resoluci n correcta de pistas con respecto a penalizar o por resoluci n incorrecta de pistas, y dejar ver todas las pistas menos una con o respecto a s lo dejar ver una pista. o l) Evaluaci n del comportamiento de los alumnos ante diferentes t cnicas de proo e visi n de pistas. Las t cnicas consideradas que se comparan son las mismas que o e en el punto anterior, y sobre algunas de ellas se compara el n mero de pistas u vistas, o/y el n mero de problemas pistas contestadas y si se resolvieron mal o u bien. m) Conocer la opini n de los alumnos ante las diferentes caractersticas de provio si n de pistas del sistema, incluyendo la importancia que le dan a cada una, sus o preferencias, la justicia, o su comportamiento esperado. n) Denir una arquitectura para combinar el tutor inteligente XTutor junto con la extensi n de pistas implementada con el razonador de Web sem ntica CWM, o a de forma que se puedan conseguir pistas adaptativas en aprendizaje basado en

1.3. Planicaci n de Tareas o

problemas. Dicha arquitectura ser una instancia particular o realizaci n de la a o arquitectura general denida en la teora del modelado del e-learning n) Implementar un prototipo de la arquitectura denida en el punto anterior, que permita lograr pistas adaptativas utilizando nuestra extensi n de pistas en XTutor o y el razonador de Web sem ntica CWM, y combinando los formatos XML de a descripci n de pistas denida, y el lenguaje Notation 3 (N3) propio de la Web o sem ntica y entendible por CWM. As mismo, se deber n dar soluci n a los a a o diferentes problemas de implementaci n comentados en la arquitectura general, o adoptando las soluciones oportunas. o) Denici n de las ontologas oportunas para el sistema de pistas adaptativas, ino cluyendo ontologas de alumnos, problemas, pistas, conceptos del curso, o sobre las diferentes t cnicas de pistas. e p) Denici n de las reglas de adaptaci n para el sistema de pistas adaptativo, ino o cluyendo la adaptaci n de contenidos de pistas o de las diferentes t cnicas de o e pistas, dependiendo de los materiales especcos o los alumnos. q) Implementaci n de algunas reglas de adaptaci n para el sistema de pistas adapo o tativo, utilizando el lenguaje Notation 3 (N3) entendible por el razonador de Web sem ntica CWM. a

1.3.

Planicaci n de Tareas o

Para realizar estos objetivos, se ha realizado un esfuerzo en serie que ha requerido conseguir ordenadamente las siguientes metas generales: 1. Estudio del estado del arte de los diferentes aspectos relacionados con nuestros objetivos, para conocer los trabajos previos relacionados existentes. 2. Formulaci n de la teora de modelado del e-learning. o 3. Denici n de la especicaci n de pistas para aprendizaje basado en problemas, e imo o plementaci n de un reproductor de pistas acorde con dicha especicaci n, como exo o tensi n del tutor inteligente XTutor. o 4. Evaluaci n del modelo de pistas denido desde diversos puntos de vista. o 5. Aplicaci n de t cnicas de Web sem ntica para conseguir pistas adaptativas, combio e a nando el tutor inteligente XTutor junto con la extensi n del reproductor de pistas y el o razonador de Web sem ntica CWM. a A continuaci n, para cada una de las metas generales, se exponen las metas especcas o que de forma ordenada se hubieron de conseguir para lograr las metas generales. En primer lugar, en relaci n con el estudio del estado del arte se hubieron de conseguir ordenadamente o las siguientes metas especcas:

10

Captulo 1. Introducci n y objetivos o Estudio del estado del arte sobre ingeniera Web e ingeniera Software. De esta forma se puede comprender qu cosas se han modelado y c mo, en relaci n con aplicacioe o o nes software y aplicaciones Web. De ello se pueden extraer ideas interesantes para aplicarlas de forma an loga en el e-learning. a Estudio del estado del arte sobre dise o instruccional del aprendizaje. Ello conlleva n conocer los diferentes modelos de planicaci n de un curso, as como las diferentes o teoras pedag gicas y psicol gicas asociadas al aprendizaje. Todo ello se debe tener o o muy en cuenta a la hora del modelado de e-learning, ya que el e-learning tiene que nutrirse de las teoras tradicionales del proceso de aprendizaje, pero as mismo habr que a complementarlas con nuevos ingredientes fruto del empleo de las tecnologas de la in formaci n. o Estudio del estado del arte sobre la concepci n global del e-learning. o Estudio del estado del arte sobre las especicaciones y est ndares existentes para a e-learning y otras especicaciones existentes que aunque no son especcas de e learning, est n relacionadas. a Estudio del estado del arte sobre trabajos que incluyen modicaciones y extensiones a especicaciones y est ndares existentes para e-learning, debido a carencias detectadas a en las especicaciones de e-learning. Estudio del estado del arte sobre modelados en UML existentes para aspectos de elearning. Estudio del estado del arte sobre modelados existentes utilizando t cnicas formales e para aspectos de e-learning. Estudio del estado del arte sobre herramientas de autor para e-learning. Estudio del estado del arte sobre adaptabilidad y personalizaci n en e-learning. o Estudio del estado del arte sobre herramientas de competici n en educaci n. o o Estudio del estado del arte en relaci n con el concepto de sistema de pistas en tutora o inteligente y la importancia de tales sistemas. Estudio del estado del arte de sistemas de tutora para la provisi n de pistas que no o proporcionan funcionalidades adaptativas de pistas. Estudio del estado del arte de sistemas de tutora para la provisi n de pistas que im o plementan caractersticas adaptativas de pistas. Estudio del estado del arte sobre experiencias o/y evaluaciones realizadas en el aula o a distancia, con sistemas de pistas para sacar conclusiones sobre la efectividad de los sistemas, informaci n de las interacciones con los sistemas, comportamientos de los o alumnos, opiniones de los alumnos, etc. Estudio de los conceptos generales sobre Web sem ntica. a

1.3. Planicaci n de Tareas o Estudio del estado del arte sobre ontologas denidas para aplicaciones educativas.

11

Estudio de herramientas para la anotaci n en lenguajes de Web sem ntica en el ambito o a educativo. Estudio de herramientas de autora para Web sem ntica en educaci n. a o Estudio del estado del arte sobre aplicaciones de Web sem ntica en educaci n. a o Estudio del estado del arte de arquitecturas de Web sem ntica en educaci n para pera o sonalizaci n y adaptaci n. o o Estudio del estado del arte sobre aplicaciones adaptativas de Web sem ntica en edua caci n. o En relaci n con la teora de modelado del e-learning se hubieron de conseguir ordenao damente las siguientes metas especcas: Hacer un compendio de las diferentes funcionalidades y caractersticas presentes en diferentes sistemas de gesti n de aprendizaje y tutores inteligentes, y relacionarlo con o los diferentes aspectos cubiertos por las diferentes especicaciones y est ndares de a e-learning, viendo as cu les est n modeladas, y cuales faltan por modelarse. a a Ver los diferentes modos en que se ha modelado la Web, el software y algunas funcionalidades de e-learning, y ver si los diferentes modos de modelado tienen sentido su aplicaci n para las diferentes funcionalidades y caractersticas del compendio del o punto anterior. Analizar c mo utilizar la especicaci n IMS Content Packaging para poder modelar o o un curso completo con sus diferentes servicios y proponer un modelo para usar IMS Content Packaging para tal n. Analizar c mo utilizar UML para poder modelar un curso completo con sus diferentes o servicios y proponer un modelo para usar UML para tal n. Contribuir en la realizaci n de una herramienta de autor f cil de utilizar para usuarios o a sin conocimientos tecnol gicos, de forma que cubra aspectos de e-learning para los o cuales haba una carencia de modelado en las especicaciones de e-learning existentes Contribuir en la realizaci n de una herramienta de autor f cil de utilizar para usuao a rios sin conocimientos tecnol gicos, de forma que cubra la planicaci n de un curso o o pasando por las fases de objetivos, metodologa, contenidos y evaluaci n, siendo com o patible con la especicaci n IMS Learning Design. o Denici n de la nueva teora de reglas adaptativas. o Denici n de la nueva arquitectura que permita combinar t cnicas de Web sem ntica o e a con los tutores inteligentes. Denir una visi n ideal de e-learning combinando todos los servicios y aspectos a o modelar.

12

Captulo 1. Introducci n y objetivos o Denir un ciclo de vida que combine todos los elementos a modelar y dise ar, y diga n claramente las fases de ejecuci n de cada uno de los modelados. o Denir los criterios generales de evaluaci n para los diferentes aspectos del modelado. o Dise ar y ejecutar una experiencia de evaluaci n para calicar la importancia de difen o rentes funcionalidades de sistemas de gesti n del aprendizaje. o

En relaci n con la denici n de la especicaci n de pistas para aprendizaje basado en o o o problemas, e implementaci n de un reproductor de pistas acorde con dicha especicaci n, o o como extensi n del tutor inteligente XTutor, se hubieron de conseguir ordenadamente las o siguientes metas especcas: Una vez conocidas las caractersticas de otros sistemas de pistas del estado del arte (sin considerar aspectos de adaptaci n en un primer momento) se realiza un como pendio para integrar todos los conceptos, agrupar conceptos similares con diferentes t rminos seg n los sistemas pero id ntica funcionalidad, permitir la combinaci n de e u e o los diferentes conceptos, y a adir nuestras nuevas ideas para la provisi n de pistas, n o entonces se especican las caractersticas del nuevo modelo de pistas y se dene un nuevo modelo de datos, tratando que sea lo m s completo posible. a Se denen los mapeos a XML, y UML del modelo de datos denido, siguiendo las mejores pr cticas posibles. a Se estudia el lenguaje de programaci n python (que es el lenguaje sobre el que est eso a crito el tutor XTutor) as como las libreras que acompa an al tutor inteligente Xtutor. n Se implementa un reproductor de pistas que sea capaz de cargar y entender cheros XML de acuerdo con la especicaci n denida. Este reproductor se implementar utio a lizando python y las libreras de XTutor, como una extensi n a la funcionalidad inicial o proporcionada por XTutor. Se contribuye en la realizaci n de una herramienta de autor capaz de generar cheros o XML de acuerdo con la especicaci n denida y que sea f cilmente utilizable por o a profesores y dise adores de cursos. n Se contribuye en la realizaci n de una herramienta para competici n entre alumnos a o o base de ejercicios donde se pueden a adir pistas. n En relaci n con la evaluaci n del sistema de pistas para el aprendizaje se hubieron de o o conseguir ordenadamente las siguientes metas especcas: Realizaci n de una experiencia en Laboratorio de Arquitectura de Ordenadores duo rante los cursos 2004/2005 y 2005/2006 donde los alumnos interaccionaron con un sistema de preguntas sin pistas, siguiendo la especicaci n IMS-QTI. o Realizaci n de dos experiencias en Laboratorio de Arquitectura de Ordenadores duo rante los cursos 2006/2007 y 2007/2008 donde los alumnos interaccionaron con el sistema de pistas implementado. Durante el a o 2006/2007, adicionalmente un grun po de alumnos trabajo s lo con los ejercicios sin pistas, pero era el profesor quien o proporcionaba las pistas en clase.

1.4. Estructura de la Memoria

13

Obtener datos generales de utilizaci n del sistema, tanto de ejercicios como de pistas. o Comparar datos obtenidos entre experiencias utilizando sistema con pistas y sin pistas para ver si hay diferencia signicativa. Comparar datos obtenidos de incremento de aprendizaje en el a o 2006/2007 entre n grupo que utiliz el sistema y grupo que us tutores humanos dando pistas, para ver si o o hay diferencia signicativa. Comparar datos obtenidos en los cursos 2006/2007 y 2007/2008 sobre la utilizaci n de o diferentes t cnicas de provisi n de pistas para averiguar cu les y bajo qu condiciones e o a e resultaron m s beneciosas para los alumnos, as como conocer que diferencias de a comportamiento implica utilizar diferentes t cnicas de provisi n de pistas. e o Procesar los resultados de encuestas de las diferentes ediciones experimentales, donde se recoja la opini n de los alumnos sobre el sistema, su usabilidad, su benecio, la imo portancia de las diferentes t cnicas de provisi n de pistas, la justicia de las diferentes e o t cnicas, las preferencias de los alumnos, etc. e Finalmente, en relaci n con la aplicaci n de t cnicas de Web sem ntica para pistas adapo o e a tativas se hubieron de conseguir ordenadamente las siguientes metas especcas: Particularizaci n de la arquitectura general denida en la teora de modelado del eo learning al caso de pistas adaptativas que combina el tutor inteligente XTutor junto con la extensi n del m dulo de pistas implementado, y el razonador de Web sem ntica o o a XTutor. Implementaci n de un prototipo de la arquitectura especca denida para pistas adapo tativas, implementando el motor de llamadas de XTutor hacia el razonador CWM, los transformadores de formatos, etc. Denici n de la informaci n necesaria sobre la que razonar para la adaptaci n, o o o plasm ndola mediante ontologas de los diferentes aspectos. a Denici n de las reglas de adaptaci n para pistas adaptativas siguiendo la teora geo o neral de reglas denida en la teora de modelado del e-learning. Implementaci n de algunos ejemplos de reglas de adaptaci n de pistas en Notation 3 o o (N3) siguiendo la teora general de reglas.

1.4. Estructura de la Memoria

Esta memoria de tesis est estructurada en un total de nueve captulos. El primer captua lo ( ste mismo sobre introducci n) proporciona una introducci n general donde se exponen e o o diferentes conceptos como e-learning, modelado, Web sem ntica, adaptaci n, reglas, evaa o luaciones autom ticas, o sistemas de pistas, todo ello en el marco de la sociedad de la ina formaci n, seguidamente se pasan a comentar las motivaciones iniciales que dieron lugar o a este trabajo, luego se presentan los dos objetivos generales los cuales est n desglosados a

14

Captulo 1. Introducci n y objetivos o

en una serie de subobjetivos, se contin a con la explicaci n de los pasos en serie para la u o consecuci n de los subobjetivos, y se naliza con esta estructura general de la memoria de o la tesis. El segundo captulo est dedicado al estado del arte. All se presentan los trabajos re a lacionados con el modelado en e-learning, sistemas de pistas para el aprendizaje, y de Web sem ntica en educaci n. En dicho captulo se presentan los trabajos previos del estado del a o arte comentando lo que aportan y en qu consisten, y delimitando posibles ecos a abordar, e pero en general no se explica la relaci n de nuestras contribuciones con respecto a dicho o estado del arte. Dicha explicaci n de la relaci n de nuestras contribuciones con respecto al o o estado del arte se aborda en cada uno de los captulos concretos siguientes de la memoria de tesis, donde se presentan las propias contribuciones. De los siguientes captulos, el tercero est dedicado a enunciar la teora de modelado del a e-learning, mientras que los captulos cuarto, quinto y sexto est n dedicados a la aplicaci n a o especca a un sistema de pistas en tutora inteligente. En todos estos captulos, desde el tercero al sexto incluidos, hay una cierta estructura que se repite: en primer lugar se presenta una introducci n a dicho captulo, luego se citan las contribuciones particulares de dicho o captulo y se relaciona la aportaci n de dicho captulo con respecto al estado del arte, segui o damente se habla sobre la relevancia de las contribuciones presentadas, y nalmente se pasan a desarrollar las diferentes contribuciones expuestas. Es de remarcar que la mayor parte de la explicaci n de la relaci n de las contribuciones con respecto al estado del arte se presenta o o en una secci n inicial de cada captulo, pero que en ciertas ocasiones esto se complementa o con explicaciones adicionales dentro de las secciones de desarrollo de las contribuciones, ya que en ciertas situaciones es necesario introducir los resultados de las contribuciones para poder relacionarlas con el trabajo previo del estado del arte. Esto ocurre sobre todo en el captulo de evaluaci n del modelo de pistas propuesto. o En el tercer captulo se enuncia la teora de modelado del e-learning. En dicho captulo se presenta una visi n global sobre qu se puede modelar en e-learning, diferentes tipos de moo e delado que se pueden realizar para cada aspecto de e-learning, interrelaciones entre cada tipo de modelado y cuales interesan m s en cada momento, la visi n ideal del e-learning teniendo a o en cuenta el modelado, las carencias de las especicaciones actuales para cubrir diferentes aspectos del e-learning, nuevas propuestas de modelado de cursos completos mediante XML y UML, contribuciones a herramientas de autor f cilmente utilizables por profesores sin coa nocimientos tecnol gicos, una nueva teora de modelado de reglas adaptativas, una nueva o arquitectura para combinar t cnicas de Web sem ntica con tutores inteligentes, el postulado e a de un ciclo de vida para el desarrollo de e-learning, y las bases para la evaluaci n de mateo riales de e-learning junto con una aplicaci n de evaluaci n para calicar la importancia de o o diferentes funcionalidades de sistemas de gesti n del aprendizaje. o El cuarto captulo presenta una nueva especicaci n de pistas para aprendizaje basado o en problemas que combina diferentes caractersticas de sistemas de pistas del estado del arte y otras nuevas ideas fruto de nuestra experiencia. Dicha especicaci n comprende el o modelado de datos con un compendio de las diferentes caractersticas y funcionalidades de provisi n de pistas tratando de ser completo, un modelado en XML que mapea dicho modeo lo de datos, otro modelado en UML, y otro en lenguaje por palabras habitual de profesores sin conocimientos tecnol gicos que comprende la realizaci n de una herramienta de autor. o o Adem s, se explica la implementaci n de un reproductor de pistas extendiendo el tutor ina o

1.4. Estructura de la Memoria

15

teligente XTutor, que es capaz de ejecutar todas las posibilidades de pistas recogidas en la especicaci n. Finalmente, se comentan otras posibles ideas de aplicaciones para sacaro le provecho a la especicaci n de pistas denida, entre ellas el dise o de una herramienta o n competitiva. En el quinto captulo se analiza la evaluaci n del modelo de pistas propuesto. Para ello se o utiliza el reproductor de pistas implementado que tiene todas las caractersticas del modelo de pistas denido. En dicha evaluaci n se exponen par metros generales sobre el uso de la o a herramienta, se compara el incremento de conocimiento entre dicho sistema con pistas y un sistema de ex menes sin pistas, se compara el incremento de conocimiento entre dicho a sistema con pistas y un tutor humano dando pistas en clase, se comparan diferentes t cnicas e de provisi n de pistas tanto en cuanto al incremento de conocimiento que proporcionan como o con respecto a los diferentes comportamientos que implican en los alumnos, y se presentan y analizan resultados de encuestas a los alumnos en relaci n con dicho sistema de pistas y o sus caractersticas. El sexto captulo est dedicado a c mo aplicar t cnicas de Web sem ntica combinadas a o e a con el tutor inteligente XTutor junto con su m dulo de extensi n de pistas, para lograr pistas o o adaptativas. Para ello se presenta una implementaci n de la arquitectura general denida o para combinar tutores inteligentes con t cnicas de Web sem ntica, se muestran una serie de e a ontologas con los datos necesarios a considerar, se denen una serie de reglas adaptativas en el razonador CWM para adaptar diferentes aspectos relacionados con las pistas y siguiendo la teora general de reglas denida, y se presenta un ejemplo de reglas implementadas junto con su combinaci n para dar una regla mayor. o El s ptimo captulo es el de conclusiones. Este captulo est redactado en ingl s, ya e a e que de acuerdo a las reglas para la obtenci n de la tesis doctoral con menci n europea, es o o obligatorio redactar el resumen y las conclusiones en una de las lenguas de la Uni n Europea o distinta a alguna de las lenguas ociales en Espa a. Por este mismo motivo, el resumen de n la tesis tambi n est redactado en ingl s. Adicionalmente, para que todas las partes de la e a e tesis estuvieran en castellano, se ha traducido tanto el resumen de la tesis al castellano, as como el captulo de conclusiones. El captulo n mero ocho se corresponde tambi n con u e las conclusiones, pero esta vez redactado en castellano. Finalmente, el noveno captulo est dedicado a denir algunas lneas posibles de trabajos a futuros.

Captulo 2

Estado del Arte

En este captulo se presenta el estado del arte, incluyendo trabajos previos que tienen relaci n con esta tesis. Como criterio general de este captulo, se ha decidido comentar los o diferentes trabajos y referencias del estado del arte de una forma descriptiva y sin relacionarlos en gran medida con nuestras aportaciones en la tesis. Simplemente se expone lo que otros trabajos previos han logrado en diferentes areas. Ser posteriormente en cada captulo a de la tesis donde se incluir una secci n inicial de contribuciones de dicho captulo donde a o all s se relaciona el trabajo previo comentado en este captulo del estado del arte, con res pecto a nuestras contribuciones de la tesis en dicho captulo, diciendo adem s porqu nues a e tro trabajo es original y novedoso con respecto a lo existente. Esta comparaci n de nuestras o aportaciones y contribuciones en cada captulo con respecto al trabajo previo, estar en su a mayora descrita en la primera secci n de cada captulo con el nombre de contribuciones, o pero adicionalmente se incluir n en algunos casos relaciones de nuestro trabajo con respecto a al trabajo previo a lo largo del cuerpo de los captulos, ya que en ciertas ocasiones (funda mentalmente en el captulo de evaluaci n) se necesita explicar primero nuestros resultados o para una vez presentados poder compararlos con lo obtenido en el estado del arte. Es por ese motivo que la exposici n de esa relaci n de nuestro trabajo con el estado del arte, no o o se puede hacer a priori al inicio, sino que se realiza durante el captulo a medida que los resultados se van presentando. Este captulo del estado del arte se ha dividido en tres grandes bloques tem ticos. En a primer lugar se abordan diferentes aspectos relacionados con el modelado del e-learning. Seguidamente, se presentan sistemas de pistas para aprendizaje basado en problemas. Y para nalizar, se detalla la utilizaci n de Web sem ntica en educaci n. o a o

2.1.

Modelado en E-learning

En esta secci n del estado del arte se proporcionan referencias a trabajos que tienen o que ver con las contribuciones que se realizan en la tesis en cuento a la teora de modelado del e-learning. Dichos trabajos pueden estar directamente relacionados con el modelado de diferentes aspectos del e-learning, o tratar de factores a tener en cuenta a la hora de realizar el modelado, o bien es el repaso de t cnicas utilizadas en otras areas de conocimiento que e pueden ser aprovechadas y extrapolables al area del e-learning. En primer lugar, la secci n comenta acerca de los m todos utilizados en la ingeniera o e 17

18

Captulo 2. Estado del Arte

software y la ingeniera Web, as como de los aspectos modelados en dichas areas, ya que este conocimiento puede ser extrapolable al area de modelado en e-learning, estableciendo analogas, aprovechando t cnicas ya utilizadas, extrayendo los aspectos ya modelados, etc. e Seguidamente, se pasan a comentar las teoras sobre aprendizaje sin tener en cuenta la introducci n de tecnologas de la informaci n. En este ambito se distinguir n por un o o a lado los diferentes m todos de planicaci n de procesos educativos, y por otro lado las e o diferentes teoras psicol gicas del aprendizaje. Eso nos dar conocimientos sobre el proceso o a de ense anza-aprendizaje, tanto a nivel de la planicaci n en las diferentes fases, como de n o diferentes estrategias efectivas para el aprendizaje de los alumnos fruto de la aplicaci n de o teoras psicol gicas educativas desarrolladas. o En la siguiente subsecci n, se pasa a introducir el elemento tecnol gico en la educaci n, o o o present ndose los diferentes tipos de sistemas de aprendizaje mediante ordenador, as como a una descripci n general de ellos. o A continuaci n, se presentan unas subsecciones donde se muestran diferentes trabajos ya o realizados de modelado del e-learning. Se dedica una subsecci n para comentar las difereno tes especicaciones de e-learning existentes en la actualidad, las cuales modelan diferentes aspectos del e-learning, y tambi n otra para algunas extensiones a dichas especicaciones e que se han propuesto para suplir carencias detectadas en las mismas. Otra subsecci n trata o diferentes modelados en UML para el e-learning, mientras que otra abarca la utilizaci n de o m todos formales para el modelado del e-learning. Finalmente en esta lnea, otra subsecci n e o abarca diferentes herramientas de autor existentes en e-learning, as como su problem tica. a Esto puede ser visto como un modelado de alto nivel con palabras por medio del lenguaje natural, y mediante representaciones gr cas. a La competici n en educaci n a trav s de las tecnologas de la informaci n, puede ser o o e o vista como un aspecto m s a modelar. Siendo la competici n un aspecto que se puede aplia o car a m ltiples aplicaciones de e-learning. Se dedica una subsecci n para hablar sobre los u o efectos de la competici n en educaci n, as como de diferentes herramientas existentes con o o este n. Finalmente, se comenta sobre un tema de gran relevancia en el desarrollo de sistemas de e-learning, como es la posibilidad de adaptaci n y personalizaci n, dando una revisi n o o o del estado del arte sobre la introducci n del concepto de adaptaci n, qu cosas se pueden o o e adaptar, el enlace directo entre modelado de usuario y adaptaci n, etc. o

2.1.1.

Ingeniera Software

Se puede denir la ingeniera software como la ciencia encargada de facilitar el desa rrollo y mantenimiento de aplicaciones software de calidad. Ello implica diferentes aspectos a considerar en el desarrollo y mantenimiento del software tal como el modelado general de los procesos software, el modelado especco de determinadas actividades desde dife rentes puntos de vista, el postulado de metodologas sistem ticas de desarrollo, o el uso de a herramientas que facilitan la creaci n de software de acuerdo a diferentes metodologas. o La ingeniera del software trata por lo tanto de encontrar las mejores pr cticas para el a desarrollo de software en cada una de las circunstancias o casos. El hecho de utilizar ciertas metodologas sistem ticas incluyendo diferentes modelados para el desarrollo del software, a con la ayuda de herramientas que facilitan su ejecuci n, implica una serie de ventajas con o

2.1. Modelado en E-learning

19

Figura 2.1: Ejemplo de modelo de proceso software en cascada respecto a desarrollar software sin metodologas. Tales ventajas, que hacen necesaria la inge niera del software, son la reducci n de costes en el desarrollo y mantenimiento del software, o la mejora de la abilidad reduciendo el n mero de fallos del programa, el incremento de la u eciencia, o la mejora en la usabilidad de los sistemas por parte de los usuarios. La idea de ingeniera del software fue introducida por primera vez en 1968, en el con texto de un congreso donde se debati la denominada como crisis del software. Esta crisis o del software se reere a la idea de desarrollar software cada vez m s complejo sin ninguna a metodologa, lo que redundaba en sistemas cada vez m s costosos y difciles de mantener. A a partir de entonces hasta la actualidad se han propuesto diferentes metodologas y modelados, que si bien comparten una serie de aspectos comunes tienen sus especicidades. La elecci n o de una metodologa, modelado, o proceso concreto depender del tipo de aplicaci n donde a o se vaya a utilizar, ya que dependiendo del caso unos ser n m s adecuados que otros. La ciena a cia de la ingeniera del software est en la actualidad bastante madura, y se pueden encontrar a multitud de excelentes trabajos que abordan una profunda revisi n general del tema como o por ejemplo en [17] o [18]. Aqu presentaremos un resumen de lo que consideramos m s a relevante en relaci n con esta tesis, pero pueden verse m s detalles en las citas comentadas. o a Modelos de Procesos Software Los modelos de procesos software son una descripci n de alto nivel sobre las diferentes o fases o actividades que tendr el desarrollo y mantenimiento de un producto software as coa mo la interrelaci n entre dichas actividades. Por lo tanto, implica la denici n de un conjunto o o de actividades, las entradas y salidas a modo de metas que tendr cada actividad, c mo se a o secuencian las diferentes actividades y sus relaciones. Entre las diferentes actividades que se denen se encuentran la denici n de requisitos, el an lisis, el dise o, la implementaci n, la o a n o validaci n, y el mantenimiento. Todas estas actividades son comunes a los diferentes modeo los de procesos software. Las diferencias fundamentales sobre lo que cambia de un modelo de proceso software a otro radican fundamentalmente en c mo es la secuencia entre dichas o actividades. Entre los principales modelos de procesos software se encuentran los siguientes: En cascada. Se caracteriza por una serie de actividades secuenciales de forma que hasta que no se acaba una actividad y se obtienen todos los resultados de la misma, no se puede pasar a la siguiente. En la gura 2.1 se muestra un ejemplo de proceso software en cascada con diferentes actividades. Este modelo tiene la ventaja de que es bastante transparente, claro y agil, pero no es adaptable ni apropiado para proyectos complejos con alto riesgo.

20

Captulo 2. Estado del Arte Prototipado. Mediante este modelo, se desarrolla primero un sistema prototipo con unas pocas caractersticas y se le muestra al usuario, el cual da una realimentaci n o fruto de la cual pueden hacerse versiones posteriores del sistema. Este modelo es adecuado cuando se aborda un proyecto complejo, con requisitos iniciales no muy bien denidos, es decir proyectos con alto riesgo, teniendo la desventaja que no es transparente. Incremental. El modelo incremental consiste en tener varios hilos de desarrollo ejecut ndose a la vez. Por ejemplo, un hilo de desarrollo puede ser el mostrado en la a gura 2.1. Cuando en ese hilo se llega a la fase de dise o, entonces a la vez se puede n abrir otro hilo de desarrollo en paralelo donde se ejecute el an lisis del sistema. Cuana do se ha terminado el dise o en el primer hilo y el an lisis en el segundo, entonces se n a puede empezar un tercer hilo donde se comience con el an lisis, y as sucesivamente. a Cada uno de los hilos de desarrollo, estar n por lo tanto en diferentes tipos de actia vidades. Cada hilo actuando en paralelo dar lugar a diferentes versiones nales del a software, siendo el ultimo hilo de desarrollo el que dar el producto software nal, ya a que ser el m s evolucionado al tener entradas y conocimientos de los hilos previos. a a Este modelo incremental puede ser visto como la aplicaci n de varios hilos del modelo o en cascada, donde se van obteniendo diferentes prototipos en cada interacci n. o En espiral. El modelo en espiral consiste en repetir varias veces el ciclo ejecutado en un modelo en cascada. As pues se suceden una serie de iteracciones donde en cada una de ellas se pasa por las mismas fases o actividades. En cada una de las iteracciones, como resultado nal se obtiene un producto software y se eval an diferentes aspectos u antes de comenzar una nueva iteracci n. Tras cada iteracci n se va produciendo una o o versi n nueva de producto software. Esta soluci n comparte con el modelo incremeno o tal el hecho de que es iterativa, pero en este caso hasta que no se acaba por completo una iteracci n no se empieza la siguiente, a diferencia del modelo incremental dono de hay varios hilos en paralelo. Este modelo es apropiado para situaciones con alto riesgo.

Aspectos a modelar Para el desarrollo de software, se tienen que tener en cuenta los diferentes aspectos involucrados, para modelarlos previamente y as ser m s f cil una posterior implementaci n a a o de los mismos. Entre los principales aspectos que hemos visto en la literatura que se han modelado dentro de la ingeniera del software, se encuentran los siguientes: Arquitectura. Hay muchos tipos de arquitecturas que se pueden realizar a la hora de modelar un sistema. Por un lado est n las arquitecturas de alto nivel que tratan de a identicar los actores, componentes tecnol gicos, etc. que interaccionan entre s a o alto nivel (ejemplos son las arquitecturas cliente-servidor, m quina virtual, etc.). Por a otro lado est n arquitecturas m s especcas que tratan de ver los subsistemas que a a componen un determinado sistema, con las relaciones entre ellos, y otros detalles. Datos. Consiste en describir claramente la informaci n involucrada en la aplicaci n, o o las relaciones entre dicha informaci n, etc. o

2.1. Modelado en E-learning

21

Funcionalidad. Consiste en describir lo que un sistema es capaz de hacer, indicando tambi n sus entradas y salidas, es decir sus interfaces. Con dichos interfaces podr n e a interaccionar usuarios o bien otros subsistemas o m quinas. As mismo, se deben ina dicar los diferentes subsistemas qu son capaces de hacer junto con sus entradas y e salidas. Tambi n es parte de este modelado indicar c mo se producen las transformae o ciones de datos en el sistema y entre qu procesos se producen. e Comportamiento. Implica comprender los diferentes estados por los que pasa un sistema as como el estado de los diferentes subsistemas que lo conforman. Tambi n e consiste en conocer c mo se realiza el control en el sistema, los algoritmos ejecutao dos, los diferentes eventos tales como interrupciones, temporizadores, etc. Interfaz de usuario. Aunque este aspecto podra ser visto como parte del aspecto de funcionalidad, se ha sacado como un aspecto independiente ya que implica una interacci n de los usuarios con el sistema y usualmente requiere t cnicas de modelado o e diferentes respecto a la funcionalidad interna del sistema. Aqu se trata de modelar to dos los aspectos relacionados con la interfaz que los diferentes usuarios ven a la hora de interaccionar con el sistema. Es de destacar que un mismo aspecto de los considerados puede ser modelado en m s a o menos detalle. Normalmente, el detalle de modelado va incrementando seg n se va avanu zando en las fases del desarrollo software. Es decir que en la especicaci n de requisitos se o dan menos detalles que en el an lisis, en el an lisis menos que en el dise o, y nalmente a a n la implementaci n que es la realizaci n completa, puede tambi n verse como un modelado o o e con todos los detalles. Tipos de Modelado Cada uno de los aspectos comentados anteriormente, puede ser modelado con diferentes t cnicas. Algunas de las t cnicas principales utilizadas en ingeniera software son las e e siguientes, las cuales se pasan a comentar seguidamente en un apartado especco: M todos basados en representaciones gr cas. e a M todos formales. e M todos de descripci n mediante lenguaje natural. e o Es de remarcar que cada uno de estos m todos se puede aplicar para el modelado en e mayor o menor detalle de cada una de las fases del proceso de desarrollo software. Es decir que tanto m todos gr cos, formales o de lenguaje natural pueden aplicarse tanto para la e a fase de especicaci n de requisitos, an lisis o dise o. Dependiendo de la fase donde estos o a n m todos son aplicados, dichos modelados dar n m s o menos detalles de los aspectos que e a a modelan. No obstante, por su naturaleza, habr m todos para los que sea m s apropiada su a e a aplicaci n en una de sus fases. As por ejemplo, la descripci n mediante lenguaje natural o o est m s indicada en la especicaci n de requisitos. a a o

22

Captulo 2. Estado del Arte

M todos Basados en Representaciones Gr cas En este tipo de metodologas, los difee a rentes modelados se realizan fundamentalmente mediante representaciones gr cas. Dentro a de este tipo de m todos se distinguen dos subtipos fundamentalmente: e An lisis estructurado. En este tipo de m todos se trata de dividir el sistema en m dua e o los que son componentes funcionales. En este grupo se encuentran por ejemplo los trabajos de [19] y [20]. Fruto de los trabajos sobre an lisis estructurado surgieron las a ideas de los diagramas entidad-relaci n para el modelado de datos, los diagramas de o ujo de datos, o los diagramas de control de ujo. An lisis orientado a objetos. En este tipo de m todos cada subsistema es un objeto. En a e este grupo se encuentran por ejemplo los trabajos de [21] y [22]. Entre las diferentes aportaciones de dichos m todos, se evolucion hacia el archiconocido UML (Uniform e o Modelling Language) [23]. Entre los principales diagramas que ofrece UML se encuentran los siguientes: Diagramas de caso de uso. Describe los diferentes usuarios del sistema junto con las interacciones o acciones del usuario con el propio sistema. Diagramas de clase. Describe las diferentes clases del sistema, sus atributos, junto con las relaciones entre dichas clases. Diagramas de objetos. Muestra en un determinado momento del sistema qu instane cias de clases hay en el sistema, con sus atributos y relaciones entre ellos. Suelen ser m s concretos que los diagramas de clase y son un ejemplo concreto del sistema en a un determinado momento. Diagramas de paquetes. Sirve para modelar como las diferentes partes de un sistema se pueden agrupar en conjuntos l gicos y c mo son las relaciones entre dichos o o conjuntos l gicos. o Diagramas de interacci n. Bajo este grupo se engloban una serie de diagramas en o relaci n con el ujo del control y los datos del sistema. Entre los diagramas que nos o podemos encontrar en este grupo est n: de comunicaci n (modela la interacci n ena o o tre objetos mediante paso de mensajes), de resumen de la interacci n (son un caso o particular de diagrama de actividad en el cual los nodos representan diagramas de interacci n), de secuencia (muestra c mo los objetos se comunican entre s mediante o o secuencia de mensajes y adem s el periodo de vida de los objetos en relaci n con a o dichos mensajes), de temporizaci n (es como un diagrama de secuencia al que se le o a ade un eje de tiempo que se puede ver su incremento) n Diagramas de estado. Indica los diferentes estados en los que puede estar un determinado sistema y c mo puede pasar desde un estado a otro (lo que se denomina como o condiciones de transici n). o Diagramas de actividad. Sirven para modelar el control de un determinado sistema, indicando diferentes caminos seg n condiciones, estructuras de repetici n de activiu o dades, o concurrencia entre actividades.

2.1. Modelado en E-learning Diagramas fsicos.

23

El lenguaje UML es ampliamente utilizado para desarrollo de software, pero tambi n se e ha utilizado en otros campos como en operaciones de bases de datos relacionales [24], en ingeniera de sistemas [25], o en ingeniera Web que se ver en la pr xima subsecci n. a o o M todos Formales Los m todos formales proponen modelos matem ticos para describir e e a de una forma precisa, consistente y rigurosa productos software. Estos m todos utilizan noe taci n matem tica en lugar de representaciones gr cas, y tambi n sirven para modelar las o a a e diferentes fases del desarrollo software desde la especicaci n, el dise o o la validaci n. La o n o aplicaci n de estos m todos formales ayuda a producir software sin errores, aunque la aplio e caci n de toda la artillera matem tica junto con sus pruebas puede requerir mucho tiempo o a en contrapartida. Existen diferentes ejemplos y metodologas de m todos formales aplicados al software e en la literatura. Por ejemplo, en [26] se expone un m todo concreto de programaci n proe o porcionando los medios para realizar programas correctos. Para ello se introduce una formulaci n matem tica rigurosa y se utiliza el lenguaje de programaci n Pro. Todo el modelado o a o formal est basado en los principios de la l gica y se analizan aspectos tales como los tipos a o de datos, colecciones de objetos, strings, listas, determinadas funciones, par metros, argua mentos, estructuras de datos, y otros aspectos como el razonamiento en programaci n. o Por otro lado, en [27] se propone una metodologa sistem tica basada en m todos for a e males y dividida en tres partes: en primer lugar una formulaci n aplicativa que incluye la o especicaci n de problemas, seguidamente la formulaci n de procedimientos que incluye o o la presencia de variables en los programas, y como tercer punto trata sobre almacenes organizados, punteros, etc. La visi n de los autores del proceso de programaci n es como un o o conjunto de transformaciones en cadena. Como ultimo ejemplo de metodologas formales para desarrollo software, citaremos a [28] que utiliza la t cnica de desarrollo formal denominada VDM. Este trabajo se centra e fundamentalmente en la especicaci n funcional del sistema, para lo cual se establecen una o serie de propiedades basadas en pre-condiciones y post-condiciones. En este trabajo se hace hincapi no s lo en la especicaci n de programas sino tambi n en la prueba de los mismos, e o o e todo ello basado en matem ticas rigurosas. a M todos de Descripci n Mediante Lenguaje Natural Este tipo de metodologas consise o ten en describir cualquier aspecto de un sistema o programa mediante palabras en lenguaje natural. Esto puede ser ambiguo y dar lugar a imprecisiones propias de los lenguajes naturales. Pero de hecho, en diferentes metodologas de desarrollo software se emplean en cierto grado este tipo de t cnicas. e

2.1.2. Ingeniera Web

La ingeniera Web es la ciencia encargada de facilitar el desarrollo y mantenimiento de aplicaciones Web. Para ello las aplicaciones Web son modeladas seg n diferentes metodou logas. En cada apartado de esta secci n se explica una t cnica de modelado de ingeniera o e Web diferente. Finalmente, en el ultimo apartado se da una visi n global de todas las t cnicas o e comentadas y una comparaci n entre ellas. o

24

Captulo 2. Estado del Arte

Figura 2.2: Ejemplo de modelo de datos (imagen obtenida de www.webml.org) WebML WebML (Web Modelling Language) es uno de los m todos m s usados para el modelado e a de aplicaciones Web y se describe en [29] y [30]. Esta metodologa de modelado est orien a tada a aplicaciones Web que hacen un uso intensivo de datos. Esto signica que intenta modelar aplicaciones Web que tienen que almacenar una cantidad signicativa de datos en una base de datos conformando una estructura compleja con relaciones entre s, y a los que las aplicaciones Web deber n acceder en diferentes maneras. a Esta metodologa propone la separaci n de una aplicaci n Web en cuatro partes, para su o o modelado por separado. Estos aspectos son: modelo de datos, modelo de hipertexto, modelo de gesti n de contenido, y modelo de presentaci n. o o El modelo de datos representa las diferentes tablas de datos y sus relaciones que son necesarias para una aplicaci n Web concreta. Para ello se pueden utilizar diagramas de o Entidad-Relaci n (E-R) que muestran todas las tablas, los diferentes campos de cada tao bla, y las relaciones entre ellas. Los diagramas UML de clases tambi n pueden representar e la misma informaci n que un diagrama de Entidad-Relaci n (por lo que puede usarse de o o manera equivalente), e incluso informaci n adicional sobre el modelo de datos. La gura o 2.2 muestra un ejemplo de modelo de datos realizado con diagramas de Entidad-Relaci n. o El modelo de hipertexto representa las diferentes p ginas que hay en una aplicaci n a o Web, sus diferentes enlaces (existen de dos tipos: internos, cuando hacen relaci n a la miso ma p gina; externos, cuando el enlace es entre diferentes p ginas), los diferentes modos de a a presentar elementos que son pedidos a la base de datos (listas, scrolling, etc.), los diferentes

2.1. Modelado en E-learning

25

Figura 2.3: Ejemplo de modelo de hipertexto con WebML (imagen obtenida de www.webml.org)

elementos para insertar la informaci n que va a ser usada para realizar una petici n a la base o o de datos (por ejemplo los campos de texto de entrada en la aplicaci n Web), las diferentes o acciones, los diferentes par metros de la aplicaci n Web, o las diferentes b squedas de ina o u formaci n (est s b squedas deben ser congruentes con el modelo de datos que se debe hacer o a u previamente). El modelo de hipertexto se construye a partir de un nuevo lenguaje para el modelado de la Web denominado WebML, que incorpora un conjunto de elementos creados con este n especco de modelado. Si bien el modelo de hipertexto debe ser congruente con el modelo de datos previamente creado, sin embargo el modelo de hipertexto no se construye tomando como base el modelo de datos y ampli ndolo. La gura 2.3 muestra un ejemplo de a modelo de hipertexto realizado con WebML. El modelo de gesti n de contenido puede ser visto como una extensi n del modelo de o o hipertexto, y modela algunas operaciones extra mediante WebML. Finalmente, el modelo de presentaci n representa la visi n del interfaz de usuario. Para o o ello se recomienda el uso de est ndares para la presentaci n y de hojas de estilo CSS. a o Se ha creado una herramienta de autor que cubre esta t cnica de modelado. Con ella es e posible generar c digo de implementaci n especco para una aplicaci n Web (incluyendo o o o programa, HTML, CSS, etc.) a partir de los cuatro modelos comentados que se escriben directamente en la herramienta. Adem s permite elegir entre generar c digo JSP o bien a o ASP.net. Por lo tanto, un dise ador Web que siguiera este m todo, tendra s lo que escrin e o bir los diferentes modelos comentados, y seguidamente la herramienta de autor generara autom ticamente todo el c digo especco requerido. a o Adicionalmente, este m todo explica un diagrama de proceso de desarrollo especco, e el cual pone en contexto los otros cuatro modelos individuales. De forma an loga al proceso a de desarrollo en ingeniera software, se propone un modelo en espiral con una serie de fases que deben ser realizadas en orden, en este caso para el desarrollo Web.

26 OOHDM

Captulo 2. Estado del Arte

OOHDM (Object Oriented Hypermedya Design Method) es un m todo de modelado e de aplicaciones Web que se explica en [31] y [32]. El m todo consta de cuatro pasos o e submodelos que siguen un orden. Cada submodelo es un modelo orientado a objetos que se basa en el submodelo anterior. As pues, el siguiente submodelo se construye tomando el submodelo anterior tal cual y a adi ndole nuevos aspectos. Esto representa una de las n e diferencias con respecto a WebML. Los cuatro pasos que se denen son: dise o conceptual, dise o navigacional, dise o n n n de interfaces abstracto, e implementaci n. Antes de estos cuatro pasos, se debe realizar un o an lisis de requerimientos. a El dise o conceptual intenta modelar la sem ntica del dominio de aplicaci n, pero sin inn a o cluir a los usuarios o consideraciones de tareas. Para este submodelo se puede usar cualquier lenguaje de modelado, como por ejemplo UML. El dise o navigacional a ade nodos, enlaces, etc. al dise o conceptual previo. Por men n n dio de los nuevos elementos a adidos por este submodelo, los diferentes usuarios y tareas n quedan reejados. Con el mismo dise o conceptual se pueden construir diferentes dise os n n navigacionales. El dise o de interfaces abstracto intenta modelar la apariencia nal de la aplicaci n Web n o que ver el usuario. Para ello, al submodelo previo se a aden nuevos elementos tales como a n ilustraciones, cuadros de texto, botones, etc. Con el mismo dise o navigacional se pueden n construir diferentes dise os de interfaces abstractos. n Finalmente, en la fase de implementaci n, los diferentes submodelos previos se conviero ten en la aplicaci n web real. o WSDM WSDM (Web Site Design Method) es un m todo que se explica en [33] y [34]. Este e m todo se divide en cinco fases: establecimiento de la misi n, modelado de la audiencia, e o dise o conceptual, dise o de la implementaci n, e implementaci n. n n o o El establecimiento de la misi n dene los objetivos de la aplicaci n Web y los diferentes o o tipos de usuarios o audiencias que tendr el sistema. a El modelado de la audiencia clasica a los diferentes usuarios seg n tengan unos requiu sitos especcos en la aplicaci n Web y dene las acciones especcas que puede realizar o cada tipo de audiencia, as como los detalles especcos referentes a la presentaci n que o necesita cada tipo. De esta forma, las diferentes audiencias son caracterizadas. WSDM empieza por modelar en sus primeras fases a los diferentes tipos de usuarios deniendo sus caractersticas. Esta es una diferencia importante con respecto al resto de los m todos que e suelen empezar por modelar informaci n de datos. o El dise o conceptual se divide en dos submodelos: el submodelo de tareas (en el que se n modela los requerimientos de informaci n y funcionales de cada audiencia), y el submodelo o de dise o navigacional (en el que se modelan la distribuci n de p ginas y los hiperenlan o a ces para cada audiencia). En cualquier caso, ambos submodelos del dise o conceptual son n independientes de los detalles de la implementaci n. o El dise o de implementaci n provee los detalles especcos de la implementaci n de n o o la aplicaci n Web. En esta fase se modelan el dise o de p ginas, el dise o de presentaci n o n a n o

2.1. Modelado en E-learning

27

y el dise o de datos. Finalmente, en la fase de implementaci n, se proporciona el c digo n o o especco de la aplicaci n Web. o Esta aproximaci n de modelado est orientada al usuario. Es por ello, que esta propuesta o a se ajusta bien para resolver problemas concretos relacionados con los usuarios tales como la internacionalizaci n o globalizaci n como se describe en [35]. o o UWE UWE (UML-based Web Engineering) es un m todo que se describe en [36] y [37]. Se e divide en tres modelos: dise o conceptual (aqu se aplica un modelado UML sin extension nes, como en ingeniera software), dise o navigacional (se proponen extensiones a UML n para modelar hiperenlaces y otros elementos para la navegaci n), y la presentaci n (se coo o rresponde con la vista de una aplicaci n Web). o OO-H El m todo de modelado OO-H (Object-Oriented Hypermedia Model) se describe en [38] e y [39]. Este m todo de modelado se centra en los interfaces de usuario, por lo que puede e decirse que est orientado a las aplicaciones Web de interfaces de usuario. a OO-H se compone fundamentalmente de tres fases diferentes: Diagramas de clase y casos de uso. En esta fase se puede usar UML sin extensiones. Diagramas de acceso de navegaci n o NAD (Navigation Access Diagram). Para ello o se utiliza un subconjunto de UML y se a ade a los diagramas de clase y casos de uso n realizados previamente. En esta fase, se representan los aspectos de navegaci n. o Diagrama de presentaci n abstracta o APD (Abstract Presentation Diagram). Estos o diagramas se basan en plantillas que son documentos XML [40] que describen los interfaces de la aplicaci n Web. o Reexiones sobre las T cnicas de Modelado de Ingeniera Web e En esta subsecci n se pretende establecer una relaci n entre las diferentes t cnicas de o o e modelado de Ingeniera Web que se han comentado en las subsecciones previas. Para ello se describen los aspectos comunes y las diferencias entre las diferentes t cnicas de modelado. e En primer lugar, se puede observar que los cinco m todos tienen alg n lenguaje de modee u lado gr co del estilo a UML para modelar los diferentes aspectos involucrados en una aplia caci n Web. No obstante, cada uno de los m todos usa variaciones diferentes. As, mientras o e WebML crea un nuevo lenguaje denominado WebML (que es un lenguaje an logo a UML a pero en lugar de para modelado de software, para el modelado Web) incluyendo nuevos elementos adaptados a la Web que no estaban en UML, UWE utiliza extensiones a adidas al n lenguaje UML, y OOHDM, WSDM, OO-H utilizan UML sin extensiones. Tambi n se puede observar que la mayora de los m todos tratan modelar una serie de e e aspectos comunes a todos los m todos como son: la base de datos, el modelo conceptual, el e modelo navigacional, y el modelo de presentaci n. Adem s, algunos de los m todos tratan o a e de modelar aspectos adicionales. Cada m todo tiene sus particularidades en el modelado de e

28

Captulo 2. Estado del Arte

cada uno de estos aspectos, haci ndolo desde un punto de vista diferente. En cualquier caso, e esto puede servir para valorar cuales son los aspectos clave de modelado en ingeniera Web. Como ultima reexi n, cada m todo de modelado se ajusta mejor a un tipo de aplicao e ci n Web especco. WSDM est basado en el usuario, por lo que se recomienda su uso o a para aplicaciones que hacen uso de diferentes audiencias. WebML est orientado para aplia caciones que hacen un uso intensivo de datos, por lo que est recomendado para aplicaciones a que tienen una elevada interacci n con la base de datos. OO-H est orientado a interfaces, o a por lo que se recomienda su uso para aplicaciones Web orientadas a interfaces. Finalmente OOHDM y UWE son modelos m s abstractos que pueden ser usados en aplicaciones Web a m s generales. En cualquier caso, una misma aplicaci n Web podra ser modelada a la vez a o por varios de los m todos comentados, ofreciendo as diferentes puntos de vista sobre la e misma.

2.1.3.

Diseno Instruccional del Aprendizaje

Esta subsecci n sobre dise o instruccional del aprendizaje la hemos dividido en dos o n partes: por un lado aquellas teoras y modelos para la planicaci n de cursos, y por otro o lado las teoras de psicologa del aprendizaje que implican conclusiones sobre las mejores pr cticas en el proceso de ense anza y c mo llevarlas a cabo en el aula. No obstante, en la a n o primera parte tambi n se citar n teoras de psicologa del aprendizaje, ya que estas tienen un e a efecto en la planicaci n de cursos. o El concepto sobre planicaci n de cursos ha evolucionado a lo largo del tiempo. Hay o diferentes aproximaciones hist ricas educativas que han inuido y contribuido a las teoras o de planicaci n de cursos actuales. Una de las primeras contribuciones se encuentra en [41] o donde se establece una comparaci n entre el estudio mediante libros de texto y los profesores o tradicionales en clase (normalmente mediante ense anza oral), y se muestra una lista de n ejemplos de estrategias de ense anza o tipos de tareas, tales como ilustraciones, actividades n pr cticas, cuestiones, explicaciones, o directrices. a Los objetivos a lograr en una experiencia educativa han sido el n cleo central de diu ferentes estudios tales como los expuestos en [42] y [43]. En la referencia [43] se incluye el concepto de objetivo como base para elaborar una planicaci n did ctica compuesta por o a contenidos, y la correspondiente evaluaci n basada en dichos objetivos. Skinner [44] es uno o de los contribuidores principales de las teoras conductistas en la educaci n, y propuso di o vidir el material en peque as piezas de tareas y proporcionar un refuerzo o realimentaci n n o (feedback) dependiendo del exito o fracaso de los alumnos. M s tarde, el mismo Skinner a desarroll y present en [45] una m quina que proporcionaba contenidos en una secuencia o o a para los alumnos, pero incluyendo refuerzo. Por otro lado, aproximaciones de las teoras cog nitivistas en educaci n fueron introducidas, siendo estas teoras centradas en el alumno. En o esta lnea, Gagne estableci las relaciones jer rquicas entre tareas y actividades, y tambi n o a e proporcion una clasicaci n de objetivos [46]. Mager dividi los objetivos entre generales, o o o intermedios y especcos [47]. Pask introdujo algunos tipos de aprendizaje personalizado donde la secuencia de actividades de un alumno no es lineal, sino que depende del alumno [48]. El modelo conocido como de Hilda Taba [49] formula que la planicaci n din mica o a de un curso debe estar basada en criterios l gicos, cronol gicos o metodol gicos. Las dio o o

2.1. Modelado en E-learning

29

ferentes actividades deben estar organizadas y secuenciadas apropiadamente, distinguiendo entre actividades individuales y grupales, actividades para el alumno o para el profesor, etc. Adicionalmente, este modelo tambi n enuncia las diferentes fases que son aceptadas en la e mayora de teoras de planicaci n de cursos actuales: objetivos, contenidos, organizaci n o o de contenidos (metodologa), y evaluaci n. Una revisi n completa de diferentes estudios so o o bre planicaci n de cursos desde diversos puntos de vista puede encontrarse por ejemplo en o [50] donde se pueden obtener m s detalles. a Estudios m s recientes se han centrado en analizar ciertas partes especcas de la plaa nicaci n de cursos. As, varias guas did cticas tecnol gicas han sido propuestas como la o a o del Instituto de Monterey [51] que entre otras cosas enumera un conjunto de tipos de tareas en instrucci n, diferentes patrones pedag gicos han sido dise ados como en el Pedagogical o o n Patterns Project [52], estudios sobre personalizaci n como los relacionados con la clasio caci n de diferentes tipos de alumnos en grupos dependiendo de sus estilos de aprendizaje o [53], o sobre la importancia de proporcionar a los alumnos con estrategias y t cnicas de e acuerdo a c mo ellos aprenden [54]. o Aparte de las diferentes teoras sobre planicaci n de cursos, cabe resaltar las diferentes o teoras del aprendizaje que han ido surgiendo a lo largo de la historia. De hecho en gran n mero de ocasiones las diferentes teoras de aprendizaje tienen su repercusi n en la planiu o caci n de cursos, por lo que ambos conceptos est n relacionados, y por lo tanto habr reo a a ferencias que se repitan al abordar este aspecto. En este punto, s lo se comentar n aquellos trabajos m s signicativos del estado del arte o a a sobre teoras educativas y aquellos que tienen mayor relaci n con nuestro trabajo, debido a o que el n mero de trabajos sobre teoras educativas es muy elevado. u En primer lugar cabe resaltar el trabajo de Thorndike [41] que enunci la ley del efecto, o la cual establece que cuando hay una bonicaci n despu s de una conexi n de estmuloo e o respuesta, entonces esta conexi n se hace m s fuerte. De un modo parecido, cuando hay un o a castigo despu s de una conexi n de estmulo-respuesta, entonces esa conexi n se hace m s e o o a d bil. De este modo, Thorndike introdujo el concepto de motivaci n en el proceso educativo. e o Skinner [44] complement estas ideas introduciendo la teora del condicionamiento opeo rante, la cual implica acciones sin aparente ausencia de estmulos incondicionales. Skinner formul que cada acci n de una persona tiene algunas consecuencias, si dichas consecueno o cias son positivas entonces la acci n se repetir en el futuro (refuerzo), mientras que si son o a negativas dicha acci n ser eliminada. Durante estas interacciones las personas aprenden en o a un proceso de ajuste. Skinner enunci que el profesor debe utilizar algunas t cnicas de reo e fuerzo para promover el aprendizaje de los alumnos, y que dicho refuerzo debe ser aplicado inmediatamente. Existen varios estudios (los cuales corroboran la teora de Skinner) que prueban la efec tividad del refuerzo positivo (tal como las bonicaciones) en el aprendizaje de los alumnos, pero hay una gran discusi n sobre el efecto del castigo en el aprendizaje: mientras que hay o algunos estudios que deenden el castigo como una forma efectiva para el aprendizaje, hay otros que consideran que el castigo no tiene ning n efecto en el aprendizaje (tales como los u expuestos por Thorndike y Skinner), mientras hay otros que establecen el efecto negativo del castigo en el aprendizaje. Posteriormente, surgieron las teoras de aprendizaje denominadas como cognitivas, las cuales tratan de determinar los mejores procedimientos para permitir a los alumnos alma-

30

Captulo 2. Estado del Arte

cenar y procesar los diferentes conceptos a aprender. El aprendizaje es concebido como un proceso en el que los alumnos hacen un procesado de la informaci n. En esta concepci n, los o o alumnos van aprendiendo durante el proceso, y c mo es dicho proceso de ense anza afecta o n a c mo los alumnos aprenden. Ausebel [55] propuso un modelo en el cual los contenidos o est n estructurados de una forma l gica y los alumnos pueden aprenderlos l gicamente. a o o Los alumnos exploran el nuevo conocimiento y lo a aden al conocimiento que ya tenan n previamente. Para la consecuci n de todo esto, el alumno ejecuta un conjunto de procesos o mentales. Bruner [56] enunci su teora de aprendizaje por descubrimiento, la cual aplica o secuencias inductivas a partir de las cuales los alumnos pueden inferir principios generales, e introduce el proceso de prueba y error. Novak [57] formula que la mente es como una unidad de procesamiento por ordenador, en la cual cada alumno desarrolla sus propios esquemas mentales. Basados en las teoras y modelos cognitivos del aprendizaje, podemos ver, entre otras co sas, que el camino de cada alumno puede inuir en su aprendizaje, y que diferentes alumnos requieren diferentes caminos de aprendizaje.

2.1.4.

Sistemas de Aprendizaje en E-learning

Un sistema de aprendizaje en e-learning se pueden denir como todo aquel sistema basado en ordenador tal que habilita una serie de funcionalidades para el aprendizaje a trav s e de las tecnologas de la informaci n. Los sistemas de aprendizaje en e-learning pueden divi o dirse en dos grandes grupos: Sistemas de gesti n del aprendizaje. Son sistemas que agrupan a los alumnos en clao ses de asignaturas, y que habilitan una serie de funcionalidades tales como almac n e de cheros, foros, chats, evaluaciones autom ticas de ejercicios, entrega de tareas, etc. a Existen multitud de este tipo de sistemas, dividi ndose en dos grupos: de c digo abiere o to como .LRN [58], Moodle [59], o Dokeos [60], y de pago como WebCT/BlackBoard [61]. Estos sistemas pueden tener m dulos o servicios que carguen e interpreten espeo cicaciones existentes de e-learning. Un ejemplo de esto lo constituye el reproductor de IMS-LD [62] de .LRN. Sistemas de tutora inteligente. Son sistemas especcamente dise ados para prop si n o tos concretos de aprendizaje a trav s de los ordenadores, tales como evaluaciones e autom ticas de alumnos, adaptaci n de contenidos a usuarios, etc. Una clasicaci n a o o de los diferentes tipos de sistemas de tutora inteligente puede verse en [63]. En ocasiones, es difcil distinguir entre un tipo de sistemas de aprendizaje y otros, ya que por ejemplo funcionalidades tpicamente propias de tutora inteligente pueden estar em potradas en sistemas de gesti n del aprendizaje. o Con respecto a los sistemas de gesti n del aprendizaje, cabe se alar que existen muchas o n experiencias realizadas utilizando sistemas de gesti n del aprendizaje, dos ejemplos pueden o encontrarse en [64] y [65]. Por otro lado, hay diferentes estudios que han sido realizados focaliz ndose en funcionalidades concretas de los sistemas de gesti n del aprendizaje, por a o ejemplo en [66] para foros y en [67] para evaluaciones autom ticas de ejercicios. a En cuanto a los sistemas de tutora inteligente, en [68] se muestran los elementos tpicos de un sistema de tutora inteligente, que son los siguientes:

2.1. Modelado en E-learning M dulo experto. Indica los contenidos a ense ar. o n M dulo pedag gico. Indica la forma en que dichos contenidos se van a ense ar. o o n

31

M dulo del alumno. Consiste en un modelado del alumno, de forma que el sistema o pueda tomar acciones de adaptaci n personalizada en funci n de las diferentes caraco o tersticas de los alumnos. M dulo de interfaz. Est relacionado con la presentaci n y forma de interacci n que o a o o el tutor inteligente presentar a los alumnos. a Tambi n existen multitud de experiencias realizadas utilizando sistemas de tutora intee ligente. En concreto, como nosotros estamos m s interesados en esta tesis en los sistemas de a generaci n de pistas, en una subsecci n posterior se proporcionar n m s detalles sobre este o o a a tipo concreto de tutores inteligentes, as como de experiencias realizadas con ellos.

2.1.5.

Especicaciones Existentes para el E-learning

En e-learning resulta esencial la interoperabilidad y reusabilidad de los diferentes recursos educativos entre diferentes sistemas y desarrolladores de cursos, as como la interopera bilidad y modularidad entre diferentes sistemas. Por ejemplo, si se comparten formatos de intercambio de la informaci n, as como un modelo de informaci n para diferentes aspeco o tos del e-learning, entonces diferentes materiales podr n ser intercambiados entre diferentes a plataformas, y los profesores y dise adores de cursos podr n reusar, modicar y extender los n a recursos sin replicar esfuerzos. Es por ello que han surgido diferentes est ndares y especia caciones en e-learning para modelar diferentes aspectos, de forma que se dena ese marco com n que aporte tales ventajas. Diferentes estudios han argumentado sobre la importancia u de la interoperabilidad y los est ndares en e-learning, tal como en [69] o [70]. a En este punto conviene claricar la diferencia entre est ndar o especicaci n de ea o learning. Se denomina est ndar de e-learning cuando alg n organismo de estandarizaci n a u o ha aprobado cierto documento, mientras que se denomina especicaci n cuando alg n oro u ganismo o persona lo ha propuesto pero no ha sido a n aprobado por ning n organismo u u de estandarizaci n. No obstante, muchos autores llaman tambi n est ndares a las especio e a caciones, por lo que es aceptado el uso de est ndares para referirse tambi n a cualquier a e especicaci n. En esta tesis, seguiremos el criterio de utilizar indistintamente los t rminos o e est ndar o especicaci n. a o Existen m ltiples consorcios y organizaciones que han creado est ndares y especicau a ciones de e-learning. Algunos de los m s importantes son el IMS Global Learning Cona sortium [71], ADL (Advanced Distributed Learning Initiative) [72], AICC (Aviation Industry CBT Committee) [73], el proyecto OKI (Open Knowledge Initiative) [74], IEEE LTSC (Learning Technology Standards Committee) [75], y el ISO/IEC Joint Technology Committee Subcommittee on Standards for Learning, Education and Technology [76]. Existen diferentes clasicaciones de est ndares dependiendo del criterio de categorizaa ci n empleado. Hemos dividido los est ndares existentes en los siguientes grupos: o a Est ndares o especicaciones de arquitecturas. Tratan de denir arquitecturas que a involucran a componentes de aprendizaje. Un ejemplo de este tipo es el IEEE Standard for Learning Technology Systems Architecture (LTSA).

32

Captulo 2. Estado del Arte Est ndares o especicaciones de datos. Tratan de denir modelos de datos para haa bilitar el intercambio de informaci n entre diferentes sistemas de aprendizaje. Estos o est ndares tienen usualmente un modelo de datos y un mapeo a XML. La mayora de a especicaciones del IMS son de este tipo. Est ndares o especicaciones de comportamiento. Tratan de denir interfaces de proa gramaci n para construir m dulos educacionales con el n de habilitar llamadas de o o comunicaci n entre diferentes sistemas de aprendizaje. Los OSIDs de OKI son ejemo plos de este tipo. Hay que notar que cada servicio educacional puede tener un est ndar a de datos y tambi n otro de comportamiento. Por ejemplo, existe un OSID de OKI para e m dulos de evaluaci n y tambi n existe la especicaci n IMS-QTI [77] para describir o o e o los datos de una evaluaci n. o

En las siguientes subsecciones se muestra una visi n general de los est ndares y espeo a cicaciones de e-learning actuales. Varios trabajos explican los m s importantes en mayor a profundidad como en [70] o [78]. IMS Global Learning Consortium IMS es una organizaci n sin animo de lucro que integra diferentes actores. IMS ha deo nido un amplio conjunto de especicaciones relacionadas con diferentes aspectos de elearning. La Tabla 2.1 muestra todas las especicaciones denidas por IMS, con una breve descripci n sobre las materias que cubren. Todas las especicaciones comentadas est n aco a cesibles a trav s de la p gina Web del consorcio de IMS Global [71]. e a A continuaci n se desarrollan brevemente algunas de las especicaciones del IMS m s o a conocidas: IMS-CP [79], IMS-LIP [80], IMS-LD [81], e IMS-QTI [77]. Todas ellas han sido utilizadas de alguna manera durante esta tesis doctoral. Se dar una explicaci n un poco a o m s exhaustiva de IMS-QTI por tener mayor relaci n con esta tesis al describir ejercicios en a o evaluaciones. IMS-CP: IMS Content Packaging IMS Content Packaging [79] es una especicaci n o para la denici n de contenidos, as como su organizaci n. o o Se compone de un chero de paquete que suele ser un chero zip, que en su interior lleva el denominado chero maniesto (imsmanifest.xml) y otros cheros que son los recursos que se referencian en el maniesto. El chero maniesto estar compuesto por metadatos a (que describen de manera global el maniesto), la organizaci n (establece la estructura de o un curso, es decir el orden de los diferentes elementos o recursos, a trav s de una serie de e items que tienen un identicador que apuntan a recursos, y submaniestos), los recursos (son los cheros concretos de contenidos), y los submaniestos (es una forma de establecer una jerarqua entre cheros de forma ordenada, anidando las diferentes organizaciones). IMS-LIP: IMS Learner Information Package IMS LIP [80] es una especicaci n que o dene un modelo de usuario, con una serie de caractersticas que describen a un determinado usuario. Las caractersticas que dene IMS-LIP est n divididas en una serie de grupos que son a los siguientes:

2.1. Modelado en E-learning Especicaci n o del IMS Access for All Metadata Reusable Denition of Competency or Educational Objective ContentPackaging Digital Repository Enterprise Enterprise Services ePortfolio General Web Services Learner Information Package Learning Design Acr nio mo Breve Descripci n o

33

IMSRDCEO

Describe e identica recursos de aprendizaje de acuerdo a las preferencias y necesidades del usuario Dene competencias para un curso, alumno, etc.

IMS-CP IMS-DR

IMSGWS LIP

IMS-LD

Learning Resource Metadata Question&Test Interoperability Resource List Interoperability Shareable state persistence Simple Sequencing Tools Interoperability Guidelines IMS-VDEX

IMS-MD IMS-QTI IMS-RLI

Estructura y empaqueta los diferentes recursos de un curso Proporciona un entorno para establecer conexiones entre repositorios Dene personas, grupos, y las relaciones del grupo Dene como intercambiar la informaci n denida en la o especicaci n IMS Enterprise Specication o Dene diferentes caractersticas generales de una asig natura Proporciona interoperabilidad entre diferentes implementaciones de especicaciones basadas en servicios Web que est n en diferentes sistemas a Dene el modelado de un usuario incluyendo preferencias, detalles, objetivos, competencias, actividades, intereses, etc. Modela diferentes aspectos de una unidad de aprendizaje de un curso. Tales aspectos son los diferentes roles, las actividades o recursos, la sincronizaci n entre difeo rentes acciones de usuario, el secuenciamiento de actividades o recursos dependiendo de condiciones, etc. Dene un conjunto de meta-informaci n sobre recursos o educativos Describe tests, evaluaciones y cuestiones Describe como intercambiar recursos de metadatos entre diferentes sistemas. De esta forma, se puede realizar un listado de recursos Extiende la especicaci n SCORM con el n de acceo der a informaci n de estado o Describe c mo secuenciar actividades dentro de un curo so Explica c mo integrar sistemas de gesti n del aprendio o zaje con herramientas externas Dene una gram tica para el intercambio sencillo de a t rminos e

IMS-SS IMS-TIG IMSVDEX

Tabla 2.1: Un resumen de las especicaciones de la organizaci n IMS o

34

Captulo 2. Estado del Arte Identicaci n: Es la informaci n general del usuario como nombre, idioma por defeco o to, su direcci n, zona horaria, etc. o Objetivos: Describe los objetivos del aprendizaje a alcanzar, tal como en qu consisten, e su prioridad, fecha a alcanzarlos, en qu grado ha conseguido el alumno ese objetivo e hasta el momento, etc. Calicaciones, certicados, y licencias: Da informaci n sobre los m ritos que un deo e terminado alumno ha alcanzado, describiendo en qu consisten esos m ritos, su fecha e e de consecuci n, organismo que lo proporcion , etc. o o Actividad: Describe de forma exhaustiva cualquier actividad que haya podido emprender el alumno, dando detalles de su descripci n, estado, evaluaciones y notas obtenidas o en las mismas, etc. Transcripci n: Da un resumen de los logros acad micos del alumno. o e Inter s: Describe en qu est interesado el alumno, pero no desde un punto de vista e e a acad mico sino en cuanto a aciones. e Competencia: Describe las competencias alcanzadas por un determinado alumno. Aliaci n: Da informaci n sobre a qu est aliado un alumno, dando detalles sobre o o e a la organizaci n, la fecha, su role, etc. o Accesibilidad: Describe si el alumno tiene alg n tipo de deciencia o restricci n a la u o hora del aprendizaje, y en tal caso establece los detalles concretos, pero tambi n las e preferencias del alumno en cuanto a m todos de aprendizaje. e Clave de seguridad: Da un listado de claves de seguridad para el alumno, dando detalles tales como el tipo de clave. Relaci n: Relaciones entre los componentes. o

IMS-LD: IMS Learning Design IMS-LD [81] es una especicaci n para describir el dio se o de unidades de aprendizaje. Hay tres niveles de cumplimiento de la especicaci n: nivel n o A, nivel B y nivel C. El cumplimiento de un nivel implica autom ticamente el cumplimiento a de los anteriores, siendo el nivel C el que m s cosas implica. El nivel A es el fundamental a e implica abarcar diferentes caractersticas pedag gicas, el nivel B incluye propiedades y o condiciones, mientras que el nivel C a ade noticaciones. n En IMS-LD se generan cheros XML llamados unidades de aprendizaje. En una unidad de aprendizaje, se pueden denir una serie de roles (por defecto est n el rol de alumno y de a personal pero se pueden denir otros que hereden de estos), estos roles ser n posteriormente a asociados a personas concretas en el momento de ejecuci n de la unidad de aprendizaje. o Una unidad de aprendizaje tendr un elemento XML denominado method. Este elemento a contendr uno o varios elementos play. Cada cosa descrita en un elemento play ser ejecua a tada en paralelo (es decir a la vez) que los otros elementos play que haya. Dentro de un elemento play habr varios actos. En cada acto habr varios role-part. a a Cada role-part indica un determinado role qu tipo de actividades va a desempe ar en un e n

2.1. Modelado en E-learning

35

determinado acto. Los actos suceden en secuencia, de forma que hasta que todos los roles no han terminado sus actividades, no se pasa al siguiente acto. Un role-part tendr en su interior un role junto con el conjunto de actividades asociaa das. Un conjunto estructurado de actividades se representa mediante el elemento activitystructure y permite agrupar varias actividades para que sean seleccionadas algunas ramas de actividades entre varias, o que dichas actividades vayan en secuencia para un role en el acto. Finalmente, los elementos de actividades en s son learning-activity (actividades de aprendizaje a ser realizadas) y support-activity (actividades que dan soporte o ayuda para la realizaci n de actividades de aprendizaje). Cada actividad tendr asociado un elemento o a environment que en su interior contendr los objetos de aprendizaje y servicios asociados a a dicha actividad. En el nivel B de la especicaci n, se permite tener propiedades y denir condiciones, de o forma que se pueden establecer condiciones en la unidad de aprendizaje para dejar visibles o no determinadas actividades, y as adaptar la experiencia de aprendizaje en funci n del valor o de ciertas variables. En el nivel C de la especicaci n, se permite realizar noticaciones ante o el suceso de un determinado evento (por ejemplo que alguien termine una actividad), y fruto de esa noticaci n se pueden generar nuevas actividades. o IMS-QTI: IMS Question & Test Interoperability IMS-QTI [77] es una especicaci n o para la descripci n de evaluaciones autom ticas de ejercicios. Actualmente se encuentra o a en su versi n 2.0, aunque existe un draft con la versi n 2.1 pero que actualmente ha sido o o eliminado de la Web de IMS al no obtenerse feedback adecuado. En IMS-QTI se generan cheros XML representando ejercicios, cada ejercicio se denomina en QTI como item y se representa mediante el elemento assessmentItem. La sesi n especca de un determinado o usuario con uno de estos items, abarcando los diferentes intentos que realiza sobre el, se denomina sesi n de item. Esta sesi n de item pasa por una serie de estados que se describen o o en la gura 2.4. Para la explicaci n de la gura 2.4 distinguiremos entre items no adaptativos (no adaptan o ni su contenido ni su puntuaci n) e items adaptativos (pueden adaptar su contenido y su o puntuaci n en funci n de los intentos previos de los alumnos). Se considera que un item o o se encuentra en el estado inicial cuando el sistema ha determinado que ese item se va a mostrar a los alumnos pero a n no se ha mostrado realmente. Cuando a un alumno se le u muestra el item y est interaccionando con el a trav s de un intento, entonces se denomina a e que est en el estado de interacci n. Cuando un alumno efect a un intento o respuesta de a o u ese item, entonces se pasa al estado de suspendido, y se puede empezar un nuevo intento, pudi ndose repetir de nuevo las fases de interacci n y suspendido. e o Cuando se responde a un item, se procede a realizar un procesado de la respuesta. Para items no adaptativos, el procesado de la respuesta s lo puede hacerse un n mero limitado o u de veces, mientras que para items adaptativos se pueden realizar diferentes intentos. En el procesado de la respuesta de un item adaptativo el valor de las variables puede cambiar en funci n del historial de intentos que ha ido teniendo el alumno, y fruto de ese cambio de o valores en las variables puede ir cambiando el item, y tambi n puede dar feedback modal en e cuyo caso pasara al correspondiente estado. Finalmente, cuando un alumno no puede realizar m s intentos sobre un determinado a item, pasa al estado de terminado. De este estado puede pasar al de soluci n, donde se le o

36

Captulo 2. Estado del Arte

Figura 2.4: Ciclo de vida de una sesi n de item (imagen obtenida de la especicaci n IMSo o QTI)

2.1. Modelado en E-learning

37

Figura 2.5: Representaci n de los elementos de un assessmentItem (imagen obtenida de la o especicaci n IMS-QTI) o pueden mostrar sus respuestas en comparaci n con las opciones correctas del item. o En cuanto al mapeo XML, la gura 2.5 muestra la representaci n de algunos elementos o que conforman un item de assessment. El elemento itemBody contendr XHTML con texto, im genes, etc. que ser presentado a a a al usuario a modo de pregunta asociada al item, en varios momentos de la interacci n del o usuario con el item. El elemento responseProcessing tendr una serie de reglas basadas en a condiciones a trav s de estructuras if/else seg n elementos XML, de tal forma que se pueden e u chequear los valores de diferentes variables (entre ellas lo que el usuario acaba de responder en el intento), y en funci n de esos valores de las variables, hacer nuevas asignaciones de o valores a ciertas variables. Estas reglas se aplicar n cuando un alumno ha realizado un intena to en un determinado item, ya que en ese momento se realiza un procesado de la respuesta. El elemento variableDeclaration sirve para declarar valores de variables asign ndoles un a valor por defecto. Este valor puede cambiar cuando se hace un procesado de la respuesta. El elemento modalFeedback sirve para mostrar algo al alumno cuando ha realizado un intento, despu s del procesamiento de la informaci n que tiene lugar. e o ADL: Advanced Distributed Learning initiative ADL es una parte del Departamento de Defensa de los Estados Unidos de Am rica. e La function de ADL es la de documentar, validar y promover el uso de especicaciones y est ndares desarrolladas por otras fuentes. En el ambito del e-learning, su especicaci n a o

38

Captulo 2. Estado del Arte

m s exitosa es SCORM [82] (Shareable Content Object Reference Model). SCORM puede a ser vista como una combinaci n de tres especicaciones: IMS-MD, IMS-CP e IMS-SS. o Adicionalmente, SCORM incluye un entorno de ejecuci n con el n de mostrar contenidos o y de monitorizar informaci n del uso en sistemas de gesti n del aprendizaje. o o AICC: Aviation Industry CBT Committee Aviation Industry CBT Committee fue fundado en 1988 para la estandarizaci n de o los productos de la industria de la aviaci n. Una de las especicaciones que deni es o o AICC/CMI (Computer Managed Instruction), la cual puede ser aplicada al e-learning. El aspecto cubierto por AICC/CMI es muy cercano al cubierto por SCORM. Actualmente, SCORM est m s extendido y es m s utilizado que AICC/CMI, pero algunos conceptos a a a denidos en AICC fueron utilizados por SCORM. IEEE Learning Technology Standards El grupo del IEEE denominado IEEE Learning Technology Standards group est dedia cado a la creaci n de est ndares y guas en relaci n con las tecnologas del aprendizaje. Hay o a o un total de cuatro grupos de trabajo y estudio: lenguajes de expresi n de derechos digitales, o instrucci n gestionada por ordenador, metadatos de objetos de aprendizaje, y est ndares de o a datos de competencias. Todos los est ndares est n accesibles a trav s de la p gina Web del a a e a grupo IEEE Learning Technology Standards [75]. Actualmente, s lo hay denidos un total o de seis est ndares: a IEEE Standard for Learning Technology-Learning Technology Systems Architecture (LTSA). Proporciona informaci n de alto nivel sobre un sistema de e-learning y sus o componentes. IEEE Standard for Learning Technology-Data Model for Content to Learning Management System Communication. Describe la interacci n de datos entre un objeto de o contenidos y un entorno de ejecuci n dentro de un sistema de gesti n del aprendizaje. o o IEEE Standard for Learning Technology-Extensible Markup Language (XML) Schema Binding for Data Model for Content Object Communication. Este es un mapeo a XML del modelo de datos denido en el est ndar previo. a IEEE Standard for Learning Technology-ECMAScript Application Programming Interface for Content to Runtime Services Communication. Dene un API (Application Programming Interface) describiendo servicios utilizando el lenguaje ECMAScript. IEEE Standard for Learning Object Metadata. Dene un conjunto de metadatos para recursos educacionales. IEEE Standard for Learning Technology-Extensible Markup Language (XML) Schema Denition Language Binding for Learning Object Metadata. Este es un mapeo XML del modelo de datos denido en el est ndar previo. a

2.1. Modelado en E-learning

39

Figura 2.6: Arquitectura de OKI basada en capas El proyecto OKI La tendencia futura de los sistemas de gesti n del aprendizaje es de ser orientados a o servicios. En [83], esto se denomina como la pr xima generaci n de sistemas de gesti n o o o del aprendizaje. En este escenario, los sistemas de gesti n del aprendizaje est n basados o a en componentes modulares y pueden soportar diferentes servicios que no est n ligados a a plataformas especcas. Esto tambi n est acorde con la losofa del IMS Abstract Frame e a work [84] (el cual lista diferentes aplicaciones, servicios, y componentes), y la arquitectura propuesta por la iniciativa OKI. OKI proporciona una arquitectura basada en capas que se muestra en la gura 2.6. La infraestructura representa los recursos nales de una instituci n o como los sistemas de cheros o bases de datos. Los servicios comunes son aquellos servicios que son utilizados por varias aplicaciones educacionales tales como los de autorizaci n o o autenticaci n. Los servicios educacionales son m dulos educacionales especcos como o o evaluaciones o gesti n de cursos. Finalmente, las aplicaciones educacionales son las aplio caciones con las que un usuario interactua directamente y estas aplicaciones educacionales pueden utilizar los servicios comunes y educacionales implementados. La arquitectura propuesta por IMS Abstract Framework es muy parecida a la denida por OKI, y se puede establecer una perfecta relaci n entre capas de ambas arquitecturas. o Ambas arquitecturas capturan la alta importancia de los servicios en los sistemas de gesti n o de aprendizaje.

40

Captulo 2. Estado del Arte

Por otro lado, OKI (Open Knowledge Initiative) dene APIs (Application Programming Interfaces) para un conjunto de servicios de e-learning. Cada API para un servicio es llamado OSID (OKI service Interface Denition). Cada OSID dene un conjunto de clases con sus correspondientes atributos y m todos (no necesariamente en Java a pesar de que el primer e API e implementaci n del servicio fue hecho en este lenguaje de programaci n). De esta o o manera, diferentes servicios de un LMS pueden ser implementados siguiendo los OSIDs. Mientras que las especicaciones IMS usualmente denen modelos de datos para ser intercambiados, las especicaciones de OKI denen un conjunto de componentes y el modo en el que ellos pueden interaccionar, deniendo modelos de comportamiento. Por lo tanto, las especicaciones de OKI e IMS habitualmente denen aspectos diferentes, pero algunas veces se pueden solapar porque cuando se denen interfaces de programaci n en relaci n o o con comportamientos, se deben tener en cuenta algunas consideraciones sobre el modelo de datos para algunos servicios.

2.1.6.

Limitaciones y Extensiones en Especicaciones de E-learning

En trabajos previos ya se ha informado sobre los puntos d biles de los actuales est ndares e a educacionales, como por ejemplo en [85], enumerando los siguientes: Algunos est ndares necesitan extensiones para cubrir algunos aspectos. Algunos a ejemplos de trabajos que han extendido los est ndares actuales son [86] que extiende a SCORM para soportar cursos adaptativos, o [87] que extiende IMS-RDCEO para el modelo de competencias. Algunos est ndares que se solapan. Un ejemplo es el modelado de usuario con las a especicaciones IEEE-PAPI y IMS-LIP. Algunos t rminos de ambas especicaciones e tienen un signicado similar. La referencia [85] proporciona una soluci n basada en o ontologas para resolver esta cuesti n sobre est ndares que se solapan. Especcamen o a te, se proporciona un ejemplo utilizando IEEE-PAPI y IMS-LIP. Algunos aspectos para los cuales no hay especicaciones en este momento. En [85] se cita esto como un punto d bil, pero no se pasa a analizar qu aspectos de los sistemas e e de gesti n del aprendizaje tienen una carencia de especicaciones. La necesidad de o especicaciones se comenta tambi n en otros trabajos como en [83] que clasica las e especicaciones actuales de e-learning en grupos dependiendo de la generaci n de siso tema de gesti n del aprendizaje a la que pertenecen. De este modo, la referencia [83] o describe la primera generaci n de sistemas de gesti n del aprendizaje ligada a espeo o cicaciones como IMS-LOM; la segunda generaci n ligada a especicaciones como o SCORM, IMS-LD, IMS-LIP, o OKI; y la futura generaci n de sistemas de gesti n o o del aprendizaje orientados a servicios ligada a especicaciones como IMS Abstract Framework o ePortfolio. Hasta ahora s lo hemos comentado acerca de especicaciones y est ndares que fueron o a especcamente dise ados para el e-learning. Pero existen otras especicaciones con mapeos n a XML con sus correspondientes modelos de datos que fueron creadas con otros prop sio tos diferentes al e-learning, pero que puede ser analizado su uso dentro de los sistemas de gesti n del aprendizaje. Muchas de estas especicaciones se pueden encontrar por ejemplo o

2.1. Modelado en E-learning

41

en [88] y [89]. Cada una de estas especicaciones intenta modelar diferentes aspectos del mundo. Algunos ejemplos son XMLNews (para noticias), iCalendar, vCalendar, hCalendar (para calendario), BiblioML (para entradas bibliogr cas), ParlML (para el lenguaje parlaa mentario), MessageML (para mensajes por e-mail) or MathML (para notaci n matem tica). o a Otro ejemplo de especicaci n denida fuera del ambito de e-learning pero que se podra o estudiar su aplicaci n en este ambito es PhotoAlbum [90] para albumes de fotos. o Algunos sistemas de gesti n del aprendizaje ya han incorporado algunas de las especio caciones que no fueron inicialmente dise adas para e-learning. Por ejemplo, Moodle tiene n una funcionalidad de importar/exportar para el calendario de acuerdo a la especicaci n vo cal. De esta manera, el calendario de una persona puede ser intercambiado entre diferentes aplicaciones tales como sistemas de gesti n del aprendizaje, Outlook, o PDAs. o Otro aspecto diferente es c mo las diferentes especicaciones son utilizadas. Por ejemo plo, el uso habitual de la especicaci n IMS-CP es para ensamblar diferentes contenidos de o un curso y darles una estructura u orden. Un ejemplo de este uso habitual se encuentra por ejemplo en [91]. Con este uso regular de IMS-CP, un paquete que est acorde con la especie caci n puede ser importado dentro de un sistema de gesti n del aprendizaje como un recurso o o dentro de un curso. La mayora de los sistemas de gesti n del aprendizaje permite importar o estos paquetes IMS-CP como recursos de cursos (por lo tanto un curso puede tener varios recursos IMS-CP). Pero existen otros trabajos que utilizan IMS-CP para prop sitos difereno tes al uso habitual que se ha comentado. Por ejemplo, la especicaci n IMS ePortfolio hace o esto para describir lo que una persona u organizaci n ha aprendido a lo largo del tiempo. De o un modo similar con respecto a este aspecto, la referencia [92] posibilita la integraci n de o SCORM con servicios, posibilitando las llamadas a servicios Web utilizando el concepto de Sharable Content Services (SCSs).

2.1.7. Modelos UML para el E-learning

Como ya se ha visto anteriormente, las t cnicas de modelado mediante UML pueden e ser utilizadas en e-learning, bien para modelar una aplicaci n software o Web pero con o requisitos de e-learning para su implementaci n, pero tambi n puede ser utilizado en el o e ambito del dise o de materiales de e-learning supuesto que la infraestructura por debajo n est ya implementada. a En el primero de los casos, existen varios trabajos que han utilizado modelado UML o modicaciones para modelar aplicaciones de e-learning de cara a su implementaci n. Alguo nos trabajos en esta lnea son los siguientes: En [93], se muestra un modelado de un sistema de e-learning completo mediante una teora denominada ARL, orientada a roles, agentes, etc. ARL dene objetivos, roles, etc. y describe diagramas UML est ticos y din micos para tal prop sito, as como exa a o tiende a UML para sus prop sitos. ARL es un modelado a m s alto nivel que WebML o a y se orienta a objetivos del sistema, a roles, agentes, etc. que se acaban modelando en UML con extensiones. Aunque en dicho trabajo, ARL se aplic a un sistema de o e-learning, tambi n se puede aplicar a otros sistemas software y Web. e En [94] se presenta un sistema de e-learning denominado Help&Learn usando la tecnologa peer-to-peer, de forma que un usuario pide y busca informaci n y otros peers o

42

Captulo 2. Estado del Arte (usuarios) que son expertos en el tema le pueden responder, mostrando el potencial del aprendizaje colaborativo. Se ha modelado este sistema por medio de AORML que es un lenguaje extensi n de UML orientado a modelar agentes. Con AORML se modela o la aplicaci n pero no aspectos de desarrollo de materiales supuesto que la infraestruco tura est ya montada. a En [95] desde UML se genera una aplicaci n de cursos autom tica, deni ndose un o a e modelo de actividad (recursos, interacciones entre usuarios), de navegaci n, y de preo sentaci n. o En [96] se expone como combinar la metodologa WebML (que vale para modelar sistemas de e-learning gen ricos como aplicaciones Web) y UML-Guide (que sirve e para modelar aspectos especcos del e-learning) para conseguir una aplicaci n hiper o media adaptativa de e-learning. En ambos m todos, los modelados utilizados son en el e sentido de implementar infraestructuras de e-learning, aunque la parte de UML-Guide en ciertos casos podra estar en el lmite de poder modelar materiales de e-learning en el supuesto que la infraestructura est ya montada. e

Con respecto al modelado mediante UML para representar materiales supuesto que la infraestructura de e-learning est ya implementada, cabe remarcar que diferentes especicaa ciones, como por ejemplo IMS-QTI e IMS-LD, incluyen en sus textos diagramas UML para describir ciertos materiales de e-learning. Por un lado, las especicaciones pueden incluir mapeos a UML de sus diferentes elementos XML, y de esta forma se proporcionan mapeos a UML al igual que a XML. Estos tipos de diagramas UML son de clases, y se observan en IMS-QTI e IMS-LD y sirven para describir en general cuales son las posibilidades de la especicaci n en cuanto a los elementos y c mo se pueden combinar. Es decir describen o o las reglas de cualquier instancia. La gura 2.7 muestra el modelo UML de clases de las diferentes posibilidades de IMS-LD, tambi n en [97] se muestra una propuesta para utilizar e el modelado de UML basado en las especicaciones del IMS. Por otro lado, se encuentran diagramas UML en las especicaciones para modelar instancias concretas de los materiales. As ocurre en IMS-LD que mediante diagramas UML de actividad permite describir instan cias de unidades de aprendizaje. Estos diagramas UML de actividad para modelar materiales IMS-LD especcos se han utilizado por ejemplo en [98].

2.1.8.

M todos Formales para el E-learning e

Por m todos formales aplicados al e-learning vamos a considerar las representaciones no e gr cas que describen materiales educacionales, de una forma precisa, clara y sistem tica (es a a decir que no es v lido mediante lenguaje natural), utilizando notaci n matem tica precisa a o a o bien t cnicas como las utilizadas en Web sem ntica de modelado mediante ontologas, e a reglas, etc. Por lo tanto, en este sentido las t cnicas de Web sem ntica y en concreto las deniciones e a de ontologas y reglas, pueden ser vistas como t cnicas formales de modelado. El modelado e mediante ontologas, as como las dem s notaciones de Web sem ntica y c mo se pueden a a o aplicar al e-learning las veremos m s en detalle en una secci n posterior. a o

2.1. Modelado en E-learning

43

Figura 2.7: Modelo UML de las diferentes posibilidades de IMS-LD (imagen obtenida de la especicaci n IMS-LD) o

2.1.9. Herramientas de Autor

Uno de los retos del e-learning es conseguir herramientas de autor para la generaci n o de materiales educativos, de tal forma que sean a la vez completas (abarcando un amplio rango de posibilidades que quede disponibles para los profesores) y al mismo tiempo que sean sencillas de utilizar por profesores y dise adores de cursos sin grandes conocimientos n tecnol gicos. Adem s, si dichos materiales est n relacionados con alguna especicaci n, deo a a o beran ser compatibles con especicaciones de e-learning generando los formatos adecuados a las mismas, usualmente en XML. De hecho uno de los problemas clave para que no se utilicen ciertas especicaciones es la ausencia de herramientas de autor adecuadas que cumplan todas las premisas anteriores. As existen ciertos aspectos del e-learning para los que existen carencias de herramientas de autor siendo esta una dicultad considerable. De entre los aspectos del e-learning a considerar, hay algunos que son m s sencillos de a modelar de forma que resulten f ciles de utilizar para profesores y dise adores de cursos sin a n altos conocimientos tecnol gicos, mientras que otros resultan muy complicados modelarlos o de forma completa abarcando todos los casos siendo a la vez sencillo para profesores y dise adores de cursos. Este ultimo es el caso por ejemplo de las especicaciones IMS-LD e n IMS-QTI, cuyo modelado mediante una herramienta de autor que tenga t rminos sencillos e para profesores, es una tarea de gran complejidad. Existen varias herramientas de autor que cubren diferentes aspectos educacionales y especicaciones de e-learning actuales. Algunos ejemplos son los siguientes:

44 SCORM. Por ejemplo la descrita en el trabajo [99].

Captulo 2. Estado del Arte

IMS-QTI. Existen herramientas como Respondus [100], o e-QTI [101] que adem s a de poder utilizarse como herramienta de autor permite su uso como reproductor de cheros IMS-QTI. IMS-LD. Existen varias herramientas de autor desarrolladas actualmente en torno a esta especicaci n. En [102] se clasican las diferentes herramientas de autor de o IMS-LD entre cercanas a la especicaci n o lejanas a la especicaci n (herramieno o tas de alto nivel). Las herramientas cercanas a la especicaci n, tales como RELOAD o [103] o COSMOS [104], permiten la mayora de posibilidades de la especicaci n pe o ro al precio de no ser f cilmente utilizables por profesores sin grandes conocimientos a tecnol gicos, por lo que est n recomendadas para expertos. Las herramientas de alto o a nivel son m s f ciles de utilizar por profesores sin grandes conocimientos tecnol gia a o cos pero usualmente son m s restringidas en funcionalidades. Estas herramientas de a alto nivel se pueden dividir en basadas en patrones o gr cas. En el contexto de solua ciones basadas en patrones, en [105] se presenta COLLAGE, una herramienta de autor de dise o de aprendizaje colaborativo basada en patrones. Con respecto a herramienn tas de representaci n gr ca existen algunas herramientas como MOT [106], LAMS o a [107], ASK-LDT [108], o entornos basados en UML como el descrito en [109]. Cada una de estas herramientas incluye una parte diferente de expresividad de IMS-LD, y representa los diferentes aspectos con una aproximaci n gr ca diferente. o a Por lo tanto, para IMS-LD hay que elegir una soluci n de compromiso entre compleo tud y facilidad de uso. Videojuegos en e-learning. En [110] se presenta <e-adventure>, un entorno mediante el cual se puede realizar la autora de juegos gr cos relacionados con el e-learning. a Finalmente, remarcar que muchas de las herramientas de autor existentes s lo cubren o un aspecto educacional especco, pero en una situaci n ideal un profesor interactuara con o tan s lo una herramienta de autor no teniendo que aprender diferentes entornos para cada o aspecto educacional nuevo. Un ejemplo de herramienta de autor que cumple con varias especicaciones es RELOAD, que incluye SCORM, IMS-LD, y IMS-QTI, y que ha resuelto el problema de integraci n entre SCORM y IMS-QTI [111]. o

2.1.10.

Competici n en Educaci n o o

La competici n puede suponer un efecto motivador en los alumnos, haciendo que apreno dan de manera m s divertida y efectiva. Los modos en que se puede introducir la competia ci n en herramientas educativas deben pensarse cuidad samente, y se puede hablar en cierto o o modo de un modelado del factor competitivo. Hay diferentes autores que muestran evidencias sobre los benecios o perjuicios de la competici n en diferentes contextos. Son muchos los trabajos en uno u otro sentido. A modo o de ejemplo, en [112] se dan argumentos en contra de la competici n en general para difereno tes aspectos de la vida, y en [113] se argumenta a favor como t cnica que despierta el inter s e e y la participaci n. o

2.2. Sistemas de Pistas para el Aprendizaje

45

El factor de competici n puede ser introducido en numerosas herramientas de e-learning. o En concreto, en esta tesis estamos m s interesados en la competici n en herramientas de a o preguntas. En este sentido, existen actualmente diferentes herramientas de competici n meo diante preguntas como Joyce [114] o [115].

2.1.11. Adaptabilidad y Personalizaci n en E-learning o

Una de las funcionalidades m s importantes que pueden tener los sistemas de e-learning a es su capacidad para adaptar los diferentes materiales dependiendo de diferentes condiciones, y personalizar el aprendizaje de cada alumno seg n su modelo de usuario. De esta foru ma, se puede lograr un aprendizaje m s efectivo. En clase tradicional, un profesor no puede a habitualmente proporcionar este tipo de servicio debido a que no es capaz de procesar toda la informaci n de una manera tan r pida. Sin embargo, mediante el aprendizaje a trav s de o a e ordenador, se aprovecha su capacidad de c mputo para realizar este tipo de tareas. o En relaci n con la adaptaci n del aprendizaje, hay mucha literatura relacionada. Uno de o o los primeros trabajos data de 1959 [48] y es debido a Pask, en donde introduce alg n tipo de u aprendizaje adaptativo donde el secuenciamiento no es lineal, sino que depende del alumno. No obstante, el uso de las tecnologas de la informaci n supone e implica nuevas formas o de considerar la adaptaci n. Cuando dicha adaptaci n se ofrece a trav s de tutores inteligeno o e tes va Web con una serie de enlaces navegables, esto se conoce como hipermedia adaptativo. Existe toda una teora sobre este aspecto [116]. En [116] se distinguen dos formas de adap taci n: adaptaci n de presentaci n (implica dar diferentes contenidos en funci n de ciero o o o tas variables), y adaptaci n de navegaci n (implica la adaptaci n sobre el aspecto de decir o o o qu enlaces estar n disponibles en cada momento para el alumno). Existen diferentes sistee a mas de hipermedia adaptativo tales como InterBook [117] y AHA! (Adaptive Hipermedya Architecture) [118]. Los sistemas de hipermedia adaptativo se pueden aplicar en e-learning para adaptar el contenido y los enlaces hipermedia a p ginas del curso dependiendo del modelo de usuario a [119]. Por lo tanto, la adaptaci n est muy ligada al modelado de usuario, ya que usualo a mente se adaptan diferentes aspectos educativos del e-learning en funci n de determinados o par metros del usuario, para as mejorar su experiencia educativa y obtener mejores resula tados en su aprendizaje teniendo en cuenta sus preferencias, nivel de conocimientos, roles asumidos, etc. No obstante, adem s del modelo de usuario, se pueden tener en cuenta para a la adaptaci n otros factores como el tipo de contenidos, las relaciones entre los conceptos o abordados, etc.

2.2.

Sistemas de Pistas para el Aprendizaje

A continuaci n se expone un resumen del estado del arte en relaci n con sistemas de o o pistas para el aprendizaje por ordenador. En primer lugar se analizan trabajos en relaci n con o la importancia de los sistemas de evaluaciones y de pistas, seguidamente se comenta sobre las funcionalidades adaptativas y no adaptativas de los sistemas de pistas, y nalmente se se alan experiencias realizadas en clase con sistemas de pistas. Una revisi n sobre provisi n n o o de pistas por parte de humanos y de ordenadores se puede encontrar en [120], aunque desde otro punto de vista al resumen que se presenta a continuaci n. o

46

Captulo 2. Estado del Arte

2.2.1.

Introducci n e Importancia de Sistemas de Pistas y de Resoluci n de o o Ejercicios

La t cnica de evaluaciones mediante preguntas es una estrategia exitosa y bien conocie da, la cual se ha aplicado satisfactoriamente no s lo para medir el conocimiento nal de los o alumnos (evaluaci n sumativa), sino tambi n como una estrategia que permite la adquisio e ci n de conocimiento durante el proceso (evaluaci n formativa) [121], [122]. No obstante, o o la evaluaci n formativa no es ampliamente utilizada en las escuelas hoy en da [123]. La evao luaci n mediante preguntas se introduce habitualmente en clase como actividades dentro de o un curso. Existen varias revisiones del estado del arte sobre evaluaci n por preguntas, como o por ejemplo sobre investigaciones entre los a os 1988 y 1998 [124] o sobre investigaciones n ejecutadas en los Estados Unidos [125]. Las evaluaciones mediante preguntas pueden ser realizadas con la ayuda de tutores inteligentes debido a las ventajas que comportan. Existen diferentes tipos de tutores inteligentes que implementan diversas funcionalidades de evaluaciones por preguntas como los expuestos en [126] o [127]. Tambi n existen diferentes experiencias que muestran la efectividad y utilidad de la e evaluaci n por preguntas a trav s de ordenador, como por ejemplo la referencia [128] que o e presenta realimentaci n positiva de los alumnos en una experiencia de evaluaci n mediante o o preguntas en el ambito de las matem ticas. a Hay diferentes estrategias relacionadas con la provisi n de evaluaciones de preguntas. o En esta tesis nos centramos en la generaci n de pistas. El concepto subyacente detr s de o a las pistas es que un alumno puede pedir alguna ayuda cuando dicho alumno no es capaz de responder alg n problema de la evaluaci n. De esta forma el alumno tiene m s posibilidades u o a de poder llegar a la resoluci n del problema mediante un proceso de razonamiento. Esto o fuerza al alumno a un descubrimiento durante el proceso de aprendizaje. En la referencia [129] se sugiere que el exito de un profesor humano con respecto a un tutor por ordenador es porque el profesor humano no proporciona la soluci n a los alumnos o directamente. Varios autores han argumentado sobre los benecios de la provisi n de pistas o (por ejemplo en [130]). La provisi n de pistas implica un incremento en la adquisici n de o o conocimiento por parte de los alumnos como varios estudios corroboran (por ejemplo en [131], [132], [133]).

2.2.2.

Funcionalidades no Adaptativas de Sistemas de Pistas

Existen varios sistemas educacionales que generan pistas. La idea com n bajo estos sisu temas es la de presentar alg n tipo de ayuda al alumno en relaci n con alguna materia. Las u o funcionalidades de pistas que estos sistemas pueden soportar varan. En [134] se presenta una m quina interactiva basada en Web donde los alumnos pueden solicitar pistas y reciben a una realimentaci n. En [135] se muestra un sistema de pistas dentro del tutor inteligeno te CIRCSIM-Tutor, el cual genera una pista o la soluci n pero s lo cuando un alumno ha o o respondido incorrectamente. En [136] y [137] se utiliza el tutor inteligente Andes que proporciona pistas como una respuesta ante una petici n de ayuda del alumno, siendo posible o seleccionar varias de ellas. En el trabajo expuesto en [138] se generaron un total de 315 pistas en sus tutores, los cuales fueron activados debido a errores de los alumnos. Una modalidad de pistas consis-

2.2. Sistemas de Pistas para el Aprendizaje

47

ti en generar una secuencia paso a paso de pistas relacionadas l gicamente. La referencia o o [139] presenta un estudio sobre el tutor inteligente ASSISTment en la que se trata de predecir la puntuaci n de un test especco bas ndose en diferentes par metros del sistema o a a ASSISTment. Dicho sistema genera diferentes cuestiones de test a los alumnos y permite a los alumnos solicitar ayuda varias veces cuando ellos han respondido incorrectamente, obteniendo diferentes pistas por cada petici n. Adicionalmente, el sistema permita realizar o varios intentos por cada cuesti n. En [140] tambi n se utilizaron dos versiones diferentes del o e tutor Andes (una con pistas y otra con ejemplos de trabajo). El sistema de pistas presentado tena realimentaci n a los alumnos por respuestas correctas e incorrectas, as como diferen o tes niveles de jerarqua de pistas. Finalmente, el sistema de preguntas por ordenador basado en Web SIETTE [141] es tambi n un sistema que permite tests con pistas cuando hay una e respuesta incorrecta del alumno, y est basado en la teora de respuesta de items. a Un aspecto diferente es el relativo a la estrategia para elaborar el contenido de pistas, lo cual es ortogonal al conjunto de funcionalidades de sistemas de pistas. En relaci n con o la estrategia para elaborar los contenidos de pistas, hay que decir que ello depende de los criterios de dise o de los creadores de las pistas. El mismo sistema de pistas puede soportar n diferentes contenidos de pistas. Por ejemplo, en [135] se determinaron estrategias de pistas utiles que usualmente empleaban los tutores humanos, como dar un enlace intermedio casual, referirse a un objeto, poner de relieve las leyes de la fsica que estaban involucradas, proporcionar t rminos sugestivos y sin nimos, o pistas ling sticas. Otro ejemplo viene en e o u [138] donde se expone c mo las pistas pueden transmitir informaci n directamente o apuntar o o a conocimiento previo del alumno.

2.2.3. Sistemas de Pistas con Adaptaci n o

Varios de los sistemas de pistas proporcionan personalizaci n de pistas dependiendo de o las necesidades y perles de los alumnos. Este concepto de personalizaci n es muy relevante o en los sistemas de pistas ya que permite adaptar la ayuda que recibir cada alumno a sus a necesidades y requerimientos. A continuaci n se ofrece un listado de sistemas de pistas o existentes que han implementado adaptaci n. o En [135] se mejor el tutor CIRCSIM-Tutor para permitir pistas relacionadas con un o problema dependiendo del tipo de respuesta incorrecta que el alumno contest a dicho o problema. As se categorizaban las respuestas ofrecidas por los alumnos, formando grupos dependiendo de lo cerca que haban estado de la soluci n, y en funci n de ello o o se le ofreca diferentes tipos de contenidos de pistas, acorde a lo lejos o cerca que estaba de la soluci n. o En [142] se utiliza la realimentaci n de usuarios previos para calcular la nueva recoo mendaci n de pistas para nuevos usuarios. o En [136] se muestra como el sistema Andes proporciona pistas dependiendo del perl de usuario basado en un modelo de alumno de redes bayesianas. Tambi n en [143] e se utilizaron redes bayesianas para modelar a los alumnos con el n de generar pistas personalizadas para aprendizaje basado en problemas, pero en dicho trabajo se utiliz un sistema diferente llamado COMET donde se permite la interacci n de grupo o o

48

Captulo 2. Estado del Arte colaborativa. Adicionalmente, en aquel trabajo, las pistas generadas por el sistema fueron evaluadas comparando dichas pistas con respecto a las generadas por tutores humanos. AgentX [144] es un tutor que divide a los alumnos en cl steres dependiendo de su u nivel y que genera pistas especcas a los alumnos dependiendo del cl ster al que u pertenecen.

2.2.4.

Experiencias realizadas con Sistemas de Pistas

Son m ltiples los estudios experimentales que pueden realizarse en relaci n con la prou o visi n de pistas en aprendizaje basado en problemas. En primer lugar, comentaremos las o comparaciones que se han realizado entre diferentes sistemas de pistas. Por un lado, diferentes estudios han obtenido m ltiples datos de los sistemas de pistas implementados, tales u como el n mero de pistas vistas, n mero de respuestas correctas, etc., as como la satisfacu u ci n de los alumnos con el sistema o con las pistas ofrecidas. Un ejemplo de medida de estos o par metros generales en un sistema de pistas se encuentra en [135]. a Tambi n se han realizado m ltiples experiencias que comparan el efecto de tutores que e u proporcionan pistas con respecto a otras situaciones. Por ejemplo en [131] se compara el tutor PAT para un determinado currculum con respecto a la ense anza tradicional en clase sin n el uso del tutor. En la comparaci n se utiliza la t cnica ANOVA tomando como variables el o e tipo de tem tica del currculum y el uso o no del tutor (el grupo de la experiencia utilizaba el a tutor PAT, y el grupo de control fue instruido mediante ense anza tradicional). Se obtuvieron n resultados positivos de la utilizaci n del tutor PAT. En [132], se compararon tres grupos de o alumnos: los que aprendieron colaborativamente en grupos, los que tuvieron pistas y aprendieron individualmente, y los que aprendieron individualmente sin pistas. Los resultados mostraron una diferencia a favor de los dos primeros grupos respecto a los que aprendieron individualmente sin pistas. De esta forma, tambi n se demuestra el efecto positivo de e la provisi n de pistas en el aprendizaje. Finalmente, en esta lnea, en [133] se compararon o dos versiones del tutor de geometra PACT: una que s lo peda a los alumnos obtener la o respuesta correcta, y otra que obligaba a dar explicaciones a trav s del glosario. El glosario e podra ser visto como una determinada pista para alcanzar la soluci n nal completa. En o este sentido, se obtuvieron resultados positivos en el aprendizaje para aquellos alumnos que tuvieron que dar explicaciones razonadas de sus respuestas con respecto a aquellos que no. Esto tambi n podra sugerir el efecto positivo de la visualizaci n de pistas para la resoluci n e o o de un problema, en el caso que dichas pistas sean bien utilizadas, como podra ser el caso al pedir el uso del glosario para dar una explicaci n de su contestaci n. o o En cuanto a comparaci n de tutores humanos con respecto a sistemas de pistas, en [143] o se mide el porcentaje de pistas que el sistema genera que son similares a las proporcionadas por un tutor humano. Con respecto a comparaciones entre diferentes tipos de pistas, hay m ltiples trabajos. u As, en [135] hay una comparaci n de la efectividad entre diferentes pistas desde el punto de o vista de su sem ntica (es decir del tipo de contenido de pistas ofrecido), mientras que en la a referencia [140] se compara la efectividad entre ejemplos que requieren un trabajo frente a las pistas. Los ejemplos que requieren un cierto trabajo se pueden ver como un tipo de pistas especco.

2.2. Sistemas de Pistas para el Aprendizaje

49

Otra area de trabajo es la predicci n de lo que obtendr n los alumnos en un examen o a basado en la informaci n que hay en el sistema de pistas. Un modelo para la predicci n o o de puntuaci n de los tests teniendo en cuenta par metros del sistema de pistas tales como o a el n mero de pistas solicitadas, intentos, etc. es presentado en [139]. En dicho trabajo, se u muestra que hay una correlaci n positiva entre el pre-test y las puntuaciones de los alumnos o en el examen nal, una correlaci n positiva entre la respuesta a los diferentes problemas o (problemas iniciales y problemas de pista) y las puntuaciones de los alumnos en el examen nal, y una correlaci n negativa entre la cantidad de ayuda necesitada (n mero de pistas o u solicitadas) y las puntuaciones de los alumnos en el examen nal. Esto muestra que los resultados del examen nal pueden ser predecidos tomando como base estos par metros a donde la correlaci n ha resultado signicativa y tomando en cuenta informaci n sobre la o o cantidad de ayuda necesaria en el sistema es un predictor mejor que no tomando en cuenta dicha informaci n. o Adicionalmente, y especialmente relacionados con el trabajo de esta tesis, se encuentran las experiencias realizadas con el tutor de geometra PACT que se exponen en [145], [146], y [147]. Este tutor permite a los alumnos el uso del glosario y de pistas (aunque el glosario podra ser visto tambi n como un tipo particular de pista). e La referencia [145] presenta un modelo sobre los diferentes comportamientos que un alumno puede tener dentro de un sistema de pistas especco. El modelo muestra algunos errores de comportamiento de los alumnos durante su interacci n con el sistema, y el como portamiento que deberan tener los alumnos para que fuera ideal. De este modo, los investi gadores pueden comparar el comportamiento ideal de acuerdo con el modelo con respecto al comportamiento real de los alumnos. El modelo presentado por los autores puede ser visto como un camino de aprendizaje ideal para los alumnos para un contexto de provisi n de piso tas especco dentro del aprendizaje basado en problemas. As mismo, se comprob que los o alumnos no utilizaron la ayuda del glosario, esperaron mucho para solicitar pistas, y cuando ellos utilizaron las pistas abusaron de ellas, presionando a trav s de toda la secuencia de e pistas. Los mismos autores muestran en las referencias [146] y [147] la correlaci n entre dio ferentes comportamientos de los alumnos (basado en el ya comentado modelo denido) con respecto a sus ganancias de aprendizaje. De esta forma, los autores encontraron que diferentes errores de comportamiento de los alumnos, tales como el abuso de ayuda (seleccionando a trav s de varias pistas, preguntar por una pista cuando tiene el conocimiento e necesario para intentarlo, etc.), evitar la ayuda (responder r pidamente cuando la ayuda era a apropiada, intentar un paso no familiar sin el uso de pistas, etc.), y otros errores variados (preguntar por ayuda demasiado r pido, leer el problema demasiado r pido, etc.), todos ellos a a estaban negativamente correlados con respecto a las ganancias de aprendizaje. Por lo tanto, estos comportamientos err ticos de los alumnos implican una reducci n en las ganancias a o de aprendizaje de los alumnos. Finalmente, una experiencia piloto con cuatro alumnos fue presentada en [147], donde el tutor fue modicado para mostrar mensajes a los alumnos sobre c mo se deben comportar en diferentes situaciones. La idea presentada es algo como un o tutor que intenta ense ar la destreza meta-cognitiva de b squeda de ayuda a los alumnos. n u

50

Captulo 2. Estado del Arte

2.3.

Web Sem ntica en Educaci n a o

En este tercer bloque del estado del arte se pasan a revisar los diferentes trabajos relacionados con la Web sem ntica en educaci n, comenzando por una introducci n general a o o sobre la Web sem ntica. Para m s detalles, una revisi n de los diferentes trabajos de Web a a o sem ntica en educaci n puede verse en [85]. a o

2.3.1.

Introducci n a la Web Sem ntica o a

La Web sem ntica habilita un conjunto de nuevas posibilidades y est basada en reprea a sentaciones de conocimiento que son entendibles y procesables por los ordenadores [148]. La Web sem ntica permite describir un conjunto de recursos de manera formal y l gica, los a o cuales pueden ser utilizados por diferentes sistemas computacionales. Para hacer eso, existen una serie de lenguajes de Web sem ntica que permiten describir recursos, de los cuales a el m s conocido es RDF/XML [149], aunque existen otros como Notation 3 (N3) [150]. a Un recurso que es descrito mediante un lenguaje de Web sem ntica se dice que se ha a anotado. Por otro lado, el lenguaje OWL [151] permite denir nuevos vocabularios, indicando los t rminos, relaciones, etc. Dichas deniciones de vocabularios establecen las normas e de cu les ser n las posibles descripciones de los recursos. A cada uno de estos vocabularios a a se denomina ontologa. Existe toda una teora sobre el desarrollo de ontologas, dando lugar a lo que se ha denominado como ingeniera de ontologas, que abarca todo lo relacionado con el proceso de creaci n de ontologas para hacerlo m s efectivo y ecaz. Por ejemplo, una buena revisi n o a o de este tema puede encontrarse en [152]. As mismo, existen multitud de herramientas que permiten la creaci n de ontologas, una de las m s populares y utilizadas es Protege [153], o a la cual permite a adir una serie de funcionalidades adicionales o plug-ins. n Una vez que los recursos est n anotados, se puede razonar sobre ellos y hacer inferencias a para sacar conclusiones, siendo esta una de las potencialidades m s importantes de la Web a sem ntica, que implica una gran cantidad de aplicaciones. A modo de ejemplo, el razonador a que se emplear en la tesis es CWM [154], que permite razonar sobre recursos anotados en a N3 o RDF/XML y que codica sus reglas de razonamiento en el lenguaje N3. Un tutorial sobre el uso de N3 en la Web sem ntica se encuentra en [155]. Existen multitud de refea rencias que introducen la Web sem ntica y todos sus conceptos, pasando por las ontologas a hasta los razonadores, un ejemplo de este tipo se encuentra en [156].

2.3.2.

Arquitecturas de Web Sem ntica en Educaci n para Personalizaci n a o o

El modelado de arquitecturas de Web sem ntica para educaci n puede realizarse desde a o muy diversos puntos de vista, yendo desde alto nivel hasta m s bajo nivel. En [157] se a propone un marco arquitect nico de alto nivel basado en el trabajo de [158]. Ese marco o separa por un lado la autora, la publicaci n, y la ejecuci n, mostrando tambi n relaci n con o o e o las ontologas. Esta arquitectura permite comprender los diferentes conceptos a alto nivel. En concreto, para la aplicaci n de adaptaci n de recursos educacionales utilizando t cnio o e cas de Web sem ntica, existen numerosas arquitecturas. Estas arquitecturas las hemos divia dido en dos grupos:

2.3. Web Sem ntica en Educaci n a o

51

Arquitecturas generales orientadas a servicios. Por ejemplo, en [159] se presenta una arquitectura basada en servicios Web para habilitar m todos de Web sem ntica en e a hipermedia adaptativo. Arquitecturas de sistemas especcos. Algunos ejemplos son AHA! [160], el sistema LOCO [161] o el sistema TANGRAM [162] En bastantes ocasiones, dichas arquitecturas son montadas desde cero, sin tener que utilizar formatos educacionales tpicos sino que directamente operan con lenguajes de Web sem ntica. Sin embargo, actualmente hay pocos trabajos que hayan discutido acerca de ara quitecturas para posibilitar la combinaci n de tutores inteligentes existes que ya est n en o a funcionamiento y que tienen compatibilidad con ciertas especicaciones de e-learning o formatos parecidos, con t cnicas de Web sem ntica. e a

2.3.3.

Ontologas de Web Sem ntica en Educaci n a o

La ingeniera de ontologas educativas es un aspecto clave para el exito de las aplicacio nes de Web sem ntica en educaci n, ya que los diferentes datos deben ser modelados de una a o forma conveniente y precisa. Para cada uno de los aspectos donde se utilizan tecnologas educativas, tal que sea posi ble un modelado de datos, se puede denir una ontologa. De esta forma se han creado onto logas educacionales en relaci n con las competencias educacionales [163], o con respecto a o ontologas de dominio que se pueden derivar a partir de texto [164], o para la descripci n de o los conceptos involucrados en un curso teniendo ricas relaciones entre conceptos y no s lo o la relaci n is a [165], o para denir diferentes tipos de documentos y tareas [166]. De hecho, o en [166], tambi n se ha denido una ontologa para la presentaci n nal del sistema de Web e o sem ntica, de forma que razonamientos sobre la presentaci n pueden realizarse en base a la a o ontologa correspondiente de presentaci n denida. o Se ha construido una ontologa llamada Ontology for Education (O4E) [167] para clasi car e indexar los trabajos m s importantes en el area de aplicaciones de Web sem ntica en a a educaci n y ontologas para educaci n. Esto ha derivado al portal de ontologas para educao o ci n [168], donde hay un compendio de trabajos relevantes en este area, compuesto por un o blog y dividido en varias categoras de acuerdo a la ontologa denida. Por otro lado, se han creado ciertas ontologas para posibilitar la inclusi n de los est nda o a res de e-learning en la Web sem ntica. Dichas ontologas cubren por lo tanto aquellos asa pectos del e-learning descritos por sus especicaciones asociadas. Algunos ejemplos de ontologas ligadas a est ndares de e-learning son los siguientes: a Para los metadatos dados por IEEE-LOM se ha realizado un trabajo de mapeo a RDF/XML. En [169] se analizan las dicultades para mapear la especicaci n IEEEo LOM a RDF, y se presenta el modelo de peticiones SHAME para actuar junto con este mapeo RDF, as como una herramienta de edici n de metadatos para LOM expresado o en RDF. Para la especicaci n SCORM, en [170] se presenta una propuesta para mapear la o especicaci n SCORM mediante RDF. As mediante dicha propuesta, cada curso en o

52

Captulo 2. Estado del Arte SCORM se puede pasar a expresar seg n un lenguaje de Web sem ntica. En concreto, u a se utiliza la ontologa existente de DAML-S para expresar actividades. Para las especicaciones de modelados de usuarios, tales como IMS-LIP e IEEEPAPI, hay diferentes propuestas. Por ejemplo, una de ellas que integra en una ontologa t rminos de ambas especicaciones, se encuentra en [85]. e Trabajos para mapear la especicaci n IMS-LD a RDF, y como poder usar dicha o especicaci n dentro de la Web sem ntica se exponen en [171] y [172]. o a

2.3.4.

Herramientas de Autor para Web Sem ntica en Educaci n a o

En [173], hay una identicaci n de las actividades de autora en el contexto de la Web o sem ntica en educaci n. Las ontologas en el ambito de las aplicaciones educativas pueden a o ser creadas por herramientas de prop sito general como la ya comentada de Protege, o bien o se pueden usar herramientas especcas que ayudan a los profesores y dise adores de cursos, n los cuales no tienen frecuentemente altos conocimientos tecnol gicos. o Existen diferentes herramientas de autor para aplicaciones educativas que generan ontologas, como por ejemplo la presentada en [174], que parte de teoras conocidas del aprendi zaje para acabar generando ontologas para aprendizaje colaborativo, o a trav s de la herra e mienta de mapas conceptuales para el aprendizaje [175]. Por otro lado, existen otras aplicaciones que en lugar de hacer que los profesores creen las ontologas, hacen que las ontologas se creen autom ticamente a partir del texto. En esta a lnea se encuentran los trabajos expuestos en [176], [177], o [178]. Tambi n existen otros sistemas dedicados a la autora pero no de ontologas, sino de e anotaciones. Un ejemplo es [179], donde se pueden hacer directamente anotaciones. Adem s de para crear ontologas, hay otras herramientas de autor que se basan en ona tologas para crear ciertos recursos educativos. Ejemplos de estos casos son SMARTIES [180] para crear dise os de aprendizaje instruccional en base a ciertas pedagogas, y que n pueden ser compatibles con la especicaci n IMS-LD, o c mo aprovechar las ontologas o o para autora de aprendizaje colaborativo [181].

2.3.5.

Aplicaciones de Web Sem ntica en Educaci n a o

Existen diferentes posibles aplicaciones de la Web sem ntica en educaci n. En nuestro a o caso, en la tesis nos centraremos fundamentalmente en aplicaciones adaptativas, ya que lo que queremos conseguir en nuestro caso es la adaptaci n de pistas. En una subsecci n poso o terior se explicar n los trabajos relacionados con adaptaci n, pero aqu s lo se comentar n a o o a el resto de aplicaciones relacionadas con educaci n (no adaptativas por lo tanto) que utilizan o t cnicas de Web sem ntica. e a En primer lugar, la Web sem ntica en educaci n se puede emplear para realizar b squea o u das m s efectivas de los recursos educativos. Actualmente, todo se encuentra muy descena tralizado en la Web, ello tambi n incluye a los recursos de e-learning, por lo que se requieren e herramientas para encontrar y organizar la informaci n que en principio est en la Web con o a esa estructura desorganizada. De esa forma, la Web sem ntica en educaci n puede utilizarse a o para realizar b squedas m s signicativas relacionando t rminos, conceptos, etc. en lugar u a e

2.3. Web Sem ntica en Educaci n a o

53

de b squedas planas en la Web. En esta lnea, se desarrolla Courseware Watchdog [182] que u implementa b squedas en repositorios con metadatos, y est basado en el uso de ontologas. u a Algunos trabajos utilizan ontologas para la construcci n de sus contenidos de objetos o de aprendizaje como en [183], marcando la estructura y el dominio del curso. Finalmente, destacar los trabajos sobre mapeo de ontologas educativas, que como idea general tratan de que ontologas diferentes educativas en distintos sistemas sean compatibles, de tal forma que dichos sistemas puedan interaccionar entre s, a n cuando previamente no u haba un acuerdo sobre una ontologa com n. En [184] volvemos a tener una aplicaci n u o de b squeda de cursos, recursos, ejercicios, etc., que en esta caso usa el lenguaje de reglas u TRIPLE para ejecutar dichas b squedas, pero en el que cada usuario de b squeda tiene u u en general diferente concepci n de los t rminos porque todos no comparten las mismas o e ontologas. Es por ello que se aporta una soluci n en la que se distinguen dos tipos de o ontologas: las fuentes (que cubren aspectos generales), y las de objetivo (que son especcas de la materia seg n las necesidades del usuario y cubren aspectos muy especcos). En una u lnea parecida se encuentra el trabajo recogido en [185] donde tambi n se intentan realizar e b squedas de recursos educativos cuando las ontologas locales que utilizan los usuarios son u diferentes.

2.3.6.

Aplicaciones Adaptativas de Web Sem ntica en Educaci n a o

La Web sem ntica puede ser utilizada para realizar labores de adaptaci n, en el caso a o particular de la educaci n para realizar aplicaciones adaptativas en educaci n. En [186] se o o muestra una clara visi n del uso de ontologas para inteligencia articial en educaci n. o o Se han propuesto aplicaciones adaptativas utilizando la Web sem ntica, para diferentes a aspectos del e-learning, como para contenidos [166], evaluaciones [187], contenidos y su secuenciamiento [161] o la generaci n de realimentaci n educacional [162]. o o En [166] se proponen una serie de ontologas para modelar a los usuarios, los contenidos, el modo en que se har la presentaci n hipertextual nal, etc. de tal forma que sobre datos a o anotados seg n las ontologas se podr razonar de acuerdo a ciertas reglas prejadas. Alguu a nas de las reglas mostradas en el trabajo se reeren a la petici n de ejemplos relacionados o con ciertos contenidos. El lenguaje utilizado es TRIPLES. En [187] la aplicaci n adaptativa se lleva a cabo no sobre contenidos de lecciones, sino o sobre evaluaciones. As se establecen reglas seg n las cuales se proceder a realizar la se u a cuencia de los diferentes tests y a la selecci n de las preguntas en los tests dependiendo o de ciertas reglas. En dicho trabajo se utiliza el mapeo RDF de la especicaci n IMS-QTI. o Tambi n se utiliza como lenguaje de Web sem ntica TRIPLES. e a En [161] se presenta el sistema TANGRAM, que permite tanto la adaptaci n de cono tenidos como el secuenciamiento de un curso, basado en el modelo de usuario seg n sus u necesidades individuales. Finalmente en [162] se muestra un sistema de generaci n de realimentaci n educacional o o denominado LOCO, seg n el cual el alumno recibe algunos recursos adaptativos a modo de u realimentaci n tras su interacci n con el sistema. o o

Captulo 3

Teora de Modelado del E-Learning

El modelado del e-learning consiste en proporcionar diferentes representaciones de cada uno de los diferentes aspectos relacionados con la aplicaci n de tecnologas de la informao ci n en el aprendizaje. Dichas representaciones permiten comprender mejor las realidades o que abarcan, proporcionar completud sobre cada aspecto, habilitar la interoperabilidad entre plataformas, conseguir reusabilidad, mejorar el mantenimiento de los recursos, abaratar costes, propiciar materiales m s efectivos para el aprendizaje de los alumnos, o propiciar a herramientas de e-learning f ciles de utilizar por profesores sin grandes conocimientos teca nol gicos de forma que puedan aportar su conocimiento para el uso de las tecnologas de la o informaci n en el campo educativo. o En campos como ingeniera del software o la ingeniera Web, ya se han utilizado dife rentes tipos de modelados para aprovechar todas sus ventajas que redundan en benecios econ micos y de calidad de los productos obtenidos. Una aplicaci n similar en el campo o o del e-learning resultara muy benecioso en este area. Este captulo trata de realizar algunas aportaciones de modelado del e-learning para diferentes aspectos, de forma que se puedan obtener dichas ventajas para aspectos concretos, y claricar ciertos aspectos generales del modelado del e-learning, conformando globalmente una teora de modelado del e-learning. Entre los aspectos posibles a modelar en e-learning se encuentran arquitecturas para resolver determinados problemas, servicios (tanto a nivel de datos como de comportamiento), contenidos, cursos completos, o reglas de adaptaci n. Cada uno de estos aspectos se puede o modelar con representaciones muy diversas y dando m s o menos detalles. Diferentes trabaa jos han abordado ya algunos de estos aspectos, pero existen ciertas carencias de modelado. El captulo est dividido en doce secciones. La primera secci n est dedicada a enumerar a o a las contribuciones del captulo de teora de modelado del e-learning, relacion ndolas con el a trabajo previo, mientras que la segunda secci n expone sobre la relevancia e importancia de o las contribuciones realizadas. La tercera secci n da una visi n global acerca del modelado de e-learning desde nueso o tra concepci n, lo que incluye una clasicaci n y enumeraci n de aspectos a modelar en o o o e-learning, desde qu tipo de representaciones se pueden modelar cada uno de dichos aspece tos, nociones generales sobre c mo realizar el modelado, o las relaciones con los modelados o realizados en ingeniera software e ingeniera Web. En la cuarta secci n se ofrece una vi o si n acerca de c mo sera un e-learning ideal desde nuestro punto de vista, teniendo siempre o o como base el modelado. Esto incluye casos de uso especcos que cubren diversos esce 55

56

Captulo 3. Teora de Modelado del E-Learning

narios. En la quinta secci n se muestra la relaci n entre los est ndares o especicaciones o o a de e-learning actuales y las funcionalidades presentes en los actuales sistemas de gesti n o del aprendizaje, de este modo se detectan carencias de modelado en diferentes aspectos de e-learning. La sexta secci n est dedicada a presentar una nueva propuesta de modelado global de o a cursos de e-learning utilizando la especicaci n IMS-CP, mientras que la s ptima secci n o e o tambi n presenta un modelado global de cursos de e-learning pero utilizando una extensi n e o de UML. La octava secci n est dedicada a presentar algunas aportaciones realizadas en el o a marco de herramientas de autor para mostrar c mo puede habilitarse el uso de e-learning a o profesores sin amplios conocimientos tecnol gicos. Las herramientas de autor pueden verse o como un modelado en lenguaje natural de ciertas caractersticas. En este caso, se presen tan aportaciones a una herramienta de autor para especicaciones nuevas en aspectos de e-learning de los que se detectaron carencias en la secci n tercera de este captulo, y otra o herramienta de autor para descripci n de cursos siguiendo los pasos tradicionales de planio caci n de cursos, con secuenciamiento gr co de las actividades, y siendo compatible con la o a especicaci n IMS-LD. En la novena secci n se propone un modelo para representar reglas o o adaptativas en e-learning. La d cima secci n expone una nueva arquitectura gen rica para combinar tutores intelie o e gentes con t cnicas de Web sem ntica, explicando sus elementos, decisiones de implemene a taci n a tomar y recomendaciones. Esta arquitectura permite combinar diferentes formatos o o modelados de manera arm nica. o Finalmente, la secci n 11 propone un modelo de proceso en ciclo de vida para el desao rrollo de e-learning, y la secci n 12 da unas nociones generales de evaluaci n de e-learning o o que se pueden utilizar para mejorar los diferentes modelados propuestos, y se ilustran dichos conceptos con la evaluaci n de diferentes funcionalidades de sistemas de gesti n del o o aprendizaje a trav s de una experiencia realizada. e

3.1.

Contribuciones de la Teora de Modelado del E-learning

En primer lugar, se aporta una teora global de modelado del e-learning que abarca una visi n sobre qu y c mo modelar en e-learning, as como las relaciones entre diferentes o e o conceptos, y las relaciones con la ingenera software y la ingeniera Web. Si bien existen diferentes trabajos que explican el e-learning en general y ciertas caractersticas concretas del modelado se han abordado en detalle en varias investigaciones, como se ha expuesto en el estado del arte, aqu aportamos una visi n global de modelado del e-learning que trata o de conexionar todos esos conceptos, y de manera especial trata de extrapolar analogas de la ingeniera software y la ingeniera Web al e-learning. Esta visi n global tiene en cuenta o los diferentes trabajos del estado del arte expuestos en la correspondiente secci n de dicho o captulo, y los interrelaciona y ordena para conformar dicha visi n global, siendo esto ultimo o la principal aportaci n en este sentido. o Por otro lado, tambi n se aporta una visi n ideal de c mo pensamos que debera ser el e o o e-learning, incluyendo la interoperabilidad entre diferentes aspectos, herramientas de autor f cilmente usables por profesores sin grandes conocimientos tecnol gicos, habilitaci n de a o o las mejores pr cticas para el mayor aprendizaje de los alumnos, materiales f cilmente mana a tenibles, etc. Esta visi n ideal tambi n se ilustra con una serie de casos de uso. Los diferentes o e

3.1. Contribuciones de la Teora de Modelado del E-learning

57

puntos de la visi n ideal son una recopilaci n de las ideas de diferentes trabajos del estado o o del arte, mientras que los casos de uso son ejemplos pr cticos particulares con los que se a ha contribuido. Seguidamente, para lograr en parte esa visi n ideal, se realizan una serie de o contribuciones m s especcas. a En la actualidad, existe una visi n generalizada del e-learning orientado a servicios en o lugar de sistemas monolticos [83], en la que cobra especial importancia la interoperabi lidad entre dichos servicios. Existen trabajos previos que ya han informado sobre algunas carencias y puntos d biles de los est ndares educacionales actuales [85] como que algunos e a est ndares necesitan extensiones para cubrir ciertos aspectos, est ndares que hacen lo mismo a a en algunas de sus partes, o algunos aspectos para los que no hay especicaci n en este moo mento. Este ultimo punto es en el que tambi n se contribuye en esta tesis. La referencia [85] e enumera esto como una carencia pero no se analizan qu aspectos de un sistema educacional e de gesti n de aprendizaje tiene carencias de especicaciones. Esto se pretende realizar en o nuestro trabajo como contribuci n, para tener una visi n clara de lo que falta. Para ello se o o analizan las funcionalidades de los sistemas de gesti n de aprendizaje, y se relacionan con o los est ndares de e-learning actuales, dando un informe sobre las carencias actuales. a Para lograr la interoperabilidad de todos los servicios de e-learning as como de las ca ractersticas de los cursos alojados en sistemas de gesti n de aprendizaje, se propone el o modelado de cursos alojados en sistemas de gesti n de aprendizaje mediante IMS-CP. Podeo mos decir que la interoperabilidad para diferentes aspectos del e-learning no es algo nuevo y que ya bastantes autores han expuesto acerca de la importancia de la interoperabilidad en el contexto del e-learning, como en [70]. Sin embargo, dicha interoperabilidad est usualmente a referida en trabajos previos hacia objetos de aprendizaje especcos, pero no como interope rabilidad para un curso completo que est en un sistema de gesti n del aprendizaje, que es el a o caso de nuestra visi n. Esta aproximaci n de interoperabilidad completa a nivel de curso en o o un sistema de gesti n de aprendizaje, requiere entre otras cosas una descripci n de alto nivel o o del curso, incluyendo par metros de conguraci n general, la estructura de la presentaci n a o o del curso en el sistema, y la organizaci n de los diferentes servicios que lo componen. Para o esta descripci n de alto nivel de un curso, hasta donde sabemos no existen especicaciones o actualmente. Por lo tanto, los sistemas de gesti n del aprendizaje no tienen un bot n de imo o portar/exportar un curso completo para interoperar con cursos completos entre plataformas diferentes de sistemas de gesti n del aprendizaje. En la tesis se propone un modo de utilizar o IMS-CP para habilitar esa descripci n de alto nivel de un curso. Esta es una manera diferente o de usar IMS-CP con respecto a la habitual. Un ejemplo de forma regular de uso de IMS-CP se encuentra en [91] para ensamblar diferentes contenidos de un curso, los cuales habitualmente pueden ser cargados en un sistema de gesti n del aprendizaje mediante el a adido de o n un recurso. Sin embargo, los sistemas de gesti n del aprendizaje no incluyen un bot n de o o importar cursos completos desde otros sistemas de gesti n del aprendizaje que es lo que queo remos habilitar con la propuesta en este sentido. Hasta donde sabemos, no existen trabajos para describir esta posibilidad, aunque existen trabajos que han realizado ya modicaciones en IMS-CP para prop sitos diferentes, como en la especicaci n IMS ePortfolio, o en la o o referencia [92]. En [92] no se proporciona una manera de describir un curso completo en un sistema de gesti n de aprendizaje, como nuestra propuesta hace (ya que all no se describe o toda la informaci n de curso de sistema de gesti n de aprendizaje de alto nivel), sino que sin o o embargo en [92] se permite la integraci n de SCORM con servicios, lo cual s es una cosa en o

58

Captulo 3. Teora de Modelado del E-Learning

com n con nuestra propuesta. Pero en [92] se modela como una llamada a un servicio Web u utilizando el concepto de Sharable Content Services (SCSs), mientras que en nuestro caso se hace una referencia desde el campo organizaci n de IMS-CP hacia un chero con una o extensi n diferente dependiendo del tipo de servicio. Adem s, en aquella propuesta el cono a tenido es bajo demanda, en lugar de ser importado por un sistema de gesti n de aprendizaje, o lo cual es otra diferencia con respecto a nuestro trabajo. En cuanto a nuestra propuesta de modelado de cursos completos utilizando UML, podemos indicar que ya hemos visto en el captulo del estado del arte, que existen trabajos de modelado con UML o extensiones en ingeniera software, ingeniera Web, ingeniera de sis temas, etc. Tambi n algunas de las especicaciones de e-learning como IMS-QTI y IMS-LD e suelen tener una representaci n en UML para explicar los elementos de la especicaci n de o o forma global o/y otra para explicar instancias concretas de realizaci n de la especicaci n. o o Pero en cualquier caso, hasta donde sabemos, el modelado completo de instancias de cursos mediante UML no ha sido abordado y es donde realizamos la contribuci n, proponiendo una o extensi n a UML para modelar gr camente el dise o de cursos mediante UML. o a n Tal como se ha comentado anteriormente en esta memoria, uno de los grandes retos del e-learning es proporcionar herramientas de autor sencillas de utilizar por profesores sin conocimientos tecnol gicos y que al mismo tiempo sean completas respecto a la expresividad o del aspecto abarcado, al mismo tiempo que compatibles con especicaciones con mapeos a XML para garantizar la interoperabilidad. En e-learning, existen multitud de aspectos donde hay actualmente carencias de este tipo de herramientas, bien porque no son completas en cuanto a lo que abarcan, no son compatibles con especicaciones, o/y no son f cilmente a utilizables por profesores sin grandes conocimientos tecnol gicos. En concreto, se realizan o en este marco aportaciones hacia una nueva herramienta de autor integradora de diferentes servicios de e-learning que hasta ahora tenan carencias de modelado, y una soluci n para o herramienta compatible con IMS-LD denominada CourseEditor basada en las fases tradicionales de planicaci n de un curso y en representaciones gr cas de secuenciamiento de o a actividades. En cuanto a la herramienta de autor integradora de diferentes servicios de e-learning, nuestra herramienta de autor contribuye en varios sentidos con respecto a las herramientas existentes en el estado del arte: Por un lado es una herramienta compatible con nuevas especicaciones de e-learning, generando sus respectivos cheros XML. Estas especicaciones de e-learning cubren servicios de los sistemas de gesti n del aprendizaje para los que se detect una careno o cia de especicaci n. o Muestra c mo los temas tratados por estas nuevas especicaciones de e-learning que o abarcan diferentes caractersticas de diversos sistemas de gesti n del aprendizaje, pue o den ser puestos en lenguaje natural a trav s de una serie de formularios f cilmente e a entendibles por profesores sin grandes conocimientos tecnol gicos, sin perder como pletud. A diferencia de otros aspectos donde hay un compromiso entre completud y facilidad por parte de profesores. Es una herramienta de autor que cubre diferentes especicaciones de servicios en un s lo interfaz sin estar incrustada en un sistema de gesti n del aprendizaje. o o

3.1. Contribuciones de la Teora de Modelado del E-learning

59

De la herramienta de autor CourseEditor que se ha dise ado, se puede clasicar como n una herramienta gr ca y textual generadora de IMS-LD, ya que tiene una fase de introa ducci n de informaci n textual por parte del profesor y otra de informaci n gr ca. Una o o o a de las grandes diferencias de la herramienta CourseEditor con respecto a otras herramientas generadoras de IMS-LD es que est orientada a la planicaci n de cursos, pasando por las a o diferentes fases tradicionales de la misma. Por lo tanto, se puede ver como que la herramienta CourseEditor modela la planicaci n de cursos en lenguaje textual, siendo a la vez o compatible con IMS-LD, y de una forma sencilla de comprender por profesores sin grandes conocimientos tecnol gicos, siendo todo esto una de sus contribuciones. Adicionalmente, o otras de las principales diferencias de CourseEditor, y que es donde m s se ha contribuia do en el contexto de esta tesis, es el modelado gr co especco que proporciona a los a profesores, aportando una soluci n de expresi n gr ca para el secuenciamiento de tareas o o a en IMS-LD que es sencilla para profesores. La herramienta de autor que est m s cercana a a a nuestra aproximaci n de representaci n gr ca de secuenciamiento es LAMS, pero hay o o a diferencias en la interfaz gr ca tales como que m ltiples echas pueden tener el mismo a u elemento fuente, las tareas de soporte pueden ser visualizadas, modo diferente de establecer el mnimo n mero de tareas en una rama opcional, etc. Adem s, s lo se permite sincronizar u a o los diferentes roles a nivel de actividad, unidad did ctica o de curso completo, para facilitar a la tarea a los profesores. Todo ello aporta un nuevo modelo gr co de una serie de aspectos a recogidos en la especicaci n IMS-LD, que trata de ser sencillo para profesores. o En cuanto a la denici n de un nuevo modelado de reglas adaptativas en el contexto de o Web sem ntica, podemos decir que en la actualidad existen trabajos que utilizan diferentes a reglas de Web sem ntica como en [166] para contenidos o en [187] para evaluaciones con a preguntas, pero hasta donde sabemos no se utiliza ninguna metodologa de desarrollo de las mismas sino que se codican directamente. Nuestra aportaci n es denir una manera o formal de modelar dichas reglas adaptativas utilizando t cnicas gr cas y textuales, para e a postular unas reglas at micas, reusables, mantenibles, intercambiables, interoperables, etc. o cuyas caractersticas aportar n una serie de ventajas. a En cuanto a nuestra aportaci n en el marco de arquitecturas para combinar tutores ino teligentes con t cnicas de Web sem ntica, es de destacar que otros trabajos se centran en e a explicar arquitecturas orientadas a servicios como en [159] para combinar sistemas educacionales con t cnicas de Web sem ntica, o en explicar elementos generales arquitect nicos, o e a o arquitecturas especcas de determinados sistemas (algunas de estas propuestas pueden ver se en la secci n correspondiente del estado del arte). Mientras que la arquitectura que hemos o denido es un modelado desde otro punto de vista, ya que se pretende combinar t cnicas de e Web sem ntica con tutores inteligentes existentes, centr ndonos en sus relaciones intrnsea a cas de elementos (por lo tanto no a nivel de servicios Web), habilitando la combinaci n de o formatos tpicos de sistemas educacionales con los de Web sem ntica, y enumerando los a problemas existentes, criterios de dise o, as como recomendaciones de implementaci n. n o Adem s, se pretende hacer una soluci n gen rica para combinar cualquier tutor inteligente a o e con razonador sem ntico y no s lo una soluci n especca. a o o Por ultimo, en la tesis se contribuye con un modelo de ciclo de vida para integrar las diferentes fases o actividades de un proceso de e-learning, proponiendo una secuencia determinada y modo de proceder, de forma an loga a modelos en ciclo de vida de la ingeniera a software o la ingeniera Web. Tambi n se proporciona como contribuci n unas reglas gene e o

60

Captulo 3. Teora de Modelado del E-Learning

rales acerca de c mo evaluar los diferentes aspectos del e-learning, de forma que sirva como o realimentaci n para mejorar modelados ya realizados, o futuros modelados a realizar. Para o ilustrar estos criterios de evaluaci n, se proporciona un estudio experimental en el marco o de la asignatura de Laboratorio de Arquitectura de Ordenadores para evaluar la importancia de diferentes servicios y funcionalidades de los sistemas de gesti n del aprendizaje. Se han o realizado muchas experiencias sobre sistemas de gesti n del aprendizaje y sus funcionalio dades, siendo en este caso la principal aportaci n respecto a otros trabajos, la evaluaci n o o de los alumnos de la importancia de diferentes funcionalidades de sistemas de gesti n del o aprendizaje, muchas de ellas con las que haban interaccionado durante la experiencia.

3.2.

Relevancia de la Teora de Modelado del E-learning

En primer lugar, cabe comentar que el habilitar una visi n global de modelado del eo learning, as como una visi n ideal sobre c mo debera ser el e-learning, un modelo en o o ciclo de vida y unas pautas generales de evaluaci n, permite conexionar diferentes ideas o interrelacion ndolas y tener una visi n clara del e-learning y su modelado, as como de las a o pautas que se pueden seguir en la evaluaci n para mejorar los diferentes aspectos. Todo ello o permite evolucionar esta ciencia. El habilitar una serie de modelos para la descripci n de diversos aspectos del e-learning o (tal como el modelo UML para descripci n de cursos completos en sistemas de gesti n o o del aprendizaje o el modelo para reglas adaptativas de aprendizaje), as como la denici n o de un modelo en ciclo de vida de producci n en e-learning, redundar en una reducci n o a o de costes en la generaci n y mantenimiento de materiales y recursos educativos utilizando o las tecnologas de la comunicaci n, as como en una mayor calidad y efectividad para los o alumnos de los materiales y recursos producidos. Los benecios obtenidos son parecidos a los que se maniestan fruto de aplicar las t cnicas de ingeniera software e ingeniera Web e en sus respectivas areas. En concreto los benecios de tales modelados en e-learning son los siguientes: 1. Introduce una fase de dise o previa a la conguraci n del curso, a la realizaci n de n o o reglas adaptativas, etc. Ello fuerza a los profesores y dise adores de cursos a pensar n cuidadosamente sobre la conguraci n de los cursos, las reglas adaptativas a aplicar, o etc., en lugar de realizarlo directamente sin ning n m todo que lleva a establecer opu e ciones por defecto, aplicar reglas prototipo, etc. 2. Proporciona una visi n m s clara de todo el curso o de las reglas adaptativas a aplicar. o a La representaci n gr ca formal facilita a los profesores el tener una visi n m s clara o a o a de la conguraci n de los cursos que ellos desean, de las reglas adaptativas a aplicar, o etc. Por lo tanto, la conguraci n de un curso, la adaptaci n basada en reglas, etc. o o puede ser mejorada y se pueden reducir los errores. 3. Facilita la creaci n de un curso de un sistema de gesti n de aprendizaje o de reglas o o adaptativas, en el cual contribuyen diferentes profesores. Los diferentes profesores de un curso o que crean reglas adaptativas, se pueden intercambiar las diferentes descrip ciones del modelo y discutir las modicaciones oportunas sobre el.

3.2. Relevancia de la Teora de Modelado del E-learning

61

4. Mejora el mantenimiento de cursos. El mismo curso en un sistema de gesti n del o aprendizaje o las mismas reglas adaptativas pueden ser mejoradas en sucesivas ediciones en base a las encuestas de los alumnos, las impresiones de los profesores, medidas de la efectividad de las reglas de adaptaci n, monitorizaci n del comportamiento de o o los alumnos, etc. Para ello se deben realizar las modicaciones apropiadas en la descripci n del curso o de las reglas en base a los modelos aportados. o 5. Posibilita la reusabilidad y comparaci n de cursos, y reglas de adaptaci n. Estructuras o o de cursos diferentes de sistemas de gesti n del aprendizaje as como combinaciones o de reglas de adaptaci n, que fueron exitosas en cursos previos, pueden ser reutilizadas o en diferentes cursos por profesores diferentes, utilizando una descripci n basada en el o modelo. Adem s, tanto cursos diferentes como diversas reglas de adaptaci n pueden a o ser comparadas a trav s de sus descripciones. e Por otro lado, el modelado en XML de cursos completos mediante la especicaci n o IMS-CP habilita la interoperabilidad entre los sistemas tecnol gicos de forma que los miso mos cursos pueden ser cargados en diferentes sistemas de gesti n de la informaci n sin o o tener que hacer uno diferente para cada plataforma, e incrementa la reusabilidad por parte de profesores y dise adores de cursos, de forma que es m s f cil poder reusar entre ellos n a a los materiales que describen cursos completos o parte de ellos, y de esta forma se pueden aprovechar al m ximo los recursos existentes sin tener que volverlos a realizar. a El conocer qu funcionalidades o servicios de los sistemas de gesti n del aprendizaje e o pueden tener carencias en cuanto a los est ndares de e-learning actuales, permite tener conoa cimiento de la situaci n y poder habilitar especicaciones que habiliten la interoperabilidad o y reusabilidad para dichos aspectos, obteniendo todas sus ventajas. Similares ventajas de reuso e interoperabilidad entre sistemas se pueden deducir de la denici n de un modelo de reglas at micas e interoperables, las cuales se deben a adir a o o n las ventajas ya comentadas por habilitar un modelado para reglas. Por el hecho de habilitar un modelo para la descripci n de reglas adaptativas ya se enumeraron ciertas ventajas. Adio cionalmente, por el tipo de caractersticas que re nen dichas reglas adaptativas de acuerdo a u la teora correspondiente que se enuncia, se obtienen una serie de ventajas relevantes, tales como que son reusables en diferentes contextos lo que ahorra tiempos de implementaci n ya o que con que se implementen una vez est n disponibles para diversas situaciones, e interopea rables (esto es por sus propiedades de atomicidad e intercambiabilidad). Tambi n son m s e a f cilmente mantenibles porque si se detecta un error o problema en las mismas basta con a cambiar s lo el conjunto de reglas involucradas, que es independiente del resto de reglas. Si o fuera un sistema monoltico un problema determinado afectara al conjunto global. La habilitaci n de modelados de las t cnicas educativas en lenguajes entendibles por o e profesores sin grandes conocimientos tecnol gicos, as como la implementaci n de herrao o mientas de autor para que dichos profesores puedan generar contenidos y recursos de elearning que funcionar n en sistemas por ordenador, habilita la inserci n de estos profesores a o en la ense anza a trav s del e-learning, logrando as incorporar su conocimiento tan valioso n e de muchos a os de experiencia en clase tradicional, al campo de las tecnologas de la inforn maci n orientadas al aprendizaje. Esto es muy relevante, ya que se multiplican las ventajas o de la ense anza al combinar los conocimientos de profesores altamente cualicados con el n uso de tecnologas de la informaci n. Esto es lo que se ha conseguido en areas especcas, o

62

Captulo 3. Teora de Modelado del E-Learning

con el dise o de las herramientas de autor comentadas como aportaciones. n Con respecto a los resultados de la evaluaci n de la importancia de diferentes funcionao lidades de los sistemas de gesti n del aprendizaje, dicha contribuci n puede utilizarse para o o los siguientes nes: Evaluaci n de diferentes sistemas de gesti n del aprendizaje. Los sistemas de gesti n o o o del aprendizaje pueden ser comparados con respecto a la presencia o ausencia de diferentes funcionalidades y con un peso dependiendo de su importancia. Esto podra ser utilizado para comparar las diferentes caractersticas que cada funcionalidad propor ciona. Ayudar a los profesores a comprender el efecto en el aprendizaje de los alumnos de alguna funcionaliad. Ayudar a los profesores a seleccionar las utilidades que se ajustan mejor: los profesores pueden intentar proporcionar a los alumnos las funcionalidades que son m s a importantes, generar m s material asociado a las funcionalidades m s importantes y a a promocionar su utilizaci n. o Finalmente, destacar la relevancia de la inclusi n de sistemas de la informaci n en eduo o caci n como los tutores inteligentes existentes dentro de la Web sem ntica, que es lo que o a habilita la arquitectura propuesta para combinar sistemas de tutora inteligente con la Web sem ntica. Tales ventajas que se habilitan seran las siguientes: a Interoperabilidad de datos y reuso con otras disciplinas. Si varias disciplinas utilizan ontologas similares, entonces las anotaciones de datos pueden ser reutilizadas y ser interoperables. Por lo tanto, los sistemas educacionales podran intercambiar recursos de datos existentes de la Web, de otros sistemas educacionales, o de otros sistemas de negocio. En este momento, especicaciones educacionales (como SCORM para la estructura de contenidos y meta-datos, IMS-LD para describir diferentes pedagogas en un curso, IMS-QTI para describir evaluaciones autom ticas de ejercicios, o IMS a LIP para modelado de usuario) permiten la interoperabilidad y reuso s lo entre siso temas educacionales que implementan dichas especicaciones con mapeos a XML, pero dicha interoperabilidad y reuso puede ser extendida con la Web sem ntica. a Datos extendidos para el procesamiento. Los razonadores de Web sem ntica pueden a aprovechar todos los datos anotados de la Web y de otros sistemas para ejecutar el procesamiento de enormes cantidades de datos (en lugar de s lo procesamiento de o datos locales de un sistema educacional especco), logrando inferencias m s potentes a de aspectos educacionales. Utilizaci n de herramientas robustas ya implementadas para la Web sem ntica. Como o a existen ya herramientas robustas de Web sem ntica para anotaciones, ontologas o a razonamiento, estas herramientas pueden ser utilizadas en lugar de codicar de nuevo sus funcionalidades en sistemas educacionales. Las reglas y el razonador sem ntico pueden ser reutilizados entre sistemas diferena tes. Las reglas codicadas y el propio razonador pueden ser reutilizadas en sistemas

3.3. Visi n Global del Modelado del E-learning o

63

educacionales diferentes, sin tener que escribir implementaciones de c digo de proo gramaci n especco para cada sistema educacional. o Utilizaci n de un lenguaje de alto nivel de abstracci n. Los razonadores utilizan leno o guajes l gicos los cuales son de un nivel m s alto de abstracci n que los lenguajes de o a o programaci n habituales dentro de los sistemas educacionales. De esta forma, es m s o a sencillo y r pido codicar tareas de procesamiento utilizando razonadores de Web a sem ntica. a Todo lo comentado en esta secci n redunda en un aprendizaje usando las tecnologas de o la informaci n m s efectivo para los alumnos, sencillo de utilizar por profesores y dise adoo a n res de cursos, interoperable entre sistemas, reusable por dise adores e implementadores, m s n a mantenible, y con menos costes.

3.3.

Visi n Global del Modelado del E-learning o

Algunas de las primeras cuestiones que pueden surgir son: Cual es la relaci n entre la o ingeniera software e ingeniera Web con respecto a la ingeniera del e-learning? Qu se e modela en cada disciplina? Qu se debe modelar en el marco de una ingeniera del ee learning? Qu metodologas se deben utilizar para el modelado del e-learning? Nos vamos e a basare en las respuestas a estas cuestiones para dar una visi n global sobre el modelado o del e-learning. En ingeniera software lo que se modela es una aplicaci n o programa completo. Uno de o los objetivos es que el modelo ayude en la generaci n del c digo nal del programa. Con el o o modelado, se habilita una forma precisa y sistem tica de lo que un programador tiene que a hacer para el desarrollo de una aplicaci n o programa, pasando por fases donde los modelos o son independientes del lenguaje de programaci n considerado, hasta la obtenci n del proo o grama en un lenguaje de programaci n especco (C, Java, Pascal, etc.) y su mantenimiento. o Desde el punto de vista del patr n de dise o MVC (Modelo, Vista, Control) [188], la o n ingeniera software coincidira con la ingeniera Web en las partes del control (el c digo de o programa est encargado de la ejecuci n de control) y del modelo (los datos almacenados a o en la base de datos, los objetos o estructuras de datos de programaci n, etc. son modelados). o Pero sin embargo, no coincidira en la parte de la vista, ya que en el caso del software se utilizaran interfaces textuales o gr cos no basados en Web. La ingeniera software se puede a modelar utilizando UML y los diagramas vistos en el captulo del estado del arte, aunque tambi n mediante m todos formales, o mediante lenguaje natural. e e Por otro lado, las t cnicas de ingeniera Web intentan modelar una aplicaci n Web come o pleta. En analoga con el software, uno de los principales objetivos es que el modelo ayude a generar el c digo nal del que est compuesta una aplicaci n Web. El producto nal a geneo a o rar en software es el c digo del programa y la base de datos, mientras que en las aplicaciones o Web los productos nales se ven ampliados siendo el c digo de programa, la base de datos, o HTML, CSS, etc. De este modo, podemos pensar en las aplicaciones Web como una extensi n de los o programas software, donde aparece la componente de la vista a trav s de interfaces Web. e Cualquier programa software puede ser convertido a uno en versi n Web. Por lo tanto, el o

64

Captulo 3. Teora de Modelado del E-Learning

modelado de c digo de programa y los modelos de la base de datos o/y estructuras y objetos o de datos que se pueden realizar para el software, pueden ser reutilizados en parte para el modelado de aplicaciones Web. Pero adicionalmente, las aplicaciones Web tienen nuevos aspectos relacionados con la vista que se deben modelar que no se consideran en software. Estos otros aspectos son la navegaci n y la presentaci n, que tienen como productos nales o o HTML, CSS, etc. Por lo tanto, ciertos aspectos de la vista son a adidos con respecto a los n programas software. Una aplicaci n Web puede ser modelada mediante los m todos basados o e en UML o modicaciones de UML (algunos de los cuales hemos expuesto en el captulo del estado del arte), m todos formales, o mediante lenguaje natural. e Si pensamos acerca de una plataforma de e-learning (por ejemplo un sistema de gesti n o del aprendizaje) como un caso particular de aplicaci n Web, entonces podemos pensar en o que se puede modelar con los m todos de ingeniera Web. Desde ese punto de vista, lo e que tendramos que modelar seran las implementaciones especcas de m dulos para e o learning como foros, chats, evaluaciones autom ticas de ejercicios, etc. La ingeniera del a e-learning tendra como objetivo generar aplicaciones Web con todos sus productos nales comentados para aplicaciones Web, pero siendo el caso particular de que esas aplicaciones Web tienen como n la ense anza a trav s de las tecnologas de la informaci n. Por el hecho n e o de focalizarnos en el e-learning, dichos modelados de ingeniera Web, se podran ajustar mucho m s para este caso concreto, para hacer el modelado de e-learning m s preciso. Y a a desde este punto de vista la ingeniera de e-learning consistira en particularizar los m todos e ya empleados de ingeniera Web para este tipo de aplicaciones concretas. En esta direcci n o de la ingeniera del e-learning podran ser vistos los esfuerzos de OKI, que proporciona algunas guas sobre varios m dulos de e-learning dando las interfaces de dichos m dulos, o o es decir los m todos con sus atributos y valores devueltos que debera tener cada modulo e de e-learning, y podra ser visto como unos requerimientos iniciales de especicaci n para o los diferentes componentes del e-learning. Tambi n, en la secci n del estado del arte, se han e o comentado trabajos que se englobaran en este marco. Desde este punto de vista expuesto, podemos relacionar la ingeniera software, Web y la de e-learning de forma que la ingeniera de e-learning estara incluida en la ingeniera Web, y la ingeniera Web estara dividida en dos vertientes: por un lado la correspondiente a la ingeniera software, y por otro lado la correspondiente al modelado de aspectos de presentaci n y navigacionales. Estas dos partes tambi n se encontraran en la ingeniera de o e e-learning como caso particular de ingeniera Web. Pero a pesar de ser la ingeniera de e learning un caso particular de ingeniera Web, tambi n se podran generar nuevos modelos e m s especcos para e-learning para abordar mejor ese caso concreto. a Hasta el momento, se ha explicado la ingeniera del e-learning desde el punto de vista de construir aplicaciones Web nuevas. Pero hay un segundo punto de vista sobre el concepto de ingeniera del e-learning, el cual no est relacionado con la construcci n de m dulos a o o o componentes de la plataforma especca. Este otro punto de vista supone que tenemos ya la plataforma especca con diferentes funcionalidades o servicios para el e-learning. Desde este otro punto de vista, se tiene en cuenta la generaci n de contenidos concretos, o la selecci n de las actividades especcas, el establecimiento de una metodologa concreta, o el secuenciamiento del material, la distribuci n de los elementos en la plataforma, etc. Este o segundo punto de vista de la ingeniera del e-learning es en el que nosotros estamos m s a interesados.

3.3. Visi n Global del Modelado del E-learning o

65

Se puede decir que el primer tipo de ingeniera del e-learning est centrado en la in a fraestructura com n necesaria a implementar para desarrollar cualquier curso o aspecto de u e-learning y es en cierto modo un desarrollo Web de c digo de programaci n, p ginas de o o a visualizaci n, etc. Mientras que el segundo tipo de ingeniera del e-learning (que es en el que o estamos m s interesados nosotros) est centrado en el desarrollo de materiales, recursos, etc. a a una vez que la infraestructura com n est ya montada. No obstante, hay ciertas ocasiones u a donde estas dos losofas solapan y es difcil distinguir en qu vertiente nos encontramos, e por ejemplo para discernir si el dise o de reglas de adaptaci n para los alumnos es parte n o de la implementaci n de la infraestructura de un sistema de aprendizaje, o bien es algo que o establecen los profesores y dise adores de cursos cuando ya est montada la infraestructura. n a Comparando la ingeniera software, la ingeniera Web y la ingeniera del e-learning (con siderando tambi n el segundo tipo de punto de vista), con respecto a los productos nales e generados, podemos decir lo siguiente: 1. El producto de la ingeniera software es c digo de programa m s datos en base de o a datos, variables, etc. 2. El producto de la ingeniera Web es c digo de programa m s datos (en base de datos, o a variables, etc.) y adem s cheros de presentaci n (como HTML, CSS, etc.) a o 3. El producto del primer tipo de ingeniera de e-learning es el mismo que la ingeniera Web y adem s el segundo tipo de ingeniera del e-learning dar como resultado un a a conjunto de cheros en diferentes formatos (por ejemplo en XML) que representan instancias especcas de contenidos, evaluaciones de ejercicios autom ticos, activi a dades, el orden de diferentes elementos, la secuencia de actividades, la metodologa aplicable, etc. pero supuesto que la infraestructura software o/y Web que hay por debajo est ya implementada y que se va a ejecutar dentro de dicha infraestructura. a A continuaci n, se desarrollan dos subsecciones para claricar qu se puede modelar o e dentro de la ingeniera del e-learning, y con qu m todos se pueden modelar dichos aspectos. e e

3.3.1.

Qu Modelar en E-learning? e

En esta secci n se trata de exponer claramente todo lo que se puede modelar en eo learning, y tambi n se relaciona las aportaciones de esta tesis con respecto a este marco e general de cosas que se pueden modelar. En primer lugar, cabe clasicar los aspectos a modelar en e-learning en los dos grupos de puntos de vista comentados de la ingeniera del e-learning: 1. Aspectos para la implementaci n de nuevos m dulos de e-learning como parte de o o aplicaciones Web. 2. Aspectos de realizaciones especcas de materiales, los cuales se pueden cargar en infraestructuras ya implementadas de e-learning. Con respecto a la implementaci n de nuevos m dulos de e-learning como parte de aplio o caciones Web, podemos diferenciar los siguientes aspectos a modelar (que son similares a los expresados en ingeniera Web):

66

Captulo 3. Teora de Modelado del E-Learning Arquitecturas. Establecen los diferentes elementos tecnol gicos para realizar una deo terminada funcionalidad de e-learning, sus relaciones entre s, c mo uye la informa o ci n de los datos, posibles decisiones de dise o a tomar en las mismas, problemas de o n implementaci n, guas para tomar decisiones, etc. En esta tesis, un ejemplo de contrio buci n con respecto a este aspecto se encuentra en la denici n de una arquitectura o o para combinar tutores inteligentes con t cnicas de Web sem ntica. e a Datos. Describen los datos de los m dulos generales que se encuentran en sistemas o de e-learning. Especicaciones como la mayora del IMS sirven para denir los da tos generales posibles de diferentes m dulos, que sirven para la implementaci n de o o los mismos. En esta tesis, con la denici n general de la nueva especicaci n de eo o learning sobre pistas para aprendizaje basado en problemas, se contribuye a modelar los datos de dicho aspecto. Funcionalidad. Establecen las funcionalidades y APIs de cada uno de los m dulos de o sistemas de e-learning. Un ejemplo son los APIs de OKI para diferentes m dulos de o sistemas de aprendizaje. Comportamiento. Establece los diferentes m dulos de control para implementar un o sistema de e-learning. Navegaci n. Modela los diferentes enlaces y relaci n con la base de datos, de una o o aplicaci n de e-learning. o Presentaci n. Modela el aspecto nal que se dar a los usuarios (abarcando posici n o a o de los elementos en pantalla, colores, etc.) en una aplicaci n de e-learning. o Ciclo de vida del proceso de implementaci n. Tiene en cuenta las diferentes fases para o la realizaci n de la implementaci n y mantenimiento de una aplicaci n de e-learning. o o o Es un caso particular de ciclo de vida de ingeniera software o ingeniera Web. Evaluaci n de la aplicaci n. Se trata de denir tests de tipo software o de ingeniera o o Web para comprobar la correcci n funcional del desarrollo realizado. o

Con respecto a la realizaci n especca de materiales educativos de todo tipo, una vez o que ya toda la infraestructura est implementada, podemos distinguir los siguientes aspectos a a modelar: Instancias de materiales educativos. Se entiende por material educativo cualquier cosa susceptible de ser dise ada por un profesor o dise ador de cursos. Entre instancias de n n materiales educativos se pueden distinguir las siguientes: Contenidos. Ello incluye texto explicativo, ejercicios de evaluaci n, metadatos, o estructura del contenido, etc. Lo que se modela en esta categora son funda mentalmente datos especcos. Ciertas especicaciones del IMS sirven para dar representaciones de este tipo. En esta tesis, se contribuye con una nueva especicaci n de pistas para aprendizaje basado en problemas. Ya se vio antes que o esta contribuci n sirve a nivel de modelado de datos en el sentido de implemeno taci n de un reproductor software de pistas, pero a la vez con la denici n de la o o

3.3. Visi n Global del Modelado del E-learning o

67

especicaci n de pistas, tambi n se contribuye con el modelado de instancias de o e ejercicios concretos de pistas a cargar una vez que la infraestructura est montaa da. Servicios. Ello incluye funcionalidades y servicios de los sistemas de gesti n o del aprendizaje tales como foros, chats, asignaciones de tareas, juegos, competiciones, etc. Ciertas especicaciones del IMS sirven para dar representaciones de este tipo. En esta tesis se contribuye relacionando las funcionalidades y servicios actuales de los sistemas de gesti n del aprendizaje con respecto a las especio caciones de e-learning actuales, determinando algunas carencias en las especicaciones. Tambi n se contribuye con la habilitaci n de herramientas de autor e o para poder crear instancias especcas de algunos servicios y funcionalidades para los que haba carencias, por parte de profesores sin grandes conocimien tos tecnol gicos. Tambi n en este sentido, se puede enmarcar la contribuci n del o e o modelado de la herramienta competitiva expuesta. En este punto relacionado con los servicios, lo que se modelar n ser n datos, e interfaz de acciones posibles que a a ofrecen a los usuarios. Es de notar que un servicio tendr por una lado un tipo de a ingeniera para implementar el m dulo correspondiente, y por otro lado otro tipo o de ingeniera de e-learning para obtener instancias especcas de conguraci n o del profesor, siendo este ultimo aspecto el que se est abordando en este lugar a del texto. Usuarios. Incluye tener instancias especcas de usuarios con una serie de carac tersticas. Dichas caractersticas se pueden tener en cuenta para aspectos como la adaptaci n. Ejemplos de especicaciones relacionadas con los usuarios son o IMS-LIP e IEEE-PAPI. Secuenciaci n. Incluye en qu secuencia dar las diferentes actividades a los o e usuarios, denir diferentes roles de actuaci n, sincronizaci n de dichos roles o o durante el curso, etc. Las especicaciones de IMS que cubren fundamentalmente esto son IMS-LD e IM-SS. En esta tesis se contribuye en el dise o de una n herramienta de autor para poder crear cheros IMS-LD, por parte de profesores sin grandes conocimientos tecnol gicos. o Composici n de cursos completos en sistemas de aprendizaje. Ello incluye o par metros generales de conguraci n de cursos, el dise o de la presentaci n a o n o concreta, los diferentes contenidos y servicios que lo componen, etc. En esta tesis se contribuye con la denici n de un modelo modicado de UML para o describir cursos completos, y con la denici n de una manera de utilizar IMSo CP para describir cursos completos. En este caso lo que se modela son datos y presentaci n fundamentalmente. o Competencias. Se reere a la denici n de cualquier aspecto del proceso educao tivo que puede ser aprendido y ense ado. Puede formar parte de los objetivos a n conseguir en un curso, o pueden ser prerrequistos de los cursos. Existen varias especicaciones del IMS para realizar estas deniciones concretas. En este caso lo que se modela son fundamentalmente datos. Reglas de adaptaci n. Ello incluye criterios para decidir los tipos de contenidos, o tipo de secuenciamiento, tipo de servicios, etc. en funci n de diferentes variables o

68

Captulo 3. Teora de Modelado del E-Learning de adaptaci n como tipos de usuarios, tipos de contenidos, etc. En esta tesis cono tribuiremos con la denici n de un nuevo modelo gr co y textual para describir o a reglas adaptativas. Especicaciones como IMS-LD o IMS-QTI permiten realizar diferentes tipos de adaptaci n en funci n de variables condicionales. Es de o o notar que al modelar reglas de adaptaci n, estamos modelando comportamieno to. Este modelado de reglas adaptativas es un caso en el lmite entre ingeniera de e-learning de implementaci n o de generaci n de materiales considerando o o la infraestructura implementada, ya que las reglas adaptativas implica la implementaci n de una l gica de programaci n para realizar adaptaciones en base a o o o ciertos criterios. Pero se puede ver tambi n como que la infraestructura est ya e a montada y dichas reglas se podran anexar como recursos que establece el pro fesor o instancias especcas, las cuales se cargan en un m dulo implementado o que las interpreta. Ciclo de vida del proceso de desarrollo de materiales de e-learning concretos. En este caso, consiste en el modelado de un proceso de desarrollo l gico sobre qu tareas ejeo e cutar y en qu orden para producir todos los materiales de e-learning especcos. En e esta tesis se proporciona un proceso de desarrollo de materiales de e-learning espec cos. De nuevo hay que notar la diferencia entre un ciclo de vida para implementar m dulos de e-learning, o un ciclo de vida para desarrollar materiales de e-learning o una vez que ya est toda la infraestructura implementada. a Evaluaci n de los diferentes materiales de e-learning concretos. En este caso, consiste o en establecer una serie de guas sobre c mo poder mejorar para los alumnos materia o les de e-learning existentes especcos: haciendo contenidos m s efectivos, habilitan a do servicios de una forma m s apropiada, ajustando mejor las reglas de adaptaci n, a o etc. En esta tesis se proponen algunas guas en este sentido. Adem s, se efect a una a u evaluaci n de la importancia de diferentes funcionalidades de los sistemas de gesti n o o del aprendizaje, as como una evaluaci n del modelo de pistas propuesto. De nuevo o hay que notar la diferencia entre evaluar m dulos de e-learning implementados para o mejorar el software, y evaluar materiales para mejorar la experiencia educativa, que es de lo que se trata este ultimo aspecto de la evaluaci n. o

3.3.2.

Qu T cnicas de Modelado Utilizar en E-learning? e e

Es bien sabido que para modelar una determinada realidad, se puede realizar desde diferentes puntos de vista. En ingeniera software e ingeniera Web hemos visto que se puede modelar mediante representaciones gr cas, mediante lenguaje natural, o mediante m todos a e formales. Eso mismo se puede extender al e-learning, para los dos puntos de vista de los que hemos comentado la ingeniera del e-learning. La gura 3.1 muestra las diferentes maneras posibles en las que se puede modelar cada uno de los aspectos del e-learning. Cada uno de los aspectos enumerados en la secci n ano terior (sobre qu cosas modelar en e-learning), se puede modelar utilizando cada uno de los e m todos de la gura 3.1. En general, las capas superiores corresponden a un mayor nivel de e abstracci n y son m s f cilmente entendibles para usuarios sin grandes conocimientos teco a a nol gicos. Por el contrario, las capas inferiores corresponden a representaciones m s difcilo a

3.3. Visi n Global del Modelado del E-learning o

69

Figura 3.1: Diferentes maneras posibles de modelar el e-learning mente entendibles por usuarios sin grandes conocimientos t cnicos, pero m s pr ximas a los e a o productos nales que manejan los sistemas de la informaci n. o Con cada uno de los m todos de la gura 3.1 se puede modelar cada uno de los aspece tos del e-learning comentados en la secci n anterior, tanto para los del grupo de ingeniera o del e-learning para implementaci n de m dulos, como para la ingeniera del e-learning de o o generaci n de materiales especcos una vez que est montada la infraestructura. o a A continuaci n se explica brevemente cada uno de estos modelados en relaci n con el o o e-learning desde el punto de vista de generaci n de materiales educacionales una vez que o la infraestructura est ya implementada, y se relacionan las contribuciones de esta tesis con a cada uno de ellos: Implementaci n. Se corresponde con los cheros nales que son cargados e interpreo tados por los sistemas de aprendizaje. Usualmente son representaciones en XML. En esta tesis se contribuye en este aspecto al hacer el an lisis de relacionar las funcionaa lidades de sistemas de gesti n del aprendizaje con respecto a las especicaciones del o e-learning actuales, al proponer una nueva especicaci n de pistas para el aprendizaje o con un mapeo a XML, y al proponer una manera de utilizar IMS-CP para el modelado completo de cursos. M todos formales. Consiste en tener una representaci n basada en m todos matem tie o e a cos precisos. En esta tesis se contribuye en este aspecto al proporcionar la implementaci n de reglas adaptativas para la adaptaci n de pistas, junto con ontologas y las o o anotaciones de Web sem ntica. De hecho el lenguaje de Web sem ntica puede ser a a visto como un lenguaje para la descripci n formal de realidades. Adicionalmente, en o el caso de las reglas, adem s de ser una representaci n con m todos formales, son a o e tambi n el producto nal de implementaci n. e o Representaciones gr cas. Consiste en representar gr camente una cierta realidad a a

70

Captulo 3. Teora de Modelado del E-Learning del e-learning, a trav s de diagramas, nodos, echas, relaciones, etc. En esta tesis se e contribuye en este aspecto al proponer un modelo modicado de UML para representar cursos completos de sistemas de gesti n del aprendizaje, y para la representaci n o o de reglas adaptativas (aunque en este ultimo caso no es UML y combina la representaci n gr ca con la textual). As mismo, la representaci n de reglas para pistas o a o adaptativas es un caso particular que tambi n se presenta en la tesis. Tambi n la ree e presentaci n del ciclo de vida y de la evaluaci n expuestos en la tesis, son ejemplos o o de modelados basados en representaciones gr cas. Finalmente, parte de una de las a herramientas de autor presentadas (CourseEditor) utiliza representaci n gr ca en reo a laci n con la especicaci n IMS-LD. o o Lenguaje natural. Consiste en describir mediante palabras cierta realidad del elearning. Conviene hacerlo de manera completa, concreta, clara, y precisa. En esta lnea se contribuye en la tesis con varias herramientas de autor, que pueden ser vistas como una expresi n en lenguaje natural para modelar la realidad de instancias cono cretas de materiales educativos. Tales herramientas de autor donde se contribuye son la de generaci n de ejercicios con pistas de acuerdo a la especicaci n de pistas deo o nida, la de generaci n de instancias de servicios y funcionalidades de e-learning, y la o de generaci n de IMS-LD y otros cheros en relaci n con la descripci n de un curso o o o seg n las diferentes fases de la planicaci n. Tambi n el modelado de la herramienta u o e competitiva puede verse como un modelado en lenguaje natural de ciertos aspectos competitivos.

Una pregunta natural es qu tipo de modelado es mejor utilizar en cada caso para modelar e un determinado aspecto del e-learning. La respuesta depende en cada caso. Por un lado, las m quinas necesitan representaciones en formatos entendibles por ellas, que pueden ser a XML o bien expresadas en lenguajes de m todos formales como los de la Web sem ntica. e a Por otro lado, los profesores y dise adores de cursos necesitan representaciones en formatos n lo m s f cilmente entendibles por humanos, que pueden ser bien representaciones gr cas a a a o mediante lenguaje natural. Un reto es expresar algo ya sea gr camente o en lenguaje a natural de la forma m s completa, precisa, clara, y escueta posible. Dependiendo del aspecto a de e-learning considerado, podr resultar m s apropiado un modelado u otro para que sea a a m s f cilmente comprensible por dise adores y profesores de cursos. Tambi n en ocasiones a a n e puede resultar que un determinado tipo de modelado sea mejor para un grupo de usuarios, y otro mejor para otro grupo. Finalmente, resaltar que en ocasiones se debe elegir un sistema de representaci n que los sistemas van a manipular, por ejemplo entre XML o lenguajes de o Web sem ntica. Para valorar qu sistema utilizar, son muchos los condicionantes a tener en a e cuenta, como el grado de interoperabilidad a conseguir (por ejemplo, para muchos aspectos los sistemas educacionales interoperan gracias a formatos XML), tiempo de procesado de los sistemas seg n cada formato que van a manipular, etc. u

3.4.

Visi n Ideal del E-learning o

Recopilando ideas de diferentes autores y estudios, se propone que un e-learning ideal debera cumplir las siguientes premisas:

3.4. Visi n Ideal del E-learning o

71

1. Interoperabilidad y reusabilidad para todos los materiales del e-learning. Se considera material de e-learning todo el listado que se proporcion en la secci n anterior sobre o o lo que se poda modelar. Todo material de e-learning debera ser interoperable entre diferentes sistemas de forma que los profesores y dise adores de cursos no lo tuvieran n que generar doblemente por el hecho de cambiar de sistema tecnol gico de aprendio zaje. As mismo, los profesores deben ser capaces de reusar todos los materiales, en su totalidad o en parte, para conformar otros materiales nuevos. 2. Completud. Para cada aspecto o material de e-learning, las especicaciones que se denan deben de ser completas de forma que se habiliten todas las posibilidades que sean posibles para ponerlas a disposici n de profesores y alumnos. o 3. Desde el punto de vista de los alumnos, los materiales de e-learning con los que interact an deben cumplir con lo siguiente: u Que sean de tal forma que incrementen al m ximo su nivel de conocimiento tras a su interacci n con ellos, adapt ndose a cada alumno, a la situaci n moment nea o a o a del mismo, al contexto especco, etc. Que ese incremento de conocimiento del alumno se produzca en el menor tiempo posible. Que se habilite una forma divertida y motivadora de aprendizaje a los alumnos mientras interaccionan con los materiales educativos. 4. Desde el punto de vista de los profesores, el dise o y producci n de materiales de n o e-learning debe ser de tal forma que: Est n a su disposici n de forma sencilla los conocimientos adecuados para gee o nerar los materiales educativos de las caractersticas comentadas que necesitan los alumnos. Dispongan de herramientas de autor f ciles de utilizar por profesores sin grandes a conocimientos tecnol gicos, y al mismo tiempo sean completas en la descripci n o o de lo que modelan, de tal forma que al profesor le sea muy sencilla la creaci n o de los materiales. 5. Menor coste de los sistemas. Los sistemas educativos producidos deberan tener el menor coste posible. Por lo tanto si hay varias soluciones tecnol gicas que aportan lo o mismo, entonces se debera optar por la de menor coste. La consecuci n de todos estos puntos de un e-learning ideal es muy complicada, y en o ocasiones varios de los requerimientos entran en conicto teni ndose que tomar soluciones e de compromiso. A continuaci n se exponen unos casos de uso especcos que ilustran la situaci n ideal o o del e-learning en cuanto a interoperabilidad, reusabilidad, completud, y de herramientas de autor f cilmente utilizables por profesores sin grandes conocimientos t cnicos. Posteriora e mente, en la secci n de evaluaci n, se dar n algunas guas para conseguir realizar materiales o o a educativos m s ecientes, efectivos, y motivadores para el aprendizaje de los alumnos en a

72

Captulo 3. Teora de Modelado del E-Learning

las diferentes situaciones, a trav s de un proceso de evaluaci n de los diferentes materiales e o realizados. Para explicar los casos de uso que motivaron algunas de las contribuciones de la teora del modelado del e-learning de esta tesis, utilizamos un personaje cticio llamada profesora Smith. Avanzaremos a trav s de algunos aspectos de la vida de la profesora Smith en ree laci n con su trabajo de ense anza, y veremos c mo las contribuciones de nuestro trabajo o n o pueden ayudar a sus necesidades en varios contextos. La profesora Smith imparte cursos en la universidad, pero adem s tambi n imparte algunos cursos para empresas. Adem s, ella a e a tiene algunos contactos con editores y colabora con ellos para escribir libros. La profesora Smith debe dejar disponibles sus cursos a trav s de la plataforma Moodle para sus cursos de e la universidad, mientras que ella debe utilizar otras plataformas diferentes cuando imparte clases en empresas, especialmente la plataforma .LRN. Caso 1: Diseno de un Curso desde Cero para una Editorial La profesora Smith recibi una llamada de un editor para escribir un libro sobre proo gramaci n Java. El curso va a ser utilizado por muchas instituciones. Cada instituci n tiene o o su propio sistema de gesti n del aprendizaje que es diferente a los dem s. De hecho, ni o a siquiera la editorial conoce a priori todos los diferentes tipos de sistemas de gesti n del o aprendizaje que ser n utilizados, pero hay una estimaci n inicial de 25 sistemas de gesti n a o o del aprendizaje diferentes. Sin embargo, la editorial desea proporcionar ayuda para el curso de programaci n en Java a trav s de cada sistema de gesti n del aprendizaje especco. La o e o editorial solicita a la profesora Smith ser la autora del curso incluyendo el dise o del curso n dentro de los diferentes sistemas de gesti n del aprendizaje. o La profesora Smith acepta la invitaci n y piensa en realizar las siguientes cosas en relao ci n con el curso para los sistemas de gesti n de aprendizaje: o o Estructurar el curso en cinco materias con el siguiente orden: introducci n, clases y o objetos, condicionales, conceptos avanzados de programaci n orientada a objetos, y o entrada/salida. A adir diferentes recursos relacionados con cada materia: contenido Web, cheros, n lecciones compatibles con SCORM, etc. A adir dos evaluaciones de ejercicios al nal del curso (que sean compatibles con n IMS-QTI). Habilitar un foro general para cada materia, y un foro especco para comentar sobre trabajo personal. Para los foros generales, todos los alumnos pueden crear nuevos hilos de mensajes y responder mensajes ya creados sin ning n lmite, mientras que cada u alumno s lo puede abrir un s lo hilo en el foro especco, comentando en relaci n o o o con su trabajo. Cada foro especco tiene sus propias caractersticas, tales como si las noticaciones por defecto est n habilitadas o no, si los mensajes pueden ser calicados a y evaluados, etc. Habilitar tres chats diferentes con par metros de conguraci n distintos. a o

3.4. Visi n Ideal del E-learning o

73

Habilitar tres actividades de entrega diferentes que los alumnos deben entregar, cada una con un peso diferente en la puntuaci n nal de los alumnos. o Los deseos de la profesora Smith para realizar esta tarea son los siguientes: 1. Ella no quiere realizar la conguraci n de cada sistema de gesti n del aprendizaje o o desde cero. Realizar la conguraci n para cada sistema de gesti n del aprendizaje o o implicara repetir un conjunto de tareas tantas veces como sistemas de gesti n del o aprendizaje diferentes hubiera. Para cada sistema de gesti n del aprendizaje, ella deo bera escribir todos los nombres diferentes para los foros, establecer qu foros est n e a permitidos con m s de un hilo, qu foros pueden ser calicados, qu servicios requiea e e ren noticaciones por e-mail a los alumnos, los diferentes pesos de los entregables de los alumnos, las diferentes materias, el dise o de presentaci n del curso en el sistema n o de gesti n del aprendizaje, el orden y tipo de los diferentes recursos, etc. La lista de o posibles tareas es muy alta, y ello incluye todos los par metros de conguraci n de a o todos los servicios, recursos, y la informaci n general del curso. o 2. En lugar de repetir un mont n de tareas para cada sistema de gesti n del aprendizaje o o especco y tener que aprender las caractersticas propias de cada sistema de gesti n o del aprendizaje concreto, la profesora Smith quiere realizar todas las acciones de conguraci n requeridas una sola vez, de una forma independiente a cualquier sistema de o gesti n del aprendizaje. o 3. A la profesora Smith le gustara realizar todas las tareas de autora de los cursos sin conectarse a ninguna plataforma de gesti n del aprendizaje, utilizando una herramieno ta de autor, sin tener que saber sobre editores especcos de sistemas de gesti n del o aprendizaje. Le gustara tener una herramienta de autor que permita la conguraci n o de todos los servicios y recursos posibles de un sistema de gesti n del aprendizaje, o siendo completo con respecto a las posibles caractersticas de cada servicio de cada sistema de gesti n del aprendizaje. Adem s, le gustara tener una herramienta de autor o a muy amigable para el usuario, en t rminos que le sean f ciles de comprender ya que e a ella no tiene un alto conocimiento tecnol gico. o 4. Le gustara generar alg n empaquetamiento del curso (con toda la informaci n po u o sible de dicho curso), de forma que dicho curso empaquetado sea independiente de cualquier sistema de gesti n del aprendizaje, y que pueda ser importado en cualquiera o de ellos. Caso 2: Mejora de un Curso Existente sobre Bases de Datos La profesora Smith tiene un curso de la universidad ejecut ndose dentro de la plataforma a Moodle y ella dise o dicho curso para la edici n del pasado a o. Este es un curso sobre n o n bases de datos. Para la edici n de este a o del curso, ella quiere mejorarlo. Las materias o n cubiertas el pasado a o incluyen lo siguiente: fundamentos de bases de datos, bases de datos n relacionales, lenguaje SQL, Oracle, y JDBC. Este a o, ella quiere tambi n incluir mySQL n e como una nueva materia dentro del curso. Dentro de la instancia de Moodle del curso, la profesora habilit varios foros, chats, noticias, entregables, evaluaciones de ejercicios, etc. o

74

Captulo 3. Teora de Modelado del E-Learning

En particular, los cambios que ella quiere ejecutar en la nueva edici n del curso son los o siguientes: La profesora ha visto un foro a trav s de Internet sobre la materia de Oracle, el cual e tiene muy buenos mensajes y es muy instructivo. Es por ello que le gustara a adirlo n como un nuevo foro dentro de la plataforma Moodle, incluyendo la informaci n de o los diferentes mensajes, pero eliminando algunos mensajes inapropiados, y a adiendo n algunos nuevos de su propia creaci n. o Le gustara sustituir los entregables actuales por otros diferentes, porque quiere cam biar los ejercicios de evaluaci n que har n los alumnos. Le gustara reemplazarlos por o a un conjunto de entregables nuevos sobre bases de datos que la profesora ha encontrado en un curso dentro de la plataforma BlackBoard, pero cambiando el peso de cada entregable en la nota nal, y eliminando uno sobre PostgreSQL, ya que es una materia que no est incluida en el curso de la profesora. a Quiere incluir diferentes evaluaciones autom ticas de ejercicios que siguen la especia caci n IMS-QTI, y que ella ha encontrado en un repositorio de profesores a trav s o e de Internet. Quiere incluir un paquete SCORM sobre la nueva materia de mySQL, que ha encontrado en una p gina Web. a Los deseos de la profesora Smith para realizar esta tarea son los siguientes: 1. Quiere una herramienta de autor que pueda importar todos los servicios educacionales diferentes que ella quiere incluir en la nueva edici n del curso. Esta herramienta de o autor debera ser capaz de importar el foro sobre Oracle, los nuevos entregables de los alumnos, los cheros IMS-QTI, y los cheros SCORM. 2. Quiere una herramienta de autor que permita la edici n de los servicios y recursos o diferentes importados. En este caso, ella quiere poder editar los mensajes del foro iniciales, con el n de eliminar los mensajes inapropiados, e incluir algunos nuevos. De un modo similar, ella quiere editar los entregables, eliminar uno, y cambiar los diferentes pesos en la nota nal. 3. Quiere que Moodle pueda exportar el curso antiguo del sistema de gesti n del apreno dizaje como un paquete, y una herramienta de autor que pueda importar dicho paquete generado, incluyendo todos los servicios denidos en el sistema de gesti n del apreno dizaje del curso antiguo. Tambi n quiere una herramienta de autor que permita editar e toda la informaci n del curso antiguo. De esta forma, podr por ejemplo eliminar los o a entregables antiguos o corregir algunos errores que ella detect en los nombres de los o chats. 4. Quiere una herramienta de autor que pueda componer un nuevo curso como la uni n o de varias piezas, basado en la informaci n del curso antiguo inicial, y de los diferentes o servicios y recursos que ha ido obteniendo. De esta forma, el curso inicial evoluciona y se transforma a un nuevo curso deseado para la nueva edici n. La herramienta de o

3.4. Visi n Ideal del E-learning o

75

Figura 3.2: Curso en Moodle sobre seguridad autor debe crear un nuevo paquete de curso que describa el curso completo, incluyendo todos sus servicios. Y el curso podra ser importado e interpretado en cualquier sistema de gesti n del aprendizaje, en este caso en Moodle, que es la plataforma que se utiliza o en la universidad de la profesora Smith. Caso 3: Reuso de un Curso desde la Universidad a la Empresa La profesora Smith quiere reutilizar un curso sobre seguridad que ense a en la univern sidad. Quiere reutilizar el mismo curso para ense arlo en una compa a. A ella le gustara n n adaptar el curso desde la plataforma Moodle a la plataforma .LRN. El curso en Moodle tiene el aspecto de la gura 3.2 A la profesora Smith le gustara presionar un bot n de exportar curso en Moodle, des o cargarse un curso en un chero empaquetado, e importar dicho paquete dentro de .LRN con un bot n de importar curso. Tambi n le gustara tener dentro de .LRN unas caractersticas, o e estructura, etc. del curso lo m s pr ximas posibles que las que ella tena en Moodle. Pero aca o tualmente, esos botones de importar y exportar funcionalidades de cursos completos no est n a disponibles en sistemas de gesti n del aprendizaje. En caso de que estuvieran disponibles, o entonces el curso de la gura 3.2 se visualizara como en la gura 3.3. Como cada sistema de gesti n del aprendizaje tiene sus propias caractersticas, es por o lo que c mo se vea y las funcionalidades del curso, ser n diferentes dependiendo de la o a plataforma que contenga el curso, y se deber n establecer criterios de transformaci n para a o cada aspecto. Es importante resaltar que este no es el unico mapeo posible de un curso de Moodle en .LRN, sino que hay otros mapeos diferentes posibles. Por ejemplo, la pesta a de n Evaluation podra ser eliminada, y en su lugar el m dulo de Evaluation podra estar dentro o de la pesta a de Community Home. En este caso, podemos observar varios ejemplos de n mapeos especcos: 1. El curso est organizado en materias dentro de Moodle. Sin embargo, el curso est ora a ganizado por funcionalidades dentro de .LRN (la gura 3.3i muestra la pesta a Comn munity Home que est agrupada por foros, chats, etc., pero no dentro de materias). a

76

Captulo 3. Teora de Modelado del E-Learning

Figura 3.3: Curso en .LRN sobre seguridad

3.4. Visi n Ideal del E-learning o

77

2. Los recursos de lectura est n distribuidos en la p gina principal dentro de Moodle, a a pero sin embargo en .LRN est n dentro de las pesta as My Files y SCORM. Podemos a n observar en la gura 3.3ii c mo la URL (Important Theorems), un texto plano (Moo tivation), y un chero (Security Services), que son recursos dentro de Moodle, est n a localizados dentro de File Storage en .LRN, mientras que el recurso SCORM sobre DES fundamentals est en la pesta a de SCORM materials dentro de .LRN. a n 3. Del mismo modo, el calendario est localizado en una posici n diferente. No est en a o a la p gina principal, sino en una pesta a especca. Lo mismo puede decirse de las a n noticias. Adem s, si nos centramos en la conguraci n de los foros, podemos notar que hay funa o cionalidades de los foros que son bastantes similares en Moodle y .LRN, pero en algunas ocasiones con nombres diferentes (por ejemplo el foro est ndar para uso general de Moodle a es equivalente al foro plano y abierto de .LRN, siendo posible crear nuevos hilos; o el suscribir a noticaciones en .LRN es similar a la opci n S, inicialmente de la opci n de forzar o o a todo el mundo a estar suscrito de Moodle. Pero hay otras funcionalidades que no tienen un mapeo directo porque no son exactamente las mismas opciones. Por lo tanto, en tales casos se requiere un criterio de traducci n. Por ejemplo, la opci n moderado de .LRN para foros, o o establece que un mensaje estar solamente disponible cuando un moderador lo apruebe. Tal a opci n no est presente en Moodle. o a Argumentos similares pueden ser dichos para otras funcionalidades diferentes a los foros, tal como los entregables, o los chats. Y en general, lo mismo puede ser dicho de cualquiera de las funcionalidades de los sistemas de gesti n del aprendizaje. Por lo tanto, alg n o u vocabulario com n debera ser establecido entre funcionalidades de diferentes sistemas de u gesti n del aprendizaje, pero la transformaci n nal (incluyendo presentaci n) de cada sisteo o o ma de gesti n del aprendizaje especco puede ser diferente de acuerdo a sus caractersticas o especcas.

Caso 4: Colaboraci n entre Diferentes Profesores para el Diseno de un Curso o La profesora Smith necesita colaborar en la creaci n de un curso nuevo para una emo presa. El curso ser ejecutado en la plataforma BlackBoard/WebCT. Ella necesita colaborar a con otros cuatro profesores, pero ninguno de ellos ha trabajado previamente en la plataforma BlackBoard/WebCT porque cada uno de ellos s lo conoce la plataforma especca que se o utiliza en su universidad. En lugar de aprender una nueva plataforma, ellos preeren utilizar una herramienta de autor unica con la cual puedan crear todo lo necesario para un curso, y nalmente importar el paquete del curso dentro de la plataforma BlackBoard/WebCT. Adicionalmente, los profesores est n planicando dividirse el trabajo, de forma que cada a uno est encargado de un conjunto de servicios. Ellos quieren intercambiar sus trabajos y e revisar los materiales de los dem s. En denitiva, quieren tener habilitado un procedimiento a tal que haga m s f cil toda esta colaboraci n entre profesores diferentes. a a o

78

Captulo 3. Teora de Modelado del E-Learning

Caso 5: Anadiendo Adaptaci n y Personalizaci n a un Curso Dependiendo de ciertos o o Par metros de Servicio a La profesora Smith quiere a adir un paquete de IMS-LD dentro del curso de bases de n datos. En este paquete IMS-LD ella quiere a adir algunas condiciones de adaptaci n y pern o sonalizaci n relacionadas con diferentes servicios de sistemas de gesti n del aprendizaje. En o o particular, quiere a adir lo siguiente: n En caso de que tres o m s noticias sean a adidas en relaci n con alguna de las matea n o rias, entonces se debera crear un foro autom tico con algunos par metros de congu a a raci n especcos tales como permitir hilos o no, estar moderado o no, el n mero de o u hilos por usuario, etc. En caso de que un alumno obtenga en un entregable menos de 5 puntos sobre 10, entonces dicho alumno debera repetir la lectura de cierto recurso. Requerimientos para Resolver las Situaciones de los Casos de Uso Para conseguir la visi n ideal en estos aspectos que requiere la profesora Smith, es neo cesario lo siguiente: 1. Especicaciones de datos y mapeos a XML para cada uno de los servicios o funcionalidades de sistemas de gesti n del aprendizaje. Algunas especicaciones ya existen o pero algunas nuevas deben ser creadas para los servicios de sistemas de gesti n del o aprendizaje que tienen una carencia de especicaci n o 2. Integraci n de las diferentes especicaciones de servicios de sistemas de gesti n del o o aprendizaje. 3. Especicaci n que modele a alto nivel un curso de sistema de gesti n del aprendizaje, o o incluyendo informaci n general, el dise o de presentaci n, o la enumeraci n de los o n o o servicios y funcionalidades. 4. Una herramienta de autor que sea f cil de utilizar por profesores sin grandes conocia mientos tecnol gicos, y que incluya la creaci n de todos los servicios y recursos de o o sistemas de gesti n del aprendizaje, as como la descripci n de alto nivel de un curo o so de sistema de gesti n del aprendizaje. Todo esto debe ser realizado de acuerdo a o especicaciones denidas, siendo posible importar instancias XML y generar c digo o XML para cada uno de los aspectos. 5. Sistemas de gesti n del aprendizaje que implementen reproductores para cada servio cio, y en los que sea posible importar y exportar los diferentes servicios, y tambi n la e informaci n de alto nivel de un curso de sistema de gesti n del aprendizaje. o o En esta tesis, se contribuye en algunos aspectos de los puntos 1, 3, 4, mientras que los puntos 2 y 5 est n fuera del alcance de la investigaci n. En relaci n con los puntos 1 y 4 se a o o determinan algunos servicios importantes de los sistemas de gesti n del aprendizaje para los o que no hay especicaciones de e-learning en este momento, suponiendo una carencia. Tambi n se proporciona una visi n de la relaci n de las especicaciones de e-learning actuales e o o

3.4. Visi n Ideal del E-learning o

79

con respecto a las funcionalidades y servicios de los sistemas de gesti n del aprendizaje. o Para algunos de los aspectos de servicios donde hay carencias, se ha creado una herramienta de autor que es capaz de generar cheros XML que describen instancias de nuevas especicaciones para modelar dichos servicios o funcionalidades de los sistemas de gesti n del o aprendizaje. En relaci n con el punto 3, se presenta una extensi n de la especicaci n IMSo o o CP que modela la informaci n a alto nivel de un curso de sistema de gesti n del aprendizaje. o o Tambi n se habilita un modelado modicado de UML para describir a alto nivel cursos de e sistemas de gesti n del aprendizaje. o

Importancia de las Nuevas Especicaciones De los casos de uso previos de la profesora Smith, podemos resumir un conjunto de razones que justican la importancia de denir nuevas especicaciones sobre los servicios comentados de los sistemas de gesti n del aprendizaje: o 1. Para posibilitar la interoperabilidad de cada aspecto entre sistemas de gesti n del o aprendizaje. Diferentes materiales relacionados con cada aspecto pueden ser intercambiados entre diferentes sistemas de gesti n del aprendizaje, sin ning n esfuerzo o u extra. 2. Para posibilitar la reusabilidad entre diferentes materiales educacionales creados. Un autor puede crear materiales relacionados con un aspecto especco con independen cia del sistema de gesti n del aprendizaje donde se va a ejecutar, y el autor puede o reutilizar materiales existentes con el n de componer algunos nuevos. 3. Un curso completo puede ser movido desde un sistema de gesti n del aprendizaje a o otro. Si suponemos que todas las instancias de funcionalidades de sistemas de gesti n o del aprendizaje pueden ser expresadas en algunas especicaciones comunes que todos los sistemas de gesti n del aprendizaje comprenden, entonces un curso activo en un o sistema de gesti n del aprendizaje podr ser importado sin ning n esfuerzo dentro de o a u otro sistema de gesti n del aprendizaje, intercambiando las instancias de informaci n o o XML de las especicaciones. 4. A adiendo m s poder a las especicaciones de e-learning existentes. Algunas espen a cicaciones existentes necesitan referirse a actividades o servicios en algunos momentos. Algunas actividades o servicios pueden ser instancias de funcionalidades de un sistema de gesti n del aprendizaje. Si posibilitamos especicaciones nuevas relao cionadas con funcionalidades de sistemas de gesti n del aprendizaje, entonces estas o funcionalidades podr n ser utilizadas como actividades o servicios especcos dentro a de especicaciones existentes. Adem s, con la integraci n, las especicaciones exisa o tentes pueden utilizar par metros del modelo de datos de las nuevas especicaciones. a Ejemplos especcos de esto pueden ser encontrados dentro del caso de uso 5 de la profesora Smith.

80

Captulo 3. Teora de Modelado del E-Learning

3.5.

Relaci n entre Funcionalidades de LMSs y Especicaciones o de E-Learning

Por un lado, necesitamos realizar un listado con las funcionalidades o servicios m s a importantes de los sistemas de gesti n del aprendizaje. Para ello se han analizado prefeo rentemente los sistemas de gesti n del aprendizaje .LRN, Moodle, BlackBoard/WebCT, y o Dokeos. De dicho an lisis se ha elaborado un listado de funcionalidades o servicios de sistea mas de gesti n del aprendizaje. Las tablas 3.1 y 3.2 muestran las diferentes funcionalidades o de los sistemas de gesti n del aprendizaje seleccionadas. o Por otro lado, hemos estudiado cuidadosamente todas las especicaciones de e-learning relacionadas con la descripci n de datos y tambi n algunas especicaciones que no son o e especcas del e-learning encontradas en [88] y [89]. A continuaci n, hemos establecido las relaciones entre los servicios de los sistemas de o gesti n del aprendizaje y las especicaciones actuales. Se ilustran dichas relaciones en las o tablas 3.1 y 3.2. Hemos dividido los diferentes servicios de los sistemas de gesti n del apreno dizaje en cinco grupos dependiendo de sus relaciones con las especicaciones actuales. Hemos dedicado una subsecci n para cada uno de los cinco grupos, donde se puede encontrar o una explicaci n m s detallada. o a Servicios de los Sistemas de Gesti n del Aprendizaje para los cuales no Tiene Sentido o Denir una Nueva Especicaci n de Datos o Todos los servicios que tienen un No en la segunda columna de la tablas 3.1 y 3.2, son aquellos determinados como que no tiene sentido denir nuevas especicaciones de datos dentro de un curso de un sistema de gesti n del aprendizaje. Se ha encontrado una de las dos o siguientes razones para ello: 1. No son servicios especcos para cada curso sino generales a un sistema de gesti n del o aprendizaje. Por lo tanto, cada curso no tiene sus propias instancias de esos servicios, sino que s lo hay una instancia global para todo el sistema de gesti n del aprendizaje. o o Estos servicios podran tener par metros de conguraci n y datos para conformar a o un modelo, pero no estamos interesados en los mismos porque no seran orientados especcamente a cursos de sistemas de gesti n del aprendizaje. o 2. La tecnologa proporciona la funcionalidad del sistema de gesti n del aprendizaje y o no es necesaria m s informaci n extra para caracterizar dicha funcionalidad. a o Entre los servicios que no son especcos para cada curso sino generales a los sistemas de gesti n del aprendizaje son los siguientes: ayuda sobre la herramienta (la ayuda es la o misma para todos los cursos de sistema de gesti n del aprendizaje. Se podra incluso utio lizar por ejemplo la especicaci n IMS-CP con la ayuda, o un conjunto de cheros en el o almac n de cheros), la aplicaci n de acceso a los logs, el servicio de ofertas de empleo, e o y la b squeda dentro del portal (en este caso IMS-MD o IEEE LOM podran ser utilizados u para denir el conjunto de posibilidades de t rminos de b squeda, pero se requeriran algue u nas especicaciones nuevas para enumerar cu les son los campos del m dulo para realizar a o la b squeda). u

3.5. Relaci n entre Funcionalidades de LMSs y Especicaciones de E-Learning o

81

Funcionalidad

Foro Descarga de cheros Calendario

Tiene sentido una especicaci n o nueva? S S S

Noticias sobre el curso

e-mail

Preguntas frecuentes (FAQ) Listado de alumnos (para todos los cursos en los que est involucrado) a Encuestas on-line Informaci n adicional soo bre el profesorado (otros cursos, localizaci n, tuo toras, investigaci n, etc.) o Sistema de gesti n de eno tregas Evaluaci n de ejercicios o autom tica a Ayuda sobre uso de la herramienta Visualizaci n de las notas o acad micas e Visualizaci n de contenio do estructurado Secuenciamiento de contenido personalizado a los alumnos

S S

Hay actualmente especicaciones de datos relacionadas con este aspecto en sistemas de gesti n del o aprendizaje? No S. Especicaciones no rela cionadas con e-learning S. Especicaciones no rela cionadas con e-learning como iCalendar, hCal, vCal S. Especicaciones no rela cionadas con e-learning como XMLNews S. Especicaciones no rela cionadas con e-learning como MessageML No S. IMS-Enterprise

Nivel de cobertura de las especicaciones actuales Ninguna Completa Alta

Alta

Completa

Ninguna Completa

S S

S. IMS-QTI S. IMS-Enterprise

Completa Media

S S

No S. IMS-QTI, IMS ePort folio, IMS-LIP, IEEE-PAPI, etc. S. IMS-Enterprise S. IMS-CP, SCORM, AICC S. IMS-LD, SCORM, IMS-SS, IMS-LIP, IEEEPAPI, etc.

Ninguna Completa

No S S S

Completa Completa Alta

Tabla 3.1: Relaciones entre funcionalidades de sistemas de gesti n del aprendizaje y especio caciones actuales (primera parte)

82 Funcionalidad

Captulo 3. Teora de Modelado del E-Learning Tiene sentido una especicaci n o nueva? S S S Tiene sentido una especicaci n o nueva? S No No Hay actualmente especicaciones de datos relacionadas con este aspecto en sistemas de gesti n del aprendizaje? o S. IMS-MD, IEEE-LOM S. Especicaciones no re lacionadas con e-learning No Hay actualmente especicaciones de datos relacionadas con este aspecto en sistemas de gesti n del o aprendizaje? No Nivel de cobertura de las especicaciones actuales Alta Completa Ninguna Nivel de cobertura de las especicaciones actuales Ninguna -

B squeda dentro del portal u Weblog Recibir informaci n relevante o sobre el curso mediante sms Funcionalidad

Videoconferencia Contenidos en audio Clases interactivas on-line (transparencias en tiempo real, pizarra electr nica, o sonido, etc. Crear la p gina Web propia a Power point va Web Competici n entre alumnos o Servicio de ofertas de trabajo Aplicaci n de acceso a los o logs Conocimiento de la evaluaci n del aprendizaje y estado o a lo largo del tiempo Conocimiento del nivel propio en cada materia Album de fotos

No No S No No S

No S. IMS ePortfolio, IMS LIP, IMS-RDCEO S. IMS ePortfolio, IMS LIP, IMS-RDCEO S. Especicaciones no re lacionadas con el e-learnin como XML Photo Album No No No S. IMS-Enterprise No

Ninguna Completa

S S

Completa Completa

Tutoras on-line Juegos Incorporaci n de motores de o b squeda (Google, Altavista) u Chat Trabajo en grupo Subgrupos

S S No S S S

Ninguna Ninguna Ninguna Completa Ninguna

Tabla 3.2: Relaciones entre funcionalidades de sistemas de gesti n del aprendizaje y especio caciones actuales (segunda parte)

3.5. Relaci n entre Funcionalidades de LMSs y Especicaciones de E-Learning o

83

Entre los servicios que no necesitan datos extra para ser modelados est n: contenidos a en audio, clases interactivas on-line, power point va Web, y la p gina Web personal propia a para el curso. La ultima puede ser vista como una posibilidad de m dulo de curso que pero mite a un alumno poner una referencia hacia su p gina Web en relaci n con el curso. Pero a o esta posibilidad no tiene mucho que congurar: s lo el enlace a la p gina Web. Cuando los o a alumnos ponen sus enlaces, entonces esto puede ser visto como un conjunto de recursos al curso. Las tres caractersticas iniciales (audio, clases interactivas, power point) puede ser visto como recursos, y pueden estar dentro de un sistema de almacenamiento de cheros, o ser lanzados por alguna herramienta. Pero desde este punto de vista no necesitan mucho para ser modelados, por lo que no hay necesidad de nuevas especicaciones para ellos. Servicios de Sistemas de Gesti n del Aprendizaje que Est n Cubiertos Completamente o a o en Alto Grado por la Uni n de Varias Especicaciones o Esto comprende servicios que necesitan varias especicaciones existentes para ser cubiertos. De las tablas 3.1 y 3.2 podemos ver los siguientes: Secuencia de contenido personalizado a los alumnos. La secuencia de contenidos puede ser realizada con SCORM, IMS-LD, o IMS-SS. No obstante, ninguna de estas especicaciones cubre completamente todas las posibilidades de adaptaci n (por ejemplo o hay un problema para modelar la repetici n de la misma actividad para un alumno o en IMS-LD). Dependiendo del caso, una especicaci n puede ser m s apropiada que o a otras, y algunas veces las especicaciones necesitan extensiones para cubrir m s posia bilidades, como en [86] para SCORM. Adem s, cualquiera de estas especicaciones a puede utilizar otras para tener en cuenta los par metros de adaptaci n (por ejemplo a o los que se encuentran en IMS-LIP, o IEEE-PAPI para adaptar dependiendo de los par metros del modelo de usuario). a Conocimiento de la propia evoluci n de aprendizaje y estado en cada momento y o conocimiento del nivel de conocimiento para cada materia. Estos dos servicios de sistemas de gesti n del aprendizaje pueden ser modelados con la ayuda de varias eso pecicaciones. La principal es IMS-eportfolio que permite modelar el progreso de aprendizaje de un alumno. De hecho, IMS-ePortfolio tiene mucha informaci n, por lo o que parte de esta informaci n es utilizada para un m dulo de sistema de gesti n del o o o aprendizaje y alguna otra parte para otro m dulo. Adem s, IMS-LIP e IMS-RDCEO o a son utilizadas para referirse a los par metros y competencias de los alumnos. a Evaluaci n autom tica de ejercicios. Esto es modelado fundamentalmente con IMSo a QTI. Adicionalmente, IMS-LIP o IEE-PAPI pueden ser utilizados para adaptar la evaluaci n a ciertos par metros del usuario. o a Servicios de los Sistemas de Gesti n del Aprendizaje que Est n Cubiertos Completao a mente por S lo Una Especicaci n o o Este grupo comprende servicios de sistemas de gesti n del aprendizaje que pueden ser o descritos con s lo una especicaci n. Son posibles dos casos: o o

84

Captulo 3. Teora de Modelado del E-Learning 1. Servicios de sistemas de gesti n del aprendizaje descritos por especicaciones de eo learning. Algunos ejemplos son: Encuestas on-line. Puede ser visto como un caso especco de evaluaci n en el o que los resultados no son evaluados, porque es una encuesta. Por lo tanto, puede ser modelado como un subconjunto de IMS-QTI. Visualizaci n de notas acad micas. Esto puede realizarse rellenando los par meo e a tros apropiados de IMS-Enterprise, dentro de membership data objects de la especicaci n. o Lista de alumnos. Esto puede ser descrito completamente con la especicaci n o IMS-Enterprise, ya que permite la descripci n de los miembros de un grupo, o proporcionando varias informaciones sobre cada persona. El grupo debera ser la clase en este caso. Trabajo en grupo. Esto puede ser tambi n descrito por la especicaci n IMSe o Enterprise. Un ejemplo es cuando los subgrupos de alumnos deben realizarse para la entrega de actividades asignadas en grupo. 2. Servicios de sistemas de gesti n del aprendizaje descritos mediante especicaciones o que no son de e-learning. Hay algunas funcionalidades de cursos de sistemas de gesti n del aprendizaje que pueden ser descritas completamente con especicaciones que o no son de e-learning. Este es el caso de los mensajes de e-mail (con MessageML) o el album de fotos (por ejemplo con XML Photo Album). En el caso del album de fotos, tiene sentido tener una especicaci n porque un curso puede tener varias instancias o de albumes de fotos (por ejemplo una por cada materia del curso).

Servicios de los Sistemas de Gesti n del Aprendizaje que Est n Cubiertos Parcialmente o a por Una o M s Especicaciones a Entre este grupo, podemos observar el calendario, las noticias, y la informaci n del proo fesor. Para modelar el calendario, existen varias especicaciones como i-cal, v-cal, o h-cal. Para modelar las noticias tenemos la especicaci n XMLNews. A pesar de que muchas o de las funcionalidades requeridas para el calendario y las noticias est n cubiertas con las a especicaciones que no son de e-learning existentes, sin embargo hay algunos aspectos especcos que pueden ser incluidos dentro del calendario y las noticias por el hecho de estar dentro de un sistema de gesti n del aprendizaje (por ejemplo como las noticaciones de o eventos). Adem s, s lo algunas de las funcionalidades de est ndares existentes que no son a o a de e-learning son utilizadas en los servicios de los sistemas de gesti n del aprendizaje. o Finalmente, para el modelado de la informaci n de los profesores, podramos utilizar o la especicaci n IMS-Enterprise como punto de partida, porque esta especicaci n incluye o o algunas caractersticas para describir a personas (por ejemplo informaci n como el nombre, o apellidos, direcci n, etc. es v lida para un profesor). No obstante, existe mucha informaci n o a o requerida para un profesor que no est incluida con IMS-Enterprise (por ejemplo horas de a tutoras, ofertas de tesis de Master, artculos de investigaci n, etc. ). o

3.6. Modelado de Cursos en LMSs mediante IMS-CP

85

Servicios de Sistemas de Gesti n del Aprendizaje que no Est n Cubiertos por las Espeo a cicaciones Actuales Existen varios servicios de sistemas de gesti n del aprendizaje para los cuales no hay o especicaciones concretas. Para la visi n general de interoperabilidad completa de sistemas o de gesti n del aprendizaje, se requieren nuevas especicaciones para esos servicios. Tales o servicios son foros, preguntas frecuentes, sistema de gesti n de entregas, chats, y subgrupos. o Una nota especial es requerida para los subgrupos en este momento. Tal y como hemos introducido anteriormente, IMS-Enterprise dene un grupo como una colecci n de personas o y relaciones entre ellas, pero esto es diferente a denir la conguraci n de un sistema de o gesti n del aprendizaje dentro de un grupo (por ejemplo para los subgrupos de ma ana y o n tarde de un curso). Por esta raz n, el aspecto de subgrupo en este contexto no tiene relaci n o o con respecto a IMS-Enterprise. Existen otras funcionalidades de sistemas de gesti n del aprendizaje de la lista, para las o cuales no hay especicaciones en este momento. Estos aspectos son: conferencia de vdeo, competici n entre alumnos, tutoras on-line, y juegos. La raz n por la que estas funcionalio o dades las ponemos en otro grupo es porque no hay una fuerte similitud de su conguraci n o entre diferentes sistemas de gesti n del aprendizaje. Esto es porque es muy difcil tener los o mismos par metros de conguraci n porque por ejemplo hay muchas posibilidades de juea o gos, o competiciones. Pero especicaciones concretas podran ser realizadas para cada juego especco y competici n. o

3.6. Modelado de Cursos en LMSs mediante IMS-CP

En esta secci n, se muestra un m todo para utilizar IMS-CP para describir un curso o e completo de sistema de gesti n del aprendizaje. De este modo, un sistema de gesti n del o o aprendizaje puede importar un paquete IMS-CP y desplegar un curso completo. Se ilustra con un ejemplo de curso, el cual es el mismo curso que ya se utiliz en Moodle (gura 3.2) o y .LRN (gura 3.3). La gura 3.4 representa la visualizaci n de un paquete IMS-CP con el o editor RELOAD, describiendo el curso de las gura 3.2 y la gura 3.3. Nuestra propuesta de utilizaci n de IMS-CP para la descripci n de un curso completo o o de sistema de gesti n del aprendizaje, fuerza a la utilizaci n de los siguientes items dentro o o de la organizaci n de un paquete IMS-CP: o General. Representa informaci n general del curso tal como nombre, descripci n, o o o poltica de alta (abierto, cerrado, bajo demanda, etc.). Esto est relacionado con el a recurso XML con la extensi n gnr. o Presentaci n. Representa aspectos de presentaci n de un curso tales como el color, o o tama o de las letras, etc. Est relacionado con el recurso XML con la extensi n ptr. n a o Estructura. Representa la estructura del curso, tal como cu ntas pesta as tiene el cura n so, los servicios y recursos que est n localizados dentro de cada pesta a, y el orden a n de los elementos. Est relacionado con el recurso XML con la extensi n str. Como a o cada sistema de gesti n del aprendizaje s lo permite un conjunto de posibilidades de o o estructura, entonces cada sistema de gesti n del aprendizaje tendra su propio cheo ro de estructura (por ejemplo .LRN permite la presentaci n agrupada por pesta as, o n

86

Captulo 3. Teora de Modelado del E-Learning

Figura 3.4: Paquete IMS-CP para describir un curso de sistema de gesti n del aprendizaje o utilizando el editor RELOAD

3.7. Modelado de Cursos en LMSs mediante UML

87

y Moodle no; o Moodle permite la presentaci n por materias, pero .LRN no). Esto o representa una dicultad para la interoperabilidad completa entre sistemas de gesti n o del aprendizaje. En el futuro, los sistemas de gesti n del aprendizaje podran evoluo cionar para soportar un conjunto est ndar de posibilidades de estructuras para que la a reusabilidad en este aspecto pudiera ser posible. Pero hasta este momento, hay varias maneras de abordar este problema: 1. Varios cheros pueden ser escritos dentro del campo de organizaci n de la eso tructura, uno por cada sistema de gesti n del aprendizaje. o 2. Cada sistema de gesti n del aprendizaje puede establecer un criterio de transforo maci n para un chero de estructura est ndar, por ejemplo no teniendo en cuenta o a caractersticas que no implemente. Lecturas. Esta es la lista de actividades dentro de un curso de sistema de gesti n del o aprendizaje que requieren una lectura para los alumnos en lugar de una interacci n o activa o social. Existe una rama en la organizaci n para cada tipo de recurso. Por o ejemplo, para el curso descrito en la gura 3.4 tenemos ramas para texto plano, enlaces Web y recursos SCORM. Debajo de cada rama, se tendr n los correspondientes a recursos especcos. Servicios. Esta rama de la organizaci n contiene todos los servicios que est n relao a cionados con un curso especco. Los diferentes tipos de servicios est n asignados a a una subrama especca. Debajo de cada subrama se encuentran todas las instancias de servicios especcas. Para el curso de ejemplo, tenemos profesores (con dos instancias como hay dos profesores diferentes en el curso), calendario (s lo uno para el curso), o foros (con el foro sobre Dife Hellman), etc. Con relaci n a la secci n de recursos del IMS-CP, tendremos todos los cheros difereno o tes que est n referenciados en la organizaci n. Esto incluye los cheros para la presentaci n, a o o la estructura y la informaci n general, pero tambi n todos los cheros de lecturas y de sero e vicios. Cada recurso de lectura diferente tendr una extensi n diferente dependiendo del a o tipo. Del mismo modo, cada chero diferente de recurso de servicio tendr una extensi n a o diferente dependiendo del tipo (por ejemplo frm para foros, qti para evaluaciones, o assgn para entregables). Por lo tanto, el campo de tipo de recurso no sera s lo contenido Web y o cheros, sino que tambi n distinguira los diferentes tipos de lecturas y servicios. e De esta forma, con los campos de organizaci n y recursos, los cursos de sistema de o gesti n del aprendizaje pueden ser denidos completamente y empaquetados dentro de IMSo CP.

3.7.

Modelado de Cursos en LMSs mediante UML

Existen varias t cnicas para describir gr camente cursos completos en sistemas de gese a ti n del aprendizaje. En nuestro caso, hemos basado nuestra soluci n en diagramas UML o o ya que esta es una t cnica muy bien conocida y con excelentes resultados en ingeniera del e software, pero tambi n aplicada exitosamente en otros campos. A pesar de que son necesae rias algunas modicaciones en UML para cumplir con nuestro prop sito de describir cursos o

88

Captulo 3. Teora de Modelado del E-Learning

completos en sistemas de gesti n del aprendizaje, no obstante se puede tomar UML como o un punto de partida. En esta secci n, se presenta un nuevo modelo como modicaci n a UML, para describir o o cursos completos en sistemas de gesti n del aprendizaje, y de esta forma conseguir todas las o ventajas que este modelado supone. En primer lugar, se explica la selecci n de los diagramas o UML que se toman como base. Seguidamente, se describe el modelo en detalle. Finalmente, se ilustra el modelo con la aplicaci n del mismo a un curso real en la plataforma .LRN de o gesti n del aprendizaje. o

3.7.1.

Selecci n de los Diagramas UML Base o

El primer paso para la creaci n del modelo es la selecci n de los tipos de diagramas o o UML que se utilizar n como base. El criterio es seleccionar aquellos tipos de diagramas a UML que son los m s apropiados para el modelado de cursos en sistemas de gesti n del a o aprendizaje. La representaci n gr ca del modelo deseado debe permitir expresar los siguientes aso a pectos, los cuales pueden ser congurados a lo largo de la creaci n de un curso en un sistema o de gesti n del aprendizaje: o 1. Las diferentes funcionalidades del curso (foros, chats, evaluaciones autom ticas de a ejercicios, almac n de cheros, etc.) e 2. Los diferentes valores de los par metros para cada funcionalidad del curso. a 3. Las diferentes acciones que un alumno puede realizar para cada funcionalidad del curso. 4. Las relaciones existentes entre las diferentes funcionalidades. 5. La estructura y la presentaci n del curso. Esto incluye la descripci n de las diferentes o o p ginas y donde est n localizadas las diferentes funcionalidades en una p gina. a a a Como el tipo de informaci n que queremos modelar son datos est ticos (no incluyen o a interacciones, cambios de estado, la secuencia del proceso en el cual se encuentra el curso, las relaciones entre el sistema y los diferentes actores, etc.), entonces el diagrama que se ajusta mejor como base para nuestros prop sitos de modelado es un diagrama de clases. o Por lo tanto, los diagramas de clase son los elegidos para tomarse como punto de partida para el modelado de cursos en sistemas de gesti n del aprendizaje. Sin embargo, como los o diagramas de clase fueron concebidos inicialmente para el modelado de programas software y nuestros requerimientos no se ajustan exactamente con la expresividad de los diagramas de clase UML, entonces es por lo que proponemos algunas modicaciones a esos diagramas de clase UML para lograr nuestros objetivos. En la siguiente subsecci n se explica c mo o o utilizar los diagramas de clase UML para la descripci n de cursos completos en sistemas o de gesti n del aprendizaje, as como las modicaciones necesarias a los diagramas UML de o clase para conseguir la expresividad requerida para el modelado de cursos.

3.7. Modelado de Cursos en LMSs mediante UML

89

Figura 3.5: Representaci n de una instancia de foro o

3.7.2. Descripci n del Modelo o

En esta subsecci n se describen los diferentes elementos del modelo, basado en los eleo mentos de los diagramas de clase UML. Se hace un especial enfasis en las diferencias entre los diagramas de clase UML y el modelo de UML modicado propuesto. Clases Una clase representa alg n servicio o funcionalidad de un sistema de gesti n del aprenu o dizaje que compone parte de un curso (tal como un foro, chat, calendario, evaluaci n auo tom tica de ejercicios, encuesta, etc.). a El nombre de la clase puede ser s lo un conjunto restringido de valores predenidos o entre una lista de funcionalidades comunes de los sistemas de gesti n del aprendizaje. Esta o lista de posibles funcionalidades puede ser extrada por ejemplo del an lisis anterior que a relacionaba funcionalidades de sistemas de gesti n del aprendizaje con las especicaciones o de e-learning, pero se puede extender con funcionalidades o servicios nuevos. Los atributos de una clase son un conjunto de pares [par metro, valor], donde los a par metros son los diferentes aspectos que un profesor puede congurar en dicha funcioa nalidad, y el valor representa la conguraci n especca de ese aspecto o funcionalidad. o Es de notar que esto es diferente de la ingeniera software donde hay un conjunto de pares [atributos, tipos], pero no hay valores concretos. Esto es porque en un curso de un sistema de gesti n del aprendizaje, una clase representa una instancia de servicio o funcionalidad o especca del curso, en lugar de una clase software gen rica. Por ejemplo, una instancia de e un foro podra tener los siguientes pares de atributos: [Ttulo, Shell Script], [Descripci n, o Foro dedicado al laboratorio de Shell Script], [Presentaci n, Con hilos], [Moderador, Prof. o John]. Los m todos de clase establecen lo que los alumnos pueden hacer en dicho m dulo para e o un curso especco. Por ejemplo, en un foro, los m todos posibles pueden ser: open access e (indicando que los alumnos pueden publicar directamente los mensajes sin ning n ltro u previo de moderador), free threat creation (un alumno puede crear nuevos hilos y no s lo o responder a hilos ya creados) y re edition (los alumnos pueden reeditar sus propios mensajes despu s de que dichos mensajes han sido publicados por ellos en el foro). La gura 3.5 e representa una instancia de foro en la plataforma .LRN Los nombres de las posibles clases, atributos y m todos dependen del sistema de gesti n e o del aprendizaje especco utilizado, porque cada sistema de gesti n del aprendizaje tiene o su propia lista de servicios propios y par metros de conguraci n para cada servicio. No a o obstante, a pesar de que hoy en da no existe una perfecta estandarizaci n sobre las fun o cionalidades de e-learning, sin embargo s que existen varias similitudes entre diferentes sistemas de gesti n del aprendizaje. o

90

Captulo 3. Teora de Modelado del E-Learning

Figura 3.6: Relaci n de herencia entre instancias de foro o

Figura 3.7: Una relaci n de herencia con instancias de diferentes funcionalidades en sistemas o de gesti n del aprendizaje o Relaci n de Herencia o La relaci n de herencia se utiliza para expresar que un conjunto de diferentes instancias o pertenecientes a la misma funcionalidad del sistema de gesti n del aprendizaje, comparten o algunos atributos de conguraci n y acciones. La gura 3.6 muestra una relaci n de heo o rencia, donde tres instancias de foros diferentes comparten algunos par metros comunes de a conguraci n. o La relaci n de herencia tambi n puede ser utilizada para expresar que un conjunto de o e instancias de diferentes funcionalidades de sistemas de gesti n del aprendizaje, comparten o algunos par metros de conguraci n comunes. La gura 3.7 muestra un ejemplo de relaci n a o o de herencia, donde dos instancias de funcionalidades diferentes, tales como el calendario y el almac n de cheros, comparten la misma poltica de cambios de noticaci n (en este caso e o la poltica es opcional, por lo que los alumnos pueden activar el tener o no noticaciones au tom ticas cada vez que haya una modicaci n en el calendario, o en el almac n de cheros). a o e En este caso, los atributos y m todos especcos del calendario y el almac n de cheros no e e se han escrito por simplicidad. Hay que resaltar que la clase padre de una relaci n de herencia nunca existe realmente o

3.7. Modelado de Cursos en LMSs mediante UML

91

Figura 3.8: Una relaci n de asociaci n de tipo T pico o o o

Figura 3.9: Una relaci n de asociaci n de tipo Utilizaci n o o o en un sistema de gesti n del aprendizaje y es s lo una abstracci n. Las relaciones posibles o o o de herencia entre diferentes funcionalidades, dependen de los sistemas de gesti n del apreno dizaje especcos y de las similitudes de conguraci n que puedan ser denidas entre ellas. o Relaci n de Asociaci n o o Una relaci n de asociaci n representa alg n tipo de relaci n entre dos instancias difereno o u o tes de servicios de sistemas de gesti n del aprendizaje, y ayuda a los profesores a comprender o algunas relaciones importantes entre diferentes funcionalidades de un curso. En UML, existe el concepto de multiplicidad, pero para el modelado de cursos en sistemas de gesti n del o aprendizaje, este concepto de multiplicidad no es necesario, por lo que no se habilita su uso. Algunos ejemplos de relaciones de asociaci n pueden ser los siguientes: o 1. T pico. Esta relaci n establece que el tema del que tratan dos instancias de m dulo o o o es el mismo. La gura 3.8 muestra un ejemplo donde una instancia de evaluaci n o autom tica de ejercicios trata el mismo tema que una de chat. a 2. Utilizaci n. Esta relaci n establece que una instancia de m dulo utiliza o llama a otra. o o o La gura 3.9 muestra un ejemplo donde una instancia de la unidad LORs llama a una instancia de m dulo de evaluaci n autom tica (LORs es un m dulo que cumple con o o a o la especicaci n de e-learning SCORM). Los atributos y acciones de cada clase han o sido eliminados por simplicidad en ambos ejemplos.

Relaci n de Agregaci n o o Una relaci n de agregaci n se utiliza para denotar que cierta instancia de m dulo de un o o o sistema de gesti n del aprendizaje contiene otras instancias de m dulo. Existen dos tipos o o principales de relaciones de agregaci n: o 1. Aquellas del tipo la instancia del m dulo de foros contiene seis foros especcos cada o uno tratando un tema diferente. 2. Un grupo de clase contiene varios subgrupos.

92

Captulo 3. Teora de Modelado del E-Learning

Figura 3.10: Una relaci n de agregaci n o o Los diferentes tipos de relaciones de agregaci n dependen de los diferentes sistemas de o gesti n del aprendizaje y de las posibilidades que cada m dulo tiene de contener a otros. o o La gura 3.10 muestra un ejemplo de relaci n de agregaci n que presenta un curso o o dividido en tres subgrupos de alumnos. Paquetes Los paquetes pueden ser utilizados en UML para cualquier diagrama. En este caso, el prop sito de los paquetes es representar la estructura completa y la presentaci n de un curso. o o Como los paquetes pueden agrupar s lo diferentes elementos en UML, se necesita alguna o expansi n con el n de poder modelar la estructura del curso y su presentaci n. o o La idea es permitir a un paquete contener elementos, pero tambi n introducir el signie cado en la representaci n de que la estructura y el orden dentro del paquete es el mismo que o describe el dise o de los diferentes elementos en el sistema de gesti n del aprendizaje. n o Las posibilidades de conguraci n del dise o y estructura son muy diferentes depeno n diendo del sistema de gesti n del aprendizaje especco utilizado. La libertad proporcionada o por un sistema de gesti n del aprendizaje para seleccionar el dise o del curso es diferente o n seg n el sistema de gesti n del aprendizaje utilizado, yendo desde una gran exibilidad hasu o ta modelos predenidos. Por ejemplo, cada curso en la plataforma .LRN debe establecer lo siguiente: 1. El nombre y orden de las diferentes p ginas del curso. Esto puede ser realizado con a un paquete que contiene los nombres de las p ginas en el orden correcto de arriba a a abajo. 2. El dise o de cada p gina combinando las diferentes funcionalidades del sistema de n a gesti n del aprendizaje. Esto puede ser realizado con un paquete para cada p gina. o a En cada p gina habr dos columnas (esto est impuesto por el dise o establecido del a a a n sistema) y cualquier n mero de clases en cada columna (esta caracterstica del dise o u n es una decisi n del dise ador de cursos o profesor). La posici n de las diferentes o n o

3.7. Modelado de Cursos en LMSs mediante UML

93

funcionalidades del sistema de gesti n del aprendizaje en el diagrama del paquete, o determinar n el dise o de cada una de las p ginas. a n a La pr xima secci n proporciona un ejemplo de estructura y dise o de un curso en la o o n plataforma .LRN, utilizando estos paquetes UML modicados.

3.7.3. Aplicaci n del Modelo a un Curso Real en la Plataforma .LRN de Geso ti n del Aprendizaje o
Esta secci n est dedicada a la aplicaci n del modelo UML modicado que ha sido o a o explicado, a un curso real dentro de una plataforma especca de gesti n del aprendizaje. o Esto es para mostrar c mo los diferentes elementos explicados pueden ser aplicados dentro o de un curso real. El curso seleccionado es Laboratorio de Arquitectura de Ordenadores, una asignatura que en el a o de aplicaci n de este m todo cubra las siguientes materias: shell script, man o e kele, comunicaci n entre procesos, procesos, llamadas al sistema de cheros y dise o del o n sistema de cheros. La plataforma seleccionada fue .LRN, una plataforma de c digo abierto que proporciona o un amplio rango de servicios y funcionalidades de e-learning, as como gran exibilidad para la conguraci n de la estructura y el dise o de cursos. o n El modelado se realiza sobre una instancia de curso que estuvo activa y disponible para los alumnos en el curso 2004/2005 dentro de la plataforma .LRN para dicha asignatura, como soporte a las clases tradicionales presenciales. Diagramas de Modelo de Paquetes La gura 3.11 muestra las diferentes funcionalidades que estuvieron disponibles en la p gina principal del curso com n a todos los grupos (de los tres grupos en que se dividiea u ron los alumnos de la asignatura). Adem s, muestra el dise o de presentaci n de dichas a n o funcionalidades. La gura 3.12 muestra las diferentes p ginas que componen una instancia de subgrupo a y su orden. Es de notar que en este caso el paquete contiene a otros paquetes porque dicho paquete s lo reeja el orden de las diferentes p ginas. Por otro lado, el paquete contiene o a clases cuando reeja la estructura de dise o exacta (como en las guras 3.11 y 3.13). n Finalmente, la gura 3.13 muestra las diferentes funcionalidades que estuvieron disponibles en la p gina principal del subgrupo, es decir especcas a cada subgrupo. Adem s, a a muestra el dise o de la presentaci n de dichas funcionalidades. n o Es importante resaltar que no hay un diagrama de paquetes para modelar las p ginas del a curso porque en este caso especco s lo hay una p gina principal del curso. o a Diagramas de Clase Los diagramas de paquetes describen la estructura de dise o de presentaci n de un curso n o y sus funcionalidades generales, pero los diagramas de clases son necesarios para expresar el resto de la conguraci n de un sistema de gesti n del aprendizaje. En esta subsecci n o o o no se va a proporcionar los dibujos ni las explicaciones totales de todos los diagramas de

94

Captulo 3. Teora de Modelado del E-Learning

Figura 3.11: Modelado de la p gina de curso principal a

3.7. Modelado de Cursos en LMSs mediante UML

95

Figura 3.12: P ginas de un subgrupo del curso a

Figura 3.13: Modelado de la p gina de subgrupo principal a

96

Captulo 3. Teora de Modelado del E-Learning

clases para el curso comentado, sino que va a proporcionar una visi n general. De hecho, o todos los diagramas presentados en la subsecci n de Descripci n del Modelo (con excepci n o o o de las relaciones de asociaci n) son ejemplos extrados de diagramas de clase del curso de o Laboratorio de Arquitectura de Ordenadores realizado en la plataforma .LRN. Este curso tiene dos diagramas de clase diferentes: 1. Uno para el espacio com n a todos los grupos. El diagrama de clases para el espau cio com n contiene una descripci n detallada de sus m dulos (atributos, acciones, y u o o relaciones). 2. Otro para el espacio especco del grupo. Este diagrama de clases contiene una des cripci n detallada de los m dulos que son especcos para dicho grupo. Como la o o conguraci n de m dulo de los tres grupos es exactamente la misma, entonces es o o suciente con tener s lo un diagrama de clases. o Entre las relaciones en el diagrama de clases para el espacio com n, existe una relaci n u o de agregaci n indicada en la gura 3.10. Dicha relaci n establece que el curso est dividido o o a en tres subgrupos diferentes cada uno con un espacio especco. Es de notar que no hay otros subgrupos en este curso dentro de los subgrupos existentes 91, 92 y 95. Pero en general, podra haber un n mero indenido de niveles de anidamientos jer rquicos de subgrupos. u a En tal caso, una relaci n de agregaci n diferente expresara cada nivel de jerarqua de subo o grupo. Por otro lado, cada grupo o subgrupo puede tener s lo un m ximo de dos niveles de o a profundidad de diagramas de paquete (y no un n mero indenido de diagramas de paquetes u jer rquicos), que son lo siguientes: a 1. Para la descripci n de p ginas. o a 2. Para la descripci n de funcionalidades dentro de cada p gina. o a

3.8.

Herramientas de Autor en E-Learning

Uno de los aspectos clave para la adopci n exitosa de las especicaciones de e-learning o es la existencia de herramientas de autor apropiadas que sean capaces de crear instancias concretas de materiales de acuerdo a las especicaciones y tales que los reproductores de los sistemas de gesti n del aprendizaje sean capaces de cargar, interpretar, y ejecutar dichas o instancias creadas. Desde el punto de vista del modelado, una herramienta de autor puede ser vista como una t cnica de modelado en lenguaje natural mediante palabras o como representaci n gr ca. e o a La ausencia de herramientas de autor adecuadas que cubran ciertas especicaciones de e-learning denidas es uno de los principales problemas que hace que una especicaci n o no sea exitosa. En primer lugar, se denen las caractersticas de lo que podemos considerar como una herramienta de autor ideal: Es muy sencilla de utilizar por profesores y dise adores de cursos. Ellos no necesitan n conocimientos tecnol gicos fuertes para poder utilizarla. La herramienta de autor pueo de ser utilizada f cilmente por profesores y dise adores de cursos de todas las areas a n de conocimiento, incluso si ellos no han tenido experiencia previa en e-learning.

3.8. Herramientas de Autor en E-Learning

97

Integra el mayor n mero de especicaciones juntas en la misma herramienta (idealu mente todas). De este modo, la tarea de generar todos los materiales de un curso es reducida. Esto es debido a varios factores: primero, no es necesario abrir varias herramientas para las diferentes especicaciones e integrar todos los cheros diferentes generados, teniendo en cuenta las diferentes relaciones entre ellos; adem s, el profea sor o dise ador de cursos tiene que aprender s lo un unico entorno de herramienta en n o lugar de varios. Puede generar todas las posibilidades sem nticas de la especicaci n, creando las a o diferentes instancias XML que pueden ser exportadas a diferentes sistemas. Puede importar cheros XML que est n de acuerdo a la especicaci n y que pueden a o ser generados desde otras herramientas de autor. Es de c digo abierto. o Actualmente, existen varias especicaciones de e-learning sin ninguna herramienta de autor. Adem s, existen otras especicaciones que tienen herramientas de autor pero que caa recen de algunos de los puntos que describen a una herramienta de autor ideal (especialmente el primer y segundo puntos). En esta tesis, se contribuye en colaboraci n con dos proyectos n de carrera [14], [15], en o la elaboraci n de dos herramientas de autor. Estas herramientas de autor pueden verse como o contribuciones de modelado mediante lenguaje natural y representaci n gr ca para abarcar o a aspectos determinados de e-learning, y que acaban generando representaciones de modelado en lenguajes y formatos entendibles por las m quinas. La primera herramienta abarca a diferentes servicios y funcionalidades de sistemas de gesti n del aprendizaje, mientras que o la segunda herramienta abarca la creaci n de cursos a trav s de planicaci n pedag gica o e o o generando c digo compatible con la especicaci n IMS-LD. A continuaci n, se comentan o o o brevemente cada una de ellas en las siguientes dos subsecciones.

3.8.1. Herramienta Generadora de Varias Funcionalidades del E-learning

Se ha dise ado y desarrollado una herramienta generadora de varias funcionalidades y n servicios de e-learning en colaboraci n con el proyecto n de carrera recogido en [14], que o tiene las siguientes caractersticas: Es f cil de utilizar. El reto es modelar la herramienta en un lenguaje natural tal que los a profesores y desarrolladores de cursos deban rellenar s lo un conjunto de formularios o para cada funcionalidad, siendo dichos formularios sencillos y f ciles de entender por a profesores sin conocimientos tecnol gicos previos sobre e-learning. o Integra ocho nuevas especicaciones que se han denido. La herramienta de autor incorpora la creaci n de instancias de las siguientes nuevas especicaciones denidas o para sistemas de gesti n del aprendizaje: foros, calendario, noticias, preguntas freo cuentes, informaci n sobre profesores, entregables (sistema de gesti n de entregas), o o chats, y subgrupos.

98

Captulo 3. Teora de Modelado del E-Learning

Figura 3.14: P gina inicial de la herramienta de autor a Permite la expresividad de forma completa de las especicaciones previas, permitiendo todas las diferentes combinaciones de posibilidades presentes en diferentes sistemas de gesti n del aprendizaje. o Permite importar y exportar instancias XML de acuerdo a las ocho especicaciones denidas. La gura 3.14 muestra la p gina inicial de la herramienta de autor. En el medio hay a una lista de elementos incluyendo los ocho relacionados con las nuevas especicaciones. El usuario puede seleccionar una de ellas dependiendo de la instancia de especicaci n o XML de e-learning que quiera crear. En el lado de arriba, se puede acceder al repositorio de componentes donde est n almacenadas todas las instancias XML previas de cualquier espea cicaci n, disponibles para ser cargadas y reeditadas de nuevo. En la parte de abajo, hay una o opci n para importar una determinada especicaci n, que importa una instancia XML de o o cualquier especicaci n. Esta instancia XML podra ser realizada desde otras herramientas o de autor. Una vez que la instancia es importada, puede ser reeditada, realizando las modicaciones oportunas y una instancia nueva XML puede ser generada de acuerdo con los cambios. Cada una de las funcionalidades presentadas tiene un conjunto de formularios a trav s e de la herramienta de autor para describir la funcionalidad de acuerdo a la especicaci n. Se o puede ver como un modelado especco textual o en lenguaje natural para los profesores.

3.8. Herramientas de Autor en E-Learning

99

Figura 3.15: Primer formulario para denir un bloque de preguntas frecuentes Como un ejemplo, la gura 3.15 muestra el primer formulario de una funcionalidad de preguntas frecuentes. Los diferentes par metros que modelan un bloque de preguntas frecuentes a son establecidos a trav s de una serie de formularios de los cuales se presenta el primero de e ellos en la gura 3.15. Finalmente, la herramienta de autor permite visualizar, almacenar o descargarse las instancias XML generadas de cada especicaci n. Como ejemplo, la gura 3.16 muestra una o parte de la vista XML de un bloque de preguntas frecuentes creado. Con el dise o de esta herramienta, se puede concluir que la realizaci n de estos aspectos n o y servicios de e-learning, los cuales se pueden encontrar en sistemas de gesti n del aprendio zaje, no fue difcil de modelar en t rminos f cilmente entendibles por profesores sin grandes e a conocimientos tecnol gicos, y que toda la recopilaci n de caractersticas encontradas en dio o ferentes sistemas de gesti n del aprendizaje fueron f ciles de modelar resultando sencillo o a para profesores sin grandes conocimientos tecnol gicos. o As mismo, se ha mostrado una herramienta que integra varios servicios de sistemas de gesti n del aprendizaje, sin estar embebida en un sistema de aprendizaje en si misma, lo o que da un paso hacia la visi n global de integraci n de varias especicaciones en el mismo o o entorno de herramienta de autor. La herramienta tambi n permite importar y exportar f cilmente cada una de las especie a caciones, garantizando la interoperabilidad, y reusabilidad en estos aspectos.

100

Captulo 3. Teora de Modelado del E-Learning

Figura 3.16: Una parte de instancia XML de ejemplo de acuerdo a la especicaci n de o preguntas frecuentes

3.8. Herramientas de Autor en E-Learning

101

M s detalles sobre la herramienta de autor y c mo se realiza el modelado especco en a o lenguaje natural de las diferentes funcionalidades, puede verse en [14].

3.8.2. CourseEditor: Herramienta Generadora de Cursos Compatible con IMS-LD

Esta herramienta de autor ha sido dise ada en colaboraci n con el proyecto n de carrera n o [15], y tiene las siguientes caractersticas de acuerdo a sus requisitos iniciales: F cilmente utilizable por profesores sin grandes conocimientos tecnol gicos. a o Pasa por todas las fases de planicaci n de un curso. De esta forma, gua a un profesor o a trav s de las fases a las que est habituado de objetivos, contenidos, metodologa, e a y evaluaci n. Adem s, permite a un profesor dise ar sus materiales seg n diferentes o a n u modelos educativos. Genera cheros compatibles con la especicaci n IMS-LD. Cubre gran parte del nivel o A, pero nada del nivel B, ni el C. Genera otros cheros XML con informaci n extra del curso que no cubre IMS-LD. o En la herramienta, se pueden distinguir dos tipos de modelados: Modelado textual. Este modelado est pr ximo al lenguaje natural que emplean los a o profesores, e implicar de estos rellenar diferentes campos, hacer selecciones de a men s, etc. Esto se emplea para diferentes fases de la planicaci n de un curso. u o Modelado gr co. Este modelado es a trav s de objetos, guras, echas, etc. Se trata a e de hacerlo sencillo para que los profesores sin grandes conocimientos tecnol gicos o puedan utilizarlo. Esto se emplea para la secuenciaci n de actividades, asignaci n de o o roles, etc. Sobre este modelado gr co es donde m s se ha contribuido en el contexto a a de esta tesis. La gura 3.17 muestra una pesta a de la herramienta dentro de las fases de planicaci n n o de un curso, en concreto la de conguraci n de una tarea concreta. Tambi n se observan el o e resto de pesta as de la aplicaci n por las que un profesor tiene que ir pasando para conformar n o un curso completo. Se observa que el lenguaje utilizado trata de ser pr ximo al profesor y no o a la especicaci n concreta. En este caso es un lenguaje natural que le va pidiendo al profesor o rellenar una serie de campos o seleccionar entre un conjunto de opciones, etc. Tambi n trata e de ser lo m s completo posible para abarcar diferentes modelos educacionales. a Las guras 3.18 y 3.19 muestran dos modelos gr cos de c mo representar secuenciaa o ciones concretas de tareas existentes a trav s de la herramienta creada. La representaci n e o gr ca abarca en este caso si las tareas se hacen secuencialmente o el usuario puede seleca cionar entre varias, y qu roles har n cada una de las actividades. e a A continuaci n se presentan algunas de las decisiones particulares de modelado gr co o a tomadas en la herramienta, que es donde m s se ha contribuido desde esta tesis doctoral: a Cuando se observan tareas en secuencia, una detr s de otra, esto signica que un a usuario no puede pasar a la siguiente tarea hasta que no ha completado la anterior.

102

Captulo 3. Teora de Modelado del E-Learning

Figura 3.17: Pantalla de conguraci n para una tarea en la herramienta CourseEditor o

3.8. Herramientas de Autor en E-Learning

103

Figura 3.18: Descripci n de una unidad did ctica en la herramienta CourseEditor o a

Figura 3.19: Descripci n de otra unidad did ctica en la herramienta CourseEditor o a

104

Captulo 3. Teora de Modelado del E-Learning Cuando se observa un elemento Unit en el gr co, esto signica que un role tiene dia ferentes tareas para seleccionar en un determinado momento (puede hacerlo sin seguir un determinado orden entre ellas) de las cuales debe seleccionar a realizar un mnimo establecido, o que diferentes roles deben ejecutar diferentes tareas o una combinaci n o de ambos. Viene seguido de varias echas que saldr n. Cuando hay varios roles, esto a se denota en el gr co con los nombres de los roles diferentes, as se sabe qu tipo a e de tareas est n asociadas a cada role. Si se presiona en la uni n, se puede observar a a o trav s de un men los diferentes roles y el mnimo de tareas que se ha congurado que e u deben hacer. Este n mero mnimo de tareas por role se puede modicar y cambiar a u trav s de este men . e u Puede haber anidamiento de diferentes selecciones a trav s de la herramienta, hasta e un grado indenido, para recoger casos m s complejos. a Se pueden poner actividades de soporte, en el sentido de la especicaci n IMS-LD. Se o puede observar esta caracterstica presionando en las actividades concretas y viendo dicha informaci n en el desplegable. o En la herramienta, la elecci n de donde se ponen los actos no se hace gr camente. o a Donde se pongan los actos implicar a qu nivel se sincronizan los roles, de forma a e que hasta que no terminan todos los roles nadie puede pasar al siguiente acto. La herramienta, deja una opci n a congurar que permite sincronizar a nivel de unidad o did ctica, a nivel de cada tarea, o a nivel de curso global. Por lo tanto, se restringen a a 3 las posibilidades, aunque realmente hay muchas m s opciones. Esto se hace por a simplicidad para los profesores pero con la contrapartida de no permitir todas las opciones, ya que se consider que aumentara la complejidad del modelado gr co para o a los profesores.

Con el dise o de esta herramienta se puede concluir que hubo mucha dicultad para n abarcar todos los aspectos que se queran cubrir y al mismo tiempo que fueran f ciles de a entender por profesores sin grandes conocimientos tecnol gicos, esto es por la complejio dad de los aspectos tratados a modelar, varios de ellos cubiertos mediante la especicaci n o IMS-LD. Por ello, hubo muchos aspectos (como por ejemplo el nivel B de IMS-LD) que no fueron cubiertos para facilitar la usabilidad de la herramienta por parte de los profesores. No obstante, la herramienta demostr c mo aspectos concretos educacionales se pueden o o modelar de forma sencilla para profesores, algunos de ellos incluidos en IMS-LD, constituyendo una capa de abstracci n que hace transparente al usuario los detalles tecnol gicos de o o la especicaci n. o Tambi n concluimos con esta herramienta, que en muchas ocasiones lo que un profesor e suele hacer no se adapta exactamente a las especicaciones de e-learning existentes, y es por ello que si se hace una herramienta desde el punto de vista del profesor, entonces no vale s lo con generar cheros compatibles con una especicaci n, sino que tambi n hay que o o e generar otros archivos de otras especicaciones que modelen otras realidades. En este caso concreto, surge de nuevo la idea para un e-learning ideal, de la necesidad de integraci n entre o especicaciones, y las carencias de algunas especicaciones para ciertos aspectos concretos. M s detalles sobre la herramienta de autor y c mo se realiza el modelado especco en a o lenguaje natural de las diferentes fases de la planicaci n de cursos, as como del modelado o

3.9. Teora de Reglas Adaptativas gr co, puede verse en [15]. a

105

3.9. Teora de Reglas Adaptativas

En esta secci n se presenta una metodologa para realizar el modelado de reglas adapo tativas para e-learning. Este modelo combina tanto representaci n gr ca como textual. La o a idea es proporcionar a los profesores y dise adores de cursos con unos artilugios adecuados n para poder representar adecuadamente reglas de adaptaci n, que entre otras cosas pueden o incluir personalizaci n. o El modelado de reglas adaptativas propuesto surge de un an lisis sobre diferentes posia bilidades de adaptaci n en e-learning tal como contenidos, ejercicios, y pistas, este ultimo o caso se ver con posterioridad en el captulo de aplicaciones de t cnicas de Web sem ntica a e a para pistas adaptativas, y se ilustra como un caso particular de la teora de reglas adaptativas que se expone en esta secci n. o Esta teora de reglas adaptativas general, tiene las siguientes premisas: Abarcar una serie de casos frecuentes del e-learning. Se han pensado en diferentes situaciones corrientes y este modelado quiere abarcar dichas situaciones de una forma completa. Simplicidad. El que sea f cilmente entendible por profesores y dise adores de cursos a n es esencial, para poner el modelo a disposici n de todos. Cuando ha habido decisioo nes de compromiso entre casos a abarcar y simplicidad se ha optado por este ultimo criterio, en lugar de tratar de abarcar m s posibilidades, que en muchas ocasiones no a son de las m s usuales. a La teora de reglas adaptativas que se propone, se divide en dos fases: 1. Establecimiento de la composici n jer rquica de los aspectos a modelar. o a 2. Establecimiento de las reglas especcas at micas de adaptaci n. o o En primer lugar, en la primera de las fases se trata de enumerar las diferentes cosas a adaptar yendo desde lo m s general hacia lo m s particular. As habr una primera caja que a a a representar el concepto global de lo que se quiere adaptar, y que contendr otras cajas en su a a interior. Cada una de las cajas del interior representa un elemento a adaptar m s particular a que el concepto general, y la adaptaci n del conjunto de elementos que conforman las cajas o del interior, hacen que se cumpla la adaptaci n del concepto global. De esta forma hay un o elemento que contiene a los dem s, es decir un elemento de adaptaci n que est compuesto a o a por otros subelementos de adaptaci n, que son partes del global. Esto se representa gr cao a mente en la forma de la gura 3.20, donde se observa que una regla gen rica de adaptaci n e o denominada como RG, est compuesta por una serie de partes de adaptaci n denominadas a o R1, R2, R3, y R4. A su vez, cada una de las reglas que hay en el interior, pueden tener como partes otras reglas adaptativas, consiguiendo as varios niveles de jerarqua de composici n de reglas. o Por ejemplo, R1 podra tener a R1.1, R1.2, R1.3. Es de observar tambi n como es el criterio e

106

Captulo 3. Teora de Modelado del E-Learning

Figura 3.20: Relaci n de composici n entre una regla global y las subreglas que son parte o o de ella de notaci n de las reglas. En general, podra haber un grado indeterminado de niveles de o jerarqua, que podra ser diferente dependiendo de la rama considerada. Entre este tipo de reglas de la primera fase, puede haber dependencias, de forma que una de las partes de adaptaci n s lo se pueda realizar cuando se ha obtenido ya un determio o nado resultado de otras partes. Todo ello se debe denotar textualmente, de forma que cada regla describa sus dependencias exactamente, diciendo las combinaciones de otras reglas de adaptaci n necesarias para poder efectuar dicha regla de adaptaci n concreta. o o Es de notar que diferentes reglas se podr n combinar para formar otras mayores. El hea cho de haber dependencias dar lugar a posibles grafos condicionales donde el hecho de ir a por un camino u otro depender de una condici n. De hecho, aunque no haya tales restrica o ciones entre las reglas, puede interesar distinguir entre diferentes caminos. Por ejemplo, la gura 3.21 muestra un caso donde dependiendo del valor de decisi n de una determinada o regla adaptativa se aplicar una regla u otra. Las guras en rombo suponen condiciones, a mientras que las cajas siguen siendo reglas del tipo que se han visto hasta ahora. LLegar un momento donde las diferentes categoras alcanzar n un lmite en que no se a a puedan dividir en nuevas subcategoras, y que lo que ya haya por debajo sean las reglas concretas de adaptaci n a aplicar. En este punto entraremos en la segunda fase del modelado o de reglas adaptativas. En este nivel donde ya se encuentran las reglas concretas, dichas reglas nales deben tener las siguientes caractersticas: 1. At micas. No se deben poder dividir en elementos m s peque os, no s lo en el sentido o a n o de que no se puedan dividir en partes jer rquicas de la forma ya comentada en la a secci n, sino tambi n en el sentido de que no se puedan dividir en los algoritmos o e

3.9. Teora de Reglas Adaptativas

107

Figura 3.21: Descripci n de una regla en secuencia con condici n o o aplicados. Es decir, tienen que ser at micas en el sentido m s amplio. o a 2. Parametrizables siempre que sea posible. Las reglas de adaptaci n pueden depender o de cierto par metro a elegir por quien la aplica. Siempre que sea posible, habr que a a hacer las reglas lo m s parametrizables posibles. a 3. Pueden establecerse dos tipos de relaciones entre las reglas adaptativas nales. Dichos tipos de relaciones son las siguientes: a) Secuencia. Una regla puede tener como entrada a otras varias reglas, y su salida puede ser entrada de otras reglas. Esto lo denominamos como secuencia de reglas. La secuencia de reglas da lugar a reglas m s complejas a partir de las reglas a at micas. En dicha secuencia de reglas, algunas reglas pueden requerir ciertos o valores de otras reglas, o bien puede que no se requiera nada. De hecho algunas reglas pueden requerir m s de una entrada. Tambi n es posible componer reglas a e en base a los condicionantes de salida que dan otras reglas, de esto ultimo tenemos el ejemplo de la gura 3.21. Un caso usual de composici n de reglas en o secuencia, es aquel en el que hay varias opciones posibles a decidir y al paso de cada una de las reglas se van descartando diferentes opciones, hasta quedarse con la que se acaba nalmente seleccionando. b) Combinaci n lineal. Esta relaci n consiste en que dos o varias reglas se pueden o o combinar para que la decisi n nal sea el resultado de aplicar todos y cada uno o de los criterios de cada una de las reglas. Cada regla tendr un peso de su ima portancia en la decisi n nal con respecto al resto de las reglas. Esto es muy util o cuando en una decisi n queremos tener en cuenta a la vez a diferentes factores. o 4. Reutilizables e interoperables. Las reglas nales podr n ser reutilizadas en varios cona textos y campos. As se podran reutilizar en diferentes aplicaciones de e-learning o incluso en campos diferentes al e-learning donde se necesite adaptaci n. o 5. Combinables e Intercambiables seg n restricciones. Las reglas adaptativas nales se u podr n combinar para formar reglas mayores de adaptaci n. Pero dicha combinaci n a o o deber respetar siempre las restricciones de cada regla, que pueden ser: que requiera a que algunas reglas se apliquen antes para ser aplicada en secuencia y en ocasiones con unos determinados valores de salida en las reglas que se deben aplicar antes, y ver

108

Captulo 3. Teora de Modelado del E-Learning con qu reglas se puede ejecutar la relaci n de combinaci n lineal. De esta forma las e o o reglas at micas se podr n combinar y tambi n intercambiar de posici n siempre que o a e o se sigan las restricciones acordadas.

Para componer reglas mayores se utilizan las reglas at micas nales con las caracterstio cas denidas, y se representa gr camente pudiendo poner tanto relaciones de secuencia o a combinaci n lineal entre ellas, y tambi n condiciones. Por supuesto, siempre la composici n o e o de reglas mayores a partir de las nales, debe ser de acuerdo a las restricciones impuestas en su denici n. o Finalmente, hay que describir textualmente cada una de las reglas nales, de forma que quede claro lo que hace con su descripci n (as se ve que es indivisible, es decir at mica), o o los par metros posibles que tiene la regla (caracterstica de parametrizable), con quien se a puede combinar linealmente (relaci n de combinaci n lineal), las entradas en secuencia reo o queridas, y a quien puede tener de salida como reglas (de esta forma se est delimitando a las restricciones de relaciones posibles entre las diferentes reglas). Con todo ello, una regla adaptativa nal queda perfectamente determinada y expresada, evitando ambig edades. A u continuaci n se muestra el formato textual del patr n que debe regir la descripci n de cada o o o una de las reglas nales: Cdigo: o Descripcin: o Parametrizable: Combinacin lineal: o Entradas en secuencia requeridas: Salida en secuencia:

3.10. Arquitectura para Combinar T cnicas de Web Sem ntica e a con ITSs
La gura 3.22 muestra una representaci n gr ca de la arquitectura propuesta. La subo a secci n 3.10.1 explica sus elementos y relaciones. Mientras que la subsecci n 3.10.2 deso o cribe los criterios de dise o, analizando las ventajas y desventajas de las diferentes posibles n decisiones.

3.10.1.

Descripci n de los Elementos y sus Relaciones o

El almac n de datos (Data Storage) contiene la informaci n fundamental que el sistema e o puede utilizar. Los datos se dividen en dos grupos: est ticos y din micos. Se considera la a a informaci n como est tica cuando dicha informaci n no cambia (por ejemplo los objetivos o a o especcos de un curso), mientras que se considera la informaci n como din mica cuando o a dicha informaci n cambia a lo largo del tiempo (por ejemplo el n mero de veces que un o u alumno ha visitado cierto contenido). En cualquier caso, los profesores o dise adores de n sistemas deben proporcionar toda la informaci n est tica al inicio, y tambi n el estado inicial o a e de la informaci n din mica cuando sea aplicable. o a

3.10. Arquitectura para Combinar T cnicas de Web Sem ntica con ITSs e a

109

Figura 3.22: Arquitectura general para combinar t cnicas de Web sem ntica con tutores e a inteligentes

El razonador de Web Sem ntica (Semantic Web reasoner) es una herramienta que pera mite el razonamiento l gico basado en una serie de reglas, recursos y hechos de acuerdo con o ontologas denidas, alcanzando conclusiones como resultado. Las reglas, recursos y hechos deben estar en formatos especcos (por ejemplo en RDF/XML [149] o en N3 [150]). Por lo tanto, se requiere un m dulo de transformaci n para convertir los diferentes formatos de ino o formaci n en anotaciones de Web sem ntica (al menos que algunos recursos de informaci n o a o est n directamente anotados en lenguajes de Web sem ntica, para dichos casos el m dulo de e a o transformaci n no hace nada). o El arbitro y memoria de conclusiones razonadas (arbiter and reasoned conclusions me mory) selecciona las conclusiones a guardar en cada momento con el n de no repetir inferencias que ya han sido realizadas previamente. Las conclusiones razonadas del razonador est n en un formato que no es habitualmente entendible por los tutores inteligentes. Por a lo tanto, se requiere otro m dulo de transformaci n para convertir dichas conclusiones en o o formatos reconocibles por los tutores inteligentes. Aqu, de nuevo, algunas conclusiones podran no necesitar transformaci n si el tutor inteligente no utiliza dicha informaci n (pero o o el razonador puede utilizar dicha informaci n de nuevo, en este caso representan conclusioo nes realimentadas al razonador tal y como se observa en la gura 3.22. Por ultimo lugar, el tutor inteligente recibe peticiones de recursos por parte de los alumnos, las cuales son transmitidas al m dulo de procesamiento del tutor inteligente, el cual o toma las acciones apropiadas, teniendo informaci n del almac n de datos como entrada. Los o e datos din micos pueden ser modicados como un resultado del m dulo de procesamiento a o del tutor inteligente. Finalmente, algunos recursos (respuestas a las peticiones) deben ser presentados a los alumnos, utilizando el m dulo de presentaci n del tutor inteligente que o o

110

Captulo 3. Teora de Modelado del E-Learning

Figura 3.23: Lista de decisiones a tomar en la arquitectura denida puede obtener cualquier informaci n del almac n de datos. Especicaciones educacionales o e denidas pueden llevar a la vez (por ejemplo en cheros XML) informaci n de presentaci n o o y procesamiento.

3.10.2.

Criterios de Diseno y Decisiones

Se deben tomar varios criterios de dise o y decisiones cuando se implementa la arquin tectura. La gura 3.23 muestra una visi n global de los diferentes aspectos a decidir. o En Qu Formato se Almacena la Informaci n? . La misma informaci n puede ser e o o almacenada en diferentes formatos (por ejemplo en formato de base de datos, XML, N3 o variables del tutor inteligente). Debemos tomar una decisi n sobre qu formato utilizar o e para cada uno de los aspectos a considerar en el sistema. Para tomar esta decisi n debemos o basarnos en los siguientes puntos: 1. Nivel deseado de interoperabilidad. Se debe decidir sobre el nivel deseado de interoperabilidad (por ejemplo con sistemas educacionales que interpretan especicaciones XML, o con herramientas de Web sem ntica que interpretan formatos de Web a sem ntica como RDF o N3). Podra darse el caso de que la interoperabilidad no fuera a importante, por lo que cualquiera de los formatos sera posible. 2. Herramientas implementadas existentes. Por ejemplo, si tuvi ramos un reproductor e ya implementado en un tutor inteligente el cual interpretara un formato XML para

3.10. Arquitectura para Combinar T cnicas de Web Sem ntica con ITSs e a

111

evaluaciones autom ticas de ejercicios, entonces la informaci n sobre la descripci n a o o de evaluaciones autom ticas de ejercicios podra ser puesta en dicho formato para a aprovechar dicha herramienta. En algunas ocasiones cierta informaci n debe ser replicada en diferentes formatos. El o dise ador puede escribir la informaci n directamente o bien un m dulo de transformaci n n o o o puede ser utilizado. Qu Elemento Ejecuta las Tareas de Procesado Especcas? Para decidir qu elemene e to ejecutar cada tarea especca, debemos lograr un balance entre los siguientes aspectos: a 1. Los formatos de la informaci n existente. o 2. Las reglas que deseamos reutilizar. Si queremos reutilizar algunas reglas sem nticas a entre diferentes sistemas (por ejemplo entre tutores inteligentes), entonces el razonador debera realizar el procesamiento. 3. El tiempo de ejecuci n. En general, un tutor inteligente ejecuta una tarea de procesao miento m s r pidamente que el razonador. Para tareas donde el tiempo de ejecuci n a a o es crtico, esto es importante. C mo se Ejecuta el Razonador? El razonador puede ser ejecutado como una respuesta o a una petici n de recurso de un alumno o bien en segundo plano. Las ventajas de la primera o aproximaci n son las siguientes: o 1. Las respuestas a los alumnos est n actualizadas porque el razonador se ejecuta para a cada petici n especca. o 2. No es necesario almacenar las conclusiones de razonamiento pasadas. Como cada petici n es transmitida al razonador, entonces la conclusi n puede ser alcanzada en o o dicho momento. Pero la principal ventaja de ejecutar el razonador en segundo plano es la reducci n del o tiempo de respuesta del sistema al usuario. Cuando una petici n llega, el sistema puede o responder al usuario con algunos datos que pueden haber sido inferidos previamente, por lo que no hay tiempo extra para realizar el razonamiento sobre dicha petici n especca. o Finalmente, es importante remarcar que ambos m todos pueden ser combinados. e C mo se Almacenan las Conclusiones Razonadas? Para cada aplicaci n, hay un cono o junto de diferentes combinaciones de entrada que necesitan un procesamiento de razonamiento. Por ejemplo, podran ser las combinaciones entre los diferentes estados de usuario y recursos educativos. Las diferentes posibilidades en relaci n con respecto a qu conclusiones o e razonadas deberan ser almacenadas son: 1. Todos los estados pasados: Todas las conclusiones procedentes de cualquier razonamiento pasado seran almacenadas. De hecho, todos los estados pueden ser razonados antes de que el sistema empiece a funcionar. Con esta soluci n, nos ahorramos tiempo o

112

Captulo 3. Teora de Modelado del E-Learning de razonamiento, al no tener que repetir el mismo razonamiento varias veces. Esta soluci n es recomendada si hay pocos estados posibles, no hay limitaciones de almao cenamiento, y el tiempo de respuesta es crtico.

2. Algunos estados pasados: Se pueden utilizar t cnicas similares a las de memoria cae che para seleccionar los estados almacenados pasados. Esta soluci n es recomendada o cuando hay multitud de estados posibles diferentes, alguna limitaci n de memoria o o el tiempo de respuesta no es tan crtico. 3. Ninguna: Esta soluci n es la recomendada cuando el tiempo de respuesta para una o petici n no es crtico. o 4. Algunos estados futuros: Consiste en realizar el razonamiento para algunos estados futuros seleccionados, en la que dicha selecci n de estados se produce en base a la o mayor probabilidad de aparici n de dichos estados en base a los estados actuales. Esta o soluci n es la recomendada en los mismos casos que la soluci n de almacenar algunos o o estados pasados, y ambas soluciones pueden ser aplicadas conjuntamente. C mo son Tratadas las Peticiones Concurrentes de Usuarios? Las peticiones concuo rrentes de problemas por parte de los usuarios suceden cuando o bien el razonador o/y el tutor inteligente intentan escribir simult neamente en datos que son comunes a varios usuaa rios. Las soluciones pueden incluir un area especca de almacenamiento para cada usuario o bien sincronizar la parte de c digo que accede a recursos compartidos. Otro efecto del o problema de concurrencia es que el tiempo de respuesta puede incrementarse debido a las t cnicas para evitarlo. Esto es particularmente importante para el razonador. Para cada petie ci n de usuario, se crea al menos un proceso en relaci n con el razonamiento. Esto consume o o m s tiempo que un hilo para cada petici n. Adem s, si hay partes sincronizadas, entonces a o a s lo una petici n est en la CPU en cada momento lo que incrementa el tiempo de respuesta. o o a

3.11.

Ciclo de Vida del E-Learning

Del mismo modo que existen procesos de desarrollo en ingeniera software y Web, en e learning tambi n se puede describir un proceso de desarrollo. En esta secci n se describe un e o proceso de desarrollo para el e-learning. Pero el proceso de desarrollo no es para la creaci n o de nuevas implementaciones de m dulos, lo que sera un caso particular de la ingeniera o Web, sino que es un proceso de desarrollo sobre elaboraci n de materiales de e-learning una o vez que suponemos que tenemos la infraestructura montada. Siguiendo la analoga de los procesos de desarrollo en ingeniera software y Web, se deber n establecer las diferentes actividades del proceso y su orden. La gura 3.24 muestra a una visi n global de alto nivel de las distintas fases del ciclo de vida de e-learning propuesto. o A continuaci n se explican brevemente cada una de estas fases. o Planicaci n o La fase de planicaci n comprende las planicaci n tradicional de cursos apoyada en o o las teoras de aprendizaje, pero tambi n atendiendo a las particularidades que a aden el uso e n

3.11. Ciclo de Vida del E-Learning

113

Figura 3.24: Ciclo de vida global de desarrollo en e-learning

Figura 3.25: Ciclo de vida de desarrollo en e-learning detallado para la fase de planicaci n o de las nuevas tecnologas, como por ejemplo puede ser la alta capacidad de personalizaci n, o secuenciamiento, evaluaci n autom tica, etc. que en cursos que no son de e-learning no o a suelen tener tanto peso. De planicaci n de cursos tradicional, sabemos que un orden de elaboraci n de mateo o riales educativos es el de objetivos, contenidos, metodologa, y evaluaci n. Por el hecho de o la introducci n de las tecnologas de la informaci n, dichos aspectos se ven divididos en o o diferentes elementos. En la gura 3.25 se muestra una propuesta de proceso de desarrollo en ciclo de vida para el e-learning en la fase de planicaci n. o El proceso de desarrollo puede ser visto como un proceso repetitivo que conforma un ciclo de vida. Cuando la ultima tarea naliza, entonces la primera empieza de nuevo, de esta forma sera un ciclo de vida en cascada, que permitira ir mejorando los materiales educativos. A continuaci n se pasa a describir cada uno de los elementos del modelo de ciclo de o vida para la planicaci n: o Requerimientos y Especicaci n. Se trata de denir qu se pretende con esa experieno e cia educativa.

114

Captulo 3. Teora de Modelado del E-Learning Objetivos de aprendizaje. Se trata de comprender exactamente los objetivos concretos y competencias que deben adquirir los alumnos tras pasar por esa experiencia educativa. Tambi n trata los prerrequisitos que deben tener los alumnos para acceder a dicha e experiencia educativa. Contenidos universales. Representaran los contenidos en bruto, expresados en un len guaje formal, de forma clara, precisa y no ambigua. Es decir se tratara de determinar todos los contenidos posibles en bruto que existen en relaci n con los objetivos estao blecidos. Es de destacar que esta fase se hara en paralelo con las dos siguientes, tal y como se observa en el diagrama de la gura 3.25. Modelado del usuario. Consiste en saber qu cosas se van a tener en cuenta del usuae rio en esta experiencia educativa, y qu perles diferentes de usuarios tenemos en el e sistema. Modelo pedag gico. Consiste en saber las teoras y metodologas pedag gicas que se o o quieren aplicar en la experiencia educativa. Tipos de contenidos y de actividades. Fruto de ver los contenidos universales, ver el tipo de usuarios que se tienen en el sistema, y las diferentes teoras pedag gicas, o se eligen o elaboran contenidos especcos para la experiencia educativa as como tipos de actividades, que por supuesto pueden estar soportadas por sistemas de gesti n o del aprendizaje. Entre las actividades tambi n puede haber evaluaciones tales como e entregables, ejercicios de correcci n autom tica a trav s de una herramienta software, o a e etc. Estructura de los contenidos y las actividades. Consiste en establecer una relaci n o l gica entre los diferentes contenidos y actividades, para de esta forma habilitar unos o caminos de navegaci n y presentaci n determinados. o o Secuenciamiento del contenido y de las actividades. Una vez que se saben los tipos de actividades y contenidos, as como sus relaciones, se est en disposici n de proponer a o diferentes caminos de secuenciamiento, que es lo que se realiza en esta fase. Adaptaci n. A los diferentes materiales creados se puede pensar en adaptarlos en funo ci n de diferentes variables, una de ellas de los usarios teniendo as personalizaci n. o o En esta fase se piensa sobre qu reglas de adaptaci n se pueden dise ar para la expee o n riencia educativa. Es de notar que no es lo mismo secuenciaci n que adaptaci n, ya o o que por ejemplo, en la fase de secuenciaci n todos los alumnos pueden ser secueno ciados de igual manera, mientras que en la fase de adaptaci n se puede cambiar la o secuenciaci n dependiendo del perl del alumno. o Motivaci n. Consiste en a adir a los diferentes contenidos y actividades algo para o n hacerlos motivantes a los alumnos. Si se consigue motivaci n en los alumnos, ellos o aprender n con m s agrado y resultar benecioso en su aprendizaje. a a a Dise o de la evaluaci n. En esta fase, nos estamos reriendo a actividades evaluadon o ras para mejorar en futuras ediciones la experiencia educativa. Por lo tanto, hay que

3.12. Evaluaci n en E-Learning o

115

distinguirlo de la evaluaci n formativa que estaba ya enmarcada en las anteriores fao ses. Mediante esta fase de dise o de evaluaci n, se dise an por ejemplo el pre-test y n o n post-test para ver el incremento de conocimiento entre alumnos y evaluar el sistema de aprendizaje utilizado. Se ver m s en detalle una visi n global de esta fase en la a a o pr xima secci n dedicada a la evaluaci n. Un m todo especco de evaluaci n que o o o e o puede ser aplicado en esta fase se encuentra en [189] donde se presenta un modelo matem tico que puede ser aplicado en la evaluaci n. a o Producci n o Una vez que los diferentes contenidos, recursos, etc. han sido dise ados y creados en la n fase de planicaci n, debemos pasar a la fase de producci n digital de los mismos. Esta fase o o de producci n es especca del e-learning y no se da en aprendizaje en clase tradicional. La o fase de producci n consiste en dar un formato digital a todo lo generado anteriormente, de o forma tal que sea entendible por los lenguajes con los que interact an las m quinas, y se u a pueda garantizar la interoperabilidad, reusabilidad, etc. Uno de los formatos digitales habituales es XML, en el cual se mapean muchas de las especicaciones de e-learning, aunque tambi n se pueden utilizar otros como por ejemplo e lenguajes de Web sem ntica. a Ejecuci n o En esta fase, se trata de cargar y dejar disponibles los materiales y funcionalidades a trav s de plataformas de aprendizaje, as como la posterior interacci n de los profesores e o en las plataformas una vez que el curso o la experiencia educativa se est ejecutando y los a alumnos est n accediendo a ellos. a Evaluaci n o Esta fase comprendera la revisi n de todas las tareas del ciclo de vida. Hay que distin o guir esta fase de evaluaci n de tareas globales, que incluye por ejemplo la evaluaci n del o o entorno de ejecuci n, con respecto a la evaluaci n de la experiencia educativa derivada de la o o fase de planicaci n, aunque en ocasiones ambas fases tienen una amplia relaci n. o o

3.12.

Evaluaci n en E-Learning o

Un aspecto importante en e-learning es c mo realizar una evaluaci n efectiva. Con el o o objetivo de realizar material de e-learning mantenible, es necesario poder evaluar el proceso. El objetivo es que la evaluaci n detecte los problemas sobre el material de e-learning y de o acuerdo a la evaluaci n se puedan tomar decisiones para corregirlo y hacerlo m s efectivo o a para futuras ediciones. La gura 3.26 muestra un diagrama sobre evaluaci n en e-learning. o Por un lado se observa en la gura 3.26 que hay unos elementos de entrada como son el alumno y el profesor, y tambi n un sistema por el que pasan dichos elementos. El sise tema est compuesto por contenidos, actividades y metodologa. Finalmente, vemos que se a obtienen unos resultados fruto de la interacci n con el sistema. Es de resaltar que se han o puesto algunas de las especicaciones m s importantes del IMS en el gr co para denotar a a

116

Captulo 3. Teora de Modelado del E-Learning

Figura 3.26: Evaluaci n en e-learning o

3.12. Evaluaci n en E-Learning o

117

c mo encajaran, pero realmente faltaran muchas funcionalidades, especicaciones, etc. por o mostrar. En el gr co, las echas denotan lo que se tiene que evaluar en general, que es tanto al a alumno como al profesor, los diferentes contenidos, los diferentes servicios y actividades, la metodologa, y los resultados nales. Los diferentes contenidos, servicios, actividades y metodologa son los obtenidos tras el proceso de desarrollo en ciclo de vida visto en la secci n anterior a trav s de sus diferentes fases, y fruto de la evaluaci n podr n evolucionar o e o a para ser mejores a lo largo del tiempo. En general, lo que se podr medir de cada uno de los aspectos considerados ser n las a a siguientes tres vertientes: El incremento de aprendizaje que produce en los alumnos un determinado sistema. Una de las formas de obtenerlo ser realizando un pre-test y post-test y midiendo la a diferencia entre ambos estados. El comportamiento que produce en los alumnos un determinado sistema. Una de las formas de medida ser viendo los registros de interacciones de los alumnos con el a sistema. La opini n de los alumnos sobre el sistema, sus caractersticas, lo motivado que estuo vo, etc. Una de las formas de medida ser mediante la realizaci n de encuestas. a o En cuanto a las posibles evaluaciones, en general, tendremos que se podr evaluar lo a siguiente para cada una de las tres vertientes consideradas anteriormente: Toma de datos del sistema para su an lisis sin realizar comparaciones con respecto a a otros sistemas. Los alumnos que interaccionan se pueden agrupar en diferentes clusteres seg n ciertas variables, tales como tipo de alumnos, cantidad de utilizaci n del u o sistema, etc. Se puede establecer una predicci n de los resultados nales en base a ese o tipo de variables consideradas. Comparaci n del sistema con respecto a otro sistema. Normalmente se comparar n o a dos sistemas parecidos para ver cuales son sus diferencias en los efectos que produce. Una pr ctica que creemos conveniente sera medir un determinado sistema con a respecto a algo est ndar y compararlo, de esta forma si todo sistema se midiera con a respecto al mismo est ndar y en las mismas condiciones, sera una medida interesante a para comparar cualquier conjunto de sistemas sin tener que hacer todas las comparaciones dos a dos. Por ejemplo, se podra tomar siempre como referencia la actuaci n o en clase tradicional de un tutor humano. As, si todo sistema se compara con respec to a eso, bajo condiciones similares, se podra postular comparar cualquiera de los sistemas comparados. Comparaci n de dos estados diferentes del mismo sistema, tras haber cambiado una o o varias caractersticas. Si el sistema a evaluar tiene varias caractersticas congurables, se puede comparar el efecto del sistema ante tales caractersticas. Esto no es nada trivial ya que normalmente hay multitud de variables involucradas y es difcil que el resto de variables se queden jas completamente al hacer la comparaci n, tambi n o e

118

Captulo 3. Teora de Modelado del E-Learning a veces no s lo interesa medir cuando una variable cambia sino que interesa ver el o efecto conjunto de c mo afectan las variables lo que introduce nueva complejidad. o Tambi n pueden inuir factores externos como los tipos de alumnos que se tienen. En e denitiva lo ideal sera tener jas todas las variables excepto aquellas que se quieren comparar y tomar las medidas bajo esa situaci n. o

3.12.1.

Evaluaci n de Diferentes Funcionalidades de Sistemas de Gesti n del o o Aprendizaje

Los cursos de los sistemas de gesti n del aprendizaje han sido modelados en esta tesis o mediante XML con IMS-CP, con UML seg n el nuevo modelo, y en lenguaje natural algunos u de los servicios mediante la herramienta de autor creada para diferentes aspectos del elearning. Cuando un profesor modela un curso completo, necesita de la evaluaci n para poder o mejorar en ediciones futuras. El mantenimiento de cursos y la mejora entre diferentes ediciones es un aspecto importante. Por lo tanto, cuestiones naturales que surgen son: C mo o se puede mejorar la conguraci n de un curso?, Existe un mejor dise o de la estructura de o n un curso para los alumnos?, Qu funcionalidades nuevas deberan ser a adidas al curso?, e n Qu funcionalidades deberan ser eliminadas del curso? Cu les son las funcionalidades e a m s importantes? a Por lo tanto, una evaluaci n del curso es esencial despu s de cada edici n con el n de o e o mejorar e introducir cambios futuros en la conguraci n del curso. En la siguiente subseco ci n se explica el marco y condiciones donde se llevo a cabo la experiencia de evaluaci n o o presentada. En el marco de evaluaci n general expuesto anteriormente, se va a contribuir en la evao luaci n de las diferentes funcionalidades y servicios de los sistemas de gesti n del aprendio o zaje. En concreto, no se realizan comparaciones entre sistemas ni entre diferentes estados, sino que se toman datos sobre los sistemas. Para cada uno de ellos, se aplican los tres puntos comentados previamente en las guas generales de la evaluaci n, para cada uno de los cuales o se dedica a continuaci n una subsecci n, y que son los siguientes: o o Incremento de aprendizaje. En este caso no se hace pre-test ni post-test ya que por los condicionantes de la asignatura se puede considerear que todos los alumnos parten con un nivel inicial nulo en dichos conceptos. Comportamiento de los alumnos. Mediante ciertos par metros de utilizaci n de ciertos a o servicios. Opini n de los alumnos. Mediante la realizaci n de encuestas y an lisis cualitativo. o o a Entorno de la Experiencia La experiencia tuvo lugar en un curso desarrollado en la edici n 2004/2005 en la asignao tura Laboratorio de Arquitectura de Ordenadores, de cuarto curso y obligatoria de Ingeniera de Telecomunicaci n. En la asignatura participaron un total de 180 alumnos. En esta asigo natura se trataron los temas de shell script, makele, comunicaci n entre procesos, procesos o y se ales, llamadas al sistema de cheros, y dise o de sistemas de cheros. n n

3.12. Evaluaci n en E-Learning o

119

Durante la misma, se proporcionaron a los alumnos un gran n mero de funcionalidades u y servicios de los sistemas de gesti n del aprendizaje para que interaccionaran con ellos, a o trav s de las plataformas .LRN y AulaGlobal (esta ultima, la plataforma ocial de la Unie versidad Carlos III de Madrid). La selecci n de dos sistemas de gesti n del aprendizaje en lugar de uno fue para cubrir o o un amplio rango de funcionalidades. AulaGlobal fue seleccionada porque era el sistema de gesti n de aprendizaje ocial de la universidad y los alumnos tenan familiaridad con ella. o Mientras que .LRN fue seleccionada porque cubra muchas de las caractersticas tpicas encontradas en un sistema de gesti n del aprendizaje y debido a los resultados positivos o obtenidos en experiencias pasadas con la herramienta en el contexto del proyecto E-LANE [190]. La experiencia fue congurada de tal forma que los alumnos dispusieran bien en una plataforma u otra las caractersticas m s comunes encontradas en los sistemas de gesti n a o del aprendizaje. Tras un estudio previo que se efectu , se determinaron cu les eran esas o a funcionalidades y servicios. Los alumnos interaccionaron con todas esas funcionalidades de las plataformas durante aproximadamente 4 meses, desde el comienzo del curso hasta la realizaci n del examen. o Evaluaci n del Incremento de Aprendizaje o Entre las diferentes funcionalidades de los sistemas de gesti n del aprendizaje con las o que interactuaron los alumnos, tres de ellas fueron seleccionadas para realizar un an lisis de a incremento de aprendizaje. Estas funcionalidades seleccionadas fueron: foros, evaluaci n o autom tica de ejercicios, y sistema de gesti n de entregas. Estas tres funcionalidades fueron a o seleccionadas debido a dos razones fundamentales: Pueden ser medidas en t rminos cuantitativos de utilizaci n. e o Requieren de los alumnos tomar un role activo y por lo tanto tenemos la hip tesis que o esto provocar un efecto m s profundo en el aprendizaje de los alumnos. a a En la gura 3.27 se detallan los datos de la tabla 3.3, y se muestra la relaci n positiva o entre la utilizaci n del sistema durante el curso y la tasa de exito en la evaluaci n nal. o o El grado de utilizaci n del sistema ha sido calculado en base a la participaci n de los o o alumnos en los foros, en las evaluaciones autom ticas de ejercicios, y en el sistema de gesti n a o de entregas, siguiendo las siguientes guas: Participaci n en los foros: 1 punto por 1 o 2 mensajes, 2 puntos de 3 a 6 mensajes, y 3 o puntos por m s de 7 mensajes, considerando s lo mensajes con comentarios o dudas a o interesantes, de acuerdo al juicio del profesor. Evaluaci n autom tica de ejercicios: 1 punto por cada evaluaci n de materia realizada o a o (siendo un total de 6 evaluaciones autom ticas de ejercicios disponibles). a Sistema de gesti n de entregas. 1 punto por cada entrega de proyecto (siendo un total o de 6 proyectos posibles).

120

Captulo 3. Teora de Modelado del E-Learning

Grado de utilizaci n o

[0-3](Muy bajo) [4-6](Bajo) [7-11](Medio-alto) [12-15](Alto) Global

Numero de alumnos que asistieron al examen 16 24 42 24 106

Numero de alumnos que aprobaron 3 8 19 15 45

Tasa de exito ( %) 18.750 33.333 45.240 62.500 42.450

Tabla 3.3: Utilizaci n del sistema y tasa de exito en el examen nal o

Figura 3.27: Tasa de exito en el examen nal dependiendo del grado de utilizaci n del sisteo ma

3.12. Evaluaci n en E-Learning o Nombre del Foro/Materia Shell script Makele Comunicaci n entre procesos o (IPC) Procesos y se ales n LLamadas al sistema de cheros Dise o del sistema de cheros n Global Numero de mensajes 20 28 31 23 14 38 154 Numero de hilos diferentes 11 12 14 11 7 20 75

121

Tabla 3.4: Uso de foros para cada materia Evaluaciones autom ticas de ejercia cios/Materia Shell script Makele Comunicaci n entre procesos (IPC) o Procesos y se ales n LLamadas al sistema de cheros Dise o del sistema de cheros n Numero de alumnos que rellenaron la evaluaci n autom tica de o a ejercicios 74 71 57 64 66 65

Tabla 3.5: Uso de evaluaciones autom ticas de ejercicios para cada materia a Se puede observar que los alumnos que m s utilizaron estas tres funcionalidades obtua vieron mejores resultados en el examen nal. Este resultado est en lnea con los resultados a de la encuesta que se presentar n posteriormente. De nuevo, esto conrma la importancia de a estas tres funcionalidades (evaluaci n autom tica de ejercicios, foros, y sistema de gesti n o a o de entregas) que fueron calicadas por los alumnos en la encuesta entre las seis mejores. Evaluaci n de la Utilizaci n de la Plataforma o o De nuevo, entre todas las funcionalidades de los sistemas de gesti n del aprendizaje, se o eligieron 3 (foros, evaluaci n autom tica de ejercicios, y sistema de gesti n de entregas) para o a o realizar la evaluaci n cuantitativa de utilizaci n de la plataforma seg n ciertos par metros, o o u a lo que tambi n puede ser visto como el modo de comportamiento de los alumnos en la e plataforma basado en ciertos aspectos. Las tablas 3.4 , 3.5, y 3.6 muestran la diferente utilizaci n de las tres funcionalidades o durante la experiencia. Como resultado, se puede observar que la funcionalidad m s utilizada ha sido el sistea ma de gesti n de entregas, seguida de la evaluaci n autom tica de ejercicios, y nalmente o o a los foros. Esto enlaza bien con los resultados de la encuesta a los alumnos que se presentar n despu s, que conrma el orden de preferencia e inter s de los alumnos para estas tres a e e funcionalidades.

122 Nombre del ble/Materia

Captulo 3. Teora de Modelado del E-Learning entrega Numero de alumnos que entragaron la tarea 138 136 89 105 70 62

Shell script Makele Comunicaci n entre procesos o (IPC) Procesos y se ales n LLamadas al sistema de cheros Dise o del sistema de cheros n

Tabla 3.6: Uso del sistema de gesti n de entregas para cada materia o Adem s, se debe remarcar que los datos de estas tres tablas est n referidos a una utilia a zaci n activa de la plataforma. La utilizaci n pasiva (por ejemplo leer mensajes del foro) ha o o sido mayor, pero esto no ha sido registrado en la plataforma. Para el resto de funcionalidades de sistemas de gesti n del aprendizaje (diferentes a los o foros, evaluaciones autom ticas de ejercicios y sistema de gesti n de entregas) es difcil esa o tablecer una evaluaci n en t rminos cuantitativos. Como consecuencia, se ha realizado una o e evaluaci n cualitativa basada en la observaci n directa de la plataforma, reuniones informao o les con los alumnos, etc. Las preguntas frecuentes han transformado el conocimiento, desde las dudas de clase de los alumnos y los foros en conocimiento explcito f cilmente accesible por todos. Ha resul a tado ser una herramienta valiosa para transformar conocimiento implcito en conocimiento explcito [191]. Esto est de acuerdo con la quinta posici n de esta funcionalidad en los a o resultados de las encuestas. La posibilidad de descargarse cheros del curso (teora y textos de pr cticas) es una a caracterstica fundamental solicitada por los alumnos porque ellos necesitan el acceso al material de clase electr nicamente. Esto esta de acuerdo a la cuarta posici n obtenida por o o esta funcionalidad en los resultados de la encuesta. El calendario, e-mail, listas de e-mail, noticaciones de e-mail, encuestas on-line, ayuda sobre utilizaci n de la herramienta y la planicaci n del curso fueron consideradas por los o o alumnos como que no tenan un impacto directo en su aprendizaje. Esto explica que su pun tuaci n fuera m s baja que las seis funcionalidades m s importantes. Sin embargo, dichas o a a funcionalidades fueron consideradas importantes en el sentido de ayudar en la experiencia. Esto explica porqu fueron puntuadas todas en el rango [4.525, 4.786]. e El portlet que incluye una lista de erratas para cada texto de la pr ctica result ser util a o para los alumnos, por ejemplo para la publicaci n de errores ortogr cos. Esto es consio a derado en la encuesta con la misma puntuaci n media que las noticias y obtiene un 4.952, o lo que es una puntuaci n m s alta que las de las funcionalidades comentadas previamente, o a pero menor que las seis con mejor puntuaci n. Esto est acorde con la importancia que los o a alumnos asignan a esta funcionalidad para el aprendizaje. Finalmente, la visualizaci n de calicaciones a trav s de la plataforma es muy imporo e tante para los alumnos. Esta es la unica entre las seis funcionalidades que no tiene un efecto directo en el aprendizaje de los alumnos. Esta funcionalidad es tan s lo informativa. Los o

3.12. Evaluaci n en E-Learning o Funcionalidad Foro Descarga de cheros Calendario Noticias sobre el curso Noticaciones por e-mail Preguntas frecuentes (FAQ) Lista de alumnos E-mail Listas de E-mails Encuestas on-line Temario del curso Visualizaci n de las calicaciones o Informaci n adicional sobre el profeo sorado (otros cursos, localizaci n, tuo toras, investigaci n, etc.) o Sistema de gesti n de entregas o Evaluaci n de ejercicios autom tica o a Ayuda sobre uso de la herramienta Visualizaci n de las notas acad micas o e Inter s medio e 5.234 5.586 4.777 4.952 4.604 5.25 3.279 4.762 4.786 4.525 4.773 5.732 4.209 Numero de respuestas recibidas 47 46 45 42 48 48 43 42 42 40 43 41 43

123

5.979 5.609 4.535 4.212

47 41 43 33

Tabla 3.7: Inter s de las funcionalidades disponibles en la experiencia e alumnos est n muy preocupados por conocer sus notas y un sistema de gesti n del aprena o dizaje puede proporcionar una forma sencilla y r pida de publicarlas. Esta es la raz n que a o explica su segunda posici n en la clasicaci n. o o No obstante, otras funcionalidades informativas, tal como la visualizaci n de notas, ino formaci n adicional sobre los profesores y listados de alumnos, obtienen la menor calicao cion por parte de los alumnos en la encuesta. Esto puede ser explicado porque los alumnos consideraron que esta informaci n no era crtica. o Evaluaci n de la Opini n de los Alumnos o o Al nal del curso, se les invit a los alumnos para participar en una encuesta sobre la o evaluaci n de diferentes funcionalidades proporcionadas por las plataformas de aprendizaje. o Adem s, a los alumnos se les pregunt sobre otras funcionalidades que no estuvieron dispoa o nibles en la experiencia y que no utilizaron pero que a aden caractersticas que podran estar n incluidas en algunos sistemas de gesti n del aprendizaje. A los alumnos se les pregunt el o o grado de inter s de cada caracterstica (tanto de las disponibles como de las no disponibles), e utilizando una escala de 1 a 7. Las tablas 3.7 y 3.8 resumen los resultados de esta encuesta para una poblaci n de 48 respuestas de alumnos. o De acuerdo a los resultados de la encuesta sobre las diecisiete funcionalidades disponibles en la experiencia, seis fueron calicadas con una media de inter s superior a 5. La e clasicaci n de las cinco m s importantes es: 1) Sistema de gesti n de entregas con la realio a o

124

Captulo 3. Teora de Modelado del E-Learning

Funcionalidad B squeda dentro del portal u Weblog Recibir informaci n relevante sobre el o curso mediante sms Videoconferencia Contenidos en audio Clases interactivas on-line (transparencias en tiempo real, pizarra electr nica, o sonido, etc. Crear la p gina Web propia a Power point va Web Competici n entre alumnos o Servicio de ofertas de trabajo Aplicaci n de acceso a los logs o Conocimiento de la evaluaci n del o aprendizaje y estado a lo largo del tiempo Conocimiento del nivel propio en cada materia Album de fotos Tutoras on-line Juegos Incorporaci n de motores de b squeda o u (Google, Altavista) Chat

Inter s medio e 5.023 3.971 3.565 3.108 3.688 4.072

Numero de respuestas recibidas 43 34 43 46 45 42

3.614 3.4 2.372 5.778 3.209 5.021

44 45 43 45 43 47

5.674 2.333 5.067 2.186 4.311 3.35

46 42 45 43 45 40

Tabla 3.8: Inter s de las funcionalidades no disponibles en la experiencia e

3.12. Evaluaci n en E-Learning o

125

mentaci n del profesor, 2) Visualizaci n de las calicaciones, 3) Evaluaci n autom tica de o o o a ejercicios, 4) Descarga de cheros, 5) Preguntas frecuentes, 6) Foros. Adem s, a los alumnos se les pregunt sobre otras funcionalidades que no estuvieron a o disponibles en la experiencia. Cinco de ellas fueron calicadas con una media de inter s e superior a 5. La clasicaci n de las cinco m s importantes es: 1) Sistema de ofertas de o a empleo, 2) Conocimiento del nivel propio en cada materia, 3) Tutoras on-line, 4) B squeda u dentro del portal 5) Conocimiento de la evaluaci n del aprendizaje y estado a lo largo del o tiempo. Puede ser sorprendente observar la baja puntuaci n asignada a las funcionalidades tales o como el chat o los juegos, las cuales est n altamente recomendadas por diferentes expertos. a Esto podra ser la consecuencia de c mo se formul la pregunta concreta; o que podra o o ser entendido como unos chats y juegos lucrativos, en lugar de una actividad orientada a la educaci n. Tambi n podra ser que fuera una consecuencia de que los alumnos no han o e interaccionado con estas funcionalidades durante la experiencia, por lo que los resultados no seran todo lo ables posibles. Adicionalmente, la cuesti n abierta en la encuesta fue si hubo alguna funcionalidad, o aparte de las listadas, que ellos esperaban en un sistema de gesti n del aprendizaje. S lo o o dos alumnos utilizaron esta oportunidad. Como resultado, se puede asumir que la encuesta est reejando una parte bastante importante de la lista de funcionalidades posibles. a Por otro lado, se evalu un aspecto adicional con respecto a la conguraci n de un curo o so en un sistema de gesti n del aprendizaje. Como hay multitud de variables y par metros o a involucrados que pueden ser cambiados en la conguraci n de un curso en un sistema de o gesti n del aprendizaje, es muy difcil realizar una encuesta exhaustiva a los alumnos para o conocer sobre cada aspecto de un curso. Una t ctica puede ser realizar s lo unas pocas cuesa o tiones sobre algunos aspectos clave sobre los que estamos m s interesados. Por ejemplo, en a el a o 2004/2005, con la estructura de curso presentada previamente mediante el modelan do de UML, a los alumnos se les pregunt al nal de su interacci n con el curso sobre lo o o que ellos pensaban acerca de un aspecto muy especco del dise o de la presentaci n. La n o cuesti n fue la siguiente C mo te gustara que fuera la estructura de un curso en .LRN? o o (una vez que has seleccionado el curso Laboratorio de Arquitectura de Ordenadores en la plataforma .LRN). A continuaci n se muestran las tres posibles respuestas que fueron proo porcionadas a los alumnos para que eligieran una de ellas, junto con la cantidad de alumnos que eligieron cada respuesta: M s p ginas y menos portlets para cada p gina. 11 alumnos a a a M s portlets para cada p gina y menos p ginas. 10 alumnos a a a Est bien en el modo actual. 20 alumnos. a De estos resultados a la cuesti n, podemos inferir que este aspecto del dise o de la preo n sentaci n est bien y que no se necesita una modicaci n en una futura edici n del curso. El o a o o aspecto a decidir es el balance entre el n mero de p ginas, y el n mero de funcionalidades u a u por p gina. Pero este es s lo un aspecto especco, pero se podran realizar otras cuestiones a o diferentes para extraer m s conclusiones de evaluaci n. Si se necesita realizar cambios, ena o tonces dichos cambios pueden realizarse f cilmente, por ejemplo cambiando los diagramas a UML modicados del curso del sistema de gesti n del aprendizaje. o

Captulo 4

Especicaci n de Pistas para o Aprendizaje Basado en Problemas

En este captulo se presenta una nueva especicaci n para la provisi n de pistas en o o aprendizaje basado en problemas. La provisi n de pistas en sistemas de informaci n es un o o aspecto relevante que consiste en la generaci n de cierta ayuda al estudiante durante su proo ceso de resoluci n de problemas. Existen numerosas posibilidades y variables a tener en o cuenta durante la provisi n de pistas, siendo un aspecto complejo, del que quedan aspectos o por abarcar y estudiar. En este captulo contribuimos en algunos de estos aspectos relacio nados con la provisi n de pistas para aprendizaje basado en problemas. o Particularizando la teora general de e-learning denida, la especicaci n de pistas debe o ser lo m s completa posible para abarcar la mayor parte de casos posibles, a la vez que lo m s a a sencilla dentro de la completud. Adem s se podr n distinguir dos dimensiones de la especia a caci n de pistas: la denici n en general de qu se puede hacer, y las instancias particulares o o e de la especicaci n. Cada una de estas dos dimensiones se puede modelar desde diferentes o puntos de vista: mediante palabras en lenguaje natural, mediante mapeo a XML, mediante mapeo a UML, mediante c digo de lenguaje de programaci n, o mediante ontologas. En o o cada una de las representaciones se puede distinguir la sintaxis y la sem ntica. a Una arquitectura tpica de e-learning aplicada en este caso a la especicaci n de pis o tas se presenta en la gura 4.1. En ella se observa como existen herramientas de autor que son las encargadas de generar instancias concretas de la especicaci n de pistas en formato o XML, las cuales son cargadas en sistemas de gesti n de aprendizaje, que entienden esos o cheros XML y son capaces de reproducirlos acorde con la especicaci n, para que puedan o ser usados por los alumnos. La descripci n en un lenguaje com n XML permite la interopeo u rabilidad y reusabilidad entre sistemas de informaci n (incluyendo herramientas de autor o o sistemas de gesti n del aprendizaje) y dise adores de diferentes materiales de pistas. La deso n cripci n de las instancias de pistas usando un tipo de modelado u otro depende de diferentes o factores. As en las herramientas de autor, suele interesar una descripci n en lenguaje natural o f cil para profesores sin grandes conocimientos tecnol gicos. Aunque para dise adores de a o n cursos expertos en desarrollo software puede interesar una herramienta de autor que describa las instancias en UML, o para expertos en ontologas pueden preferir escribirlo en una herramienta especca de ontologas. O bien puede haber dise adores de materiales que pre n eran escribir directamente en una heramienta de autor XML. Finalmente desde cualquiera 127

128

Captulo 4. Especicaci n de Pistas para Aprendizaje Basado en Problemas o

Figura 4.1: Arquitectura General de Sistemas de Pistas

de las herramientas de autor se debera transformar a la representaci n XML ya que facilita o la interoperabilidad y reusabilidad, y es la que usualmente se utiliza para intercambio de instancias entre sistemas de e-learning. En cuanto a los sistemas de gesti n del aprendizaje, o cada uno utilizar un lenguaje de programaci n concreto para materializar la implementaa o ci n del reproductor de acuerdo a la especicaci n de pistas. En el interior del c digo de o o o programaci n concreto se tendr en cuenta tanto el modelo de pistas, pero adem s otras o a a cosas como aspectos de presentaci n, o de reproducci n. o o El captulo est dividido en siete secciones. En primer lugar se presenta cu l es nues a a tra contribuci n con respecto al estado del arte y cual es la relevancia de cada una de las o contribuciones de la especicaci n de pistas denida. Seguidamente, se muestran las caraco tersticas de la nueva especicaci n de pistas que van acompa adas de una justicaci n pe o n o dag gica o de otro ambito para cada aspecto (esto se corresponde con la descripci n general o o en lenguaje natural). Las siguientes tres secciones se dedican cada una a un mapeo diferente de la especicaci n: a XML (se describe el mapeo general y su relaci n sem ntica. Para ver o o a el XML Schema de la descripci n general se puede consultar el ap ndice I, y para ver instano e cias especcas XML de material de la especicaci n se puede ver el ap ndice II), a UML o e (tanto en general, como instancias particulares), y mediante t rminos entendibles f cilmente e a por profesores sin grandes conocimientos tecnol gicos a trav s de una herramienta de autor o e formada por una serie de formularios (para instancias particulares de la especicaci n). A o

4.1. Contribuciones de la Nueva Especicaci n o

129

continuaci n se muestra un reproductor de pistas que hemos implementado acorde con la o especicaci n y capaz de entender cheros XML que representan instancias de la misma. o El c digo de la implementaci n del reproductor se puede ver como una descripci n geneo o o ral en un lenguaje de programaci n concreto de la especicaci n de pistas. El reproductor o o implementado permitir realizar experiencias pr cticas con alumnos en el aula para poder a a evaluar diferentes aspectos del modelo de pistas propuesto. Estos resultados se presentar n a en el pr ximo captulo. La ultima secci n de este captulo se dedica a ilustrar otras posibles o o aplicaciones utilizando la especicaci n de pistas denida. o

4.1.

Contribuciones de la Nueva Especicaci n o

En esta secci n se compara nuestra nueva especicaci n de pistas para el aprendizaje bao o sado en problemas con respecto a otros trabajos relacionados, mostrando las contribuciones de la nueva especicaci n con respecto al estado del arte. o Para analizar la contribuci n, se ha dividido la secci n en dos partes: o o 1. Contribuci n con respecto a otros sistemas de pistas. Se comparan las caractersticas o de otros sistemas de pistas para la resoluci n de ejercicios con respecto a las caraco tersticas denidas en la nueva especicaci n de pistas. o 2. Contribuci n con respecto a la especicaci n IMS-QTI. Se compara la nueva especio o caci n de pistas con respecto a los aspectos para la provisi n de pistas denidos en o o IMS-QTI.

4.1.1. Contribuci n con Respecto a otros Sistemas de Pistas o

La contribuci n de nuestra especicaci n de pistas con respecto a las caractersticas de o o provisi n de pistas de otros sistemas del estado el arte, es triple: o 1. Provee una teora uniformizadora respecto a las caractersticas de provisi n de pistas o existentes en el estado del arte. Cada uno de los sistemas de pistas para la resoluci n de o problemas vistos en el estado del arte tiene sus propias caractersticas, algunas de ellas comunes. Nuestra especicaci n de pistas trata de recoger las caractersticas m s releo a vantes relacionadas con la provisi n de pistas que hay en otros sistemas, aglutinando o las ideas de varios sistemas, uniendo caractersticas similares pero con distinta no menclatura y agrup ndolos como un todo conformando una teora de pistas uniforme. a Hasta ahora cada sistema tena sus propias caractersticas para la provisi n de pistas, o pero no haba una teora integradora que reuniera y analizara todas sus caractersticas en torno a una teora global, as como que diera una justicaci n pedag gica o de otro o o tipo a cada caracterstica. 2. Aporta nuevas caractersticas a la provisi n de pistas en aprendizaje basado en pro o blemas. La especicaci n de pistas denida incluye caractersticas que hasta donde o sabemos no estaban presentes en los sistemas de pistas del estado del arte. Tales caractersticas novedosas son:

130

Captulo 4. Especicaci n de Pistas para Aprendizaje Basado en Problemas o Concepto de pistas de grupo. S lo se permite seleccionar un m ximo de piso a tas de entre varias posibles, y antes de ver las pistas se proporciona una metainformaci n. o Cualquier nivel de jerarqua de anidamiento de pistas es posible a nivel de pro blema. Las pistas pueden ser otros problemas, en ocasiones varios forman una pista, o diferentes problemas est n en diferentes pistas. La especicaci n permite a o proporcionar pistas de cualquier tipo a cualquiera de los problemas individualmente, ya sea parte de pista o no dicho problema. Nuevo sistema de puntuaci n que tiene en cuenta a las pistas. Este sistema pero mite penalizar en el problema inicial por ver pistas, por resolver mal pistas, o por fallar en el problema, y permite bonicar en el problema inicial por acertar las pistas o el mismo problema inicial. As mismo, la resoluci n de pistas puede o afectar en la puntuaci n a lo largo de la jerarqua de anidamiento de pistas. Tamo bi n cada problema por separado puede tener o no una puntuaci n asociada ya e o sea parte de una pista o no.

3. Proporciona mapeos XML, UML, y de lenguaje natural innovadores. Para cada aspecto de la especicaci n de pistas, se trata de buscar el mapeo XML que ocupe menos o espacio de chero, un mapeo UML adecuado, y un mapeo a palabras en lenguaje natural que sea lo m s f cilmente entendible por profesores sin grandes conocimientos a a tecnol gicos. Hasta ahora, la mayora de sistemas de provisi n de pistas no usaban o o XML para la representaci n de ejercicios con pistas, o no se haba usado siendo el o optimo en cuanto a tener expresado una instancia de problema con pistas en un chero del menor tama o XML. Tampoco se haba habilitado el mapeo a UML respecto a n la provisi n de pistas para el aprendizaje. Asmismo, no exista herramienta de autor o en t rminos entendibles por profesores sin grandes conocimientos tecnol gicos, que e o agrupara todas las caractersticas denidas en la especicaci n. o

4.1.2.

Contribuci n con respecto a IMS-QTI o

La especicaci n IMS-QTI v2 permite a trav s de sus items adaptativos la provisi n o e o de pistas (adem s de la generaci n de pistas, los items adaptativos abarcan m s cosas). No a o a obstante, IMS-QTI v2 s lo explica una de las formas m s b sicas de provisi n de pistas, o a a o que es la de proporcionar un determinado texto de pista despu s de una petici n por parte e o del usuario. Sin embargo, IMS-QTI v2 no establece una taxonoma de los diferentes modos de proporcionar pistas, o m todos especcos de puntuaci n teniendo en cuenta las pistas, e o etc. Nuestra especicaci n s que explica en detalle los diferentes modos de provisi n de o o pistas proporcionando una teora uniformizadora y aportando nuevas caractersticas respecto a la provisi n de pistas (aspectos que ya se han explicado en m s detalle en la subsecci n o a o inmediatamente anterior), siendo esto una contribuci n respecto a IMS-QTI. o Adicionalmente, se presenta otra contribuci n de nuestra especicaci n respecto a IMSo o QTI v2 referente en este caso a su representaci n en XML. El mapeo a XML de IMS-QTI o v2 no tiene etiquetas XML que sean especcas para pistas. Para la representaci n de mate o rial con pistas en IMS-QTI v2 se utilizan etiquetas de condici n sobre variables dentro de la o etiqueta responseProcessing. Esto hace que la representaci n de ejercicios con pistas geneo re cheros XML muy grandes. Nuestra especicaci n de pistas que hemos creado, trata de o

4.1. Contribuciones de la Nueva Especicaci n o

131

resolver este problema utilizando etiquetas XML especcas para pistas, de forma que se re duce el tama o nal de los cheros XML generados para representar los mismos materiales n de pistas. Para ilustrar esta contribuci n en la reducci n del tama o nal de los materiales XML o o n de pistas, a continuaci n se proporciona uno de los ejercicios con pistas m s b sicos que o a a se pueden denir (un texto como pista sin feedback y sin ning n nivel de jerarqua, y con u puntuaci n b sica) tanto en IMS-QTI como en nuestra especicaci n. Este ejemplo sero a o vir como base para analizar casos m s complejos de materiales de pistas, y se ver como la a a a representaci n XML en nuestra especicaci n ocupa menos que en IMS-QTI v2, y tambi n o o e la contrapartida que ello supone. El ejemplo es un problema de m ltiple elecci n sobre la capital de Francia, con cuau o tro posibles opciones, en la que el alumno puede solicitar cierta ayuda o pista presionando un bot n, siendo la pista tan s lo un texto en este caso. En IMS-QTI la descripci n es la o o o siguiente: <assessmentItem xmlns="http://www.imsglobal.org/xsd/imsqti_v2p1" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://www.imsglobal.org/xsd/imsqti_v2p1 imsqti_v2p1.xsd" identifier="hint" title="Mexican President (Take 2)" adaptive="true" timeDependent="false"> <responseDeclaration identifier="RESPONSE" cardinality="single" baseType="identifier"> <correctResponse> <value>MGH001C</value> </correctResponse> </responseDeclaration> <responseDeclaration identifier="HINTREQUEST" cardinality="single" baseType="boolean" /> <outcomeDeclaration identifier="SCORE" cardinality="single" baseType="float" /> <outcomeDeclaration identifier="HINT" cardinality="single" baseType="identifier" /> <itemBody> <choiceInteraction responseIdentifier="RESPONSE" shuffle="false" maxChoices="1"> <prompt>Cual es la capital de Francia?</prompt> <simpleChoice identifier="MGH001A"> Madrid </simpleChoice> <simpleChoice identifier="MGH001B"> Pekin </simpleChoice> <simpleChoice identifier="MGH001C"> Paris

132

Captulo 4. Especicaci n de Pistas para Aprendizaje Basado en Problemas o

</simpleChoice> <simpleChoice identifier="MGH001D"> Viena </simpleChoice> </choiceInteraction> <p> <endAttemptInteraction responseIdentifier="HINTREQUEST" title="Show Hint" /> </p> </itemBody> <responseProcessing> <responseCondition> <responseIf> <variable identifier="HINTREQUEST" /> <setOutcomeValue identifier="HINT"> <baseValue baseType="identifier">HINT</baseValue> </setOutcomeValue> </responseIf> <responseElse> <responseCondition> <responseIf> <match> <variable identifier="RESPONSE" /> <correct identifier="RESPONSE" /> </match> <setOutcomeValue identifier="SCORE"> <baseValue baseType="float">10</baseValue> </setOutcomeValue> </responseIf> <responseElse> <setOutcomeValue identifier="SCORE"> <baseValue baseType="float">0</baseValue> </setOutcomeValue> </responseElse> <responseCondition> </responseElse> </responseCondition> </responseProcessing> <modalFeedback outcomeIdentifier="HINT" identifier="HINT" showHide="show">Pekin esta en China, y Viena esta en Austria. </modalFeedback> </assessmentItem> En nuestra especicaci n de pistas, la instancia XML es la siguiente (para conocer la o especicaci n en detalle es necesario primero leer las siguientes secciones de este captulo): o

4.1. Contribuciones de la Nueva Especicaci n o

133

<MCproblem> <question> Cual es la capital de Francia? </question> <choice identifier="MGH001A"> Madrid </choice> <choice identifier="MGH001B"> Pekin </choice> <choice identifier="MGH001A"> Paris </choice> <choice identifier="MGH001A"> Viena </choice> <response> Paris </response> <score> <maxscore> 10 </maxscore> <correctscore> 10 </correctscore> <normscore> 10 </normscore> <viewscore> Yes </viewscore> </score> <hint> <hintText> Pekin esta en China, y Viena esta en Austria. </hintText> </hint> </MCproblem> En IMS-QTI se observa que el bot n para solicitar la pista viene expresado por la etiqueta o responseDeclaration identier=HINTREQUEST y se indica que se ha presionado una pista mediante un valor expresado por la etiqueta outcomeDeclaration identier=HINT. Vemos que la gesti n para determinar que hacer si la pista est presente o no, se realiza o a

134

Captulo 4. Especicaci n de Pistas para Aprendizaje Basado en Problemas o

dentro del area de la etiqueta responseProcessing, y que todo se hace a trav s de una serie e de condiciones de las variables previamente denidas, a trav s de etiquetas condition, if, e else, etc. y de establecer valores de variables que previamente se han denido. Una gesti n o an loga se hace para calcular la puntuaci n a trav s de la variable SCORE que se ha denido. a o e Sin embargo, en nuestra especicaci n no existe esa evaluaci n de casos a trav s de etiquetas o o e de condiciones, sino que la pista de texto se expresa directamente con una etiqueta hintText debajo de la etiqueta hint que est debajo del problema de m ltiple elecci n. Esto hace que a u o la misma pista ocupe m s espacio en IMS-QTI que en nuestra especicaci n. a o En el ejemplo que hemos visto ya se observa que en nuestra especicaci n el chero o XML generado ocupa menos para describir lo mismo. Este es el ejemplo m s elemental de a pista que podemos tener, que es un texto pista asociado a un problema, que se muestra cuando un usuario lo presiona. La diferencia en el tama o de los cheros XML se magnica y se n hace mucho m s signicativa conforme las instancias XML de materiales de pistas se hacen a m s complejas. Viendo el c digo de ejemplo sencillo tanto en XML de nuestra especicaa o ci n como en IMS-QTI podemos observar c mo se complicara en caso de ser material de o o pistas m s elaborado. Por ejemplo, si introducimos jerarqua de pistas (problemas que son a pistas de otras pistas y estos a su vez de otras pistas, y as sucesivamente), entonces tendre mos multiplicados el n mero de posibles casos de presentaci n a los usuarios, por lo tanto u o tendremos m s condiciones, con m s variables (m s botones a presionar), eso se reeja en a a a m s etiquetas dentro del responseProcessing para abarcar todas las combinaciones, mientras a que en nuestra especicaci n ninguna de esas condiciones se debe reejar sino que se inserta o directamente como etiquetas de pista debajo de un problema que la tenga. Adem s, las pistas a cualquier problema tambi n podran activarse s lo ante una resa e o puesta incorrecta, esto involucrara condiciones an logas en IMS-QTI que hara m s grande a a los cheros XML. El mismo razonamiento se puede realizar con respecto a la puntuaci n. o Nuestra especicaci n permite penalizar por intentos incorrectos, por hacer mal pistas, por o ver pistas, y se ganan puntos por acertar el problema, y por resolver bien las pistas. Adem s a los efectos de la puntuaci n se pueden ir transmitiendo a trav s de los diferentes niveles de la o e jerarqua de pistas. Para expresar todo esto en IMS-QTI se deberan denir varias variables, establecer diferentes condiciones, etc. haciendo crecer los cheros XML. Mientras en nuestra especicaci n s lo se ponen algunas etiquetas de puntuaci n dentro de la etiqueta score o o o de cada problema, reduci ndose mucho lo que hay que escribir. Razonamientos an logos se e a pueden hacer con los diferentes tipos de pistas que permite nuestra especicaci n, y otras o posibilidades de la especicaci n, con lo que se deduce que los cheros IMS-QTI generados o seran m s grandes que en nuestra especicaci n debido al elevado n mero de condiciones a o u que habra que expresar para abordar los diferentes casos dentro del responseProcessing. En contrapartida, nuestra especicaci n s lo permite expresar una serie de caracterstio o cas sobre provisi n de pistas que son las que nosotros hemos considerado m s relevantes del o a estudio de otros sistemas y de nuestras propias ideas. Con IMS-QTI se permite m s exia bilidad habilitando cualquier posibilidad de items adaptativos, lo que abarca las pistas, y en concreto las posibilidades de nuestra especicaci n de pistas, pero adem s otras. Por ejemo a plo con IMS-QTI podramos variar el sistema de puntuaci n para involucrar nuevos items de o otra manera. Esta exibilidad de IMS-QTI se la da el procesado seg n variables y condiciou nes en el responseProcessing, lo que hace que cualquier posibilidad de variaci n de un item o en un estado a otro estado siguiente sea posible, por lo tanto abarcar todo consiguiendo a

4.2. Relevancia de la Nueva Especicaci n o

135

la ventaja de la generalidad, pero esto tambi n involucra el problema de una implementae ci n de un player m s complejo para poder abordar cualquier posibilidad gen rica basada o a e en condiciones, y adem s un mayor tiempo de procesado debido a su generalidad. Por el a contrario, con nuestra especicaci n de pistas nos limitamos a un conjunto de opciones amo plio sobre la provisi n de pistas que abarca caractersticas de diversos sistemas del estado o del arte y otras ideas propias, pero no se abarca cualquier variaci n gen rica de item como o e en IMS-QTI. Como nuestra especicaci n es sucientemente gen rica como para abarcar o e un gran n mero de posibilidades de pistas (todas las que queremos) entonces creemos que u la opci n m s conveniente es hacer toda esa generalidad que necesitamos de la forma m s o a a simple posible, que haga ocupar el menor espacio posible a los cheros XML generados, y que permita realizar players lo m s f ciles posibles y que puedan ejecutar las instancias de a a ejercicios de la forma m s r pida. a a

4.2.

Relevancia de la Nueva Especicaci n o

En esta secci n se describe la relevancia o importancia de cada una de las contribucioo nes presentadas en la nueva especicaci n de pistas para el aprendizaje. A continuaci n se o o comenta la relevancia para cada una de ellas: Teora uniformizadora de provisi n de pistas. Esto es relevante para comprender mejor o las caractersticas involucradas en la provisi n de pistas para aprendizaje basado en o problemas, as como darle una justicaci n a cada una de ellas. De esta forma, las o diferentes caractersticas de provisi n de pistas son presentadas a los interesados, y de o una forma integrada, lo que hace que facilite la inclusi n de tales caractersticas en o clase. Nuevas caractersticas para la provisi n de pistas. Esto es relevante para poder utilizar o nuevas t cnicas durante la provisi n de pistas. e o Mapeo a XML con cheros m s reducidos. Es importante poder expresar los ejercicios a con pistas de la forma m s reducida posible en XML. De esta forma los reproductores a pueden procesar los cheros de forma m s r pida y efectiva, y la informaci n ocupa a a o menor tama o en el lugar de almacenamiento. Ponerlo en XML es importante pan ra garantizar la interoperabilidad, reusabilidad, etc. entre sistemas de informaci n y o dise adores. n Mapeo a UML. Es importante para permitir desarrollar de forma m s r pida y efectiva a a materiales de pistas a profesores con conocimientos en ingeniera software, en concre to en UML. Tambi n es importante para formalizar la teora de pistas y comprenderla e mejor. As mismo, ello permite utilizar en el area de provisi n de pistas herramientas o Case de UML ya existentes, e integrarlo con otras aplicaciones expresadas en UML. Mapeo a lenguaje natural a trav s de una herramienta de autor. Esto es relevante para e posibilitar al mayor n mero de profesores el acceso a esta tecnologa de provisi n de u o pistas en aprendizaje basado en problemas a trav s de las tecnologas de la informae ci n. o

136

Captulo 4. Especicaci n de Pistas para Aprendizaje Basado en Problemas o

4.3.

Caractersticas del Modelo de Pistas y Justicaci n o

A continuaci n se proporciona la lista de caractersticas del modelo de pistas. Cada una o de las caractersticas de la lista va acompa ada de su correspondiente justicaci n o raz n. n o o Los problemas pueden ser presentados a los alumnos como parte de evaluaciones. Esto se corresponde con la metodologa de aprendizaje basada en problemas, que se presenta en numerosos artculos como en [192] o [193]. La importancia de las evaluaciones mediante problemas se analiza en diferentes estudios como en [130] o [194]. Los problemas pueden ser de los siguientes tipos: relleno de blancos, elecci n m ltio u ple, m ltiple respuesta, y respuesta corta. Todos estos tipos est n incluidos en IMSu a QTI v2 [77]. Otros tipos de problemas que son parte de IMS-QTI v2 (tales como de ordenar, o de asociaci n) podran ser incluidos como parte de la especicaci n. La o o raz n por la que no se han incluido otro tipo de problemas es porque el prop sito o o de nuestra especicaci n es ilustrar los diferentes tipos de caractersticas que tienen o relaci n con la provisi n de pistas, y los diferentes tipos de problemas es un aspeco o to ortogonal. Por lo tanto, se han seleccionado por simplicidad los cuatro tipos que son posiblemente los m s comunes. No obstante, el modelo y el reproductor de pistas a implementado se podran extender f cilmente para incluir otros tipos de problemas a diferentes. Cada problema puede tener un n mero indenido de pistas asociado. Una pista pueu de ser de diferentes tipos. Las pistas pueden ser pedidas por parte de los alumnos presionando un bot n. El hecho de dejar a un alumno pedir pistas es una t cnica de o e aprendizaje activo [195] donde el alumno decide cuando quiere la ayuda. Las pistas asociadas a un problema pueden estar disponibles desde el comienzo o que s lo queden disponibles como resultado de una respuesta incorrecta ante el proo blema. Cada pista se puede dejar como disponible desde que se muestra el problema al alumno, o bien que s lo quede disponible cuando un alumno ha respondido incoo rrectamente a un problema. Adem s, se puede realizar una combinaci n de ambas a o metodologas, es decir algunas pistas disponibles desde el inicio y otras que s lo se o activan ante una respuesta incorrecta de un determinado problema. Esto es para permitir la mayor exibilidad para los creadores de ejercicios con pistas, y que se pueda proporcionar la m s adecuada en cada caso. Tal como se analiz en [145], las pistas a o que s lo se activan como resultado de una respuesta incorrecta a un problema previene o el abuso de pistas y permite al sistema guiar a los alumnos. Hay diferentes tipos de pistas para un problema: de secuencia, de grupo, de clasicaci n, de alternativa. Cada uno de estos tipos se desarrollar m s en profundidad en o a a los siguientes puntos. Los elementos at micos de las pistas pueden ser texto u otros problemas. Esto es o independiente del tipo de pista, ya que para todos los tipos de pistas, estos pueden tener texto o problemas como elementos at micos que los componen. Desde este punto de o vista, un determinado problema de un ejercicio con pistas puede ser:

4.3. Caractersticas del Modelo de Pistas y Justicaci n o

137

Problema Global. En este caso el problema no es parte de una pista. Es por lo tanto, el problema inicial sobre el cual puede haber pistas. Problema Pista. En este caso el problema es uno de los elementos at micos que o componen una determinada pista. Debido a la losofa de aprendizaje basado en problemas [192], [193], uno o varios problemas pueden ser los elementos at micos de una pista. Por lo tanto, la propia o pista se puede componer de problemas pista, y los alumnos pueden seguir la misma metodologa de aprendizaje basada en problemas cuando ellos est n interaccionando a con las diferentes pistas que son problemas. Se puede conseguir un nivel indenido de jerarqua de pistas. El contenido de pistas puede ser dise ado de tal forma que un alumno puede pedir o recibir un primer nivel n de pistas para un determinado problema. Cada pista tendr como elementos at micos a o otros problemas pista o texto. Para cada uno de esos problema pista, el alumno puede pedir o recibir otro conjunto de pistas de segundo nivel, que tambi n pueden tener e como elementos at micos otros problemas pista, para cada uno de los cuales el alumno o puede pedir o recibir otro conjunto de pistas de tercer nivel, y as sucesivamente se puede suceder hasta un nivel indenido de jerarqua. Adem s, el modelo debe permitir a que en cualquier nivel de jerarqua, las pistas puedan estar disponibles desde el inicio o s lo disponibles ante una respuesta incorrecta de un alumno. Esta losofa de jerarqua o de pistas asociada a cada problema se hace con el n de habilitar que los alumnos aprendan paso a paso a trav s de una provisi n de pistas anidada, dando ayuda a los e o alumnos, no s lo para el problema inicial, sino tambi n para cualquier problema pista o e que componga una determinada pista. De esta forma, se provee un entorno que permite a un estudiante aprender los conceptos previos que se requieren para aprender alg n u otro concepto y permiti ndose en un nivel de jerarqua indenido de forma anidada, e lo que est de acuerdo a la teora de aprendizaje signicativo. a Se permite realimentaci n o feedback para cualquiera de los problemas. Tanto los o problemas globales como los problemas pista tienen la posibilidad de tener un feedback asociado. El feedback que se puede generar a los alumnos puede ser de diferentes tipos como respuesta a diferentes situaciones: ante respuesta correcta, ante respuesta incorrecta, o ante error de sintaxis. La generaci n de feedback ante problemas proo porciona diferentes benecios tal como se argumenta en diferentes estudios como en [196]. Se permite pistas de secuencia asociadas a cualquier problema. Una pista de secuencia se puede denir como una pista que est compuesta por un conjunto de subpistas a ordenadas. Dependiendo de un par metro congurable, las subpistas de la secuencia a ser n mostradas todas de golpe o bien para que un alumno pueda seleccionar una dea terminada subpista, el resto de pistas precedentes en el orden deben haber sido antes activadas. Es decir, en este ultimo caso un alumno ve las subpistas de una pista de secuencia en el orden preestablecido. Las pistas de secuencia pueden ser aplicadas tanto a problemas globales como a problemas pista. Las pistas en secuencia establecen un orden l gico de resoluci n que debe seguir el alumno, ayud ndole a seguir este orden o o a en su razonamiento.

138

Captulo 4. Especicaci n de Pistas para Aprendizaje Basado en Problemas o Se permite pistas de grupo asociadas a cualquier problema. Una pista de grupo se puede denir como una pista que es un conjunto de N subpistas no ordenadas en la que los alumnos no ven ning n problema pista directamente, sino que ven una metau informaci n asociada a cada una de las N subpistas, y en las que el alumno puede o elegir un m ximo n mero K de subpistas que puede ver, siendo K menor o igual a N. a u Los alumnos pueden seleccionar un m ximo n mero de subpistas K de una lista de N, a u basado en la meta-informaci n de cada una de las N subpistas. Esta meta-informaci n o o puede ser cualquier dato que de informaci n sobre la subpista, como por ejemplo el o tipo de problemas de la subpista, la penalizaci n en la puntuaci n por ver la subpista, o o cierta informaci n sobre qu trata la subpista en cuesti n, etc. Las pistas de grupo o e o pueden ser aplicadas tanto a problemas globales como a problemas pista. Las pistas de grupo est n de acuerdo a la teora de aprendizaje activo, en la cual los alumnos a son el centro del proceso de ense anza/aprendizaje, pudiendo decidir sobre qu pistas n e visualizar bas ndose en cierta informaci n previa. Con este tipo de pistas, se desarrolla a o tambi n la potencialidad de los alumnos para desarrollar la habilidad meta-cognitiva e de toma de decisiones basada en cierta informaci n. As el alumno no dispondr de o a las pistas directamente, sino que tendr s lo ciertos indicios sobre las pistas. Con a o esta meta-informaci n que es incompleta, el alumno deber tomar una decisi n sobre o a o qu pistas ver. Este tipo de pistas tambi n podra ser utilizado como un modo de e e prevenir el abuso de pistas. Se permite pistas de clasicaci n asociadas a cualquier problema. Las pistas asociao das a un determinado problema pueden ser agrupadas en diferentes categoras de un modo jer rquico. A esto es a lo que se denomina pistas de clasicaci n. Esto es dia o ferente y ortogonal al nivel indenido de pistas jer rquicas que se puede lograr, que a se ha visto en uno de los puntos anteriores del modelo de datos. Las pistas de clasicaci n pueden ser aplicadas tanto a problemas globales como a problemas pista. o Con esta caracterstica, un alumno puede clasicar y categorizar las diferentes pistas asociadas a un determinado problema. Se permite pistas de alternativa asociadas a cualquier problema. Las pistas de alternativa permiten denir un marco exible para denir diferentes tipos de pistas dependiendo del perl del alumno que est resolviendo el problema. Como ejemplo, a los alumnos pueden ser divididos de acuerdo a la taxonoma de Bloom [197] y se generaran diferentes pistas para alumnos que estuvieran en diferentes categoras de dicha taxonoma. Dependiendo de la categora dentro de la taxonoma a la que un estudiante perteneciera para una materia determinada, as seran las pistas que se le proporcionaran. De esta forma, se permite incluir una cierta personalizaci n de las o pistas dependiendo del perl de los alumnos. Esto est acorde con una metodologa a de generaci n de materiales personalizados especcos adaptados a las necesidades o particulares. Una pista de secuencia, de grupo, de clasicaci n, y de alternativa, puede tener cualo quier otro tipo de pista como uno de sus elementos. Dado que estos tipos de pista est n a compuestos de otras pistas, estas pueden ser de cualquier tipo. Un an lisis m s detaa a llado y especco de cada caso se analizar en la siguiente secci n de mapeo XML. a o

4.3. Caractersticas del Modelo de Pistas y Justicaci n o

139

Se pueden generar pistas asociadas a la evaluaci n global y a secciones. Un conjuno to de problemas globales pueden formar una secci n. Todas las secciones forman la o evaluaci n global. El modelo permite generar un conjunto de pistas asociadas a una o secci n o a una evaluaci n global. A estas pistas se denominan pistas de secci n o o o o pistas de evaluaci n global. Las pistas de secci n o evaluaci n global pueden tener o o o las mismas funcionalidades consideradas para pistas de problemas. Estas caractersti cas de pistas de secci n y de evaluaci n global son para tener mayor potencialidad o o en el modelo, permitiendo pistas que son comunes a un conjunto de problemas que componen una secci n, o comunes a una evaluaci n global. o o Se habilita un sistema de puntuaci n que tiene en cuenta diferentes aspectos de la o provisi n de pistas. El modelo propuesto permite dar una puntuaci n a la evaluaci n o o o global, a las secciones y a los problemas. La puntuaci n se puede dar a cualquier o tipo de problema ya sea global o problema pista. De esta forma, se permite que se conozca el conocimiento y progreso en la materia de cada alumno. Adicionalmente, la puntuaci n de cada elemento se puede dar a los alumnos u ocult rsela para que s lo o a o est disponible por parte de los profesores. El modelo permite exibilidad para que e los profesores y dise adores de cursos puedan seleccionar su m todo de puntuaci n n e o deseado. La puntuaci n global de evaluaci n ser el peso ponderado de la puntuaci n o o a o de cada una de las secciones que la conforman. AC (Assessment Coecient) es el peso o efecto de la puntuaci n de una secci n particular con respecto a la puntuaci n o o o de la evaluaci n global. La puntuaci n de una secci n ser el peso ponderado de la o o o a puntuaci n de cada uno de los problemas que la conforman. SC (Section Coecient) es o el peso o efecto de la puntuaci n de un problema global con respecto a la puntuaci n o o de la secci n. Finalmente, para cada uno de los problemas (ya sean globales o partes o de una pista) se puede congurar lo siguiente: (algunos par metros importantes de a conguraci n de la puntuaci n de un problema se presentan con una notaci n especial o o o para utilizarse en las f rmulas de c lculo de puntuaci n de un problema) o a o Normalizaci n de la puntuaci n.La puntuaci n se puede normalizar a un m xio o o a mo. MS (Maximum Score) representa la puntuaci n m xima absoluta posible o a que puede tener un determinado problema (esta puntuaci n puede ser mayor que o los puntos por resolver bien el problema ya que se pueden sumar puntos por resolver bien las pistas), mientras que NS (Normalization Score) representa la puntuaci n normalizada m xima que puede tener un problema, esta ser la que o a a visualizar n profesores y alumnos como puntuaci n m xima del problema. a o a Recompensa por responder correctamente al problema. CS (Correct Scoring) representa los puntos absolutos a a adir a la puntuaci n por responder correctan o mente al problema. Penalizaci n por ver pistas. Es la p rdida en la puntuaci n por el hecho de ver o e o pistas. La penalizaci n puede ser diferente dependiendo del tipo de pista. Con o esta caracterstica se puede evitar el abuso de ver pistas, y puede contribuir en la justicia de la evaluaci n del conocimiento de un alumno (si un alumno reso ponde correctamente sin ver una pista, entonces merece una mejor puntuaci n). o Adem s, esto posibilita al alumno tomar sus propias decisiones acorde al aprena dizaje activo. VP (View Penalty) es la penalizaci n en puntos absolutos por ver o

140

Captulo 4. Especicaci n de Pistas para Aprendizaje Basado en Problemas o una determinada pista. Esta penalizaci n en puntos se aplica a la puntuaci n del o o problema que est inmediatamente superior en la jerarqua del problema pista a que se visualiza. Este par metro no tiene sentido en problemas globales y s lo a o se puede aplicar para problemas pista, ya que los problemas pista tienen un problema padre con puntuaci n. o Penalizaci n por intentos incorrectos de un problema. Se permite la posibilidad o de penalizar por cada intento incorrecto a un problema hasta un m ximo de ina tentos incorrectos. AP (Attempt Penalty) es la penalizaci n en puntos absolutos o por cada intento fallido en resolver el problema. MAP (Maximum Attempt Penalty) es la penalizaci n m xima en puntos absolutos como resultado de haber o a intentado y contestado mal varias veces un determinado problema. Penalizaci n por resoluci n incorrecta de pistas, y bonicaci n por resoluci n o o o o correcta de pistas. El problema sobre el que se establece una puntuaci n, tieo ne la posibilidad de penalizaci n en puntuaci n si el alumno obtiene una mala o o puntuaci n resolviendo las pistas relacionadas con el citado problema, y tiene o la posibilidad de una bonicaci n en puntuaci n si el alumno obtiene una buena o o puntuaci n en la resoluci n de pistas asociadas a dicho problema. Adem s, la peo o a nalizaci n o bonicaci n puede ser diferente dependiendo de cada pista especo o ca. Adicionalmente, como se permite un nivel de jerarqua indenido de pistas, entonces una mala o buena puntuaci n en un problema pista de nivel i, puede o tener un efecto en la puntuaci n del problema global. El modelo permite estao blecer un m ximo de penalizaci n (HP, Hint Penalty, representa este m ximo) a o a o de bonicaci n (HB, Hint Bonus, representa este m ximo) para un problema o a relacionado con la correcta o incorrecta resoluci n de pistas. Estos par metros o a HB y HC no tienen sentido para problemas que no tienen pistas asociados a ellos. Por otro lado UC (Up Coefcient) es el peso o efecto de la puntuaci n o de un problema pista sobre la puntuaci n del problema inmediatamente superior o (problema padre) en el nivel de jerarqua. Este coeciente UC no tiene sentido en problemas globales y s lo se puede aplicar a problemas pista que tienen un o problema padre con puntuaci n. o Este modelo permite a los dise adores establecer un sistema de puntuaci n justo para n o evaluar a los alumnos, y que puede ser adaptado a los criterios y materiales particulares. La penalizaci n por visualizaci n de pistas puede prevenir del abuso de visualizao o ci n de pistas, mientras que la penalizaci n por intentos puede prevenir de un abuso o o de intentos. Adem s, ello promueve el aprendizaje activo donde los alumnos deben a tomar decisiones. A continuaci n se muestra el algoritmo para calcular la puntuaci n de un problema o o gen rico P. En primer lugar, para dicho problema P se debe formar un arbol de proe blemas en la que estar n todos los problemas pista asociados a un problema global, a y en la que el problema P es un problema que estar en el nivel i de la jerarqua. En a este arbol o gr co, cada problema tiene un s lo problema padre, con excepci n del a o o problema global, ya que el problema global no es pista de nadie. Un problema padre puede tener varios problemas hijo pista, que son sus descendientes. Los problemas que est n en la hoja del arbol son los unicos que no tienen problemas hijo pista. Cada a

4.3. Caractersticas del Modelo de Pistas y Justicaci n o

141

Figura 4.2: Arbol de problemas para calcular la puntuaci n o nivel de jerarqua de problemas tiene asociado un n mero, que se va incrementando u en uno seg n se sube un nivel de jerarqua. Todo esto se puede ver en la gura 4.2. u Las f rmulas para calcular la puntuaci n de cualquier problema del arbol (ver gura o o 4.2) son las siguientes: i) Para nivel n: SCOREn = ii) Para nivel n-1: SCOREn1 = a + b a= b= Los sumandos en n representan las sumas para todos los problemas de nivel n en la jerarqua. Dependiendo de si la puntuaci n de un problema de nivel n es o positiva o negativa, esto contribuye a a adir o restar puntos respectivamente de n la puntuaci n del problema de nivel n-1 correspondiente, del cual el problema o de nivel n es una pista. iii) Para un nivel intermedio i : SCOREi = c + d c = CSi APi attempstnumberi M Si d=
CSn1 APn1 attempstnumbern1 V Pn N Sn1 M Sn1 SCOREpossitiven HBn1 U Cn SCOREnegativen HPn1 U Cn N Sn1 M Sn1 CSn APn attempstnumbern N Sn M Sn

V Pi+1

N Si

SCOREpossitivei+1 HBi U Ci+1 SCOREnegativei+1 HPi U Ci+1 N Si M Si

142

Captulo 4. Especicaci n de Pistas para Aprendizaje Basado en Problemas o Los sumandos en i+1 representan las sumas para todos los problemas de nivel i+1 en la jerarqua. Dependiendo de si la puntuaci n de un problema de nivel i+1 o es positiva o negativa, esto contribuye a a adir o restar puntos respectivamente n de la puntuaci n del problema de nivel i correspondiente, del cual el problema o de nivel i+1 es una pista. De estas ecuaciones, se puede deducir que se cumplen todos los requisitos del modelo relativos a la puntuaci n. Es importante notar que un cambio en la puno tuaci n de un problema pista de nivel i puede tener una inuencia en la puntuao ci n de un problema de nivel 0 a trav s de los diferentes coecientes HB y HP a o e lo largo de la jerarqua. Entre dichos problemas de nivel i y nivel 0 puede haber un n mero indenido de niveles jer rquicos en medio. u a En cuanto al c lculo de la puntuaci n para una determinada secci n, tambi n se a o o e normaliza la puntuaci n a un m ximo de puntos para dicha secci n, y tambi n o a o e se podr hacer visible o no dicha puntuaci n a los alumnos. La puntuaci n de a o o una secci n se calcula de acuerdo a la siguiente f rmula (siendo i una variable o o que recorre todos los problemas globales de una secci n): o SECT ION SCORE = SCi P ROBLEM iSCOREi sectionnormscorei normscore El c lculo de la evaluaci n global es bastante an logo al de una secci n, y tama o a o bi n se normaliza la puntuaci n a un m ximo de puntos, y tambi n se podr hae o a e a cer visible o no dicha puntuaci n a los alumnos. La puntuaci n de una evaluao o ci n global se calcula de acuerdo a la siguiente f rmula (siendo i una variable o o que recorre todas las secciones de una evaluaci n global): o ASSESSM SCORE =
ACi SECT ION SCOREi assessmentnormscorei sectionnormscorei

4.4.

Mapeo XML y su Relaci n con la Sem ntica de la Especio a caci n de Pistas o

Se ha creado un XML Schema como parte de la especicaci n de pistas, el cual describe o las posibles combinaciones de etiquetas XML para formar instancias de pistas correctas acorde con la especicaci n denida. Este XML Schema se encuentra en el Ap ndice I. En o e esta secci n se explican los detalles del XML Schema en relaci n con los requerimientos del o o modelo de pistas presentado. El XML Schema establece el conjunto de documentos XML v lidos que constituyen instancias para describir materiales posibles de la especicaci n a o de pistas. Por lo tanto, el XML Schema describe como la informaci n necesaria para la o provisi n de pistas, consecuencia de los requerimientos del modelo de pistas vistos en la o secci n previa, puede ser representada como un conjunto de elementos XML. Hay multitud o de XML Schema diferentes que pueden ajustar los requerimientos del modelo de pistas. El criterio para construir el XML Schema es hacerlo lo m s sencillo posible (por ejemplo a usando el menor n mero de elementos XML, haciendo que las instancias XML generadas u representando el material de pistas sean lo m s reducidas en tama o posibles, o haciendo que a n sea lo m s f cil de entender posible, etc.). Pero por supuesto, la primera condici n es que a a o sea completo para incluir todos los requerimientos del modelo de pistas que se ha denido. Este mapeo a XML se ha derivado teniendo en cuenta los requisitos explicados en el modelo de pistas, y es conforme con la especicaci n XML 1.0 del W3C [40]. Adicionalo

4.4. Mapeo XML y su Relaci n con la Sem ntica de la Especicaci n de Pistas o a o

143

mente, para construirlo, se han tomado algunas ideas de especicaciones previas del estado del arte, tales como IMS-LD [81] o IMS-QTI [77] En esta secci n, cada elemento XML se explica acorde con su descripci n en el XML o o Schema para conseguir el mapeo XML de la especicaci n de pistas. As para cada elemento o XML se describe sus atributos, su orden, n mero, etc. Adicionalmente, cada elemento XML u se pone en contexto de las caractersticas del modelo de pistas. El elemento XML raz es <assessment>. Es obligatorio un elemento <assessment> raz por documento, y adem s s lo puede haber un unico elemento <assessment> por do a o cumento. Este elemento representa una evaluaci n global y contendr un n mero indenido o a u de secciones. Cada secci n se representa por medio del elemento <section>. Las seccioo nes ser n mostradas a los alumnos en el mismo orden en el que son escritas en la instana cia XML. El nombre de la evaluaci n global viene dado por el texto dentro de la etiqueta o <assessmentname>. Cada elemento <section> puede contener un n mero indenido de elementos probleu ma, que ser n problemas globales. Cada problema puede ser de uno de estos cuatro tipos: rea lleno de blancos (elemento <FIBproblem>), elecci n m ltiple (elemento <MCproblem>), o u m ltiple respuesta (elemento <MRproblem>), o respuesta corta (elemento <SAproblem>). u Cualquier combinaci n de problemas de diferentes tipos es posible. Los problemas de una o secci n ser n mostrados a los alumnos en el orden en que son escritos en la instancia XML o a dentro de la correspondiente etiqueta <section>. Adem s toda secci n tiene un unico elea o mento <sectionname>, en cuyo interior viene el texto que especica el nombre de la secci n. o El elemento <FIBproblem> debe contener los siguientes elementos: Uno y s lo un elemento <question>. Habr un texto dentro de este elemento con la o a cuesti n relacionada con el problema de relleno de blancos. o Uno o m s elementos <solution>, que cada uno contendr como texto una de las a a soluciones que el creador del problema quiere a adir. n Adem s el elemento <FIBproblem> puede tener un atributo numberofsolutions (que por a defecto si no aparece tiene el valor de 1). Este atributo representa el n mero de blancos que u se le presentar n al alumno para rellenar, es decir el n mero de soluciones no repetidas que a u se le piden al alumno para resolver correctamente el ejercicio. El elemento <MCproblem> debe contener los siguientes elementos: Uno y s lo un elemento <question>. Habr un texto dentro de este elemento con la o a cuesti n relacionada con el problema de elecci n m ltiple. o o u Uno o m s elementos <choice>, que cada uno contendr como texto una de las posia a bles opciones que el creador del problema quiere a adir. Por cada elemento <choice> n habr un texto dentro, que le ser mostrado al alumno como una de las posibles opa a ciones de ser soluci n del problema. o Uno y s lo un elemento <solution>. Habr un texto dentro de este elemento con la o a soluci n al problema y dicho texto debe coincidir con alguno de los textos presentados o como opciones posibles de soluci n al alumno. o

144

Captulo 4. Especicaci n de Pistas para Aprendizaje Basado en Problemas o El elemento <MRproblem> debe contener los siguientes elementos: Uno y s lo un elemento <question>. Habr un texto dentro de este elemento con la o a cuesti n relacionada con el problema de m ltiple respuesta. o u Uno o m s elementos <choice>, que cada uno contendr como texto una de las posia a bles opciones que el creador del problema quiere a adir. Por cada elemento <choice> n habr un texto dentro, que le ser mostrado al alumno como una de las posibles opa a ciones de ser soluci n del problema. o Uno o m s elementos <solution>. El creador de los problemas decidir cuantos elea a mentos de este tipo incluir, y ser igual al n mero de soluciones diferentes al problea u ma. Habr un texto dentro de cada elemento <solution> con una de las soluciones a al problema y dicho texto debe coincidir con alguno de los textos presentados como opciones posibles de soluci n al alumno. o

Finalmente, un elemento <SAproblem> debe contener uno y s lo un elemento o <question>, que tendr en su interior un texto con la cuesti n relacionada con el problea o ma de respuesta corta. El elemento <feedback> representa la realimentaci n o feedback que el sistema de o aprendizaje puede proveer al alumno como respuesta a la contestaci n de un alumno a un o determinado problema. Este <feedback> es un elemento opcional que puede ser hijo de cualquier elemento problema que pueda ser evaluado autom ticamente. Por lo tanto puede a ir debajo de los siguientes elementos: <FIBproblem>, <MCproblem>, y <MRproblem>. El elemento <feedback> puede contener cualquier combinaci n de los siguientes elemeno tos(pero cada uno de estos elementos puede ocurrir un m ximo de una vez dentro de un a problema): Elemento <correct>. Este elemento contiene un texto que se le muestra al alumno como feedback, cuando el alumno da una respuesta correcta al problema. Elemento <incorrect>. Este elemento contiene un texto que se le muestra al alumno como feedback, cuando el alumno da una respuesta incorrecta al problema. Elemento <syntaxError>. Este elemento contiene un texto que se le muestra al alumno como feedback, cuando el alumno da una respuesta al problema que es sint cticamente incorrecta o cuando el alumno pulsa el bot n para contestar la prea o gunta sin haber seleccionado o introducido nada como respuesta. El elemento <hint> representa una pista. Aunque realmente, en el caso m s general, a este elemento puede ser visto como una pista que es un conjunto de pistas. Por este motivo, teniendo un s lo elemento <hint> debajo de un problema es suciente y completo. El eleo mento <hint> puede tener un atributo <color> que establece el color de presentaci n que o tendr esa pista. De esta forma, se puede conseguir por ejemplo que cada nivel jer rquico de a a pista tenga un color diferente congurable. Los siguientes elementos pueden contener un elemento <hint> (uno es el m ximo pora que permitir m s elementos <hint> no incrementa la expresividad pero incrementara la a complejidad) o ning n elemento <hint> (en caso de que no haya ninguna pista asociada a u un problema especco):

4.4. Mapeo XML y su Relaci n con la Sem ntica de la Especicaci n de Pistas o a o

145

Elemento <assessment>. Para un conjunto de pistas asociadas a la evaluaci n global. o Elemento <section>. Para un conjunto de pistas asociadas a una determinada secci n. o Elementos <FIBproblem>, <MCproblem>, <MRproblem>, y <SAproblem>. Para un conjunto de pistas asociadas a un determinado problema. Las pistas pueden ser referidas a problemas globales o a problemas pista. En este caso las pistas est n disa ponibles para el alumno desde el inicio, con independencia de la respuesta del alumno al problema. Elemento <feedback>. Para un conjunto de pistas asociadas a un determinado problema (que es el problema que tiene debajo la etiqueta de <feedback>). En este caso, las pistas est n disponibles para el alumno unicamente en caso de que el alumno responde a incorrectamente al problema al que est asociado el feedback. a El elemento <hint> debe contener uno y s lo uno de los siguientes elementos: o Elemento <hintSeq>. Elemento <hintAlt>. Elemento <hintGroup>. El elemento <hintSeq> representa una pista de secuencia. Que los elementos de una pista de secuencia se muestren todos de golpe o s lo en orden pidi ndolos uno a uno, depeno e der del atributo allactive, que estar a true cuando los elementos de la pista de secuencia a a se muestran todos a la vez (aunque siguiendo el mismo orden marcado en la escritura de la instancia XML), y a false cuando se sigue un orden preestablecido en la visualizaci n de o subpistas, de tal forma que no se deja activar la siguiente hasta que se ha activado la previa seg n el orden marcado en la escritura de la instancia XML. u El elemento <hintAlt> representa una pista cuyo contenido ser diferente dependiendo a del perl de cada uno de los alumnos. Habr diferentes contenidos de pistas para diferentes a perles de alumnos. Contenidos de pistas especcos ser n dados a los alumnos que tengan a un mismo perl. El perl de un alumno se especica mediante un texto, que es el valor del atributo aim. Todos los elementos por debajo de un elemento <hintAlt> pueden tener un atributo llamado aim que representar el perl de los alumnos para los cuales ese contenido a de pistas est destinado. Si hay varios elementos debajo de un elemento <hintAlt> que a tienen el mismo aim, entonces esto es similar a tener todos estos elementos agrupados debajo de un elemento <hintSeq> con el correspondiente perl dado por el elemento aim. Si alg n u elemento debajo de <hintAlt> no tiene ning n atributo aim entonces ese contenido de pistas u ser dado para todos los alumnos sin excepci n. a o El elemento <hintGroup> se puede utilizar para representar dos tipos diferentes de pistas de las vistas en el modelo de datos: pistas de grupo, y pistas de clasicaci n. Adem s o a este elemento se puede utilizar para asociar varias pistas a un mismo problema. El elemento <hintGroup> representa una pista que es un grupo de subpistas independientes de las que el alumno puede seleccionar para ver un m ximo de ellas. El m ximo a a n mero de subpistas que el alumno puede seleccionar viene representado por el valor del u atributo <maxtoselect> (si este atributo no est presente entonces se pueden seleccionar a

146

Captulo 4. Especicaci n de Pistas para Aprendizaje Basado en Problemas o

todas las subpistas sin ninguna restricci n). Debajo de la etiqueta <hintGroup> estar n o a todos los elementos que conforman las subpistas independientes y podra haber los ele mentos <selectionprevtext> y <descriptiontext> que contendran un texto com n para to u das las subpistas independientes. El elemento <selectionprevtext> contendr un texto cuyo a prop sito es estar relacionado con la elecci n que el alumno debe hacer (por ejemplo para o o indicarle al alumno el m ximo n mero de subpistas que puede escoger), mientras que el a u elemento <descriptiontext> contendr un texto cuyo prop sito es estar relacionado con la a o descripci n global del conjunto de pistas. Adicionalmente, todo elemento que se encuentre o debajo de un elemento <hintGroup> (con la excepci n de <hintAlt>) podr contener un o a elemento <selectionposttext> cuyo prop sito es ser un texto relacionado con la subpista o especca y que trata de dar informaci n sobre dicha subpista (como por ejemplo la penali o zaci n en la puntuaci n por ver dicha pista, o la materia de la que trata la pista). Una pista o o especicada por el elemento <hintGroup> se muestra a los alumnos de la siguiente manera: Los textos del <selectionprevtext> y del <descriptiontext> se muestran a los alumnos junto con todos los textos informativos de las diferentes subpistas dados por los textos contenidos en los diferentes elementos <selectionposttext>. Con toda esta informaci n, los alumnos o pueden tomar sus decisiones para elegir hasta un m ximo de subpistas que es el dado por el a atributo <maxtoselect>. Para utilizar el elemento <hintGroup> como pista de clasicaci n, no se debe poner o un n mero m ximo de subpistas a ver (es decir que se podr n escoger todas a la vez), se u a a deben ir anidando diferentes elementos <hintGroup> consecutivos que ir n formando la a jerarqua de la clasicaci n, y los diferentes elementos <selectionprevtext> deber n tener o a texto asociado a la clasicaci n sem ntica de las diferentes subpistas. o a Para utilizar el elemento <hintGroup> para asociar varias pistas a un mismo problema (de esta forma aunque un problema s lo pueda tener un elemento <hint>, se le pueden o asociar varias pistas a un mismo problema), debajo de una etiqueta <hintGroup> se pondr n a todas las pistas asociadas a dicho problema, pero sin utilizar el m ximo n mero de pistas a a u ver, ni el <selectionprevtext>, <descriptiontext>, o el <selectionposttext>, ya que aqu se trata de tener varias pistas agrupadas pero sin tener que elegir nada. En el resto de usos de la etiqueta <hintGroup>, se estar utilizando para formar pistas a de grupo, en las que hay un m ximo n mero de subpistas a elegir, y para cada una de ellas a u una meta-informaci n previa que ve el alumno antes de elegirla. o Las etiquetas <hintSeq>, <hintAlt>, y <hintGroup> pueden contener cualquier n meu ro de elementos del mismo tipo de los que puede contener la etiqueta <hint>, es decir las etiquetas <hintSeq>, <hintAlt>, y <hintGroup>. Adem s, este proceso se puede repetir a un n mero indenido de veces dentro de la jerarqua, pudi ndose obtener un anidamiento u e jer rquico de niveles ilimitado entre estos tres elementos (a esta jerarqua la denominaremos a jerarqua intranivel, por ser un anidamiento de etiquetas de tipos de pistas para un mismo nivel jer rquico de pistas). Es importante notar que este anidamiento jer rquico de estas tres a a etiquetas es diferente al anidamiento jer rquico de pistas asociadas a problemas, que se exa plicar m s adelante puesto en relaci n con las etiquetas (a este otro nivel de jerarqua la a a o denominaremos jerarqua internivel). Por otro lado, adicionalmente las etiquetas <hintSeq>, <hintAlt>, y <hintGroup>, tambi n pueden contener cualquier n mero de elementos <FIBproblem>, <MCproblem>, e u <MRproblem>, <hintText>. Esto constituye los elementos at micos de las pistas, que ser n o a

4.4. Mapeo XML y su Relaci n con la Sem ntica de la Especicaci n de Pistas o a o

147

otros problemas (de relleno de blancos, de m ltiple elecci n, de m ltiple respuesta) o bien u o u cierto texto a modo de ayuda. A estos problemas que son elementos at micos de las pistas, o se denominan problemas pista. Cada uno de estos problemas pista (problemas que son componentes at micos de pistas) o pueden contener como elementos a los mismos que pueden contener los problemas globales que est n debajo de una secci n. Por lo tanto ellos no pueden tener directamente etiquetas a o <hintSeq>, <hintAlt>, o <hintGroup>. Por lo tanto, se puede considerar que los problemas pista son los elementos que marcan el lmite de un nivel de jerarqua de pistas. Sin embargo, cada uno de esos problemas pista puede contener de nuevo otro conjunto de pistas, conformando un nuevo nivel de jerarqua de pistas. Ese conjunto de pistas nuevo asociado al problema pista, viene dado por la etiqueta <hint> debajo del problema pista. Este proceso se podra repetir un n mero indenido de veces consiguiendo el n mero de niveles deseado u u de pistas jer rquicas (este es el concepto de jerarqua internivel). a Hay que distinguir en la especicaci n los niveles jer rquicos de pistas (pistas de un proo a blema pista) que dan diferentes niveles jer rquicos de pistas (jerarqua internivel), de los dia ferentes niveles jer rquicos que hay en un determinado nivel de la jerarqua de pistas (anidaa miento de etiquetas <hintSeq>, <hintAlt>, y <hintGroup>, jerarqua intranivel). A con tinuaci n, analizaremos las diferentes combinaciones posibles entre etiquetas <hintSeq>, o <hintAlt>, y <hintGroup> para lograr diferentes niveles de jerarqua de anidamiento de estas etiquetas para un determinado nivel de jerarqua de pistas. Es de relevancia indicar que se pueden conseguir exactamente los mismos resultados con diferentes combinaciones de estas tres etiquetas, esto es para conseguir simetra en la especicaci n en cuanto a estas o combinaciones de tres etiquetas, y para permitir exibilidad a los dise adores de cursos: n <hintSeq> contiene a <hintSeq>. Esto representa que una pista de secuencia es un elemento de otra pista de secuencia. <hintSeq> contiene a <hintAlt>. Esto representa que parte de los elementos de una pista de secuencia (aquellos que son contenidos por la pista alternativa denotada por <hintAlt>) ser n mostrados a los alumnos de forma diferente dependiendo de su perl a dado por el atributo aim. <hintSeq> contiene a <hintGroup>. Esto representa que un elemento de una pista de secuencia ser una pista de grupo o clasicaci n. a o <hintAlt> contiene a <hintSeq>. Esto representa que una pista de secuencia ser mostrada al alumno si y s lo si el perl del alumno coincide con el par metro a o a aim de la pista de secuencia. <hintAlt> contiene a <hintAlt>. Esto representa que cierto material ser mostrado a a un alumno si y s lo si el alumno tiene dos perles especcos. Esto puede ser usado o por ejemplo para establecer una jerarqua de perles. <hintAlt> contiene a <hintGroup>. Esto representa que la pista de grupo o de clasicaci n ser mostrada a un alumno si y s lo si el perl del alumno coincide con el o a o par metro aim de la pista de grupo o clasicaci n. a o

148

Captulo 4. Especicaci n de Pistas para Aprendizaje Basado en Problemas o <hintGroup> contiene a <hintSeq>. Esto representa que uno de los elementos de la pista de grupo es una pista en secuencia. Por lo tanto si el alumno selecciona la pista en secuencia, esta le ser mostrada. a <hintGroup> contiene a <hintAlt>. Esto representa que parte de los elementos de una pista de grupo o clasicaci n (aquellos que est n contenidos por la etiqueta o a <hintAlt>) ser n mostrados a los alumnos de forma diferente dependiendo de su pera l. <hintGroup> contiene a <hintGroup>. Esto representa que uno de los elementos de una pista de grupo o clasiaci n es otra pista de grupo o clasicaci n. Uno de los poo o sibles usos de este anidamiento de etiquetas puede ser para realizar una categorizaci n o o clasicaci n de pistas, realizando agrupaciones de diferentes pistas. o

Finalmente se explica la relaci n de la puntuaci n del modelo de pistas con respecto al o o mapeo XML del modelo. La puntuaci n puede estar relacionada con la evaluaci n global, o o con cualquier secci n, o con cualquier problema (ya sea problema global o problema pista). o En el mapeo XML de la especicaci n se indica que cualquiera de estos elementos va a o tener una puntuaci n asociada mediante la presencia de un elemento <score> debajo. Que o un determinado problema tenga un elemento <score> o no asociado es independiente de que otros problemas lo tengan o no, incluso aunque dichos problemas est n en la misma e rama de la jerarqua de pistas. El elemento <score> que est debajo de un problema puede contener a los siguientes a elementos (se indica entre par ntesis el par metro a que corresponde de los presentados en e a los requerimientos de la secci n anterior. En caso de que no se corresponda con un par metro o a de la secci n anterior, se pasa a dar una explicaci n): o o <maxscore> (MS). <correctscore> (CS). <normscore> (NS). <viewscore>. Es un booleano. En caso de que valga true indica que la puntuaci n de o dicho problema le es presentada a los alumnos para que la visualicen. En caso de que valga false, entonces la puntuaci n no ser hecha p blica a los alumnos. o a u <attemptpenalty> (AP). <maxattemptpenalty> (MAP). <viewpenalty> (VP). <upcoecient> (UC). <hintbonus> (HB). <hintpenalty> (HP). <sectioncoecient> (SC).

4.5. Modelo UML

149

En cuanto al algoritmo para el c lculo de la puntuaci n de un determinado problema P, a o es importante destacar en este momento (ya que ahora se han presentado todas las etiquetas del mapeo XML de la especicaci n de pistas) como se conforma el arbol de problemas de o la gura 4.2. Para un determinado problema global de la evaluaci n, el arbol de problemas o se conforma como resultado de eliminar de la instancia XML de dicho problema global, el resto de elementos que no son problemas (tales como etiquetas <hintSeq>, <hintAlt>, <hintGroup>, <hint>, o <feedback>. En la instancia XML modicada, fruto de eliminar todos los elementos que no son problemas, cada problema tendr un problema padre con la a excepci n del propio problema global que ser la raz de ese arbol. Los diferentes niveles o a de problemas en el arbol conforman los diferentes niveles de jerarqua de pistas (jerarqua internivel). El elemento <score> de una determinada secci n debe contener un elemento o <sectionnormscore para indicar la m xima puntuaci n normalizada para la secci n, adem s a o o a puede tener un elemento <viewsectionscore> para indicar si la puntuaci n de la secci n o o ser vista o no para los alumnos, adem s tendr un <assessmentcoecient> que indicar el a a a a peso o efecto en la puntuaci n de dicha secci n en la puntuaci n de la evaluaci n global. De o o o o modo an logo, el elemento <score> de una evaluaci n global debe contener un elemento a o <assessmentnormscore> para indicar la m xima puntuaci n normalizada para la evaluaci n a o o global, adem s puede tener un elemento <viewassessmentscore> para indicar si la puntuaa ci n de la evaluaci n global ser vista o no para los alumnos. o o a

4.5.

Modelo UML

En esta secci n se presenta el modelado UML de la especicaci n de pistas. Por un lado o o se presenta el modelado general de las diferentes combinaciones que se pueden dar en la especicaci n de pistas, y seguidamente se presenta el modelado de instancias de materiales o de pistas especcas. La gura 4.3 muestra el modelo conceptual de la estructura de la especicaci n de pistas o denida. En el se muestran las diferentes etiquetas XML y como pueden ser combinadas para formar cualquier instancia gen rica. En este diagrama no se muestran los diferentes e atributos de las diferentes etiquetas, ni se especica la sem ntica concreta, que ya se ha a explicado previamente. Diagramas similares se encuentran en otras especicaciones, como por ejemplo en IMS-LD. En esta gura 4.3 se pueden observar las diferentes combinaciones de etiquetas para formar una instancia de material de pistas correcta. Estas combinaciones ya se han visto en la secci n anterior de mapeo a XML, pero ahora se presenta en forma de diagrama UML. o Es de notar como en el diagrama UML existen ciertos elementos que no se corresponden con etiquetas XML, sino que son una abstracci n para mejorar la comprensi n. As por o o ejemplo est una clase problem que no existe como etiqueta XML, sino que los que existen a realmente son los diferentes tipos de problemas que heredan de ella. De esa forma ahorramos el n mero de relaciones entre clases, ya que cualquier tipo de problema tiene la misma u relaci n con el feedback, con hint, etc. As mismo s lo existe la etiqueta XML <score>, o o pero no existen las etiquetas de puntuaci n asociadas a la evaluaci n global, ni a la secci n, o o o ni a los problemas. No obstante dependiendo de si el <score> est debajo de una etiqueta a <section>, <assessment> o de un tipo de problema, los elementos posibles que haya debajo

150

Captulo 4. Especicaci n de Pistas para Aprendizaje Basado en Problemas o

Figura 4.3: Modelo conceptual UML de la especicaci n de pistas o ser n diferentes. En cuanto a los elementos de pistas hintSeq, hintAlt, y hintGroup, estos a representan las etiquetas XML aunque para hintSeq y hintGroup dependiendo de su uso pueden dar lugar a diferentes tipos de pistas. La gura 4.3 muestra todas las posibles combinaciones para conformar instancias. Se observa aqu claramente mediante este diagrama gr co los dos tipos de jerarquas posibles a en la especicaci n. Por un lado, jerarqua entre niveles jer rquicos de pistas (internivel), o a que se maniesta porque existen diferentes caminos que parten de un problem sigue por hint, pasa por diferentes elementos y vuelven al problem de nuevo, que puede tener a su vez un nuevo elemento hint. Por otro lado, jerarqua entre etiquetas de diferentes tipos de pistas (intranivel). Se observa porque salen relaciones de asociaci n entre cualquier combinaci n o o de los tres elementos de tipos de pistas (un total de 9 asociaciones, ya que son combinaciones de tres elementos tomados de dos en dos, pudi ndose repetir y donde importa el orden). e Una vez mostrado el diagrama de clases UML para modelar como componer las diferentes instancias de la especicaci n de pistas, se pasa a mostrar c mo realizar el modelado o o UML de instancias concretas de la especicaci n de pistas. El m todo utilizado en esta o e descripci n es en primer lugar ir comentando los diferentes pasos del m todo general, y o e seguidamente ilustrar con un ejemplo concreto el modelado UML de una instancia particular de material de pistas acorde con la especicaci n denida. Se ha tomado como ejemplo o concreto un problema de ros, cuyo c digo XML acorde a la especicaci n denida se en o o cuentra disponible en el ap ndice II, y del que se describe su ejecuci n en el problema de ros e o del reproductor de pistas en la secci n 4.7. En otras especicaciones de e-learning tambi n o e se han modelado instancias concretas de la especicaci n utilizando diferentes diagramas o UML, as en IMS-LD se utilizan diagramas de actividad para describir instancias concretas

4.5. Modelo UML

151

de IMS-LD. En nuestro caso usaremos diagramas de objetos y diagramas de paquetes para nuestro prop sito, seg n los pasos que se describen a continuaci n. o u o Los pasos para modelar en UML una instancia concreta de material de pistas acorde con la especicaci n denida son los siguientes: o 1. En primer lugar se crea un diagrama de paquetes con el nombre de la evaluaci n o global, el cual contendr como paquetes las diferentes secciones de la que se compone a la evaluaci n global. o 2. Por cada secci n se crea un diagrama de paquetes con el nombre de la secci n, el cual o o contendr como clases los diferentes problemas globales de los que se compone la a secci n. o 3. Para cada problema global se crea un diagrama de objetos con una nota (por ejemplo ubicada en el diagrama arriba a la izquierda) con un atributo indicando que es el nivel cero de la jerarqua de pistas (jerarqua internivel). El objeto raz del diagrama de ob jetos, del cual cuelgan todos los dem s elementos, ser el problema global y llevar su a a a nombre. Los diferentes objetos y relaciones que puede haber en dicho paquete ser n a las mismas que en el modelo conceptual de la gura 4.3, pero particularizadas para el caso concreto de la instancia de material de pistas especca. Adem s se podr n a a a adir como atributos las diferentes caractersticas que denen cada elemento o etin queta (por ejemplo un problema tendr su nombre, la cuesti n, el tipo de problema a o que es, etc. Por simplicidad se pueden s lo poner aquellos atributos de la clase que se o consideren m s signicativas). En este paso se desarrollar n todas las ramas de relaa a ciones que cuelgan del problema global hasta llegar a otros problemas pista, momento en el que se termina dicho diagrama de objetos. Este diagrama se corresponder con a el nivel cero de jerarqua de pistas del problema global, aunque dentro podr tener a varios niveles de jerarqua intranivel combinaci n de los elementos hintSeq, hintAlt, y o hintGroup. Adem s, inicialmente puede haber una primera divisi n de las ramas, para a o pista directa o pista resultado de feedback. 4. Para cada problema pista se crea un diagrama de objetos con una nota (por ejemplo ubicada en el diagrama arriba a la izquierda) con un atributo indicando el nivel en la jerarqua de pistas, que representa en qu nivel internivel de la jerarqua de pistas se e encuentra dicho problema. El objeto raz del diagrama de objetos, del cual cuelgan todos los dem s elementos, ser el problema pista. Los diferentes objetos y relaciones a a que puede haber en dicho diagrama de objetos ser n las mismas que en el modelo a conceptual de la gura 4.3, pero particularizadas para el caso concreto de la instancia de material de pistas especca. Las relaciones entre elementos que est n por debajo a de un problema pista son las mismas que un problema global, por lo cual el aspecto de relaciones de los diagramas de objetos de este paso es exactamente an logo al del a paso anterior para problemas globales. Tambi n, igualmente se podr n a adir como e a n atributos las diferentes caractersticas que denen cada elemento o etiqueta, pero en este caso es de relevancia notar que algunos de estos atributos pueden variar en el problema pista ya que hay ciertas caractersticas que varan con respecto a problemas globales. En este paso se desarrollar n todas las ramas de relaciones que cuelgan del a problema pista hasta llegar a otros problemas pista, momento en el que se termina

152

Captulo 4. Especicaci n de Pistas para Aprendizaje Basado en Problemas o dicho diagrama de objetos. Este diagrama se corresponder con la rama de problema a pista de un determinado nivel de jerarqua internivel de pistas del problema global, aunque dentro podr tener varios niveles de jerarqua combinaci n de etiquetas hina o tSeq, hintAlt, y hintGroup. Adem s, inicialmente puede haber una primera divisi n de a o las ramas, para pista directa o pista resultado de feedback.

5. El paso anterior se repite indenidamente para cada nivel de jerarqua de pistas inter nivel hasta que los problemas pista resultantes no tengan pistas asociadas a ellos, ni directamente ni como resultado de feedback. A continuaci n se pasa a ilustrar este m todo general de modelado UML de instancias o e de la especicaci n de pistas, con un ejemplo concreto. Este ejemplo es un problema de ros, o del que se puede ver su descripci n XML en el Ap ndice II y ejecut ndose en el reproductor o e a de pistas implementado en la secci n del reproductor de pistas. En este caso vamos a obviar o los pasos 1 y 2 sobre las secciones y la evaluaci n global, ya que en este caso nos centramos o en un problema concreto, y los otros pasos son triviales. En primer lugar se generara el diagrama de objetos de la gura 4.4, que tiene como objeto raz el problema global de relleno de blancos. Este problema de ros tiene una serie de atributos asociados a la clase problema a la que pertenece. Estos atributos junto con sus valores son isHint=No indicando que no es un problema parte de una pista sino un problema global, numberofsolutions=5 indicando que se piden rellenar 5 blancos de ros, question=Write 5 rivers... indicando el inicio de la cuesti n que plantea dicho problema, y o type=FIB indicando que es un problema de tipo relleno de blancos. Realmente un problema tiene m s atributos asociados pero s lo se han puesto los que se consideraban m s relevantes a o a en este caso y se han obviado otros, esto es por simplicidad para no aumentar la complejidad del gr co. No obstante se podran a adir otros como todos los asociados a la puntuaci n del a n o problema, o las diferentes opciones que se dan al usuario si fuera un problema de m ltiple u elecci n o de m ltiple respuesta. Para una descripci n detallada de este problema se puede o u o ver la secci n donde se explica su ejecuci n en el reproductor de pistas, o en su descripci n o o o en XML en el Ap ndice II. e En el diagrama de la gura 4.4 se observa que hay diferentes feedback ante diferentes tipos de respuesta a ese problema (correcta, incorrecta, o error de sintaxis), pero no se muestra el texto asociado a dicho feedback, esto es para simplicar el diagrama, aunque se podra haber puesto como atributo de cada uno de los objetos correct, incorrect y syntaxE rror. Adem s como feedback no hay ninguna pista asociada, porque en tal caso debera salir a una echa a alg n objeto de la clase hint cosa que no se observa en el digagrama. Sin emu bargo, s que existe una pista de grupo que est disponible directamente compuesta por tres a subpistas de las cuales se pueden escoger un m ximo de dos (eso se indica por el valor del a atributo maxtoselect). La primera de ellas es una pista de secuencia que est compuesta por a otros dos problemas pista: uno de m ltiple elecci n (sin pista asociada) y otro de m ltiple u o u respuesta (con pista asociada). Como aqu ya se ha llegado a problemas pista no se sigue en este diagrama para representar elementos que est n por debajo de ellos. Los otros dos e componentes de la pista de grupo son problemas de m ltiple elecci n. De nuevo, una vez u o llegado a este punto el diagrama se para en su representaci n en esa rama al haber llegado o a problemas pista. De estos problemas pista no se ponen sus atributos en este diagrama de objetos, ya que cada diagrama de objetos s lo tendr atributos de un problema que ser el o a a

4.5. Modelo UML

153

Figura 4.4: Diagrama de Objetos UML de instancia de pistas de nivel cero de jerarqua objeto raz y que est arriba de todo, y que se continuar haciendo por cada subrama has a a ta encontrar problemas pista. Los atributos de esos problemas pista se podr n visualizar en a otros diagramas de objetos especcos para ellos. De nuevo es de destacar que al igual que en los problemas o tipos de feedback, s lo se o representan los atributos que queremos en cada momento para el resto de elementos tales como hintSeq o hintGroup. As por ejemplo para hintSeq se dice que en este caso todos los elementos estar n disponibles de una vez cuando un alumno solicita esta pista, en lugar de a que se vayan mostrando uno por uno seg n los vaya solicitando el alumno en orden. No u obstante se podra hacer una descripci n m s detallada de atributos de cada elemento, por o a ejemplo en hintGroup se podran incluir los textos asociados a la meta-informaci n. Todo o depender del prop sito del diagrama, y en ocasiones esa informaci n puede ser relevante a o o para el prop sito concreto. Finalmente, se puede notar que en la gura 4.4 se marca con una o nota a la izquierda el nivel de jerarqua de pistas, que en este caso es 0 puesto que es un problema global y no un problema pista. Para cada uno de los cuatro problemas pista de primer nivel de jerarqua internivel que se ven en el diagrama de objetos de la gura 4.4 se debe generar un diagrama de objetos especco. Como tres de esos problemas pista no tienen ninguna pista adicional asociada a ellos, entonces su diagrama ser muy sencillo, conteniendo tan s lo como objeto el propio a o problema pista con sus atributos y el feedback de texto si es que existe. A modo de ejemplo se muestra en la gura 4.5 el diagrama de objetos de uno de los problemas de m ltiple elecci n. u o Al no tener pistas, entonces de esos problemas no colgar n nuevos problemas pista, por lo a cual no se generar n m s diagramas de objetos asociados. En la nota de etiqueta asociada a a est escrito el nivel 1, dado que son problemas pista asociados directamente al problema a global.

154

Captulo 4. Especicaci n de Pistas para Aprendizaje Basado en Problemas o

Figura 4.5: Diagrama de Objetos UML de instancia de pistas para problema sin pistas de nivel 1 de jerarqua Para el problema de m ltiple respuesta llamado longestriver que se puede visualizar u en la gura 4.4, el cual tiene una pista asociada, se genera un nuevo diagrama de objetos, este diagrama se ha representado en la gura 4.6, y constituye un diagrama de nivel de jerarqua 1 ya que es un problema pista asociado directamente al problema global. Aqu de nuevo hay una pista de grupo pero ahora compuesta de otros dos problemas pista, estos ya sin nuevas pistas asociadas. Por lo tanto, se requerir n dos nuevos diagramas de objetos, uno a para cada problema (de nivel de jerarqua 2), pero acabar ah la representaci n de diagramas a o de objetos ya que esos dos problemas pista no tienen asociados nuevas pistas.

4.6.

Herramienta de Autor

Los sistemas reproductores de pistas cargar n, interpretar n, y reproducir n instancias a a a XML de c digo de problemas con pistas acorde con la especicaci n denida. La mayora de o o los profesores no tienen grandes conocimientos tecnol gicos, por lo cual no pueden escribir o c digo XML directamente que represente material de pistas. Sin embargo, los profesores o tienen un gran conocimiento sobre las materias que imparten, y sobre c mo evaluar dichas o materias ofreciendo la ayuda y pistas necesarias durante el proceso de evaluaci n. El reto es o por lo tanto integrar a estos profesores y sus conocimientos para que puedan usar las nuevas tecnologas de la informaci n, en este caso para elaborar material de pistas para e-learning. o Si bien escribir XML directamente no est al alcance de la mayora de profesores, escria bir UML, seg n el mapeo comentado en la anterior secci n, tampoco est al alcance de la u o a mayora de profesores. Por lo tanto, el crear una herramienta de autor UML para la especi caci n de pistas y luego transformarlo a XML no cubrira el objetivo marcado. Lo que se o necesita es crear una herramienta de autor de problemas con pistas acorde con la especicaci n, que sea f cil de utilizar por profesores, utilizando t rminos y un lenguaje natural que o a e le sea propio y sencillo a profesores. Se ha dise ado una herramienta de autor que puede generar cualquier expresividad de n la especicaci n de pistas, que es f cil de utilizar por parte de profesores sin grandes conoo a cimientos tecnol gicos. Los profesores s lo necesitan rellenar una serie de formularios en o o t rminos que son f ciles de entender por profesores, por lo cual tan s lo se necesitara una e a o instrucci n mnima a profesores para utilizarla. Esta herramienta de autor se ha implementao do en el siguiente proyecto n de carrera [14] utilizando servlets, JSPs, y Struts, y se ejecuta como un contexto dentro del servidor Web Tomcat.

4.6. Herramienta de Autor

155

Figura 4.6: Diagrama de Objetos UML de instancia de pistas para problema con pistas de nivel 1 de jerarqua

Aunque para los profesores es transparente el XML de la especicaci n de pistas, ya que o ellos s lo ven cosas en lenguaje natural que les son cotidianas, nalmente lo que se genera o son instancias XML que cubren todas las posibilidades comentadas de nuestra especicaci n o de pistas. A continuaci n se muestra esta herramienta de autor a trav s de un ejemplo representao e tivo de un problema de combinatoria. Se ir n viendo los diferentes formularios de la herraa mienta de autor, y como el profesor los va rellenando siendo sencillo para el por el lenguaje utilizado. A trav s del ejemplo se puede observar c mo se puede conseguir a trav s de la e o e herramienta de autor cualquier combinaci n posible de la especicaci n de pistas denida. o o La primera pantalla que nos encontramos en la herramienta de autor (gura 4.7), es para denir los par metros de la evaluaci n global, aqu el profesor pone el nombre de la a o evaluaci n global (en este caso combinatoria), el nombre del manejador que interpretar el o a chero XML generado (viene un valor por defecto de la ultima versi n del software, para o que el profesor no tenga que modicarlo si no sabe sobre el signicado de este par metro), a si los alumnos ver n la puntuaci n global de la evaluaci n o no, y la puntuaci n m xima a o o o a normalizada (en este caso se pone a 10 puntos). Mediante el bot n de A adir Secci n se o n o pueden a adir cuantas secciones se quieran en la evaluaci n global. Se puede a adir una n o n pista asociada a la evaluaci n global, seleccionando el tipo de pista, color de fondo, etc. y o presionando nalmente el bot n de A adir. En este ejemplo no tenemos una pista de evaluao n ci n, pero los campos del formulario a rellenar son los mismos que una pista de problema, o que s se ver posteriormente en el ejemplo presentado. a

156

Captulo 4. Especicaci n de Pistas para Aprendizaje Basado en Problemas o

Figura 4.7: Evaluaci n Global en la Herramienta de Autor o La siguiente pantalla de la herramienta de autor (gura 4.8), es relativa a la denici n de o una secci n de la evaluaci n global, donde se pueden establecer los diferentes par metros de o o a una secci n. El profesor pone el nombre de la secci n (en este caso Conceptos B sicos), si o o a los alumnos ver n la puntuaci n de la secci n o no, y la puntuaci n m xima normalizada (en a o o o a este caso se pone a 10 puntos). Mediante el bot n de A adir del apartado Contenido de la o n Secci n se pueden a adir los diferentes problemas a la secci n. Sobre los problemas a a adir o n o n se debe seleccionar antes su tipo (m ltiple elecci n, m ltiple respuesta, relleno de blancos, u o u o respuesta corta) mediante el combox asociado. Se puede a adir una pista asociada a la n secci n, seleccionando el tipo de pista, color de fondo, etc. y presionando nalmente el bot n o o de A adir. En este ejemplo no tenemos una pista de secci n, pero los campos del formulario n o a rellenar son los mismos que una pista de problema, que s se ver posteriormente en el a ejemplo presentado. La gura 4.9 muestra la edici n de un problema en la herramienta de autor. En este o caso es un problema de relleno de blancos. El problema en cuesti n es un problema gloo bal, aunque los par metros a rellenar son muy similares a la edici n de un problema pista. a o Los profesores pueden rellenar la pregunta, el n mero de soluciones que se piden (una para u este problema), las soluciones (en este caso es 10000). Para este problema se congura la puntuaci n como activa y visible para los alumnos. Al estar activa la puntuaci n, todos los o o par metros relacionados con la puntuaci n se hacen visibles (en caso de que no estuviera aca o tiva, el profesor no podra introducir esos par metros de puntuaci n, ya que desapareceran a o de la herramienta de autor). Todos los puntos introducidos est n en escala absoluta. En este a caso el m ximo son 100 puntos, pero se ha normalizado a 10 para que los alumnos puedan a verlo en esta escala cuando miren el ejercicio. Las penalizaciones correspondientes y bonicaciones son tambi n conguradas en esta pantalla. Como es un problema global habr un e a coeciente de secci n, lo cual es una diferencia con respecto a un problema pista. Se puede o

4.6. Herramienta de Autor

157

Figura 4.8: Secci n en la Herramienta de Autor o

asociar un tipo de pista (en este caso una pista de grupo es la que se ha elegido) al problema pulsando el bot n de A adir pista. Los profesores pueden seleccionar tambi n el color de o n e fondo de la pista que va a aparecer. Existe un combox para que el profesor vea el efecto del color a elegir, en lugar de que tenga que poner su c digo HTML. Finalmente, los profesores o pueden a adir feedback asociado al problema pulsando el bot n correspondiente. n o En la gura 4.10 se visualiza el feedback o realimentaci n del problema de la gura 4.9. o En ese formulario se puede rellenar el texto a mostrar ante una respuesta correcta, ante una respuesta incorrecta, o ante una respuesta con un error de sintaxis. Adem s, se puede a adir a n una pista asociada al feedback, seleccionando su tipo y luego presionando el bot n A adir. o n Esta pista o ayuda, en caso de a adirse, se habilitara a los alumnos s lo en caso de que n o contestaran incorrectamente. Por lo tanto una contestaci n incorrecta al problema, tendra o en este caso dos efectos: mostrar el texto asociado de feedback ante respuesta incorrecta, y habilitar la pista de feedback asociada. En este ejemplo no tenemos una pista de feedback asociada al problema, pero los campos del formulario a rellenar son los mismos que una pista de problema no asociada al feedback, que s se ver en la pr xima gura del ejemplo a o presentado. La gura gura 4.11 muestra el men inicial para una pista de grupo. El profesor puede u seleccionar el texto que los alumnos ver n como descripci n, y la meta-informaci n com n a o o u sobre las subpistas. Se pueden a adir diferentes componentes de la pista de grupo mediante n el bot n A adir. En este caso se est a adiendo una problema de m ltiple elecci n como o n a n u o parte de esta pista. En este caso se a adir n un total de dos subpistas que compondr n el n a a grupo, de las cuales el alumno podr seleccionar un m ximo de una, seg n est indicado a a u a en el par metro correspondiente. Es de notar que se podra a adir en esta pantalla alguna a n pista de secuencia, o de alternativa como parte de la pista de grupo y seguir este anidamiento

158

Captulo 4. Especicaci n de Pistas para Aprendizaje Basado en Problemas o

Figura 4.9: Problema Global en la Herramienta de Autor

Figura 4.10: Feedback en la Herramienta de Autor

4.6. Herramienta de Autor

159

Figura 4.11: Pista de Grupo en la Herramienta de Autor

jer rquico un n mero indeterminado de veces (jerarqua intranivel), pero los componentes a u nales at micos acabaran siendo problemas. El nivel jer rquico (tanto internivel como ino a tranivel) en el que nos encontramos en un determinado momento en la herramienta de autor se puede deducir de la informaci n que se encuentra a la izquierda de la pantalla en el aparo tado de Ubicaci n. Aqu se ver donde nos encontramos en este momento y las etiquetas o a XML anidadas que hay por encima del elemento actual que estamos editando. Si bien esta indicaci n proporciona una ayuda de nuestra ubicaci n actual, no proporciona informaci n o o o global completa de qu otros problemas est n en el mismo nivel de la jerarqua, o de otras e a ramas del arbol, etc. Para esa visi n global, una representaci n gr ca como la de UML es o o a m s adecuada, pero no se ha utilizado en esta herramienta de autor por simplicidad para los a profesores y dise adores de cursos. n Finalmente, en la gura 4.12 observamos uno de los problemas de m ltiple elecci n que u o compone la pista de grupo. Se puede observar que hay campos diferentes en este problema por ser de m ltiple elecci n respecto al visto en la gura 2 de relleno de blancos. Adem s, u o a por el hecho de ser un problema de pista, en lugar de un problema global, tambi n hay e ciertas diferencias entre los problemas de las guras 4.9 y 4.13, a pesar de que muchos de los campos son iguales por el hecho de ser ambos problemas. En la gura 4.13, se observa una meta-informaci n (texto posterior a la selecci n) que est relacionada con ser una subpista o o a dentro de la pista de grupo. Otra diferencia del problema pista es el coeciente de peso en la puntuaci n referido al problema padre del cual es pista. Este coeciente indica el peso en o la penalizaci n o bonicaci n de este problema pista con respecto al total de bonicaci n o o o o penalizaci n en el ejercicio. Para un mismo nivel de jerarqua de pistas, la suma de todos o estos coecientes de problemas pista tiene que ser uno. Para ayudar a los profesores en este prop sito al lado de este coeciente se pone la suma acumulada hasta este momento para que o

160

Captulo 4. Especicaci n de Pistas para Aprendizaje Basado en Problemas o

Figura 4.12: Problema Pista en la Herramienta de Autor

4.7. Reproductor de Pistas Implementado en XTutor

161

el profesor pueda ver cu nto le falta para llegar a uno. Por el contrario, el problema global a no tiene este coeciente al no tener un problema padre, y sin embargo tiene un coeciente para ver el peso que representar la puntuaci n en la puntuaci n de la secci n. Se puede ver a o o o que de nuevo existe la opci n de seleccionar una nueva pista asociada a este problema pista o de m ltiple elecci n. El proceso para denir una nueva pista sera muy similar al visto, y u o este proceso se puede repetir indenidamente, consigui ndose el concepto de jerarqua de e pistas. Cuando se ha denido todo lo relacionado con una evaluaci n global, se van aceptando o todas las pantallas de la herramienta de autor, volviendo a una pantalla parecida a la de la gura 4.7. Desde esa pantalla, la nueva descripci n de problema con pistas generada se o puede visualizar en c digo XML. Este XML se corresponde con una instancia de problema o con pistas acorde con la especicaci n denida (aunque al profesor la descripci n XML le o o es transparente en el proceso). Tambi n en esa pantalla existe un bot n para que se pueda e o almacenar esa descripci n en la herramienta de autor para en futuras ocasiones cargarla y o poder editarla en lugar de empezar desde cero. Adem s tambi n existe la opci n de exportar a e o como un archivo XML para ser guardado y poder ser exportado a cualquier reproductor de pistas compatible con nuestra especicaci n. Adicionalmente, desde una pantalla anterior, la o herramienta de autor permite importar cheros XML acordes con la especicaci n de pistas, o de forma que si esos cheros est n ya generados desde otras herramientas, se puedan editar a y utilizar en la herramienta de autor sin necesidad de empezar la descripci n de ese material o de pistas desde cero.

4.7.

Reproductor de Pistas Implementado en XTutor

En esta secci n se presenta el reproductor de pistas que se ha implementado como una o extensi n al tutor inteligente XTutor. Este reproductor de pistas est acorde con las caraco a tersticas de la especicaci n denida, y puede cargar, interpretar y reproducir cheros XML o que representan problemas con pistas de la especicaci n. De esta forma, los alumnos pueo den conectarse va Web al reproductor de pistas, y ver los diferentes problemas con pistas para interaccionar con ellos. Los profesores pueden generar sus materiales XML acorde con la especicaci n para cargarlos y que se reproduzcan en esta herramienta. Es decir, de eso ta forma se puede usar el modelo planteado en una herramienta, se pueden tomar datos y tambi n proceder a una serie de evaluaciones, lo cual se aborda en el siguiente captulo. e La secci n se ha dividido en varias subsecciones. En primer lugar se ofrece una introo ducci n al tutor inteligente XTutor. Seguidamente se ofrece una analoga entre la tecnologa o de XTutor y la tecnologa J2EE. A continuaci n se presentan los aspectos generales de la o extensi n que hemos implementado de XTutor para reproducir pistas de acuerdo a la especio caci n denida. En la siguiente secci n, se ofrecen una serie de ejemplos de problemas con o o pistas acordes con la especicaci n, ejecut ndose en XTutor. Esta elecci n de materiales de o a o pistas es representativa de los diferentes aspectos de la especicaci n de pistas, y se puede o visualizar como se materializan las diferentes caractersticas en la herramienta reproductora de problemas con pistas, viendo tanto los aspectos de presentaci n, como de ejecuci n de o o las diferentes caractersticas de pistas. La visualizaci n de los diferentes ejemplos en el re o productor de pistas que ilustran diferentes instancias concretas de la especicaci n, es otra o forma de modelar y denir instancias concretas de la especicaci n de pistas. Finalmente se o

162

Captulo 4. Especicaci n de Pistas para Aprendizaje Basado en Problemas o

dedica una subsecci n a detalles de la implementaci n. En esa parte se muestran organigrao o mas sobre los algoritmos codicados en el lenguaje de programaci n python para conseguir o el reproductor de pistas. El c digo en s en python representa otra de las formas de modelar la o especicaci n de pistas en global. Pero el c digo tiene adem s de eso otros aspectos que no o o a son objeto de la especicaci n, como puede ser condiciones de presentaci n visual de la heo o rramienta. No obstante los organigramas presentados son de alto nivel (por lo que no tienen todos los detalles del c digo) y adem s s lo se centran en los aspectos de la especicaci n o a o o de pistas.

4.7.1.

Introducci n a XTutor o

XTutor [198] es una herramienta desarrollada en el MIT (Massachusetts Institute of Technology) en el contexto del proyecto iCampus [199]. Los detalles t cnicos de la herramienta e pueden obtenerse en [198]. Esta subsecci n del captulo es un resumen de la documentaci n o o all ofrecida. XTutor es un servidor Web que est programado en python y que hace uso de la base a de datos PostgreSQL. Por su arquitectura, permite el tratamiento y manipulaci n de cheros o XML de una forma sencilla y potente. En el servidor est n ubicados un conjunto de cheros a XML denominados XDOC que se pueden acceder mediante la URL poniendo el nombre y ruta adecuados. La instalaci n es muy sencilla e intuitiva y se puede realizar tanto en o Windows como en Linux. La informaci n que guarda XTutor a trav s de su base de datos PostGreSQL es la sio e guiente: Usuarios. Se guarda nombre, contrase a, e-mail, etc. de cada alumno o profesor. Cada n alumno puede requerir autenticaci n para acceder a los diferentes contenidos. o Documentos. Se guarda informaci n de cada XDOC que est en el servidor como tipo o a de documento, uri, da de publicaci n o da de vencimiento. o Estado de documento por usuario. Asocia un estado a cada par usuario-documento. Interacciones. Da informaci n de cada vez que un usuario pide un determinado o XDOC. Item de Interacci n. Tiene informaci n del valor de cada campo entregado al solicitar o o un usuario un determinado XDOC. La forma que tiene XTutor de operar es la siguiente: Cuando un usuario pide un chero XDOC (ya sea petici n HTTP GET o POST), la herramienta lo parsea y crea un arbol de o objetos XMLTag, importando todos los cheros python (py) que se referencien en los espacios de nombres del XDOC. Toda etiqueta XML del XDOC ser procesada acorde con a el c digo de alg n archivo py de los que hay en el espacio de nombres. Seguidamente se o u pasa a pedir la autenticaci n del usuario (bien mediante contrase a o por certicados) en o n caso de que save state est como atributo en el nodo raz del XDOC. A continuaci n, se e o construye una variable denominada answers dict que contiene todos los par metros que viea nen de una petici n POST o bien los par metros guardados en la ultima iteracci n de una o a o

4.7. Reproductor de Pistas Implementado en XTutor

163

petici n GET si el atributo savestate estaba presente. Luego se pasa a llamar al m todo hando e le request (answer dict) del nodo raz del XDOC. Desde este m todo se puede ir llamando a e sus hom nimos de nodos XML, ejecutando lo que sea conveniente para cada nodo del XML. o Entre la artillera que se dispone para ejecutar asociada a cada nodo, est cualquier estruc a tura permitida en el lenguaje de programaci n python, recuperar el valor de los argumentos o que vienen en answers dict, coger valores de atributos de dicha etiqueta, utilizar cualquier utilidad del API que proporciona XTutor o generar c digo HTML. Adem s, en caso de que o a e o save state est activado, se puede ir almacenando la informaci n que queramos en el estado, de forma que ese usuario conservar dicha informaci n durante diferentes accesos a dicho a o XDOC. Finalmente la respuesta con el HTML generado (ser la suma de todas las respuestas a de los nodos por los que se va pasando) se le presenta al alumno. Finalmente, comentar que el API que proporciona XTutor, permite grandes posibilidades, tales como conseguir todas las etiquetas hijas de un nodo, buscar diferentes etiquetas en el documento seg n diferentes criterios, recuperar el estado actual, conseguir los atributos u que vienen de una petici n, conseguir los atributos y valores de etiquetas, conseguir el texto o dentro de una etiqueta, etc.

4.7.2.

Analoga de la Tecnologa de XTutor con J2EE

XTutor pone a disposici n un servidor Web capaz de soportar diferentes aplicaciones o Web basadas en p ginas HTML din micas. Los programadores deben realizar sus aplicaa a ciones en el lenguaje python, que es el lenguaje que soporta XTutor. En este sentido existe una analoga con la tecnologa J2EE, ya que mediante la misma tambi n se pueden realizar e aplicaciones Web basadas en p ginas HTML din micas pero programadas en este caso con a a la ayuda de Java en lugar de python. Aparte de esta analoga general, a lo largo de la implementaci n del reproductor de o pistas, hemos notado otras similitudes y diferencias entre diferentes aspectos de J2EE y la tecnologa usada en XTutor. Debido a que la tecnologa J2EE est ampliamente extendida a y sus conceptos son conocidos por un amplio margen de desarrolladores, pensamos que el establecer las comparaciones con respecto a la tecnologa de XTutor puede resultar muy interesante y que puede ayudar a la comprensi n en general de cualquier implementaci n y o o en concreto para el reproductor de pistas. La tabla 4.1 ofrece una comparaci n de una serie o de aspectos entre XTutor y J2EE.

4.7.3. Aspectos Generales de la Extensi n de XTutor para la Provisi n de Piso o tas

La manera de procesar del servidor XTutor, que es orientado a etiquetas XML, pudiendo pasar por las diferentes etiquetas haciendo una acci n de procesado para cada una, hace que o sea propicio y especialmente sencillo para la manipulaci n de tales cheros y en particular o de especicaciones de e-learning que tienen una correspondencia en XML. Para la especicaci n de pistas, se ha implementado un archivo en python denominado o hints.py. En este chero se ubicar n tantas clases como etiquetas con nombres diferentes a tiene nuestra especicaci n de pistas, expresadas con la siguiente sintaxis: o class tagnombreetiqueta(XMLTag):

164

Captulo 4. Especicaci n de Pistas para Aprendizaje Basado en Problemas o

Aspecto a comparar Lenguaje de programaci n empleado o Procesado din mico se a produce tras la petici n de o ... Forma de procesamiento

J2EE Cualquier cosa permitida en Java Servlets, JSPs, EJBs

XTutor Cualquier cosa permitida en python XDOCS (son archivos XML)

A trav s de los m todos e e doGet, doPost, doService, etc.

Par metros de la petici n a o Manipulaci n de cheros o XML (obtener atributos, realizar b squedas de etiu quetas, etc.) Base de datos Informaci n de Sesi n o o

En el objeto request API JDOM. Permite gran potencialidad

Desde el m todo hande le request del nodo raz del XML y por los otros m todos e handle request de otros nodos XML que se vayan llamando recursivamente En answer dict API Propietario de XTutor escrito en python. Permite gran potencialidad Por defecto con una serie de tablas Se mantiene en document state, pero esta informaci n se mantiene ante o diferentes login y no s lo hasta o cerrar el navegador En XDOCS directamente con etiquetas HTML. En chero python a trav s de librera ese pecial

Inicialmente sin tablas denidas En el objeto session, se mantiene mientras no se cierre el navegador

Generaci n del HTML o

En JSPs directamente con etiquetas HTML. En servlets a trav s del objeto e response

Tabla 4.1: Comparaci n entre diferentes aspectos de J2EE y XTutor o

4.7. Reproductor de Pistas Implementado en XTutor

165

Para cada clase existir un m todo de procesado de dicha etiqueta, de forma que dentro se a e ubicar n todas las acciones de procesado asociadas a dicha etiqueta. La sintaxis de denici n a o de dicho m todo es la siguiente: e def handle request(self, answer dict,**kw): En la subsecci n de implementaci n del reproductor de pistas se mostrar n y explicar n o o a a los organigramas reducidos de los diferentes m todos de procesado de algunas de las etiquee tas de la especicaci n de pistas. o

4.7.4. Ejemplos de la Especicaci n de Pistas Ejecut ndose en XTutor o a

En esta subsecci n se muestran algunos ejemplos de materiales de pistas creados de o acuerdo con la especicaci n de pistas, y ejecut ndose en el reproductor de pistas de XTutor o a implementado. De esta forma, se puede ver la visi n que tienen los alumnos de las caraco tersticas de la especicaci n cuando est n interaccionando con material de problemas con o a pistas. Se han elegido los ejemplos de forma que sean representativos para cubrir las diferentes caractersticas de la especicaci n. o Ejemplo 1: Problema de Enterprise Java Beans La gura 4.13 muestra la evoluci n de las interacciones de un alumno con un problema o con pistas sobre Enterprise JavaBeans (EJBs). Inicialmente (gura 4.13, a) el alumno recibe una cuesti n de m ltiple elecci n con cuatro opciones sobre una aplicaci n de EJB vista o u o o en clase de laboratorio. Seguidamente, el alumno presiona el bot n + solicitando ayuda, o momento en el cual se abre una nueva pantalla (gura 4.13, b) con meta-informaci n relativa o a dos pistas (en este caso es una pista de grupo). El alumno puede seleccionar una o dos pistas pero hay un aviso de que perder 2 puntos en la puntuaci n global por ver cada una a o de las pistas y que el alumno puede perder o ganar puntos por responder correctamente o incorrectamente las pistas. Adicionalmente, se presenta una meta-informaci n relativa a la o materia que se abarca en cada una de las pistas (una sobre los servlets de la aplicaci n, o y otra sobre los beans de sesi n sin estado). Finalmente, la pantalla nal que se muestra o (gura 4.13, c) muestra el estado nal de las interacciones del usuario con el ejercicio. El alumno seleccion ver la segunda pista (en relaci n con el bean de sesi n sin estado) por o o o lo que perdi 2 puntos, pero como respondi correctamente la pista gan 1.5 puntos. Por lo o o o tanto, como nalmente respondi correctamente al problema inicial, su puntuaci n nal en o o el problema es de 9.5 Ejemplo 2: Problema de Suma La gura 4.14 muestra un ejemplo de problema suma con pistas en un momento espec co de la interacci n de un alumno. o Inicialmente, el alumno ve s lo un problema global de relleno de blancos que es la suma o 17 + 32 + 121 + 23. El alumno puede solicitar una pista presionando el bot n del smbolo o m s. Cuando lo hace, en ese momento se le muestra una pista de secuencia compuesta por a tres problemas de relleno de blancos. Los tres problemas pista de nivel 1 en la jerarqua son 121 + 23, 17 + 32, y (17 + 32) + (121 + 23). Si el alumno hubiera presionado el bot n m s o a relacionado con 17 + 32, entonces se le hubiera mostrado por pantalla una pista asociada a

166

Captulo 4. Especicaci n de Pistas para Aprendizaje Basado en Problemas o

Figura 4.13: Interacciones de un alumno con un ejercicio con pistas sobre EJBs en XTutor

Figura 4.14: Ejercicio de suma ejecut ndose en el reproductor de pistas de XTutor a

4.7. Reproductor de Pistas Implementado en XTutor

167

dicho problema. En esta interacci n, el alumno solicit una pista relacionada con 121 + 23, y o o entonces en ese momento se le mostr una pista de secuencia compuesta por tres problemas o de relleno de blancos. Los tres problemas pista de nivel 2 en la jerarqua son 3 + 1, 20 + 20, y (100) + (20 + 20) + (3 + 1). De la misma forma, el problema 20 + 20 tiene una pista compuesta por tres problemas pista de relleno de blancos, las cuales son problemas pista de nivel 3 en la jerarqua. Si se conforma el arbol de problemas como en la gura 2, entonces las hojas de las ramas son problemas que no tienen asociadas pistas, tal como 3 + 1, para los cuales no hay posibilidad de solicitar pistas. Cuando un alumno presiona el bot n Check, o aparecer un feedback o realimentaci n a la derecha de cada problema (ya sea problema a o global o problema pista) con el feedback especco para cada problema dependiendo de si la respuesta a dicho problema es correcta, incorrecta, o un error de sintaxis. Ejemplo 3: Problema de Ecuaciones La gura 4.15 muestra un problema sobre ecuaciones en un momento especco de la interacci n de tres alumnos con tres perles diferentes. El material que proporciona el o reproductor de pistas de XTutor depende del perl del alumno. Si el alumno tiene un perl denominado suma (caso a de la gura 4.15) entonces al alumno se le proporciona un conjunto de pistas relacionadas con la suma. Si el alumno tiene un perl denominado recordatorio (caso b de la gura 4.15) entonces al alumno se le proporciona un conjunto de pistas para que recuerde la ecuaci n para el c lculo de races. Finalmente, si el alumno tiene un perl o a de resolverecuaciones (caso c de la gura 4.15), entonces el alumno recibir un conjunto de a pistas en la que se le mostrar al alumno otras ecuaciones m s sencillas de resolver. a a En este ejemplo presentado, el problema global es de m ltiple elecci n. Para el perl u o de suma del alumno, este podr solicitar pistas sucesivas. En el primer nivel, hay un proa blema de relleno de blancos como pista. En el segundo nivel, hay un problema de m ltiple u elecci n como pista. Finalmente, en el tercer nivel, hay una pista de secuencia compuesta o por un problema de m ltiple elecci n y dos problemas de relleno de blancos. Si el perl del u o alumno es recordatorio, entonces el alumno podr solicitar una pista que es un texto en lua gar de un problema. Sin embargo, si el perl del alumno es resolverecuaciones, entonces el alumno podr solicitar sucesivas pistas. En este ejemplo hay dos niveles de pistas que est n a a compuestas por problemas de relleno de blancos. Ejemplo 4: Problema de Ros En este ejemplo, el problema global es de relleno de blancos. La gura 4.16 muestra un momento especco de la interacci n del alumno con este ejercicio. En el problema global, o al alumno se le pregunta por 5 ros entre los 10 m s largos de Espa a. Es por lo tanto a n un problema de relleno de blancos con 5 soluciones a rellenar por el alumno. El alumno pierde puntos en dicho problema por cada intento incorrecto que realiza. Seguidamente el alumno solicita una pista, que en este caso es una pista de grupo, que la componen otras tres subpistas, de las cuales el alumno puede solicitar un m ximo de dos de ellas. Para a tomar la decisi n sobre qu pistas ver, al alumno se le ofrece una ayuda que le da una metao e informaci n sobre cada una de las subpistas (tales como las penalizaciones en la puntuaci n, o o las bonicaciones, la materia que aborda la pista, etc.) El alumno pierde puntuaci n por ver o las subpistas y nalmente recibe un mensaje (You cannot select more hints of this group. You

168

Captulo 4. Especicaci n de Pistas para Aprendizaje Basado en Problemas o

Figura 4.15: Ejercicio de Ecuaciones ejecut ndose en el reproductor de pistas de XTutor a para diferentes perles

4.7. Reproductor de Pistas Implementado en XTutor

169

have exceeded the maximum number to select) debido a que el alumno ha intentado ver m s a pistas de las permitidas en esta pista de grupo (ha intentado ver todas, cuando el m ximo es a de dos). En la gura 4.16 vemos que la primera pista que el alumno decidi ver es una pista de o secuencia compuesta por dos problemas pista: uno de m ltiple elecci n, y otro de m ltiple u o u respuesta. Esta pista de secuencia se corresponde con una pista de primer nivel de jerarqua. Mientras que el problema de m ltiple elecci n no tiene m s pistas asociadas a el, sin emu o a bargo el problema de m ltiple respuesta tiene otra pista de grupo en la cual el alumno puede u seleccionar una pista como m ximo entre dos posibilidades. En este caso, el alumno seleca cion una pista de segundo nivel en la jerarqua que es un problema de relleno de blancos. o Hay que notar que un intento err neo en la resoluci n del problema pista de segundo nivel o o en la jerarqua tiene un efecto en la puntuaci n del problema global de relleno de blancos. o Esto es porque el error causa un decremento en la puntuaci n en el propio problema pista o donde se produce el error, y este decremento es transmitido a trav s de los diferentes niveles e de la jerarqua de pistas a trav s de los par metros UC y HP de acuerdo a las ecuaciones e a de puntuaci n presentadas. De forma an loga, una respuesta correcta en el problema pista o a de segundo nivel de jerarqua tiene una bonicaci n en la puntuaci n del problema global a o o trav s de los par metros UC y HB a lo largo de los diferentes niveles jer rquicos. Adem s, e a a a la visualizaci n del problema pista de segundo nivel de jerarqua tiene un efecto directo de o decremento de puntuaci n en el problema de m ltiple respuesta del primer nivel de jerarqua o u debido al coeciente VP, pero adem s tiene un efecto indirecto sobre la puntuaci n del proa o blema global, debido a los par metros UC y HP de acuerdo a las ecuaciones de puntuaci n a o presentadas. Ejemplo 5: Evaluaci n Global con Problemas y Secciones o La gura 4.17 ilustra un ejemplo donde hay una evaluaci n global con tres seccioo nes. Tanto la segunda secci n como la evaluaci n global tienen una pista asociada a ellas. o o Adem s varios problemas de la secci n tienen pistas asociadas a ellos. Las pistas de la seca o ci n y la evaluaci n global funcionan en una manera an loga a las pistas asociadas a los o o a problemas en los ejemplos que se han mostrado. Notas Finales sobre los Ejemplos Presentados En los ejemplos presentados se han mostrado diferentes caractersticas de la especica ci n de pistas denida, a trav s del reproductor de pistas implementado en XTutor. Debido o e a la multitud de combinaciones de la especicaci n y al intento de tratar de aportar la mao yor simplicidad a la comprensi n de las caractersticas de la especicaci n, los ejemplos no o o muestran la totalidad de combinaciones posibles. Se ha elegido mostrar las m s representaa tivas y aquellas mediante las cuales se pueden deducir el resto. Por ejemplo, una de las caractersticas relevantes que no se ha mostrado en los ejemplos es la provisi n de pistas asociadas a los problemas, pero que s lo aparecen ante respuestas o o incorrectas ante los problemas (es decir, las que se consiguen poniendo la etiqueta hint debajo de la etiqueta feedback). En todos los ejemplos presentados, las pistas de problemas las pueden solicitar los alumnos desde el inicio. No obstante cualquiera de las pistas de esos problemas podra ser s lo ante respuesta incorrecta del alumno ante dicho problema. Lo que o

170

Captulo 4. Especicaci n de Pistas para Aprendizaje Basado en Problemas o

Figura 4.16: Ejercicio de Ros ejecut ndose en el reproductor de pistas de XTutor a

4.7. Reproductor de Pistas Implementado en XTutor

171

Figura 4.17: Evaluaci n Global ejecut ndose en el reproductor de pistas de XTutor o a

172

Captulo 4. Especicaci n de Pistas para Aprendizaje Basado en Problemas o

cambiara sera que el smbolo + para poder solicitar la pista no aparecera al inicio, y tan s lo aparecera una vez que el alumno responde incorrectamente al problema y estando el o smbolo + a la derecha del problema en lugar de a la izquierda. Se puede permitir cualquier combinaci n de pistas activadas como feedback o disponibles desde el inicio, a trav s de los o e diferentes niveles de jerarqua (es decir que a lo largo de la jerarqua unas sean de una forma y otras de otra). Adem s se permite que ambos tipos est n denidos a la vez (una pista que a e est disponible desde el inicio y otra que s lo se active como feedback). a o Otro ejemplo de m s posibilidades, la proporciona las diferentes combinaciones entre a etiquetas <hitGroup>, <hintAlt>, y <hintSeq>, aunque algunas combinaciones de ellas ya se han presentado en los ejemplos.

4.7.5.

Detalles de la Implementaci n del Reproductor de Pistas en XTutor o

En esta subsecci n se explican los detalles de la implementaci n del reproductor de o o pistas como una extensi n a XTutor. Tal como se introdujo en la subsecci n de aspectos o o generales, la manera de procesamiento de XTutor est orientada a etiquetas XML, por lo a cual es id neo para la implementaci n de reproductores de acuerdo a especicaciones de o o e-learning que tienen mapeo en XML. En el caso concreto de la especicaci n de pistas deo nida con el mapeo en XML, XTutor es id neo para extenderlo como reproductor de pistas. o Tal como se coment en la subsecci n de aspectos generales, para cada etiqueta XML de o o la especicaci n de pistas se debe codicar el c digo correspondiente a su procesado. En o o los siguientes p rrafos se mostrar n y explicar n los organigramas reducidos de los diferena a a tes m todos de procesado de algunas de las etiquetas de la especicaci n de pistas, lo cual e o ilustra c mo realizar implementaciones de especicaciones de e-learning en XTutor. o Procesado de Etiquetas de Assessment y Secciones En la gura 4.18 se muestra un organigrama reducido de las operaciones de procesado que se realizan en la etiqueta assessment. Para una etiqueta de secci n el organigrama es o muy parecido teniendo problemas en lugar de secciones. Procesado de Etiquetas de Problemas La gura 4.19 muestra un organigrama reducido sobre el algoritmo gen rico empleado e para procesar cualquiera de los problemas que tienen una correcci n autom tica (relleno de o a blancos, respuesta m ltiple o elecci n m ltiple). u o u Es en la etiqueta de cada problema donde se procesar la puntuaci n de dicho problema, a o en caso de que sobre dicho problema se quiera asociar puntuaci n. Para realizar los c lcuo a los de la puntuaci n se necesita guardar cierta informaci n de estado por cada alumno. En o o concreto, se guardar en document state. Dicha variable es un diccionario de python. Paa ra distinguir cada problema dentro de dicho diccionario de estado, se le asignar un ndice a unico para el mismo. En concreto, se almacenar la puntuaci n actual del alumno, si ya se a o ha visto o no el problema, la penalizaci n actual por intentos, el identicador del problema o padre, si el problema ya ha sido respondido correctamente anteriormente, el coeciente de peso sobre el problema padre, la m xima puntuaci n, el bonus posible por pistas actual y a o m ximo, la penalizaci n posible por pistas actual y m ximo. Al inicio, cuando se obtiene el a o a

4.7. Reproductor de Pistas Implementado en XTutor

173

Figura 4.18: Organigrama reducido para etiqueta assessment estado de puntuaci n del problema, se coge toda esta informaci n y en caso de que sea la o o primera vez que se accede al problema, se inicializa. Luego dependiendo de si dicho problema se ha resuelto correctamente o no y de si es la primera vez que se ve dicho problema, habr una serie de consecuencias sobre los valores a de dicho estado en el propio problema, pero tambi n en los valores de estado de problemas e que est n por arriba en el nivel de jerarqua, esto es por la naturaleza recursiva de las pistas, a lo que hace que el cambio en puntuaci n en un determinado problema pueda ir afectando a o otros problemas del mismo arbol de niveles superiores de la jerarqua. Tambi n es muy interesante notar en el organigrama, que las pistas pueden estar inie cialmente o bien pueden surgir como consecuencia de una respuesta err nea ante dicho o problema, no siendo excluyentes ambas circunstancias. Procesado de Etiqueta de Pista La gura 4.20 muestra un organigrama reducido de la ejecuci n de procesado para la o etiqueta <hint>. Fruto de esta etiqueta, al alumno se le mostrar un bot n para expandir la a o pista y que se visualice u otro para comprimir la pista y que no se vea. En este caso lo que se almacena en el estado ser si la pista debe ser visualizada o no. Se chequea si el alumno ha a presionado alg n bot n la ultima vez para cambiar la visualizaci n y en tal caso se cambia u o o el estado. Finalmente se genera el HTML apropiado, que ser mostrar s lo el smbolo para a o poder expandir la pista (si est seleccionado el no visualizarla) o el smbolo para contraer la a pista junto con todo lo que se tenga que mostrar de la pista en cuesti n (si est seleccionado o a el visualizarla).

174

Captulo 4. Especicaci n de Pistas para Aprendizaje Basado en Problemas o

Figura 4.19: Organigrama reducido para etiquetas de problemas

4.7. Reproductor de Pistas Implementado en XTutor

175

Figura 4.20: Organigrama reducido para etiqueta de pista Una vez visto el procesado de las etiquetas de problemas y de pista, hay que notar la facilidad para conseguir diferentes niveles de jerarqua de pistas gracias a la forma de XTutor de procesado mediante etiquetas XML. Puesto que un problema acabar llamando al procesado a de una etiqueta <hint> y que desde la etiqueta <hint> se acabar llamando al procesado de a problemas (quiz s no directamente porque debajo de una etiqueta <hint> puede haber un a problema o tambi n una etiqueta pista de secuencia, alternativa o grupo. Pero en cualquier e caso los elementos at micos de la pista ser n problemas por lo que se acabar n llamando o a a a sus m todos de procesado), este crculo se puede repetir indenidamente consiguiendo e cualquier nivel de jerarqua internivel con pistas de diferentes niveles. Hay que notar que simplemente hay que programar cada procesado de cada etiqueta por separado y los niveles de jerarqua se pueden conseguir gracias a un efecto similar a la recursividad. Procesado de Etiquetas de Secuencia, Alternativa y Grupo Para el procesado de las pistas de etiqueta secuencia simplemente se llaman en orden a a todos los m todos handle request de las etiquetas hijas. De esta forma se proceder a e ejecutar en secuencia todas las acciones de procesado asociadas a dichas etiquetas. El procesado de las pistas de alternativa consiste en localizar todas las etiquetas hijas. A continuaci n se recorre cada una de ellas, y se compara el perl marcado en dicha etiqueta o con el perl que tiene el alumno en ese momento en el sistema. Finalmente, se acabar llaa mando a los m todos de procesado handle request de todas las etiquetas cuyo perl coincida e y mostrando el HTML apropiado. El procesado de las etiquetas de pistas de grupo es m s complejo y un organigrama a reducido de las mismas puede observarse en la gura 4.21. En el caso de las pistas de grupo, lo que se guarda en el estado por cada etiqueta es el n mero de subpistas que el alumno u ha visualizado hasta ese momento y una lista con tantos elementos como subpistas tenga el grupo. Cada elemento de la lista puede tener uno de entre tres valores que representan:

176

Captulo 4. Especicaci n de Pistas para Aprendizaje Basado en Problemas o

Figura 4.21: Organigrama reducido para etiqueta de grupo subpista se debe visualizar, subpista no se debe visualizar pero fue visualizada en alg n u momento, subpista no ha sido visualizada previamente nunca antes. En funci n del identicador que venga en el answer dict con un valor, se sabr sobre o a que subpista el alumno ha realizado una acci n (puede ser de intentar expandir o contraer la o subpista). Si es de contraer siempre se realizar . En caso de ser de expandir s lo se har si a o a el n mero de subpistas vistas es menor al m ximo o si esa subpista ya se vio previamente. u a Procesado de Otras Etiquetas Existen muchas etiquetas de la especicaci n de pistas cuyo procesado es muy simple. o Eso no signica que todas estas etiquetas no tengan una sem ntica importante sino que el a procesado de su signicado se pasa a hacer en otras etiquetas. Se pueden distinguir dos tipos de estas etiquetas. 1. Aquellas cuyo procesado es mostrar el texto que haya dentro. Entre estas se encuentran las etiquetas para expresar la pregunta, la respuesta correcta o generar los diferentes tipos de feedback. 2. Aquellas cuyo procesado es no hacer nada. Entre estas se encuentra las etiquetas score.

4.8. Otras Aplicaciones Conclusiones de la Implementaci n o

177

En esta secci n se ha mostrado la implementaci n de un reproductor de pistas en el tuo o tor inteligente XTutor. Este player es capaz de cargar y ejecutar cheros XML que est n a acordes con una especicaci n de pistas denida. Se han explicado detalles sobre la impleo mentaci n utilizando organigramas reducidos del procesado de cada una de las etiquetas de o la especicaci n denida. o Se ha visto que existen muchas analogas entre XTutor y la tecnologa J2EE y han sido presentadas, lo cual puede ayudar a comprender la implementaci n en XTutor al ser J2EE o una tecnologa mucho m s utilizada. En realidad los conceptos y organigramas presentados a en esta implementaci n se podran adaptar para J2EE o para cualquier otra tecnologa. Alguo nos cambios seran requeridos para la implementaci n en otras tecnologas, pero gran parte o de las ideas presentadas se podran reutilizar. Se puede armar que XTutor es especialmente adecuado para la implementaci n de reproductores para especicaciones de e-learning, y de o la especicaci n de pistas en particular, entre otros por estos motivos: o 1. Permite de forma sencilla guardar el estado entre diferentes peticiones del mismo alumno, ya que tiene integrada una variable muy exible para este prop sito. Esto es o especialmente importante porque se necesita que numerosas informaciones se mantengan para cada usuario (qu pistas se han visto ya, la puntuaci n actual, n mero de e o u intentos, etc.) 2. El procesado orientado a etiquetas XML, permite de manera f cil cargar y procesar a cheros XML, tales como los utilizados en especicaciones de e-learning. 3. Facilidad de hacer jerarqua de pistas, utilizando una t cnica parecida a la recursividad, e donde s lo se implementa lo adecuado para el procesado de cada etiqueta y luego se o llaman entre las diferentes etiquetas recursivamente.

4.8.

Otras Aplicaciones

Aparte de las herramientas de autor y los reproductores de pistas acordes con la especicaci n denida, se pueden pensar en otras aplicaciones de la especicaci n de pistas o o denida. Mediante el reproductor de pistas implementado, los alumnos pueden conectarse va Web a la aplicaci n e interaccionar con una serie de ejercicios que le van mostrando ayuo da durante su resoluci n. De esa forma los alumnos van aprendiendo durante el proceso. o Adem s pueden ver su nivel de conocimiento en los diferentes ejercicios con la puntuaci n a o asociada que van obteniendo cuando resuelven los ejercicios teniendo en cuenta tambi n la e visualizaci n y resoluci n de pistas. o o Un aspecto clave en el aprendizaje es la motivaci n y diversi n, que ya se consider coo o o mo una de las fases en el ciclo de vida de e-learning propuesto. Estos dos factores son condicionadores de un aprendizaje m s efectivo y agradable. Cuando un alumno est motivado a a y se divierte realizando una tarea, entonces tender a invertir m s tiempo en ella y prestando a a m s atenci n con lo cual podr aprender m s, a la vez que le resulta m s ameno. La idea a o a a a es intentar aplicar nuestra especicaci n de pistas en combinaci n con estos dos factores. o o

178

Captulo 4. Especicaci n de Pistas para Aprendizaje Basado en Problemas o

Los juegos y las herramientas de competici n entre alumnos suponen dos instrumentos muy o interesantes para activar dichos factores. Por lo tanto parece muy prometedor el empleo de estas t cnicas (juegos y herramientas de competici n) en combinaci n con las estrategias e o o de provisi n de pistas denidas en la nueva especicaci n. El reto es proponer escenarios o o de juegos y herramientas de competici n sucientemente motivadores para los alumnos. A o continuaci n se ofrecen dos ejemplos. o Ejemplo de juego. Un posible juego sera una modicaci n del cl sico concurso te o a levisivo Cifras y Letras. Con esto un alumno podra ganar conocimientos de ciertos conceptos matem ticos y de lenguaje. Para las cifras, el sistema generara un conjunto a de n meros base aleatorios entre ciertos rangos, y el n mero a buscar. El jugador deu u bera buscar el n mero exacto o lo m s pr ximo a el como combinaci n de operacio u a o o nes de suma, resta, multiplicaci n, y divisi n de los n meros base. El jugador puede ir o o u respondiendo con los pasos a seguir para conseguir el n mero buscado. Tambi n pueu e de ir pidiendo diferentes pistas y que se vayan activando dichas pistas, afectando su visualizaci n y resoluci n en la puntuaci n total. Las pistas iran ayudando en la resoo o o luci n del problema inicial de b squeda del n mero pedido. Los diferentes conceptos o u u de la especicaci n de pistas se podran aplicar. De modo similar se podra aplicar o para las letras. El sistema generara un conjunto de 9 letras aleatorias y el jugador de bera encontrar la palabra m s larga que pueda forma con ellas. Todos los conceptos a de pistas de la especicaci n se podran aplicar. Las pistas iran ayudando a encontrar o las diferentes palabras. El sistema podra implementar un algoritmo para encontrar las palabras de mayor longitud, y tambi n para la generaci n autom tica de pistas. e o a Ejemplo de herramienta de competici n. Una posible herramienta de competici n se o o expone a continuaci n. Por un lado tendramos un reproductor de pistas acorde con o la especicaci n y abarcando todas las caractersticas. Los alumnos competiran entre o s de una manera parecida a la empleada en el ajedrez. La competici n consistira en o varias rondas en las cuales los alumnos se van emparejando de 2 en 2. A cada emparejamiento se le presentan un conjunto de problemas diferentes acorde con la especicaci n de pistas. Cada problema es evaluado por separado de acuerdo a la especicaci n o o de pistas, as un alumno puede perder puntuaci n por ver pistas o resolver mal pistas o o ganar por contestar bien el problema o las pistas. Al nal cada emparejamiento lo gana el alumno que m s puntos ha obtenido en el enfrentamiento. Cada alumno sua mar puntos si ha ganado su emparejamiento y tambi n por su puntuaci n global en la a e o resoluci n de problemas. Los emparejamientos de alumnos vienen dados por la cantio dad de puntos que tiene cada uno en un momento, trat ndose de emparejar a alumnos a con poca distancia entre puntos (similar nivel de conocimiento). Tambi n se puede e anotar la dicultad de los problemas y asignar problemas m s difciles a alumnos con a mayor puntuaci n. Al nal, los alumnos son clasicados en funci n de la puntuaci n o o o global. Adem s, diferentes estadsticas de alumnos y los diferentes problemas est n a a disponibles para facilitar una evaluaci n posterior. Parte de esta herramienta se ha imo plementado en un proyecto n de Carrera [16]. En esta tesis se han aportado las ideas necesarias para su dise o, de forma que combinara la resoluci n de ejercicios, con la n o adaptaci n de usuarios, as como la diversi n mediante el factor competitivo. Concreo o tamente, actualmente todo el sistema de competici n est funcionando y se permiten o a

4.8. Otras Aplicaciones

179

ejercicios de relleno de blancos, de m ltiple elecci n, y de m ltiple respuesta. No u o u obstante, en este momento a n no se ha implementado las diferentes opciones de la u provisi n de pistas, lo cual es uno de los posibles trabajos futuros. o En el modelado de la herramienta de competici n, se pueden observar cuatro aspectos o diferenciados, cada uno de los cuales se ha modelado en lenguaje natural, aportando a los profesores una serie de pantallas f ciles de entender por profesores sin grandes a conocimientos tecnol gicos: o Interfaz de gesti n para el profesor con aspectos generales de la gesti n de toro o neos. Esto permite al profesor inscribir alumnos que se han apuntado a un torneo, listar los torneos que a n no han empezado pero admiten inscripciones, listar los u torneos que est n en curso, listar los torneos que ya han nalizado, crear un nuea vo torneo, empezar un torneo, generar una ronda, introducir informaci n general, o etc. Interfaz general del alumno. Esto le permite acceder a varios torneos donde est inscrito, solicitar admisi n en nuevos torneos, etc. a o Intefaz de autora de problemas. La herramienta tiene integrada una herramienta de autor para la generaci n de problemas que acaba generando cheros compao tibles con la especicaci n IMS-QTI. Este modelado de ejercicios, es de nuevo o hecho de forma que resulte sencillo para profesores sin grandes conocimientos tecnol gicos. Se ha decidido escoger s lo un grupo muy reducido de las posio o bilidades de IMS-QTI, que son las opciones que se han considerado como m s a habituales que realizan los profesores. As, se conforman una serie de patrones compatibles con IMS-QTI. Adaptabilidad. Se permite que profesores caliquen la dicultad de las diferentes preguntas y que luego preguntas m s difciles se ofrezcan a alumnos que a tienen m s puntos en los torneos y viceversa. Tambi n los algoritmos de empaa e rejamiento para asociar enfrentamientos de forma que toque competir con alumnos de nivel parecido, es una forma de adaptaci n, basado en los algoritmos de o emparejamiento. Resoluci n de ejercicios. La herramienta proporciona un motor de ejecuci n de o o las preguntas, de forma que los alumnos pueden acceder a la plataforma para responder dichas preguntas. En cada enfrentamiento, las preguntas que se mostrar n a cada par de alumnos enfrentado ser el mismo. a a Competici n. Es este un aspecto motivador y recogido como una de las fases o del ciclo de vida. Se realiza en este caso un modelado para tener una capa de recubrimiento que d aliciente y despierte el inter s en la experiencia educativa e e de los alumnos. Entre las medidas para este prop sito destacan las siguientes: o Los alumnos compiten en un torneo de varias rondas en las que pueden alcanzar un m ximo de tantos puntos como el doble del n mero de rondas. a u El sistema de competici n es parecido al sistema suizo del ajedrez, aunque o con diferentes particularidades. As los alumnos pueden competir entre s y divertirse, logrando un efecto motivador en ellos al querer ganar a sus rivales en cada ronda. Uno de los puntos se obtiene por el resultado con respecto al

180

Captulo 4. Especicaci n de Pistas para Aprendizaje Basado en Problemas o rival, mientras que el otro punto se obtiene seg n el n mero de problemas u u que ha resuelto adecuadmante. Los alumnos pueden ver en cada momento la clasicaci n con respecto o al resto de compa eros en el torneo. Esa clasicaci n les permite tambi n n o e motivarse. Mientras que un alumno est compitiendo con otro, el alumno observa la a puntuaci n en tiempo real que lleva en ese momento en su enfrentamiento o con el oponente, as como la puntuaci n en tiempo real del oponente. De o esa forma puede ir viendo la evoluci n de su enfrentamiento, lo cual le o resultar motivante. a Mientras un alumno est compitiendo con otro, se le muestra el tiempo que a falta para terminar la ronda, es decir el tiempo que tiene para contestar todas las preguntas para que le cuenten en la puntuaci n de su enfrentamiento. o Los alumnos compiten con otros de nivel parecido. As, en la herramien ta se han implementado diferentes algoritmos de emparejamiento para este prop sito, de forma que tratan de asignar enfrentamientos tales que la difeo rencia en puntos de los alumnos enfrentados sea la menor posible.

Pedag gico. Gracias al almacenamiento de los datos y las interacciones, as coo mo su posterior procesado para presentarlos de forma adecuada, se permite la visualizaci n de qu alumnos tienen carencias en qu conceptos fruto de su intero e e acci n con el sistema, as como observar qu problemas resultaron m s difciles o e a para ellos y qu temas. De esta forma, se pueden tomar medidas de evaluaci n e o de alumnos, conceptos, contenidos, etc. Esta informaci n est disponible en la o a herramienta para el profesor para su consulta en cualquier momento, y da pie a que pueda tomar diferentes acciones correctoras. Compatible con est ndares. Seg n la visi n ideal del e-learning este es un requia u o sito, y en este sentido la herramienta genera cheros compatibles con la especicaci n IMS-QTI. o M s detalles de esta herramienta de competici n entre alumnos que combina la gesti n a o o f cil por parte de profesores de los diferentes torneos que se pueden congurar, la a resoluci n de ejercicios, la adaptaci n de los mismos a los usuarios y la competici n, o o o puede encontrarse en [16]. Tal como se ha introducido en el estado del arte, existen ya otras herramientas de competici n orientadas a educaci n. La contribuci n de esta herramienta respecto al o o o estado del arte radica fundamentalmente en la manera novedosa de modelado de la competici n para introducirla en educaci n, adaptando caractersticas del sistema suio o zo utilizado en ajedrez al caso el enfrentamiento entre alumnos para resoluci n de o ejercicios. As mismo, otra de las contribuciones fundamentales es c mo combinar o diferentes y diversos conceptos educacionales y no educacionales en una misma herramienta, siendo entre otros: compatibilidad con especicaciones de e-learning, gesti n de torneos y rondas, inclusi n de aspectos pedag gicos, modelado motivador del o o o interfaz, adaptabilidad de la herramienta, etc.

Captulo 5

Evaluaci n del Modelo de Pistas o Propuesto

En este captulo se presenta una evaluaci n del modelo de pistas propuesto. Esta evalua o ci n es posible gracias al reproductor de pistas para aprendizaje basado en problemas que o se ha implementado en XTutor y que abarca las caractersticas de la especicaci n de pistas o denida. De esta forma los alumnos podr n interaccionar con diversos ejercicios acordes a con el modelo de pistas propuesto seg n la especicaci n denida, y puestos disponibles u o va Web a trav s del sistema XTutor. Estas interacciones quedar n registradas en el siste e a ma y podr n ser analizadas para ayudar en la evaluaci n del sistema, as como los alumnos a o podr n expresar su opini n, sentimientos, etc. hacia el sistema mediante encuestas o entrea o vistas, consider ndose esto otro par metro importante en la evaluaci n. a a o La evaluaci n del modelo de pistas es crucial para poder comparar el incremento de o aprendizaje que supone respecto a otros sistemas y metodologas de aprendizaje, saber qu caractersticas del modelo pueden producir un mayor incremento del aprendizaje en los e alumnos, c mo se comportan los alumnos ante diversas caractersticas del modelo, o cu l es o a la opini n de los alumnos sobre el sistema y sus caractersticas. Toda esta informaci n, fruo o to de la evaluaci n sobre el nuevo modelo de pistas, supone proporcionar un conocimiento o para profesores y dise adores de cursos de forma que puedan adoptar las mejores pr cticas n a en clase y sacar el m ximo partido del nuevo modelo de pistas denido. Adem s, esta infora a maci n puede tambi n ser utilizada para sacar el m ximo provecho en el dise o adaptativo o e a n del sistema. Hay que se alar que la evaluaci n descrita en este captulo se reere al sistema n o de pistas sin la inclusi n de t cnicas adaptativas. o e Tal como se ha visto en el captulo de teora de modelado del e-learning, son m ltiples u los aspectos que se pueden evaluar en un sistema de educaci n a distancia, como lo es el o reproductor de pistas. En este caso, nos vamos a centrar en algunos aspectos de evaluaci n o de entre todos los posibles, que no haban sido previamente investigados en el estado del arte, y que esperamos aporten resultados utiles para profesores, dise adores, o alumnos. En n cuanto a la metodologa para evaluar cada aspecto se han empleado tanto t cnicas cualitativas e como cuantitativas, siguiendo recomendaciones de diferentes estudios sobre investigaci n o educativa. Para poder ejecutar los diferentes aspectos de la evaluaci n del modelo de pistas proo puesto, se han llevado a cabo diferentes experiencias con alumnos en tres asignaturas de 181

182

Captulo 5. Evaluaci n del Modelo de Pistas Propuesto o

grado impartidas por el Departamento de Ingeniera Telem tica de la Universidad Carlos III a de Madrid. Estos alumnos han interaccionado con el reproductor de pistas implementado en XTutor. Las asignaturas han sido Laboratorio de Arquitectura de Ordenadores (durante las ediciones 2004/2005 y 2005/2006 con un sistema de ejercicios sin pistas, durante las ediciones 2006/2007 y 2007/2008 con ejercicios con pistas en el reproductor implementado), Software de Comunicaciones (durante el curso 2007/2008), y Servidores de Informaci n o (durante el curso 2007/2008). Las dos primeras pertenecen a la titulaci n de Ingeniera de o Telecomunicaci n, mientras la tercera pertenece a Ingeniera Inform tica. La metodologa o a empleada en las experiencias ha sido diferente en funci n de los objetivos que se queran alo canzar. As, en las ediciones desarrolladas para Laboratorio de Arquitectura de Ordenadores, se ha dedicado una sesi n de clase exclusiva para la interacci n con el sistema de pistas, y de o o esa sesi n controlada se han deducido diferentes conclusiones. No obstante, en las ediciones o desarrolladas para Laboratorio de Arquitectura de Ordenadores, los ejercicios han seguido estando disponibles para los alumnos en cualquier momento hasta el da del examen. Para Software de Comunicaciones y Servidores de Informaci n no ha habido ninguna sesi n deo o dicada en clase sino que los alumnos podan acceder en cualquier momento a la plataforma va Web hasta el da del examen. El captulo est estructurado en siete secciones. En primer lugar, la secci n 5.1 explica a o cu les son las contribuciones aportadas por los resultados de la evaluaci n del modelo de a o pistas propuesto, comparando estas contribuciones con respecto al estado del arte. En la secci n 5.2 se detalla porqu cada una de estas contribuciones referentes a la evaluaci n del o e o modelo es relevante. Las siguientes cuatro secciones se dedican a presentar los resultados de la evaluaci n de o los diferentes aspectos seleccionados, as como a explicar la metodologa para conseguir los objetivos marcados en la investigaci n. En concreto, los aspectos innovadores que se van a o medir y evaluar respecto al modelo de pistas propuesto son los siguientes: Aspectos generales sobre el uso de la herramienta. En esta categora se pretende eva luar si la herramienta se ha usado bastante, si ha tenido aceptaci n entre los alumnos, o si se han pedido un n mero signicativo de pistas, si les ha sido f cil de utilizar a los u a alumnos (usabilidad), la impresi n que tienen los alumnos sobre la herramienta, etc. o La evaluaci n de estos aspectos se presenta en la secci n 5.3. Para ello se tienen en o o cuenta todas las experiencias realizadas en todas las asignaturas. Incremento de aprendizaje entre sistema con pistas y otras metodologas. Saber el incremento de aprendizaje que produce el nuevo modelo propuesto de pistas y compararlo con respecto a otras metodologas es crucial. Son innumerables el n mero de u comparaciones que se pueden hacer con diferentes sistemas, usando diferentes teoras, etc. En este caso hemos escogido dos comparaciones que pensamos son muy signicativas. Por un lado, se compara el incremento de aprendizaje usando el sistema con pistas en XTutor con respecto a otro sistema de ejercicios pero sin pistas (m dulo QTI o de .LRN) y se presentan los resultados en la secci n 5.4 (para ello se tienen en cuenta o las tres primeras ediciones de experiencias en Laboratorio de Arquitectura de Ordenadores). Por otro lado, se compara el incremento de aprendizaje usando el sistema con pistas en XTutor con respecto a la realizaci n de ejercicios donde las pistas las o proporciona el mismo profesor y se presentan los resultados en la secci n 5.5 (pao

5.1. Contribuciones de la Evaluaci n del Modelo de Pistas Propuesto o

183

ra ello se tiene en cuenta la experiencia realizada en Laboratorio de Arquitectura de Ordenadores en la edici n de 2006/2007) o Diferentes estrategias para la provisi n de pistas. Se trata de saber qu estrategias del o e modelo relacionadas con la provisi n de pistas pueden incrementar m s el aprendizaje o a y en qu medida, as como cu les les gustan m s a los alumnos. Adem s, tambi n se e a a a e incluye la comprensi n de c mo se comportan los alumnos ante el sistema cuando se o o aplican diferentes estrategias relacionadas con la provisi n de pistas. Para esta evaluao ci n, se han tomado datos de las ediciones 2006/2007 y 2007/2008 de las experiencias o realizadas en Laboratorio de Arquitectura de Ordenadores. Una descripci n detallada o de esta evaluaci n se presenta en la secci n 5.6. o o En cada una de estas cuatro secciones, la estructura es muy similar. Primero se introducen claramente los objetivos de investigaci n relacionados con la evaluaci n del modelo o o de pistas que se pretende abordar. Seguidamente, se expone la metodologa empleada para llevar a cabo la evaluaci n dando una justicaci n. A continuaci n se presentan los resulo o o tados obtenidos del an lisis de datos de la experiencia, y se termina con un an lisis crtico a a de los resultados obtenidos e intentando establecer relaciones entre los diferentes datos de resultados encontrados. Finalmente, la ultima secci n 5.7 est dedicada a ilustrar c mo el modelo de pistas proo a o puesto puede ser usado para evaluar contenidos, ejercicios y alumnos. Esto representa un cambio de losofa respecto a las anteriores secciones, ya que en la ultima secci n se muestra o c mo utilizar el modelo para evaluar otros elementos fundamentales en educaci n, mientras o o que en las secciones anteriores se eval an diferentes aspectos del modelo. Para ello se tomau ran en cuenta las experiencias realizadas en las asignaturas Software de Comunicaciones y Servidores de Informaci n. o

5.1.

Contribuciones de la Evaluaci n del Modelo de Pistas Proo puesto

Las contribuciones realizadas referentes a la evaluaci n del modelo de pistas propuesto o son las siguientes: Obtenci n de datos generales sobre el uso de la herramienta. En otros trabajos se o presentan datos globales sobre el uso de diferentes sistemas de pistas (por ejemplo en [135]) tales como la cantidad de uso del sistema, el n mero de pistas pedidas, la u satisfacci n de los alumnos con el sistema, etc. Aqu se describen datos similares, o pero con la particularidad de que el sistema implementado tiene unas caractersticas nuevas acorde con la especicaci n denida, por lo que es interesante tomar medida o de estos par metros bajo estas nuevas condiciones. Adem s, se utiliza un nuevo tutor a a para la provisi n de pistas como es XTutor, con aspectos concretos de presentaci n, o o reproducci n, etc. por lo cual es una variable m s a tener en cuenta adem s del tipo o a a de caractersticas de pistas. As pues, ante las nuevas condiciones de caractersticas de la especicaci n y un nuevo tutor tomado como base, se toman nuevas medidas o generales sobre datos relacionados con el uso de la herramienta.

184

Captulo 5. Evaluaci n del Modelo de Pistas Propuesto o Comparaci n del incremento de aprendizaje entre sistema con pistas y sin pistas, y o entre sistema con pistas y un tutor humano. La diferencia entre nuestras comparaciones de incremento de aprendizaje y otros trabajos de comparaciones de incremento de aprendizaje que involucran sistemas de pistas, radica en que las condiciones del sistema de pistas que utilizamos son diferentes a las de trabajos previos. En nuestro sistema tutor, las caractersticas habilitadas para la provisi n de pistas son las reejadas en la o especicaci n denida, lo que incluye algunas caractersticas de sistemas de pistas del o estado del arte y adem s otras nuevas caractersticas fruto de nuestras ideas. Adicioa nalmente, como parte de las condiciones del sistema de pistas, se han deshabilitado las funcionalidades de personalizaci n de pistas dependiendo del perl del alumno. o Esto es porque la medida que queremos tomar es s lo del efecto de las funcionalidao des de pistas en el aprendizaje pero sin tener en cuenta el efecto de personalizaci n y o adaptaci n de las herramientas. En otros trabajos (por ejemplo [131], [132], o [133]) o se ha medido el incremento de aprendizaje pero considerando tutores que no incluan todas las funcionalidades presentes en nuestro tutor. Adem s, varios de estos trabajos a incluyeron en la medida sistemas con funcionalidades de personalizaci n de pistas. o Pero este no era el prop sito de este trabajo, ya que lo que queremos es conocer el o incremento de aprendizaje de un conglomerado de caractersticas en relaci n con la o provisi n de pistas pero sin incluir t cnicas de personalizaci n y adaptaci n. Adem s, o e o o a las cosas que se comparaban en dichos trabajos no eran exactamente las mismas que en el nuestro, como se puede observar en la explicaci n del estado del arte. Como o parte de la tesis, se ha implementado una instancia de la arquitectura general para lograr pistas personalizadas utilizando t cnicas de Web sem ntica, pero est opci n e a a o no ha estado habilitada durante las experiencias, ya que lo que se pretenda medir en este caso no inclua la personalizaci n. Por otro lado, en la referencia [143] se analiza o la calidad de un tutor de pistas tomando como medida para determinar la calidad el n mero de pistas que que el tutor genera que son similares a las que generara un tutor u humano. Nuestra aproximaci n es diferente, ya que lo que tratamos de comparar es el o incremento de aprendizaje que experimentan los alumnos cuando interaccionan con el tutor de pistas con respecto a la interacci n con un tutor humano dando las pistas o en clase, usando un test previo y un test nal. El tutor ser mejor en tanto que los a resultados de incremento de aprendizaje con la interacci n con el tutor de pistas sean o mejores con respecto a la interacci n con un tutor humano. o Evaluaci n de diferentes estrategias para la provisi n de pistas. En esta contribuo o ci n, nos centramos en la comparaci n de t cnicas que no fueron abordadas en otros o o e trabajos del estado del arte. Hemos seleccionado algunas de las que consider bamos a m s relevantes, aunque quedan pendientes de evaluaci n como trabajos futuros basa o tantes otras variaciones de estrategias relevantes. Para cada comparaci n de t cnicas o e en relaci n con una estrategia, se distinguen tres vertientes: incremento de aprendizao je, comportamiento de los alumnos, opini n de los alumnos. A continuaci n veremos o o cada una de ellas y su comparaci n con trabajos del estado del arte. o Incremento de aprendizaje. Existen trabajos que comparan el incremento de aprendizaje dependiendo de la sem ntica de las pistas que se dan a los aluma nos [135], o dependiendo de si las pistas son s lo texto o ejemplos sobre los que o

5.1. Contribuciones de la Evaluaci n del Modelo de Pistas Propuesto o

185

trabajar [140]. En nuestro caso, no se tiene en cuenta ni la sem ntica de la pista a que se proporciona, ni si es una pista de texto o un ejemplo sobre el que trabajar. Estos aspectos son ortogonales en nuestra investigaci n, y los mantenemos o constantes para que no inuyan en el resultado de la evaluaci n y s lo variamos o o otros aspectos a estudiar de inter s que se ver n en detalle en la secci n 5.6. e a o Adicionalmente, la referencia [139] muestra un m todo para predecir las notas e nales de los alumnos basado en las interacciones de los alumnos con un sistema de pistas, pero este trabajo no compara diferentes t cnicas de provisi n de e o pistas. Finalmente, las referencias [145], [146], y [147] muestran la correlaci n o de diferentes comportamientos de alumnos en el sistema con respecto a su incremento de aprendizaje. Sin embargo, nuestro punto de vista es diferente ya que nos centramos en los diferentes incrementos de aprendizaje que producen diferentes t cnicas de provisi n de pistas, pero no en el incremento de conocimiento e o seg n diferentes comportamientos de usuarios utilizando la misma t cnica de u e provisi n de pistas como ejercicio como es el caso de las citadas referencias. En o este punto, se puede establecer una conexi n entre ambas aproximaciones, y es o que el hecho de tener diferentes t cnicas de provisi n de pistas puede producir e o diferentes comportamientos en los alumnos lo que puede estar relacionado con su incremento de aprendizaje. Ortogonalmente a estas diferencias, los par mea tros y caractersticas de los que son objeto esos estudios del estado del arte no son los mismos que en nuestro estudio. Comportamiento de los alumnos. Los trabajos presentados en [145], [146], y [147] proporcionan datos sobre diferentes interacciones de usuarios con un sistema de pistas, tales como el n mero de pistas visualizadas, n mero de intentos u u por problema, etc., pero los problemas presentados a los alumnos eran siempre con la misma t cnica de provisi n de pistas. Nuestra aproximaci n es diferene o o te porque analiza el comportamiento de los usuarios ante diferentes t cnicas de e provisi n de pistas de un mismo problema. Para ello, se generan los mismos o problemas, pero se cambia el aspecto de ellos relacionado con la t cnica de proe visi n de pistas que se quiere analizar. De esta forma se puede ver el efecto de o cada cambio en el comportamiento de los alumnos. Adem s, como un aspecto a ortogonal en nuestro an lisis, incluimos el efecto de tener diferentes tipos de a problemas (de relleno de blancos, de m ltiple elecci n, y de m ltiple respuesta) u o u y niveles de dicultad ante las diferentes estrategias de pistas. Opini n de los alumnos. En otros trabajos se han realizado diferentes encueso tas y an lisis cualitativos a los alumnos sobre la utilidad de sistemas de pistas, a usabilidad, etc. Pero no se ha realizado, hasta donde sabemos, un estudio que recoja mediante encuesta y cualitativamente cu les de las caractersticas de las a funcionalidades de pistas son m s valoradas por los alumnos, cu les son sus prea a ferencias, lo que consideran justo, o su comportamiento ante ellas. En este caso, hemos contribuido a realizar tal estudio considerando todas las caractersticas del modelo de pistas que hemos denido. De esta forma se puede conocer la opini n y valoraci n de los alumnos sobre las diferentes caractersticas relacioo o nadas con la provisi n de pistas, y se puede relacionar su opini n con respecto o o al incremento de aprendizaje y a su comportamiento, para sacar conclusiones.

186

Captulo 5. Evaluaci n del Modelo de Pistas Propuesto o Evaluaci n de contenidos y ejercicios basado en la informaci n del sistema de pistas. o o Se contribuye con unas ideas iniciales de una nueva metodologa para poder evaluar contenidos, alumnos, y los propios ejercicios fruto de la informaci n de interacci n de o o usuarios con el sistema de pistas. Existen otros trabajos para poder evaluar contenidos y ejercicios, la novedad que aporta este sistema es que se utilizan las funcionalidades extra del modelo de pistas para poder realizar la evaluaci n, present ndose por tanto o a nuevas ideas de evaluaci n en este contexto de sistema de pistas. o

5.2.

Relevancia de las Conclusiones de la Evaluaci n del Modelo o de Pistas

En esta secci n se explica la importancia o relevancia que cada uno de los resultados de o la evaluaci n realizada tiene. o En primer lugar, los datos generales obtenidos sirven para saber si los alumnos se han sentido c modos con la herramienta, si les ha gustado, si la han utilizado bastante, si han o visto pocas o muchas pistas, etc. Todos estos datos sirven por un lado para conocer sobre la efectividad de la herramienta, y por otro para poder ajustar la experiencia educativa y el sistema de pistas de forma que se mejore la experiencia de aprendizaje por parte de los alumnos. Gracias a la comparaci n del incremento de aprendizaje entre el sistema con pistas y sin o pistas, y entre sistema con pistas y un tutor humano, podemos tener una visi n de cuanto de o bueno y efectivo es el aprendizaje con nuestro sistema implementado con respecto a otras aproximaciones. De esta forma podremos evaluar si es viable introducir en clase un sistema de pistas de estas caractersticas que sustituya a los profesores dando pistas, sin perder efectividad en el proceso de aprendizaje, siendo m s eciente. As mismo, se podr evaluar a a si merece la pena el esfuerzo de realizar ejercicios con una serie de pistas en lugar de mostrar los ejercicios sin pistas. Con este conocimiento, los profesores pueden ajustar mejor los sistemas de resoluci n de ejercicios que utilizar n, para obtener un balance positivo entre o a aprendizaje de los alumnos y tiempo empleado por los profesores en el dise o. n Mediante la evaluaci n de las diferentes t cnicas o estrategias para la provisi n de pistas, o e o los profesores pueden conocer qu estrategias y t cnicas producen en determinadas condie e ciones un mayor incremento de conocimiento en sus alumnos. Por lo tanto, esto les puede dar indicios para dise ar los ejercicios con pistas de forma adecuada para que se produzca el n mayor incremento de conocimiento en sus alumnos, lo cual es muy importante. As mismo, los profesores tambi n conocer n qu t cnicas les gustan m s a los alumnos y son mejor e a e e a valoradas por ellos, las cuales no tienen siempre porque coincidir con las que les producen un mayor incremento de conocimiento. De esta forma, los profesores podr n dar materiaa les dise ados conforme a los gustos de los alumnos (a n cuando en general no sea lo m s n u a satisfactorio para su aprendizaje) cuando por ejemplo vean a los alumnos menos concentrados. As mismo, el comprender las interacciones de los alumnos en funci n de las t cnicas o e o estrategias elegidas, permite conocer el comportamiento de los alumnos ante cada t cnica, e de forma que los profesores puedan actuar pedag gicamente seg n el dise o del problema o u n de pistas concreto de forma que sea benecioso en la experiencia educativa. Adem s, los a diferentes comportamientos de alumnos ante las diferentes t cnicas, se pueden relacionar e

5.3. Aspectos Generales sobre el Uso de la Herramienta

187

con los incrementos del aprendizaje que produce cada una de ellas. Tambi n se permite a los e profesores distinguir alumnos con comportamientos diferentes al est ndar ante una misma a t cnica, con lo que se puede actuar sobre ellos de forma diferente para conseguir una mejor e experiencia en el aprendizaje. Por otro lado, la evaluaci n de diferentes t cnicas para la provisi n de pistas supone un o e o indicativo muy importante a la hora de realizar el dise o adaptativo de dichas t cnicas en n e funci n de los materiales, pistas, niveles iniciales de los alumnos, perles de los alumnos, o etc. En primer lugar, permite conocer que efectivamente algunas t cnicas en determinadas e condiciones son m s efectivas que otras, y que el benecio puede ser diferente en funci n de a o diversos factores, justic ndose con todo ello la adaptaci n y personalizaci n en el sistema a o o (ya que si no hubiera incremento de conocimiento por aplicar diferentes t cnicas o este fuera e siempre en la misma direcci n con independencia de cualquiera de los factores, entonces la o adaptaci n carecera de sentido y siempre se podran dise ar todos los materiales a priori). o n Tambi n c mo justicaci n de la adaptabilidad, se ver que la opini n de los alumnos ante e o o a o diferentes cuestiones de las t cnicas de pistas es muy diversa, lo que rearma la idea de cone seguir t cnicas personalizadas para cada uno. As mismo, esta informaci n trata de utilizarse e o para proporcionar el mayor incremento de aprendizaje para los alumnos dependiendo de su perl, materias, tipos de ejercicios, etc. Es por ello que parte de la informaci n de evaluaci n o o del modelo de pistas ser utilizada para el dise o adaptativo y personalizado del sistema de a n pistas con t cnicas de Web sem ntica. e a En resumen, la importancia de las contribuciones de la evaluaci n de diferentes caraco tersticas del modelo de pistas se basa en poder conocer cu les son las mejores pr cticas a a de provisi n de ejercicios con pistas seg n diferentes condicionantes, para poder aplicarlas o u convenientemente en clase y mejorar la experiencia educativa. Finalmente, la relevancia de la evaluaci n de materias, ejercicios y alumnos basado en o los datos de interacci n de los alumnos con el sistema de pistas, radica en que el m todo o e posibilita dise os futuros m s perfeccionados de materiales con pistas, poder aconsejar a los n a alumnos de sus carencias y puntos fuertes, y poder sacar conclusiones sobre c mo adaptar o contenidos con pistas, los cuales pueden ser posteriormente aplicados en sistemas de personalizaci n de pistas, por ejemplo basados en Web sem ntica como el que nosotros hemos o a desarrollado un prototipo.

5.3.

Aspectos Generales sobre el Uso de la Herramienta

5.3.1. Objetivos
Los objetivos que se pretenden alcanzar en este apartado de la evaluaci n son los siguieno tes, relativos a una herramienta de provisi n de pistas que proporciona una combinaci n de o o las diferentes caractersticas del modelo de pistas denido: Objetivo 1.1: Conocer si los alumnos han utilizado la herramienta considerablemente accediendo a los diferentes problemas propuestos. Objetivo 1.2: Conocer cu nto uso han hecho los alumnos de las pistas que se propora cionaban como ayuda a los problemas, para ver si han utilizado pocas, han abusado de ellas o han hecho un uso normal.

188

Captulo 5. Evaluaci n del Modelo de Pistas Propuesto o Objetivo 1.3: Conocer la opini n de los alumnos con respecto a la herramienta para o saber si les ha gustado la experiencia, si creen que las pistas proporcionadas les han sido utiles, conocer cuestiones de usabilidad, as como cualquier aspecto que se pueda mejorar.

5.3.2.

Metodologa

Para conseguir estos objetivos se han utilizado tanto m todos cuantitativos como cualie tativos. Las medidas cuantitativas observadas en la herramienta se han tomado a lo largo de todo un periodo de das y no en una sesi n controlada de clase de unas horas. Es decir, los o alumnos han interaccionado con el sistema XTutor durante un periodo de das libremente, en el cu l se les ha dejado disponibles una serie de problemas con pistas abarcando los diferena tes aspectos de la especicaci n seg n el modelo denido, y se han observado los diferentes o u datos a lo largo de todo ese periodo de interacci n. Para ello, se han creado materiales de o problemas con pistas que incluyen diferentes tipos de pistas, modos de puntuaci n, etc. para o intentar cubrir el mayor rango de funcionalidades comentadas en la especicaci n de pistas o denida. Los problemas con pistas han estado disponibles para libre acceso de los alumnos va Web en cualquier lugar y en cualquier momento durante varios das, hasta el da del exa men de la asignatura. La actividad era totalmente voluntaria para los alumnos por lo que no tena un premio inmediato en la puntuaci n del examen, pero ello s que les serva como una o preparaci n voluntaria para el examen nal. o En cuanto a los m todos cuantitativos se ha tomado medida del n mero de problemas e u pedidos por un alumno (se considera que un alumno pide un problema cuando al menos lo ha visto, aunque no lo responda o no interaccione m s con el), del n mero de pistas que a u ha solicitado un alumno (se considera que un alumno pide pistas de un problema cuando al menos ve una pista relacionada con dicho problema). Con este criterio, el n mero m ximo u a de problemas pedidos por un alumno, es igual al n mero m ximo de pistas pedidas por un u a alumno (ya que aunque un problema tenga varias pistas se contabiliza como una siempre que se haya visto uno o m s de dichas pistas, y que si un problema no se ha pedido entonces es a imposible solicitar una pista sobre el). Con estas dos medidas cuantitativas se contribuir en a la consecuci n de los objetivos 1.1, y 1.2 respectivamente. Adicionalmente, existe otra meo dida cuantitativa que es los resultados de encuestas realizadas a los alumnos sobre usabilidad de la herramienta, satisfacci n con la experiencia, utilidad de las pistas proporcionadas, etc. o Esta encuesta ayudar en la consecuci n del objetivo 1.3. a o En cuanto a los m todos cualitativos empleados destacan los comentarios de los alume nos al profesor, reuniones informales con los alumnos, o las actitudes de los alumnos cuando estaban enfrente de la herramienta. As se puede ver si los alumnos est n entusiasmados a cuando trabajan con la herramienta, los problemas que van surgiendo del uso de la misma, si les es util para el aprendizaje de la asignatura, etc. observando la experiencia, y tambi n reae lizando directamente las preguntas oportunas. Estos m todos nos dar n informaci n acerca e a o de todos los objetivos de este apartado, pero especialmente sobre el objetivo 1.3. La asignatura seleccionada para la toma de los datos cuantitativos ha sido Laboratorio de Arquitectura de Ordenadores, tomando los datos tanto de la edici n 2006/2007, como de la o 2007/2008. Las razones de no tomar datos cuantitativos respecto a este aspecto de las otras dos asignaturas son diversas y se exponen a continuaci n: o

5.3. Aspectos Generales sobre el Uso de la Herramienta

189

Por un lado es en Laboratorio de Arquitectura de Ordenadores en sus dos ediciones donde los alumnos han interaccionado con un mayor n mero de caractersticas diu versas del modelo de pistas. Como lo que queremos medir es con respecto a todas las caractersticas del modelo, resulta lo m s apropiado tomar la medida donde los a alumnos han interaccionado con m s caractersticas diferentes del modelo. No obsa tante, en las otras dos asignaturas tambi n se han habilitado bastantes caractersticas e del modelo. En Laboratorio de Arquitectura de Ordenadadores se ha dedicado una sesi n exclusiva o de clase en cada edici n a la interacci n con la herramienta en XTutor, por lo tanto al o o nal de esa sesi n ha sido posible realizar las encuestas necesarias para estos objetivos, o mientras que en las otras asignaturas no se realizaron esas encuestas al no haber una sesi n exclusiva de interacci n con XTutor para los alumnos. o o Los objetivos de investigaci n de las experiencias en las otras dos asignaturas se eno focaron principalmente a otros aspectos en su dise o, ya que haba que abordar difen rentes tipos de evaluaciones, y para la referente a estos objetivos se eligi Laboratorio o de Arquitectura de Ordenadores. Para la toma de datos cualitativos referentes a estos objetivos se han tomado todas las asignaturas donde se realizaron experiencias con el sistema de pistas.

5.3.3. Resultados
En cuanto a los datos cuantitativos para los objetivos 1.1 y 1.2 de la edici n 2006/2007 o de Laboratorio de Arquitectura de Ordenadores, hubo un total de 16 problemas con pistas disponibles para los alumnos, por lo que el n mero m ximo de posibles peticiones de prou a blemas (que es igual al n mero m ximo de posibles peticiones de pistas) es el resultado de u a multiplicar el n mero total de problemas (16) por el n mero total de alumnos matriculados u u en la asignatura (141), lo que da un resultado de 2252. A trav s de los datos del sistema, el e n mero de peticiones de problemas fue de 1760 (lo que da un 78.2 % de la m xima utilizau a ci n con respecto a este aspecto), mientras que el n mero de peticiones de pistas fue de 1012 o u (lo que da un 57.5 % de que en cada problema se utilice al menos una pista). Haciendo un an lisis m s detallado, el 19.1 % de los alumnos no utilizaron apenas el sistema (consideraa a mos que este es el caso cuando un alumno tom menos del 30 % del total de problemas), el o 6.4 % de los alumnos tomaron los problemas pero no hicieron apenas uso de las pistas (consideramos que este es el caso cuando un alumno solicit menos del 15 % de las pistas con o respecto a los problemas tomados), y el 12.8 % de los alumnos abusaron sistem ticamente de a la visualizaci n de pistas (consideramos que este es el caso cuando un alumno solicit m s o o a del 85 % de las pistas con respecto a los problemas tomados). Con respecto a la edici n 2007/2008 de Laboratorio de Arquitectura de Ordenadores huo bo un incremento en el total de problemas con pistas puestos a disposici n de los alumnos, o siendo un total de 20, mientras que hubo una reducci n en el n mero de alumnos matricuo u lados en la asignatura pasando a ser de un total de 95 (en parte debido al mayor ndice de aprobados en la edici n anterior y al descenso de alumnos que entra en la universidad a lo o largo de los a os debido a un descenso de la natalidad). Esto hace que en esta ocasi n el n o n mero m ximo de posibles peticiones de problemas y de peticiones de pistas sea igual a u a

190 Cuesti n o

Captulo 5. Evaluaci n del Modelo de Pistas Propuesto o Media 5.94 4.2 5.93 5.20 5.39 5.03 Varianza Numero de Respuestas 1.49 81 2.32 79 1.7 1.78 2.77 3.56 81 74 79 77

La experiencia realizada me ha resultado util Las pistas proporcionadas me han resultado utiles Me ha sido f cil utilizar la herramienta a Me ha sido f cil pedir nuevas pistas en el sisa tema Me ha sido f cil entender el sistema de puna tuaci n que se estaba empleando o Me ha sido f cil saber cu ntas pistas como a a m ximo se podan seleccionar a

Tabla 5.1: Resultados de la encuesta sobre aspectos generales del modelo y la herramienta de pistas en la edici n 2006/2007 de Laboratorio de Arquitectura de Ordenadores o 1900. Utilizando los mismos indicadores de medida que los presentados en el p rrafo ana terior para la edici n anterior de la asignatura, se han obtenido los siguientes resultados: el o n mero de peticiones de problemas fue de 1409 (lo que da un 74.2 % de la m xima utilizau a ci n con respecto a este aspecto), el n mero de peticiones de pistas fue de 759 (lo que da o u un 53.9 % de que en cada problema se utilice al menos una pista), el 24.2 % de los alumnos no utilizaron apenas el sistema, el 6.3 % de los alumnos tomaron los problemas pero no hicieron apenas uso de las pistas, y el 10.5 % de los alumnos abusaron sistem ticamente de la a visualizaci n de pistas. o En ambas ediciones de la asignatura, los alumnos rellenaron una encuesta sobre diferentes aspectos de la experiencia y del sistema de pistas que utilizaron. Los alumnos puntuaron cada una de las cuestiones de la encuesta en una escala de 1 a 7. Las cuestiones de esta encuesta est n relacionadas fundamentalmente con el objetivo 1.3 y abarcan aspectos tales a como la utilidad del sistema y las pistas, la usabilidad global o de algunos aspectos concretos. Los resultados de esta encuesta para la edici n 2006/2007 de la asignatura, indic ndose o a la media, la varianza, y el n mero de alumnos que contestaron para cada pregunta (siendo la u contestaci n diferente a No sabe/No contesta), se presentan en la tabla 5.1. De forma an loo a ga se presentan los resultados para la edici n 2007/2008 en la tabla 5.2. Es de destacar que o algunas de las cuestiones de usabilidad s lo se realizaron para la edici n 2006/2007 de la o o asignatura, y por lo tanto en la tabla 5.2 no aparecen dichas cuestiones. Esto es debido a que en la edici n 2006/2007 uno de los objetivos de la experiencia era realizar un an lisis o a m s detallado sobre el objetivo 1.3, mientras que en la edici n 2007/2008 el objetivo funa o damental de la encuesta no era este. Por el hecho de intentar no colapsar a los alumnos con un n mero excesivo de preguntas que pudiera hacer que no contestaran adecuadamente, se u decidi mantener para la edici n 2007/2008 s lo las preguntas relacionadas con el objetivo o o o 1.3 que eran m s relevantes. a El n mero total de alumnos que han realizado las encuestas fue de 82 en la edici n u o 2006/2007, y de 47 en la edici n 2007/2008. En las tablas, el n mero de respuestas a cada o u una de las preguntas de la encuesta son menores a estos n meros porque hay algunos alumu nos que seleccionaron la opci n No Sabe/No Contesta en algunas preguntas. Estos n meros o u

5.3. Aspectos Generales sobre el Uso de la Herramienta Cuesti n o La experiencia realizada me ha resultado util Las pistas proporcionadas me han resultado utiles Me ha sido f cil utilizar la herramienta a Media 6.26 4.85 6

191 Varianza Numero de Respuestas 0.84 46 1.82 46 1.64 45

Tabla 5.2: Resultados de la encuesta sobre aspectos generales del modelo y la herramienta de pistas en la edici n 2007/2008 de Laboratorio de Arquitectura de Ordenadores o de 82 y 47 son menores al n mero total de alumnos en cada una de las ediciones, esto es u debido a que no todos los alumnos rellenaron la encuesta, ya que la encuesta se hizo durante una sesi n voluntaria de clase, donde no todos los alumnos asistieron, y algunos pocos que o aunque estuvieron no rellenaron nalmente la encuesta. En cuanto a los resultados fruto de los m todos cualitativos, hemos obtenido opiniones e positivas de los alumnos sobre la herramienta en general, y hemos observado un gran inter s de los alumnos por la herramienta de problemas con pistas. En general a los alumnos e les ha parecido interesante la experiencia. Especcamente, algunos resultados que hemos observado son: A los alumnos les gusta hacer actividades diferentes respecto a lo que suelen hacer habitualmente. Los alumnos perciben la herramienta como algo nuevo que los estimula, en contraposici n con la monotona. Y cuando los alumnos est n motivados y o a con inter s y entusiasmo por descubrir la herramienta, entonces el aprendizaje se hace e m s sencillo, efectivo, y natural. a Los alumnos perciben la herramienta como util. Ellos piensan que la herramienta es util y que les ayuda a aprobar las asignaturas mediante el repaso de conceptos, viendo qu partes llevan peor, su nivel de conocimiento en los diversos conceptos y la resolue ci n de problemas. Ello hace que los alumnos la utilicen para realizar la mayora de los o ejercicios. Es de especial relevancia los comentarios de los alumnos a los profesores pidiendo que la herramienta estuviera activa hasta el da del examen, y como los alum nos que no aprueban en primera convocatoria de junio vuelven a pedir la activaci n o de la herramienta antes del examen de la convocatoria de septiembre. Adem s, varios a alumnos proponen que se dediquen m s sesiones de clase con dedicaci n exclusiva a o para la interacci n con la herramienta XTutor con el sistema de pistas. o Otro aspecto importante observado es la funci n de los problemas con pistas como evao luaci n formativa y no s lo como evaluaci n sumativa. Cuando los alumnos encuentran o o o dicultades resolviendo alg n ejercicio, ellos acuden a tutoras o preguntan en clase al prou fesor. En este caso es el propio sistema de pistas quien les proporciona esta ayuda a modo de pistas. De esta forma el sistema de pistas gua a los alumnos durante el proceso. No obstante, varios alumnos indicaron que en ciertas ocasiones las pistas proporcionadas no les fueron de una ayuda signicativa. Tambi n se observ que a veces una misma pista result efectiva e o o para un alumno pero no para otro.

192

Captulo 5. Evaluaci n del Modelo de Pistas Propuesto o

Respecto a la usabilidad de la herramienta, los resultados han sido satisfactorios. No han sido muchas las preguntas que los alumnos formulan a los profesores sobre c mo ver las o pistas, el sistema de puntuaci n, etc., lo que hace pensar que a los alumnos les resulta sencillo o el uso de las diferentes funcionalidades, con tan s lo la explicaci n de unos 2 minutos sobre o o el uso de la herramienta que reciben del profesor en clase. En general el interfaz les ha parecido agradable. No obstante, se han recibido comentarios interesantes de los alumnos sobre c mo mejorar la usabilidad de la herramienta o sobre c mo mejorar funcionalidades o o de la misma. Algunos de estos comentarios son los siguientes: Les gustara que la herramienta estuviera integrada con Aula Global, que es el siste ma de gesti n de aprendizaje ocial en la universidad, de forma que no tuvieran que o autenticarse dos veces, una para cada herramienta. Algunos alumnos indican que en ocasiones cuando hay preguntas de m ltiple resu puesta, no les parece justo que se penalice completamente cuando aunque no se haya contestado todas las respuestas bien, al menos se elige alguna de las que son correctas. A algunos alumnos les gustara que el sistema diera las soluciones directamente en lugar de pistas, o al menos la soluci n al nal de varias iteracciones. o Se propone una nueva presentaci n para las preguntas de m ltiple respuesta. o u Alg n alumno pidi m s pistas que sean referencias a la documentaci n del curso, en u o a o lugar de s lo texto diciendo directamente la pista o problemas a modo de pistas. o Se ha informado de alg n error de la herramienta cuando muchos usuarios acceden u a la plataforma al mismo tiempo y ante cierta secuencia de interacciones. En estos casos, la herramienta muestra una pantalla de error en lugar del problema con pistas adecuado, y el alumno debe volver a solicitar la misma URL. Alg n alumno encuentra que en algunos problemas hay muchas reglas sobre la peu nalizaci n, bonicaci n, etc. y que eso le hace difcil de entender su resultado en la o o puntuaci n. o

5.3.4. An lisis Crtico a

Para realizar el an lisis crtico, se abordar n uno a uno ordenadamente los objetivos a a planteados en esta secci n. o Con respecto al objetivo 1.1 se puede concluir que los alumnos han utilizado la herramienta ampliamente como corroboran el 78.2 % y el 74.2 % de utilizaci n en las dos o ediciones respecto al m ximo de n mero de problemas pedidos por los alumnos. Estos pora u centajes consideramos son bastante altos teniendo en cuenta que hay alumnos que no se acaban presentando al examen nal y por lo tanto abandonan la asignatura, y que la actividad era totalmente voluntaria sin ninguna repercusi n directa en la nota nal. Adem s, se o a puede concluir que los porcentajes que restan para llegar al 100 % de utilizaci n son debio dos fundamentalmente a alumnos que casi ni usaron la herramienta (por lo tanto los que la usaron pr cticamente hicieron la totalidad de problemas), como es indicado por el 19.1 % a

5.3. Aspectos Generales sobre el Uso de la Herramienta

193

y 24.2 % de alumnos que pr cticamente no usaron la herramienta en las respectivas edicioa nes. Estos datos positivos cuantitativos de alta utilizaci n de la herramienta por parte de los o alumnos se pueden explicar gracias a la utilidad que ven en la herramienta corroborado por la primera cuesti n de la encuesta, y se refuerzan por las diferentes opiniones y actitudes de o los alumnos de inter s hacia la herramienta comentadas en los m todos cualitativos. e e Con respecto al objetivo 1.2, se puede concluir que los alumnos han hecho un uso racional y bien balanceado de las pistas, utiliz ndolas adecuadamente en t rminos generales. a e Hubo un 6.4 % y 6.3 % de alumnos que aunque pidieron problemas no usaron apenas pistas, mientras que hubo un 12.8 % y un 10.5 % de alumnos que abusaron sistem ticamente del uso a de pistas pidi ndolas en pr cticamente todos los problemas que solicitaron. Todo esto sugiee a re que la mayora de alumnos utilizaron el sistema de un modo adecuado ya que pidieron pistas s lo cuando lo necesitaban. Tambi n induce a la misma conclusi n los datos globao e o les de 57.5 % y 53.9 % de uso de pistas respecto al m ximo posible, lo que denota que los a alumnos utilizaron las pistas en varios problemas pero sin hacer un abuso de pistas (siendo el abuso de pistas un aspecto indeseado). Estos datos llevan a pensar que las caractersticas del modelo de pistas en su conjunto previnieron del abuso de pistas. Con respecto al objetivo 1.3, las conclusiones se dividen en varios aspectos: Los alumnos piensan que la experiencia fue muy util (con medias ante esa pregunta en la encuesta de 5.94 y 6.26 sobre 7, y con varianzas peque as lo que indica que no hay n diferencias signicativas en las opiniones de los alumnos). Esta impresi n de utilidad o es corroborada tambi n por los alumnos en sus opiniones, y actitudes cualitativas que e se han presentado. Las pistas proporcionadas a los alumnos fueron en general razonablemente utiles. Sin embargo, la utilidad de las pistas no est tan clara para los alumnos como la utilidad a de la experiencia en su conjunto, ya que ellos evaluaron esta utilidad de las pistas proporcionadas por encima del valor medio (4.2 y 4.85), pero en cualquier caso en menor medida que la utilidad de la experiencia. Esto tambi n se advierte de los comentarios e y actitudes de los alumnos en los resultados de m todos cualitativos. Esto podra ser e causado por diferentes razones, algunas de las principales que hemos detectado de los comentarios y actitudes de los m todos cualitativos son: que los alumnos durante e la experiencia consideraron algunas de las pistas proporcionadas utiles pero no otras debido a sus diferentes niveles de conocimiento en diferentes materias, que las pistas al no ser adaptativas a los alumnos en esta experiencia provocaron que las mismas pistas pudieran ser utiles a algunos alumnos pero no a otros ya que todos recibieron las mismas pistas independientemente de su nivel y por ejemplo ciertas pistas podan no ayudar si no se tena un nivel de conocimiento mnimo para poder resolver la pista (esta raz n tambi n explicara la considerable varianza sobre la utilidad de las pistas o e en la experiencia, ya que dependiendo del nivel de los alumnos en la materia las pis tas podran ser m s o menos utiles, lo que haga que haya discrepancia de opiniones a sobre esta cuesti n en las respuestas), o que las pistas que se proporcionaron a los o alumnos se intent que no fueran respuestas directas hacia la soluci n, sino respuestas o o que les condujeran a una inmersi n en un proceso de descubrimiento para llegar a la o respuesta.

194

Captulo 5. Evaluaci n del Modelo de Pistas Propuesto o El sistema de pistas fue f cil de utilizar y tiene una buena usabilidad. Esto se desprena de de la alta puntuaci n (5.93 y 6) obtenida en la pregunta general sobre usabilidad o as como su peque a varianza, lo que indica que la mayora de alumnos opina de esta n forma, as como de las puntuaciones de usabilidad de aspectos concretos. No obstante, respecto a los aspectos de usabilidad concretos referentes al sistema de puntuaci n y o sobre todo al n mero m ximo de pistas que se pueden seleccionar en un determinado u a momento, la varianza es alta, lo que indica que no todos los alumnos estuvieron de acuerdo en ello, lo que hace pensar que para dichos alumnos habra que hacer una me jor explicaci n en el sistema o exponerse de forma m s transparente para que tuvieran o a m s claros estos aspectos. Esto tambi n lo ha reejado alg n alumno en las entrevisa e u tas personales. Tambi n de los comentarios de los alumnos se deduce que aunque la e herramienta tiene una buena usabilidad en general en los diferentes aspectos, ciertas mejoras son posibles. Con esta realimentaci n, se pueden tomar las medidas oportuo nas para mejorar ciertos aspectos de la usabilidad, si bien hay algunos aspectos de los pedidos que son m s difciles de abordar (como por ejemplo la integraci n del sisa o tema de pistas con el sistema Aula Global de la universidad), pero otros en los que queremos tomar acciones en un futuro (por ejemplo la mejora en la presentaci n de o las preguntas de m ltiple respuesta). u

5.4.
5.4.1.

Comparaci n del Incremento de Aprendizaje entre Sistema o con y sin Pistas

Objetivo

En este apartado se pretende conseguir un objetivo: Objetivo 2.1: Conocer el impacto en el aprendizaje que supone para los alumnos utilizar un sistema va Web de problemas con pistas sin personalizaci n y con todas las caractersti o cas del modelo denido, con respecto a usar un sistema va Web de problemas pero sin pistas acorde con la especicaci n IMS-QTI v1. o

5.4.2. Metodologa
Para conseguir este objetivo, hemos tomado en cuenta s lo las experiencias realizadas o en Laboratorio de Arquitectura de Ordenadores para tres ediciones (2004/2005, 2005/2006, y 2006/2007). En las ediciones 2004/2005 y 2005/2006 se utiliz en clase un m dulo de o o evaluaciones acorde con la especicaci n IMS-QTI v1 (que no incluye la provisi n de pistas) o o incrustado en la plataforma .LRN, mientras que en la edici n 2006/2007 se utiliz en clase o o el m dulo de pistas que implementamos en XTutor en lugar del m dulo de IMS-QTI v1 o o de .LRN. En la ultima edici n de Laboratorio de Arquitectura de Ordenadores (2007/2008) o tambi n se utiliz en clase el m dulo de pistas de XTutor pero no se va a tener en cuenta e o o esta edici n, ya que en ella se a adieron m s problemas con pistas (20 en lugar de 16) lo o n a que no ajusta con el criterio de equivalencia entre n mero de problemas en ediciones con el u m dulo de IMS-QTI en .LRN y el m dulo de pistas en XTutor, como m s tarde se mostrar . o o a a El hecho de tener m s problemas con pistas en la ultima edici n se debi a que los objetivos a o o

5.4. Comparaci n del Incremento de Aprendizaje entre Sistema con y sin Pistas o

195

de esa experiencia eran otros (como se ver en una subsecci n posterior) y no se dise o para a o n este objetivo. El m dulo IMS-QTI de .LRN permite evaluaciones con problemas que est n acordes o a a la especicaci n IMS-QTI v1, lo cual no incluye la provisi n de pistas. En las ediciones o o 2004/2005, y 2005/2006 se puso este m dulo de .LRN disponible para los alumnos de forma o que lo pudieran utilizar para realizar diferentes problemas sin pistas de tipo relleno de blancos, m ltiple elecci n, y m ltiple respuesta. Estos problemas abarcaban todas las diferentes u o u materias en que se divida la asignatura, y fueron un total de 10 ejercicios por cada una de las materias abordadas. Por otro lado, en la edici n 2006/2007 se utiliz el m dulo de pistas implementado en o o o XTutor, dejando disponibles para los alumnos preguntas con pistas de diferentes tipos, diversos modos de puntuaci n, etc. que cubran gran parte de la especicaci n de pistas denida. o o Los alumnos podan interaccionar con estos problemas que tambi n fueron de tipo relleno e de blancos, de m ltiple elecci n y m ltiple respuesta, del mismo modo tambi n abarcaban u o u e las diferentes materias en que se divida la asignatura. En este caso, el n mero de problemas u por materia abordada era de 4, dando un total de 16 al tener 4 materias. Varios de estos 16 problemas eran muy parecidos a los problemas que se haban utilizado en ediciones anterio res con el m dulo IMS-QTI de .LRN, aunque tambi n haba algunos problemas nuevos. Si o e bien el n mero de 16 de la edici n 2006/2007 es bastante menor a los correspondientes 40 u o de lad edicionrd 2004/2005 y 2005/2006, hay que tener en cuenta que las 16 preguntas de la edici n 2006/2007 llevaban incrustadas como pistas muchos de los 40 problemas hechos o en IMS-QTI, que no haban sido elegidos como cuestiones base dentro de las 16 preguntas base. Esto se hizo as por la gran relaci n existente entre varios de los 40 problemas iniciales. o No obstante, en la conformaci n de pistas se utilizaron tambi n nuevos problemas pista no o e usados en las ediciones anteriores. En las ediciones 2004/2005 y 2005/2006 se utiliz el m dulo IMS-QTI de .LRN desde o o varios das antes del examen hasta el mismo da del examen de forma ininterrumpida, de forma que los alumnos podan acceder va Web a los ejercicios en cualquier lugar y a cual quier momento. Del mismo modo, en la edici n 2006/2007 se utiliz el m dulo de pistas en o o o XTutor de forma ininterrumpida desde varios das antes del examen hasta el mismo da del examen nal, de forma que los alumnos podan interaccionar con la plataforma en cualquier lugar y momento. Para la consecuci n del objetivo, se van a comparar los resultados de los alumnos en el o examen nal en las ediciones en las que se utiliz el m dulo IMS-QTI de .LRN con respecto o o a la edici n en que se utiliz XTutor con el m dulo de pistas. o o o En toda comparaci n es importante tener muy en cuenta qu variables cambian respecto o e a las situaciones que se van a comparar. Unas preguntas metodol gicas surgen inicialmente o respecto a la comparaci n que nos incumbe y son las siguientes, que van acompa adas de o n sus respectivas respuestas y justicaciones: 1. Puede que en una experiencia los alumnos est n realizando m s problemas que en e a otra y por eso puedan aprender m s? Para intentar tener una medida justa de los dos sistemas a en los diferentes aspectos, se dise o la experiencia para que los alumnos dedicaran la misma n cantidad de tiempo en un sistema que en otro (en media de todos los alumnos). En cualquier caso esto es una estimaci n que se hizo a priori del siguiente modo: por cada problema o con pistas se estima que un alumno ver en media la mitad de sus problemas pista, y cada a

196

Captulo 5. Evaluaci n del Modelo de Pistas Propuesto o

problema tiene aproximadamente en media 3 problemas pista asociados, por lo tanto un alumno ver por cada problema base en media 2.5 problemas (el mismo problema base y 1.5 a problemas pista). Se supone que un problema (base o pista) en XTutor requiere el mismo tiempo que un problema en el m dulo IMS-QTI (de hecho muchos de los de IMS-QTI fueron o replicados en XTutor como base o pistas). Por lo tanto, bajo esta aproximaci n, para que a o un alumno en media le requiera el mismo tiempo su interacci n con el sistema, debera o tener 16 problemas con pistas, lo que sera equivalente a 40 problemas sin pistas. Desde luego, en el sistema con pistas habr mayor cantidad de materiales que un profesor debe a hacer, lo que le llevar una mayor cantidad de tiempo en la preparaci n de dicho material a o (aproximadamente 16 multiplicado por 4 que da un total de 64 problemas a preparar, en comparaci n con los 40 del m dulo IMS-QTI de .LRN. Adem s de ajustar los diferentes o o a criterios de puntuaci n, n mero m ximo de pistas a visualizar, meta-informaci n, etc.), pero o u a o eso no quiere decir que el alumno vaya a ver toda la informaci n porque s lo indagar en o o a aquella informaci n donde tenga dudas, o dependiendo de la puntuaci n que pueda perder, o o o no sepa resolver un problema, o incluso tendr que pensar cu les ve ya que la herramienta a a a veces s lo le dejar elegir un m ximo, etc. De hecho, los problemas que resolver por una o a a a u otra plataforma no ser n seguramente los mismos ya que el alumno elegir en funci n a a o de diversos aspectos, y adem s su visi n tampoco ser la misma ya que en el proceso debe a o a elegir entre varias opciones, ver la inuencia de puntuaci n de unos problemas sobre otros, a o etc. Estas diferencias metodol gicas son las que queremos medir, pero aislando el factor o (en lo posible) de que una diferencia en el aprendizaje sea debida a una mayor o menor interacci n con la plataforma en los mismos temas de la asignatura (cabe remarcar en este o punto que la aproximaci n de que un alumno en media ver aproximadamente la mitad de o a pistas en el sistema es compatible con los datos cuantitativos de porcentaje de pistas vistas por los alumnos en el sistema, que era s lo un poco mayor al 50 %). o 2. Puede que los problemas de unas ediciones fueran mejores que los presentados en otras ediciones? Los problemas fueron dise ados para que fueran igual de ecaces en todas n las ediciones de la asignatura, de modo que este efecto no inuyera en la medida de resultados. Hubo algunos pocos problemas que fueron realizados en IMS-QTI que no se incluyeron en XTutor, pero bien se sustituy por uno equivalente o se descart por enfatizarse m s en el o o a siguiente curso otros aspectos tem ticos. Tambi n se crearon problemas nuevos en XTutor a e ya que al haber pistas y seg n la regla de equivalencia comentada en el punto anterior, se u necesitaron mayor n mero de problemas en total, pero tales problemas fueron en cualquier u caso dise ados para tener la misma ecacia que los que ya existan en la plataforma .LRN n para IMS-QTI. 3. Qu diferencias de variables metodol gicas se est n teniendo en cuenta en la medida e o a entre las diferentes ediciones de los cursos? Es importante indagar en todas las condiciones diferentes involucradas en las ediciones de la experiencia que son ajenas a los sistemas a comparar pero intrnsecas a la asignatura y que pudieran hacer variar el resultado nal de los alumnos. Cuando se realiza una experiencia en teleeducaci n de comparaci n de incremento o o de aprendizaje usualmente hay dos grupos (llamados control y de la experiencia, en este caso el de control sera las ediciones con uso de la plataforma .LRN y el de experimento el de uso de XTutor) y dos opciones metodol gicas con respecto a la ejecuci n de la experiencia: o o i) Tener una experiencia totalmente controlada. Por esto se entiende una experiencia en la que los alumnos est n en un aula y son monitorizados durante todo el tiempo de a

5.4. Comparaci n del Incremento de Aprendizaje entre Sistema con y sin Pistas o

197

la sesi n que dura la experiencia, de forma que los factores externos a la experiencia o son controlados. De esta forma se puede garantizar que los alumnos no interaccionan con otros sistemas o recursos, se puede observar qu es lo que hacen exactamente, e etc. Esto reduce ruidos externos en la medida, pero como contrapartida lleva implcito que se tiene que reducir a un espacio de tiempo determinado (ya que no sera viable por ejemplo tener controlados a un grupo de alumnos durante das ininterrumpida mente), lo cual hace que haya menor cantidad de datos estadsticos a analizar y que el n mero de objetivos de investigaci n a tener en cuenta sean acordes con el tiempo u o proporcionado. ii) Tener una experiencia a lo largo de un gran periodo de tiempo sin control total. Por esto se entiende una experiencia en la que los alumnos pueden acceder al sistema en cualquier momento y cualquier lugar durante un n mero elevado de das. En este tipo u de experiencias los alumnos no son controlados durante todo el tiempo sino que pueden interaccionar en casa, en la universidad, en otra ciudad, etc. Adem s, en medio a pueden utilizar libros, internet, o cualquier otro recurso, sin ser controlado ninguno de estos aspectos. Todo ello aumenta el ruido introducido en la medida (ya que la adquisici n de conocimiento puede venir no s lo del sistema analizado sino de otros o o factores de los que no se tiene control), pero tiene la ventaja de que se pueden analizar m s datos estadsticos, o sacar objetivos m s amplios. Uno de los supuestos para a a que este tipo de experiencias tenga validez, es que la cantidad de factores externos involucrados que pueden inuir en la medida no benecien a favor de lo que se quiere demostrar, para garantizar de esta forma que las diferencias observadas son debidas al cambio de herramienta, metodologa, etc. utilizada. Para la consecuci n del objetivo en cuesti n de esta secci n, hemos seguido la metoo o o dologa de tener una experiencia a lo largo de un gran periodo de tiempo, en lugar de una totalmente controlada (los sistemas se les ofrecen a los alumnos desde un determinado da y hasta la fecha del examen nal, durante un n mero ininterrumpido de das). La medida para u ver el aprendizaje nal de los alumnos ser la nota obtenida en el examen nal, as como a el n mero de alumnos que aprobaron el examen. Adicionalmente, en lugar de realizar en u la misma edici n de la asignatura el grupo de control y el del experimento se ha decidido o utilizar el grupo de control en dos ediciones (2004/2005 y 2005/2006) y el grupo de experimentaci n en una edici n (2006/2007). Esto es porque de haberse hecho todo en el mismo o o a o, las URLs disponibles va Web acabaran distribuy ndose entre todos los alumnos y al n e nal todos podran acceder a todo el material no pudi ndose medir la comparaci n en la e o mejora del aprendizaje que se querra. Adem s, el sistema de pistas en XTutor no estuvo a implementado hasta la edici n 2006/2007 con lo que no podra haberse introducido antes o para la experiencia. No obstante, el hecho de tener a los diferentes grupos (control y de la experiencia) en diferentes ediciones de la asignatura hace que se introduzca un elemento de ruido adicional, que es las condiciones cambiantes en los cursos a lo largo de sus diferentes ediciones: modicaciones metodol gicas extra, diferente nivel de los alumnos que acceden al curso, dio cultad del examen nal, etc. Todas estas condiciones habr que tenerlas en cuenta a la hora a del an lisis de resultados ya que son tambi n variables diferentes a lo que queremos medir y a e que inuyen en el resultado nal medido. Estos factores a tener en cuenta son consecuencia

198

Captulo 5. Evaluaci n del Modelo de Pistas Propuesto o Edici n de curso o 2004/2005 191 44.5 Edici n de curso o 2005/2006 206 19.9 Edici n de curso o 2006/2007 141 11.3

N mero total de alumnos u matriculados Porcentaje de alumnos no presentados al examen ( %) Porcentaje de alumnos que aprobaron el examen ( %) Nota media de los alumnos en el examen nal (dentro del rango [0, 10])

23.1

67.0

78.7

4.5

6.5

6.5

Tabla 5.3: Comparaci n entre diferentes ediciones de la asignatura Laboratorio de Arquiteco tura de Ordenadores de la metodologa empleada al comparar datos de diferentes ediciones de la misma asigna tura. En caso de haber elegido tener la medida en la misma edici n del curso estos factores o desapareceran, pero habra que tener en cuenta otras dicultades y ruidos en la medida, como la que ya se ha comentado anteriormente.

5.4.3.

Resultados y An lisis Crtico a

La tabla 5.3 muestra informaci n para cada edici n de la asignatura sobre el n mero o o u total de alumnos matriculados, el porcentaje de alumnos que no asistieron al examen (no presentados), el porcentaje de alumnos que aprobaron el examen, y la nota media obtenida por los alumnos en el examen nal (s lo incluye a los alumnos presentados al examen). o Si juntamos los resultados de las dos ediciones de la asignatura en las que se utiliz el o m dulo de IMS-QTI v1 de .LRN (ediciones 2004/2005 y 2005/2006) y a continuaci n como o paramos este resultado combinado con respecto a la edici n 2006/2007 en la cual se utiliz el o o reproductor de pistas implementado en XTutor, entonces podemos observar una gran mejora en todos los par metros considerados en la tabla 5.3. Pero inmediatamente surge la siguiena te cuesti n: Es esta mejora debida a la utilizaci n del reproductor de pistas en lugar del o o m dulo de IMS-QTI v1? De los datos podemos observar que hay una enorme diferencia o entre las ediciones 2004/2005 y 2005/2006, a pesar de que en ambas ediciones se utiliz el o mismo m todo de preguntas con IMS-QTI v1. Analizando los datos, hemos concluido que e entre todos los factores involucrados hubo uno que produjo el mayor impacto en la enorme diferencia entre estas dos ediciones. En la edici n 2004/2005 la asistencia a clase y las o entregas de pr cticas fueron completamente opcionales, por lo que muy pocos alumnos asisa tieron a clase y tambi n muy pocos entregaron sus pr cticas. Por el contrario, en la edici n e a o 2005/2006 fue obligatoria la asistencia a un n mero mnimo de sesiones de clase, y adem s u a la entrega de todas las pr cticas fue obligatoria, evalu ndose dichas pr cticas y contando a a a para la nota nal de la asignatura. A pesar de que este no era el objetivo principal de nuestra investigaci n, de estos datos podemos concluir que la obligatoriedad de asistencia a clase y o

5.4. Comparaci n del Incremento de Aprendizaje entre Sistema con y sin Pistas o

199

la realizaci n de pr cticas a lo largo del curso por parte de los alumnos que les son evaluadas o a y cuentan para la nota, tuvo un efecto muy positivo en el aprendizaje de los alumnos. Por lo tanto, los datos de la edici n 2004/2005 han sido descartados y no se han tenido en cuenta o ya que hubo una inuencia muy grande e importante de este factor externo comentado. Si comparamos los datos de la edici n 2005/2006 con respecto a los de la 2006/2007 o podemos observar una mejora ya que la nota media de los alumnos en el examen nal fue la misma pero hay un incremento en el porcentaje de alumnos que aprobaron la asignatura y una reducci n en el porcentaje de alumnos que no se presentaron al examen. Por lo tano to, estos datos sugieren la conclusi n de que el m dulo de pistas de XTutor produjo una o o mejora con respecto al m dulo IMS-QTI v1 de .LRN. Pero de nuevo surge una nueva cueso ti n natural similar: Hubo algunos factores externos importantes que hicieran diferentes las o condiciones de las experiencias en las ediciones 2005/2006 y 2006/2007, aparte del hecho de la utilizaci n del m dulo de pistas en lugar del m dulo de IMS-QTI v1? Debido a que las o o o asignaturas efect an cambios y modicaciones necesarias, est n sometidas a una evoluci n u a o imparable a lo largo de sus diferentes ediciones, y algunos factores no es posible su control, por ello es difcil replicar exactamente las mismas condiciones entre diferentes ediciones. Analizamos las posibles diferencias entre ambas ediciones, y detectamos algunos aspectos que pudieran ser relevantes. Tales diferencias son el n mero de alumnos que repitieron la u asignatura (por lo tanto estuvieron en ambas ediciones e interaccionaron con ambos sistemas, aunque en el segundo a o se deshabilit el sistema de IMS-QTI para que no estuviera n o accesible y se proporcion s lo el sistema de pistas con XTutor), los niveles iniciales de o o conocimiento de los diferentes alumnos (en general hay una tendencia en la titulaci n a o que alumnos que entran m s tarde tengan un menor nivel de conocimiento, por lo que los a alumnos de la edici n 2006/2007 pudieran tener un nivel inicial mayor que los de la edici n o o 2007/2008), modicaciones en los aspectos metodol gicos, la dicultad del examen nal, la o correlaci n del examen nal con respecto a las preguntas en IMS-QTI o las preguntas con o pistas, etc. Realizando un balance cualitativo entre los factores de las ediciones 2005/2006 y 2006/2007, consideramos que los factores extra que pueden beneciar las notas de los alumnos en la edici n 2005/2006 son superiores a los de la edici n 2006/2007, y vemos sin o o embargo que los resultados son mejores para la edici n 2006/2007. o Realizando las pruebas Chi-cuadrado de Pearson para los alumnos presentados en ambas ediciones, de la variable aprobado con respecto al uso del m dulo IMS-QTI de .LRN o o el m dulo de pistas con XTutor, obtenemos unos valores de 1.562 para el estadstico chio cuadrado de Pearson (con signicaci n de 0.211) y de 1.593 para la raz n de verosimilitudes o o (con signicaci n de 0.207). Al ser valores de signicaci n mayores a 0.05 no podemos cono o cluir que la diferencia entre el n mero de aprobados usando el m dulo IMS-QTI de .LRN u o con respecto al m dulo de pistas en XTutor sea estadsticamente signicativa al 95 %. No o obstante, se observa una tendencia en la muestra hacia ser mejor con el m dulo de pistas con o XTutor, que podemos indicar que es considerable, dado que en el an lisis cualitativo se dea termin que el efecto positivo de los factores extra que benecian a las notas de los alumnos o en la edici n en que se us el m dulo IMS-QTI de .LRN eran superiores a los factores extra o o o que inuyeron en la edici n que se us el m dulo de pistas en XTutor. Como a pesar de ello o o o los resultados con el m dulo de pistas en XTutor no est n lejanos a ser estadsticamente sigo a nicativos al 95 %, podemos argumentar y concluir que fue considerable el efecto positivo en el incremento del aprendizaje por el uso del m dulo de pistas funcionando de acuerdo a o

200 la nueva especicaci n denida. o

Captulo 5. Evaluaci n del Modelo de Pistas Propuesto o

5.5.
5.5.1.

Comparaci n del Incremento del Aprendizaje entre el Sisteo ma de Pistas y un Tutor Humano
Objetivos

Los objetivos que nos proponemos conseguir en esta secci n son los siguientes: o Objetivo 3.1: Realizar una estimaci n de cu nto incrementa el conocimiento de los o a alumnos tras la interacci n con el sistema de pistas implementado, en las condiciones o de la experiencia realizada. Objetivo 3.2: Conocer si es tan efectivo para la adquisici n de conocimiento un sisteo ma tutor con pistas acorde con la especicaci n denida, con respecto a un tutor huo mano dando pistas. La idea es conocer si el tutor que hemos implementado en XTutor con las diferentes funcionalidades de dar pistas, es tan efectivo como un tutor humano dando pistas en clase sobre los mismos ejercicios.

5.5.2.

Metodologa

Para determinar estos objetivos se ha realizado una experiencia en Laboratorio de Arquitectura de Ordenadores en su edici n 2006/2007. La sesi n experimental fue controlada o o y se desarroll durante un total de 2 horas. Este es el tiempo m ximo que tenemos de forma o a continuada de clase en esta asignatura durante un da, por lo que a pesar de habernos gusta do disponer de m s tiempo continuado para la experiencia esto no fue posible. El hecho de a tener una sesi n controlada de 2 horas, en lugar de desarrollarse durante varios das, hace o que los resultados sean m s conables ya que hay un control sobre lo que los alumnos est n a a realizando en la sesi n y no se incluyen factores externos en la medida. Por el contrario, con o una experiencia de 2 horas el n mero de actividades que se pueden realizar est n limitadas u a en el tiempo, as como el n mero de datos estadsticos que se pueden tomar, esta limitaci n u o no es tal si la experiencia se hace durante varios das, pero entonces se pierde el control de lo que los alumnos est n realmente haciendo y otros factores externos m ltiples entran en a u escena (por ejemplo alumnos leyendo teora, otros libros, consultas entre ellos, etc.) aparte de lo que se quiere medir. En este punto, es necesario realizar una aclaraci n sobre la metodologa para alcanzar o diferentes objetivos. Se ha comentado que se ha utilizado la edici n 2006/2007 de Laboratoo rio de Arquitectura de Ordenadores para diferentes objetivos: en un caso con una experiencia larga no totalmente controlada (para los aspectos generales sobre el uso de la herramienta, y la comparaci n de sistema con pistas y sin pistas) y por otro lado con una experiencia o controlada durante una sesi n de 2 horas (para comparar el sistema de pistas con respecto a o un tutor humano). Es necesario por tanto enlazar ambos aspectos. En la edici n 2006/2007 o de Laboratorio de Arquitectura de Ordenadores, se puso a disposici n de los alumnos la heo rramienta XTutor con el sistema de pistas por primera vez en la experiencia controlada de clase que dur 2 horas, durante esas 2 horas se tomaron datos para la comparaci n del tutor o o humano con respecto al sistema de pistas en XTutor. Seguidamente, la plataforma XTutor

5.5. Comparaci n del Incremento del Aprendizaje entre el Sistema de Pistas y un o Tutor Humano 201 qued disponible hasta el da del examen de la asignatura durante varios das, siendo esta o la experiencia larga donde se tomaron datos para los otros objetivos comentados. De esta forma, los alumnos que han tomado la sesi n de 2 horas pueden seguir accediendo a los o ejercicios con pistas hasta el da del examen, y los que no han asistido a la sesi n tambi n o e pueden disponer de ellos. Es por ello que el n mero de participantes en la experiencia larga u es mayor al n mero de participantes en la experiencia controlada de 2 horas. u De los 141 estudiantes matriculados en la asignatura en la edici n 2006/2007, un total o de 82 participaron en la sesi n voluntaria de 2 horas en la que se realiz la experiencia. Esta o o actividad dentro de las horas de clase no tena repercusi n en la nota nal y era totalmente o voluntaria. Durante la sesi n de laboratorio de 2 horas de duraci n, los alumnos trabajaron indivio o dualmente, cada uno con un ordenador asignado. Hubo un total de 2 profesores por grupo (6 profesores en total al haber 3 grupos), por lo que hubo una media de 13,67 alumnos por profesor. Los temas cubiertos en la sesi n fueron shell script, makele, comunicaci n entre o o procesos, y sistema de cheros FAT. Es relevante comentar que si bien cada uno de estos temas es muy amplio, la sesi n se centr en los aspectos principales de dichos temas del o o subconjunto visto en la asignatura. Para la medida de este objetivo, los alumnos fueron divididos en dos grupos experimentales: el grupo 1 (55 alumnos) que interaccionaron primero con el sistema tutor de pistas, y el grupo 2 (27 alumnos) que interaccionaron primero con el tutor humano proporcionando pistas. Como cada uno de los grupos de la universidad est n en diferentes aulas, y los profea sores deben explicar diferentes aspectos dependiendo de si los alumnos pertenecen al grupo 1 o al grupo 2 de la experiencia, entonces se decidi que todos los alumnos de un mismo o grupo de la universidad deban pertenecer al mismo grupo de la experiencia. As los alum nos de la ma ana, pertenecientes a los grupos de la universidad 91 y 95, fueron asignados n al grupo 1 de la experiencia. Mientras los alumnos de la tarde, pertenecientes al grupo de la universidad 92, fueron asignados al grupo 2 de la experiencia. Con este criterio, uno de los dos grupos tena que ser m s grande que el otro a la fuerza ya que haba tres grupos en la a universidad para la asignatura. Por motivos que luego se explicar n en detalle en otra secci n a o relacionados con la consecuci n de otros objetivos basados en la misma experiencia controo lada, se determin que era conveniente que el grupo 1 fuera mayor en n mero de alumnos o u que el grupo 2. Es de destacar que el hecho de elegir como m s grande uno u otro no afecta a para el objetivo de comparaci n entre sistema con pistas y tutor humano que se analiza en o esta secci n. o La gura 5.1 muestra las diferentes fases de la experiencia para cada uno de los diferentes grupos experimentales: 1 y 2. Las fases para el grupo 1 son las siguientes: FASE 1: Introducci n: Explicaci n de la experiencia en el laboratorio y distribuci n de o o o las claves de acceso (tiempo estimado: 5 minutos). En esta fase, los profesores explicaron a los alumnos en qu consistira la sesi n de laboratorio, y motivaron a los alumnos para e o tomarse la sesi n seriamente. Los profesores explicaron que a los alumnos les seran preo sentados diferentes ejercicios y evaluaciones relacionados con las diferentes materias de la asignatura, algunos de ellos con algunos tipos de pistas para ayudarles. Adem s, los profea sores explicaron como los alumnos podan acceder a la plataforma con un login que es la identicaci n del alumno en la universidad, y una contrase a que es su n mero de documeno n u

202

Captulo 5. Evaluaci n del Modelo de Pistas Propuesto o

Figura 5.1: Diferentes fases de la experiencia dependiendo del grupo to nacional de identidad. Por supuesto, previamente a la sesi n de clase, dimos de alta en el o sistema XTutor a todos los alumnos matriculados en la asignatura (141) con sus respectivos pares login/password, cuyos datos obtuvimos a trav s de la informaci n disponible en la e o universidad para los profesores. FASE 2: Pre-test (tiempo estimado: 10 minutos). El pre-test consisti en un conjunto o de 8 problemas iniciales sin pistas, sobre las diferentes materias de la asignatura. Con este pre-test se pretenda medir el nivel inicial de los alumnos. En esta fase, el profesor no proporcion ning n tipo de ayuda o pistas a los alumnos. o u FASE 3: Problemas con pistas proporcionados por el sistema de pistas en XTutor (tiempo estimado: 50 minutos). En esta fase cada alumno visualiz un ndice con 16 problemas o que cubran los conceptos fundamentales seleccionados sobre las diferentes materias de la asignatura. Cada problema tena una o m s pistas, compuestas a su vez por uno o varios a problemas pista, abarcando diferentes estrategias relacionadas con la especicaci n de pistas o denida. La experiencia estaba dise ada de tal forma que cada alumno pasaba a lo largo de n los problemas por todas las diferentes estrategias y sus t cnicas de pistas con las que se e dise o la experiencia. Estos problemas con pistas fueron ofrecidos por el sistema XTutor n con la extensi n del m dulo de pistas que implementamos. En esta fase, los profesores no o o ofrecieron ninguna ayuda ni pistas a los alumnos para resolver los problemas. Tan s lo el o sistema XTutor con el m dulo de pistas ayud a los alumnos en los problemas, utilizando o o diferentes t cnicas de provisi n de pistas. En esta fase, los profesores s lo ofrecieron ayuda e o o a los alumnos relativa al uso de la herramienta, cuando ellos formularon alguna cuesti n, o aunque no fueron demasiadas. FASE 4: Post-test (tiempo estimado: 10 minutos). El post-test fue un conjunto de 8 problemas nales sin pistas, que abarcaban todas las materias de la asignatura. Los problemas del post-test y del pre-test fueron diferentes y dise ados de tal forma que tuvieran exactan mente el mismo nivel de dicultad, y tambi n la misma estructura. El objetivo era conocer e el nivel nal de los alumnos en la asignatura. En esta fase, los profesores no proporcionaron ning n tipo de ayuda a los alumnos. u FASE 5: Problemas con pistas proporcionadas por los profesores (tiempo estimado: 20 minutes). En esta fase, los alumnos interaccionaron con exactamente los mismos 16 proble-

5.5. Comparaci n del Incremento del Aprendizaje entre el Sistema de Pistas y un o Tutor Humano 203 mas que se proporcionaron en la FASE 3, pero en este caso el sistema no proporcion ning n o u tipo de pistas relacionadas con esos problemas. En su lugar, los alumnos podan preguntar a los profesores, los cuales les proporcionaban pistas. De este modo, los profesores dieron una ayuda a los alumnos proporcionando las pistas que consideraron oportunas a los alumnos para los diferentes ejercicios. FASE 6: Encuesta a los alumnos (tiempo estimado: 10 minutos). Los alumnos rellenaron un formulario a modo de encuesta sobre los diferentes aspectos de la experiencia en el laboratorio, el sistema de pistas, las diferentes funcionalidades de pistas, etc. Los resultados de esta encuesta no afectan a los objetivos de esta secci n, pero esta fase era necesaria para o abordar otros objetivos comentados en otras secciones de la memoria. Para el grupo 2 de la experiencia, todas las fases son similares a las del grupo 1, con la excepci n de las fases 3 y 5 que est n intercambiadas. Por lo tanto, para el grupo 2 de o a la experiencia, la fase 3 se corresponde con Problemas con pistas proporcionadas por los profesores y tiene un tiempo estimado de 50 minutos, mientras que la fase 5 se corresponde con Problemas con pistas proporcionados por el sistema de pistas en XTutor y tiene un tiempo estimado de 20 minutos. Realmente la fase 5 de ambos grupos 1 y 2 de la experiencia no es necesaria para los prop sitos de los objetivos de investigaci n de esta secci n. Adem s la fase 5 del grupo 1 o o o a de la experiencia no es necesaria para ninguno de los prop sitos de la experiencia, mientras o que la fase 5 del grupo 2 de la experiencia es s lo necesaria para que los alumnos vieran las o diferentes caractersticas del m dulo de pistas de XTutor con el n de que pudieran respon o der las diferentes preguntas de la encuesta nal realizada (y que son necesarias para otros objetivos diferentes abarcados en secciones diferentes a esta). En cualquier caso, ninguno de los datos recogidos en la fase 5 se tendr en cuenta para los objetivos de esta secci n (ni a o para el grupo 1 ni para el 2). No obstante, la fase 5 est tambi n incluida en ambos grupos a e para ser justos en el proceso de ense anza/aprendizaje. De esta forma se les proporciona a n los alumnos los mismos materiales y t cnicas durante la sesi n, aunque intercambiadas de e o orden (aunque el orden pudiera afectar un poco el resultado nal de aprendizaje de los alumnos, pero este no es ninguno de los objetivos que nos planteamos medir en la investigaci n). o El hecho de asignar menos tiempo a la fase 5 que a la fase 3, es porque al ser los problemas los mismos en ambas fases pero unas veces con pistas del tutor humano y otras veces con pistas desde XTutor, entonces la segunda vez que se proporcionan los problemas se estima que se tardar menos tiempo en abordarlos. a Para la consecuci n del objetivo 3.1 se calcular n las medias de los test inicial y nal, o a viendo si la diferencia entre ambas es estadsticamente signicativa aplicando la prueba t, y estimando un intervalo de conanza al 90 % que cuantique bajo esa probabilidad cu nto es a el incremento. Por otro lado, para sacar conclusiones sobre el objetivo 3.2, se va a medir la diferencia entre la media obtenida por los alumnos en el post-test y la obtenida por los alumnos en el pre-test, para cada uno de los dos grupos. De esta forma conoceremos el incremento medio de aprendizaje cuando los alumnos pasan por el tutor de pistas en XTutor y cuando los alumnos han interaccionado con los profesores de la asignatura. As se podr comparar a cu nto ha incrementado el aprendizaje en cada caso. Tambi n mediremos las varianzas de a e ambos grupos en este incremento de aprendizaje, y veremos cu n signicativa es la diferena cia de la media de ambos grupos apoy ndonos en la prueba t. As mismo se determinar un a a

204

Captulo 5. Evaluaci n del Modelo de Pistas Propuesto o

intervalo de conanza al 90 % para cuanticar bajo esa probabilidad cual es la diferencia en incremento de aprendizaje de utilizar el sistema de pistas con respecto a utilizar un tutor humano. El grupo de la experiencia 2 podra ser visto como un grupo de control, ya que lo que queremos comparar en el objetivo 3.2 es si el sistema tutor de provisi n de pistas en XTutor o puede ser tan efectivo en clase como un tutor humano dando pistas en clase. El principal objetivo es por lo tanto conocer si por el hecho de introducir al sistema tutor con pistas implementado vamos a perder efectividad en el incremento de aprendizaje de los alumnos con respecto a tener tutores humanos en clase que son los que proporcionan las pistas. Es por ello que tenemos s lo estos dos grupos de la experiencia para poder comparar entre ellos o debido al objetivo marcado. Uno de los factores a tener en cuenta para la validez de los resultados es que la selecci n o de los grupos de alumnos de la experiencia debe ser aleatoria, de forma que por ejemplo los alumnos del grupo 1 no tengan un mayor conocimiento inicial de la asignatura que los alumnos del grupo 2 y viceversa, ya que esto podra condicionar los resultados de lo que deseamos medir. Esto se ha garantizado debido a que la selecci n de los alumnos ha sido o aleatoria, ya que se cogi a todos los alumnos del mismo grupo de la universidad para el o mismo grupo del experimento, y que no haba ning n indicador que sugiriera que los alum u nos de un grupo de la universidad tenan un mayor grado de conocimiento en la asignatura que los de otro grupo. En cualquier caso, en la secci n de resultados vamos a comparar el o nivel inicial de los alumnos de ambos grupos, observando las notas que obtuvieron en el test inicial, para vericar la hip tesis de que ambos partan con el mismo nivel de conocimiento o sobre la asignatura. Viendo el incremento de conocimiento entre el pre-test y el post-test podremos ver el incremento de conocimiento total de los alumnos tras pasar por el sistema o por los tutores humanos. Esto es debido al dise o de la experiencia, ya que el pre-test y post-test fueron n meticulosamente dise ados para que tuvieran la misma dicultad, y tambi n porque no se n e repiten preguntas de un test a otro. Esto es crucial para poder medir el incremento de aprendizaje real entre las dos situaciones, ya que si el test nal fuera m s sencillo que el inicial a o con repetici n de preguntas, esto podra explicar el incremento de aprendizaje, en lugar o de la interacci n con el sistema de pistas en XTutor y con los tutores humanos. De hecho, o el pre-test y post-test podran ser intercambiados pasando el pre-test actual a ser el post-test y viceversa. La elecci n de cu l sera el pre-test y cual el post-test fue aleatoria. Para coo a rroborar que ambos tests tienen la misma dicultad se podra poner un grupo de control de alumnos que no hiciera nada durante 50 minutos. Esto se descart debido a que el objetivo o fundamental era comparar las dos situaciones descritas en los grupos del experimento y no con respecto a la cantidad de incremento de conocimiento, a que supondra una p rdida de e datos estadsticos al poner alumnos en un grupo adicional, y a que era bastante inviable tener a los alumnos sin realizar ninguna actividad durante 50 minutos de clase. No obstante, por el dise o de dicultad similar de ambos tests, consideramos que se n pueden extraer conclusiones v lidas con respecto al objetivo de cuanticar el incremento de a aprendizaje que supone pasar por el sistema de pistas en las condiciones de la experiencia. A pesar de eso, se podra barajar la hip tesis de haber alguna diferencia de dicultad en los o tests que no fuera apreciable para los profesores, pero en cualquier caso estimamos que esa diferencia sera peque a. n

5.5. Comparaci n del Incremento del Aprendizaje entre el Sistema de Pistas y un o Tutor Humano 205 Otro aspecto metodol gico a justicar es la elecci n de un n mero de 8 preguntas pao o u ra el pre-test y el post-test, con 10 minutos para resolverse en cada caso. Inicialmente se podra pensar que no es un n mero suciente, ni demasiado tiempo para poder evaluar el u conocimiento de un alumno en la asignatura. No obstante consideramos que es una medida razonable de medir el nivel de conocimiento de un alumno por los siguientes motivos: Las 8 preguntas son aleatorias sobre el total de la asignatura, por lo que el alumno no sabe lo que se le va a preguntar. Desde luego, cuantas m s preguntas tuviera el test a m s seguros estaramos del nivel de conocimiento exacto de cada alumno, pero no a es factible aumentar el n mero ilimitadamente, ya que la experiencia controlada dura u s lo 2 horas. Esto pasa usualmente en cualquier tipo de evaluaci n de una asignatura, o o ya que no se puede preguntar a los alumnos de todo lo que se ha visto en clase por razones de tiempo. Esta sera la medida m s justa, pero usualmente hay que seleccio a nar una serie de preguntas aleatorias para la evaluaci n. Creemos que si bien alg n o u alumno puede no quedar bien evaluado por razones de probabilidad debido a s lo 8 o preguntas (por ejemplo alguien con bajo nivel sacando puntuaci n alta y viceversa), la o mayora s quedar n bien evaluados y que con 8 preguntas puede ser un buen predictor a de su nivel de conocimiento. Adem s, la media de conocimiento de todos los alumnos a ser a n mejor predictor ya que supone una mayor acumulaci n de datos estadsticos. a u o El temario de la asignatura es reducido, ya que es una asignatura de 3 cr ditos, con 2.5 e cr ditos de pr cticas de laboratorio, en la cual s lo nos centramos en una serie de cone a o ceptos fundamentales dentro de las materias de shell script, makele, comunicaci n o entre procesos y sistema de cheros FAT. Por ejemplo, s lo se enfatiza en sem foros o a en C (con llamadas al sistema y estructuras de datos) para intercomunicaci n entre o procesos, o en sistema de cheros s lo se implementa una FAT muy reducida lo cual o focaliza los conceptos, etc. El que el temario de la asignatura sea reducido implica que las 8 preguntas del test sean mejor predictor del conocimiento real que tiene un alumno en la asignatura. Finalmente, es de destacar que adem s de los m todos cuantitativos empleados para la a e medici n del objetivo, se emplearon m todos cualitativos, concretados en entrevistas persoo e nales con los profesores de la experiencia para que comentaran que tipo de pistas, metodologa, etc. haban empleado durante la fase de provisi n de pistas por parte de los tutores o humanos (fase 5 para el grupo de la experiencia 1, y fase 3 para el grupo de la experiencia 2). De este modo, se puede conocer que caractersticas que emplean los profesores en clase no son utilizadas por el tutor y viceversa.

5.5.3.

Resultados y An lisis Crtico a

En primer lugar, para obtener los resultados del objetivo 3.1, calculamos los valores medios de las notas obtenidas por los alumnos en el pre-test y el post-test junto con sus desviaciones tpicas tanto para el grupo que interaccion con el sistema tutor de pistas como o para el que interaccion con los profesores en clase. Para el c lculo de la nota del pre-test o a y del post-test para cada alumno se considera una puntuaci n en la escala de [0,10] puntos, o siendo el peso de las 8 preguntas del pre-test el mismo en la nota del pre-test (lo que implica

206 Cuesti n o

Captulo 5. Evaluaci n del Modelo de Pistas Propuesto o Media 3.75 6.25 3.75 6.40 Desviaci n Error o tpica Est ndar a 1.93 0.37 1.67 1.95 1.63 0.31 0.27 0.23

Nota obtenida en el pre-test por grupo interaccionando con tutor humano Nota obtenida en el post-test por grupo interaccionando con tutor humano Nota obtenida en el pre-test por grupo interaccionando con sistema de pistas Nota obtenida en el post-test por grupo interaccionando con sistema de pistas

Tabla 5.4: Notas obtenidas por los dos grupos de la experiencia en el pre-test y el post-test 1.25 puntos por cada una de las preguntas), lo que es an logo para las 8 preguntas del posta test en el c lculo de su nota. a Para comprobar si la diferencia de medias entre el post-test y el pre-test fue signicativa tanto en el grupo que interaccion con el sistema de pistas como con el tutor humano, se o realiz la prueba t en ambos casos. Vemos que tiene sentido aplicar la prueba t en estos casos, o porque aunque ninguna de las 4 muestras pasa las pruebas de normalidad de KolmogorovSmirnov y Shapiro-Wilk, sin embargo el n mero de datos de cada muestra es sucientemente u grande, y s que se cumplen las hip tesis de igualdad de varianzas aplicando la prueba de o Levene tanto para el sistema de pistas (F=1.297, Signicaci n = 0.257) como para el tutor o humano (F=1.015, Signicaci n = 0.318). o Aplicando la prueba t para los alumnos que interaccionaron con el sistema de pistas con respecto a la diferencia entre el post-test y el pre-test, vemos que se observa una diferencia signicativa entre el post-test y el pre-test (t=7.450, gl=102, Signicaci n=0.000) lo que imo plica que hubo un incremento signicativo de aprendizaje en los alumnos tras su paso por el sistema tutor de pistas implementado. Dado que el pre-test y el post-test fueron dise ados n cuidadosamente para que tuvieran la misma dicultad y que no se repitieran preguntas entre ellos, entonces concluimos que este incremento de aprendizaje observado se debe al efecto positivo que sobre el aprendizaje produjo el sistema tutor de pistas implementado. Para cuanticar en cuanto aument el aprendizaje en la sesi n de 2 horas, tambi n de la prueba t o o e obtenemos que bajo el 90 % de conanza dicha ganancia de aprendizaje se encuentra en el intervalo [2.06 , 3.25] Tambi n vemos que la interacci n de los alumnos con tutores humanos proporcionando e o pistas, provoc un incremento de aprendizaje signicativo seg n se desprende de la prueba t o u (t=5.147, gl=52, Signicaci n=0.000) para la diferencia de medias entre el post-test y el preo test. Mediante la misma prueba t se estima bajo el 90 % de conanza que dicha ganancia de aprendizaje tras interaccionar con los tutores humanos proporcionando pistas se encuentra en el intervalo [1.69 , 3.31] Por lo tanto, con estas comprobaciones, y gracias a los diferentes condicionantes del dise o de la experiencia, m s desarrollados en la secci n de metodologa (tales como el n a o dise o de los tests inicial y nal para que no se repitieran preguntas y fueran del mismo nivel, n que se dise aron los tests para evaluar los conceptos clave de la asignatura, y que 8 preguntas n pueden ser suciente en general para evaluar los conceptos de la asignatura en este contexto)

5.5. Comparaci n del Incremento del Aprendizaje entre el Sistema de Pistas y un o Tutor Humano 207 entonces podemos asegurar que la diferencia entre post-test y pre-test nos dar el incremento a de conocimiento real de los alumnos bien pasando por un tutor humano o por el sistema de pistas. Tambi n se puede observar que los errores est ndar de tutor humano son mayores e a que los del sistema de pistas, algo que es normal puesto que la muestra de interacciones con el sistema de pistas fue el doble de alumnos. Tanto para el sistema tutor de pistas como para el tutor humano, la desviaci n tpica de la nota en el pre-test fue considerable, lo que hace o pensar en la heterogeneidad de niveles iniciales y tipos de alumnos que se encuentran en la clase. Tambi n es de destacar que las desviaciones tpicas y errores est ndar del post-test e a son menores que las del pre-test, lo cual tambi n podra explicarse como un efecto fruto de e la interacci n durante la sesi n, digamos que tanto tutores humanos dando pistas como el o o sistema implementado haran un efecto un poco homogeneizador de los niveles nales de los alumnos, como indican la reducci n de las desviaciones tpicas. o Estos resultados corroboran que ambos m todos de resoluci n de problemas con provie o si n de pistas (tanto por tutores humanos como por el sistema de pistas) fueron muy buenos o en la adquisici n de conocimiento, ya que una estimaci n de incremento de conocimiento o o por la interacci n con el tutor humano en el intervalo [1.69 , 3.31], y por la interacci n con el o o sistema tutor de pistas en el intervalo [2.06 , 3.25] bajo un 90 % de conanza (considerando escalas de incrementos de notas de m ximo de 10) es muy alto. a De hecho puede parecer sorprendente un incremento de conocimiento tan enorme causado por tan s lo 50 minutos de interacci n (bien con tutor humano o bien con sistema de o o pistas). La explicaci n de este gran incremento en tan poco tiempo hay que ponerla en el o contexto de la experiencia para poder comprenderla completamente. Hay una serie de causas o condicionantes de la experiencia que justican un incremento de conocimiento tan elevado en tan poco tiempo, que son las siguientes: La materia en cuesti n de Laboratorio de Arquitectura de Ordenadores abarc una o o serie reducida de conceptos de los diferentes temas abordados. Se puede ver m s ina formaci n sobre este aspecto en la secci n de metodologa. o o Durante la experiencia, nos centramos s lo en una serie de conceptos clave de los o abarcados en la asignatura. De esta forma, los conceptos abarcados en la experiencia est n muy delimitados, y no es todo lo posible sobre shell script, makele, IPC, o a FAT, sino sobre un conjunto muy selecto de conceptos clave a aprender. Esto hace que el incremento de conocimiento tan alto se debe explicar en base a un area reducida de conceptos, pero no con respecto a tem ticas enormes, lo cual no dara tiempo a a producir semejante incremento en tan s lo 50 minutos. Pero para un conjunto de cono ceptos clave bien denidos sobre esas materias, s se ha producido un incremento tan signicativo en el conocimiento de los alumnos. Los alumnos fueron debidamente motivados, y se tomaron la sesi n en general con o absoluta seriedad y concentraci n. o El incremento de conocimiento que se mide de los alumnos es en un periodo muy corto de tiempo. Si este incremento se midiera pasado mucho tiempo, los alumnos podran olvidar conceptos, relaciones, etc. Pero al medirse justo cuando pasa poco tiempo, los alumnos retendr n m s cantidad de conceptos y relaciones, y por lo tanto a a el incremento de conocimiento obtenido es mucho m s espectacular. a

208

Captulo 5. Evaluaci n del Modelo de Pistas Propuesto o

Figura 5.2: Incremento medio de conocimiento de alumnos usando tutor humano y sistema de pistas En cualquier caso, bajo estas condiciones, lo que provoc el incremento de conocimiento o entre los grupos fueron la realizaci n de los 16 problemas, en los que bien un tutor humano o daba pistas, o bien el sistema de pistas implementado las proporcionaba. Si las condiciones bajo las cuales se realizara la experiencia cambiaran (por ejemplo el tiempo dedicado a la experiencia, el n mero de conceptos abordados, etc.), entonces cabe esperar que los u incrementos de aprendizaje pudieran cambiar. Para la medida del objetivo 3.2, en primer lugar calculamos para cada alumno la diferencia entre su nota en el post-test (fase 4) con respecto al pre-test (fase 2). Esto representa el incremento de conocimiento que implic la fase 3 para cada alumno. Por lo tanto, utilizando o una escala de [0,10] para pre-test y post-test, se deduce que la diferencia entre ambos para cada alumno estar en una escala de [-10, 10]. a Seguidamente, se calcula la media de la diferencia de nota para los alumnos que pertenecen al grupo de la experiencia 1. Esto se corresponde con el incremento medio de conocimiento de los alumnos como consecuencia de haber interaccionado con el tutor de pistas de XTutor. Este valor se corresponde con 2.65, con una desviaci n tpica de 1.35, y un error o est ndar de 0.19. Por otro lado, se calcula la media de la diferencia de nota para los alumnos a que pertenecen al grupo de la experiencia 2. Esto se corresponde con el incremento medio de conocimiento de los alumnos como consecuencia de haber interaccionado con los profesores humanos. Este valor se corresponde con 2.50, con una desviaci n tpica de 1.30, y un error o est ndar de 0.25. La comparativa de medias del incremento de conocimiento entre sistema a de pistas y tutor humano se muestra en la gura 5.2 Como la media de incremento de conocimiento de la muestra que interaccion con el o sistema tutor de pistas es mayor a la de la que interaccion con los tutores humanos, eno tonces es seguro que no se puede armar del experimento que haya diferencia estadstica signicativa a favor de la interacci n con tutores humanos con respecto al sistema tutor de o pistas. En este punto nos planteamos la cuesti n siguiente: Dado que la media de incremeno to de conocimiento es mayor utilizando el sistema de pistas que el tutor humano, entonces

5.5. Comparaci n del Incremento del Aprendizaje entre el Sistema de Pistas y un o Tutor Humano 209 es incluso m s efectivo para el incremento del aprendizaje el uso del sistema de pistas ima plementado en XTutor que un tutor humano dando pistas en clase (en este caso a raz n de o 13.67 alumnos por profesor de media en clase)? Para resolver esta cuesti n, supongamos la o hip tesis nula de que por ambos m todos el incremento de conocimiento es similar, y aplio e camos la denominada prueba t. La aplicaci n de la prueba t es acertada en este caso puesto o que aunque las 2 muestras no pasan las pruebas de normalidad de Kolmogorov-Smirnov y Shapiro-Wilk, sin embargo el n mero de datos de cada muestra es sucientemente grande y u adem s se cumple la condici n de homogeneidad de varianzas seg n la prueba de Levene a o u (F=0.669, Signicaci n=0.416). De la aplicaci n de la prueba t concluimos que no hay difeo o rencia signicativa entre las medias (t=0.457, df=77, Signicaci n=0.649) y por lo tanto no o podemos rechazar la hip tesis nula. Por ello no se puede concluir que la diferencia de medias o entre ambas muestras es signicativa. Por lo tanto no se puede concluir que el incremento de aprendizaje que supone pasar por el sistema de pistas es mejor que un tutor humano dando pistas. Aplicando de nuevo la prueba t obtenemos que la diferencia entre incrementos de aprendizaje entre el sistema tutor de pistas y los tutores humanos est en el intervalo [-0.38, 0.70] a bajo una conanza del 90 %. Es decir que bajo un 95 % se puede garantizar que la diferencia a favor de un tutor humano con respecto a un sistema tutor de pistas no ser mayor a a 0.38. Esta cantidad comparada con el incremento total de aprendizaje que es superior a 2, podemos considerarla despreciable. Por lo tanto, podemos asegurar signicativamente que en caso de que hubiera una diferencia a favor del tutor humano con respecto al sistema tutor de pistas implementado, esta sera mnima. Del mismo modo, realizando el razonamiento inverso podemos decir bajo un 95 % de conanza que en caso de haber una diferencia a favor del sistema de pistas con respecto a los tutores humanos esta no sera mayor a 0.70. Por lo tanto, como principal conclusi n de esta secci n podemos decir que un tutor huo o mano puede ser reemplazado por el sistema de pistas implementado con las caractersticas de provisi n de pistas de la especicaci n denida, y el efecto en el incremento de conocio o miento obtenido (la efectividad en el aprendizaje) no decrecera de forma importante. Esta conclusi n se ha obtenido durante una interacci n con el sistema de unos 50 minutos, y bajo o o unas condiciones concretas de temario abarcado. Esto es un entorno habitual que se suele dar en las clases de docencia de las asignaturas de la universidad, donde las sesiones de clase suelen durar 1 o 2 horas. Por lo tanto la conclusi n aqu extrada puede extrapolarse a las o sesiones tpicas de clase presenciales de nuestra universidad que tienen una duraci n equipa o rable. Esto es importante, pues la conclusi n se podra aplicar a sesiones concretas a realizar o de clases, que est n ajustadas a tiempos equiparables a los que se hizo la experiencia. a Desde luego, este experimento se podra repetir en varias sesiones de asignaturas para conrmar los resultados y tener un mayor n mero de datos estadsticos que proporcionaran u una justicaci n mayor de las conclusiones. En concreto, con muchos m s datos se podra o a averiguar si existe realmente una relaci n signicativa a favor de los tutores humanos o a o favor del sistema de pistas, aunque con gran probabilidad se vera que esa diferencia en caso de haberla sera peque a si es a favor de los tutores humanos, y peque a-media si fuera a n n favor del sistema tutor de pistas. Los resultados obtenidos est n tambi n acordes con otros trabajos que indican el benea e cio en el aprendizaje para los alumnos de realizar ejercicios y de la provisi n de pistas. o Como ya se explic en la secci n de contribuciones de este captulo, lo novedoso del estudio o o

210

Captulo 5. Evaluaci n del Modelo de Pistas Propuesto o

est en cuanticar el incremento exacto de un sistema con las caractersticas nuevas dea nidas en la nueva especicaci n de pistas sin incluir la personalizaci n, y ver si el sistema o o pudiera ser tan efectivo como un tutor humano. Tambi n resulta interesante comprobar que los resultados no se ven afectados por el hee cho que los valores medios de las notas obtenidas por los alumnos en el pre-test y post-test fueran diferentes en el grupo de alumnos que interaccion con los tutores humanos con reso pecto a los que interaccionaron con el sistema de pistas. De la tabla 5.4 podemos ver que el conocimiento inicial de ambos grupos de la experiencia (que fueron escogidos aleatoriamente) era el mismo (e igual a 3.75), ya que su media en el test inicial fue exactamente la misma. Sobre las muestras del test inicial de los alumnos para sistema tutor y tutor humano, podemos aplicar la prueba t ya que de nuevo aunque no se pasan las pruebas de normalidad de Kolmogorov-Smirnov y Shapiro-Wilk, sin embargo el n mero de datos de las muestras u es sucientemente alto y se puede armar la homogeneidad de varianzas seg n la prueba u de Levene (F=0.017 , Signicaci n=0.896). De la prueba t obtenemos que no se puede aro mar diferencia signicativa entre ambas muestras (t=0.000, df=77, Signicaci n=1) y que o la diferencia entre la media de los test iniciales de ambos grupos est bajo un 90 % en el a intervalo [-0.77 , 0.77]. Como estas diferencias no seran grandes, de esta forma podemos garantizar que no hay como ruido que unos alumnos de un grupo tuvieran un conocimiento inicial mayor que los del otro, por lo que este hecho hay que descartarlo como que pudiera ser muy inuyente en el an lisis de los resultados y en la comparaci n entre tutor humano y a o sistema tutor de pistas. Es importante hacer notar en la interpretaci n de los resultados que la tasa de n mero de o u alumnos por profesor (13.67) es baja. En caso de ser una tasa alta, entonces los profesores no tendran suciente tiempo para atender a todos los alumnos cuando ellos solicitan pistas. Sin embargo, con una tasa de 13.67 alumnos por profesor, los profesores fueron capaces de atender la mayora de peticiones de ayuda por parte de los alumnos, como tambi n justican e los datos cualitativos de las experiencias de los profesores. Un tutor humano utiliza algunas t cnicas de provisi n de pistas que no est n presentes e o a en nuestro sistema de pistas implementado en este momento. Pero nuestro sistema de pistas acorde con la nueva especicaci n denida utiliza algunas otras t cnicas relacionadas o e con las pistas que los profesores no utilizan habitualmente. Lo que hemos visto en los resultados nales es que los diferentes factores se compensan, haciendo que ambas t cnicas e incrementen el conocimiento de los alumnos m s o menos lo mismo. Indagando en este a aspecto queremos conocer qu t cnicas que usan los profesores en clase no las emplea el e e sistema de pistas y viceversa, para ver c mo se han compensado en el resultado nal. Para o hacer esta comparaci n nos basaremos en m todos cualitativos, fruto de las entrevistas con o e los profesores de la experiencia. Las caractersticas relacionadas con pistas que fueron empleadas tanto por profesores como por el sistema tutor fueron las siguientes: Diferentes niveles de pistas. Inicialmente se proporcionan una serie de pistas, pero si el alumno no es capaz de resolver el problema, entonces se le dan pistas m s sosticadas, a y as sucesivamente. Explicaci n de las pistas si estas no se entienden bien. o

5.6. Evaluaci n de Diferentes Estrategias para Provisi n de Pistas o o

211

Las pistas se proporcionan s lo ante una respuesta incorrecta del alumno o bien las o pistas se proporcionan directamente. Secuencia de pistas. Una pista se compone de diferentes pasos ordenados. Entre las t cnicas relacionadas con pistas que son utilizadas por los profesores que no e fueron utilizadas por el sistema de pistas durante la experiencia se encuentran: Pistas adaptadas y personalizadas a los alumnos. Los profesores conocen bien a sus alumnos y saben qu tipo de pistas es m s apropiada para cada alumno dependiendo de e a sus carencias, actitudes, nivel en la materia, etc. Nuestro modelo permite la provisi n o de pistas adaptativas utilizando el sistema XTutor, pero esta caracterstica no estuvo habilitada en la experiencia. No obstante el siguiente captulo de la tesis aborda en m s detalle esta caracterstica del sistema. a Las pistas se les proporcionan a los alumnos dependiendo del tiempo que los alumnos tardan en resolver el problema. Finalmente, las caractersticas que implementa el sistema tutor de pistas que los profe sores no realizan regularmente en clase cuando proporcionan pistas, son las siguientes: Sistema de gesti n de la puntuaci n para los problemas y pistas (penalizaci n por cada o o o intento del problema, por ver pistas, por resolver mal problemas pista, bonicaci n por o responder correctamente las pistas) Pistas para las que hay un lmite m ximo de ellas a seleccionar. Tambi n hay cierta a e meta-informaci n disponible para permitir a los alumnos elegir que pistas ver basados o en esa meta-informaci n. o Las pistas pueden ser una informaci n sin nada a resolver, o sin embargo puede ser o otros problemas a realizar que ayuden en el inicial. Adem s de los factores puramente de caractersticas que se emplean con una metodoa loga u otra, tambi n es importante considerar en la comprensi n de los resultados otros e o factores que son diferentes al tener un profesor o un sistema tutor: por ejemplo la timidez de algunos alumnos que puede hacer que eviten preguntar al profesor, pero que sin embargo s que interaccionan con el sistema, o la capacidad de procesado m s r pida de un ordenador a a que hace que un alumno pueda ir m s r pido pidiendo pistas sin esperas a que lo comente el a a profesor, o si este est ocupado con otros grupos. a

5.6.

Evaluaci n de Diferentes Estrategias para Provisi n de Piso o tas

El mismo material de pistas y ejercicios puede proporcionarse a los alumnos seg n diu ferentes t cnicas de acuerdo a la especicaci n denida. As por ejemplo una pista puede e o proporcionarse directamente o bien s lo cuando un usuario ha respondido incorrectamente; o

212

Captulo 5. Evaluaci n del Modelo de Pistas Propuesto o

se puede bonicar, penalizar o no hacer nada por resolver las pistas correcta o incorrectamente; se puede establecer un lmite m ximo de pistas a visualizar o que s lo se pueda a o visualizar una pista; o bien se puede penalizar o no por visualizar una determinada pista. En este apartado se pretende evaluar desde diferentes puntos de vista c mo diferentes o t cnicas de provisi n de pistas afectan en el proceso de ense anza/aprendizaje. Los puntos e o n de vista desde los que se pretenden evaluar estas t cnicas son tres fundamentalmente: e Incremento de aprendizaje que producen las diferentes t cnicas de pistas. e El comportamiento de los alumnos ante diferentes t cnicas de provisi n de pistas. e o Conocer la opini n de los alumnos en relaci n con las diferentes t cnicas y estrategias o o e de provisi n de pistas. o

5.6.1. Objetivos
De acuerdo con los tres diferentes puntos de vista desde los que se pretenden evaluar las t cnicas de provisi n de pistas, los objetivos concretos para la evaluaci n de diferentes e o o t cnicas para la provisi n de pistas se han dividido en tres bloques y son los siguientes: e o Grupo de Objetivos 4: Determinar si algunas t cnicas relacionadas con la provisi n e o de pistas pueden incrementar m s el nivel de conocimiento de los alumnos que otras y si a esta mejora es siempre en el mismo sentido o puede depender de factores como la materia concreta donde se aplica. En concreto se pretende determinar lo siguiente: Objetivo 4.1: Conocer qu es mejor para la adquisici n de conocimiento: una combie o naci n de t cnicas que proporciona pistas sin ning n esfuerzo o coste para los alumo e u nos (pistas directamente disponibles, sin ninguna penalizaci n en la puntuaci n por o o ver las pistas y con bonicaci n por resoluci n correcta de pistas) o una combinaci n o o o de t cnicas que implican un coste o esfuerzo para los alumnos (pistas s lo disponibles e o como resultado de una respuesta incorrecta, con penalizaci n en la puntuaci n por ver o o pistas, y con penalizaci n en la puntuaci n por resoluci n incorrecta de pistas). o o o Objetivo 4.2 Conocer qu es mejor para la adquisici n de conocimiento: penalizar e o en la puntuaci n por ver las pistas o que ver pistas no tenga ninguna inuencia en o la puntuaci n nal (en ambos casos sin establecer un lmite m ximo de pistas que es o a posible ver). Objetivo 4.3 Conocer qu es mejor para la adquisici n de conocimiento: poner un e o m ximo al n mero de pistas a visualizar pero sin penalizar en la puntuaci n o penalia u o zar en la puntuaci n por ver pistas pero pudiendo seleccionar un n mero ilimitado de o u ellas. Objetivo 4.4: Conocer qu es mejor para la adquisici n de conocimiento: bonicar, e o penalizar en la puntuaci n del problema inicial o no tener inuencia en la nota por reso ponder correctamente o incorrectamente a los problemas pista asociados al problema inicial.

5.6. Evaluaci n de Diferentes Estrategias para Provisi n de Pistas o o

213

Objetivo 4.5: Conocer qu es mejor para la adquisici n de conocimiento: proporcioe o nar las pistas directamente o s lo mostrar las pistas ante intentos incorrectos de los o alumnos. Objetivo 4.6 Conocer qu es mejor para la adquisici n de conocimiento: poder selece o cionar todas las pistas menos una, o poder seleccionar s lo una pista. o Grupo de Objetivos 5: Comprender el comportamiento de los alumnos con respecto a diferentes t cnicas de provisi n de pistas del sistema tutor de pistas. En concreto se pretende e o determinar lo siguiente: Objetivo 5.1: Conocer si los alumnos solicitan m s o menos pistas y en qu grado a e por el hecho de penalizar en la puntuaci n por ver pistas y conocer si esto depende o tambi n de la dicultad y el tipo de problema inicial donde se aplica. e Objetivo 5.2: Conocer si los alumnos solicitan m s o menos pistas y en qu grado por a e el hecho de permitir solicitar pistas s lo como respuesta ante intentos incorrectos o o bien por dejarles seleccionar la pista desde el inicio y conocer si esto depende tambi n e de la dicultad y el tipo de problema inicial donde se aplica. Objetivo 5.3: Conocer si los alumnos solicitan m s o menos pistas y en qu grado por a e el hecho de bonicar, penalizar en la puntuaci n o no tener efecto en la puntuaci n o o por el hecho de responder correctamente o incorrectamente a los problemas pista. Objetivo 5.4: Conocer si los alumnos responden mejor a los problemas pista por el hecho de bonicar, penalizar en la puntuaci n o no tener efecto en la puntuaci n por o o el hecho de responder correctamente o incorrectamente a los problemas pista. Grupo de Objetivos 6: Conocer la opini n de los alumnos ante diferentes aspectos o relacionados con las diversas t cnicas de provisi n de pistas. Este apartado se dividir en e o a cuatro objetivos de investigaci n: o Objetivo 6.1: Conocer la opini n de los alumnos sobre la importancia de cada una de o las caractersticas del sistema relacionadas con la provisi n de pistas, con las cuales o interaccionaron durante la experiencia. Objetivo 6.2: Conocer la preferencia de los alumnos entre diferentes t cnicas de proe visi n de pistas contrapuestas. o Objetivo 6.3: Conocer la opini n de los alumnos sobre lo que consideran justo en o relaci n con las diferentes t cnicas la provisi n de pistas. o e o Objetivo 6.4: Conocer la opini n de los alumnos sobre cu l consideran que ha sido o a su comportamiento en relaci n con las diferentes t cnicas de provisi n de pistas. o e o

5.6.2. Metodologa
Para la consecuci n de estos objetivos se han tomado en cuenta las experiencias reao lizadas en Laboratorio de Arquitectura de Ordenadores para las ediciones 2006/2007 y 2007/2008.

214

Captulo 5. Evaluaci n del Modelo de Pistas Propuesto o

Figura 5.3: Diferentes fases de la experiencia en la edici n 2006/2007 dependiendo del grupo o En ambas ediciones se hizo una experiencia controlada de 2 horas de duraci n, en las o cuales los alumnos interaccionaron con una serie de ejercicios con pistas en el m dulo de o pistas implementado en XTutor. Disquisiciones sobre experiencias controladas de corta duraci n, con respecto a experiencias de larga duraci n pero sin el control de lo que los alumnos o o hacen fuera de clase, ya han sido discutidas y analizadas en secciones anteriores del captulo, y las mismas ventajas y desventajas se aplican en este caso para estos nuevos objetivos de la investigaci n. o Es de destacar que la experiencia controlada de 2 horas realizada en la edici n 2006/2007 o de Laboratorio de Arquitectura de Ordenadores tambi n sirvi para la consecuci n de obe o o jetivos comentados en anteriores secciones del captulo, tales como para la comparaci n o del incremento de aprendizaje entre sistema de pistas y un tutor humano. Sin embargo, la experiencia de la edici n 2007/2008 no fue dise ada para la consecuci n del objetivo de o n o comparar el incremento de aprendizaje entre sistema de pistas y un tutor humano. En ambas ediciones, la sesi n de 2 horas donde se desarroll la experiencia fue de asiso o tencia voluntaria para los alumnos. En la edici n 2006/2007, de los 141 alumnos matricuo lados participaron un total de 82, mientras que en la 2007/2008 de un total de 84 alumnos matriculados participaron un total de 47. Cada uno de los alumnos trabaj individualmente durante la sesi n en un ordenador o o asignado. Los temas cubiertos durante la sesi n fueron shell script, makele, comunicaci n o o entre procesos, y sistema de cheros FAT. De nuevo es relevante comentar que si bien cada uno de estos temas son muy amplios, la sesi n se centr en los aspectos principales de dichos o o temas del subconjunto visto en la asignatura. Dado que los objetivos de investigaci n que se pretendan conseguir en ambas ediciones o no eran exactamente los mismos, por ello el dise o de la experiencia de ambas ediciones fue n ligeramente distinto. Para la edici n 2006/2007 ya se han visto las fases en que se ejecut la experiencia, en la o o secci n de comparaci n del incremento de aprendizaje entre el sistema de pistas y un tutor o o humano. Estas fases se vuelven a mostrar en esta secci n en la gura 5.3 o En la edici n 2006/2007, se observa que la secuencia de las fases es diferente dependieno do del grupo de la experiencia donde se encontraran los alumnos. Una descripci n detallada o

5.6. Evaluaci n de Diferentes Estrategias para Provisi n de Pistas o o

215

Figura 5.4: Diferentes fases de la experiencia en la edici n 2007/2008 o

de cada una de las fases puede verse en la secci n de comparaci n de incremento de apreno o dizaje entre el sistema de pistas y un tutor humano. Para los objetivos de los grupos 4 y 5 s lo se toman en cuenta los resultados del grupo de la experiencia n mero 1. Esto es as poro u que en este grupo los alumnos pasan primero por el sistema tutor de pistas por ordenador, mientras que en el grupo n mero 2, primero pasan por los profesores humanos. Por lo tanto, u las interacciones de los alumnos con el sistema en el grupo n mero 2 est n condicionadas u a por las interacciones anteriores con los profesores proporcionando pistas y es por ello que se descartan para la toma de datos de los objetivos de los grupos 4 y 5. Aunque este grupo de la experiencia n mero 2 no sirve para la toma de datos de los objetivos de los grupos u 4 y 5, cabe recordar que es una fase necesaria para la consecuci n del objetivo de compao raci n entre profesores humanos dando pistas y sistema de pistas de XTutor, y por ello se o incluy en esa edici n. Debido a que haba 3 aulas distintas en la experiencia y que en cada o o aula deba aplicarse bien un grupo de la experiencia o bien otro (ya que la explicaci n de los o profesores deba ser com n a todos los alumnos que se encontraban en ese momento en el u aula) entonces 2 aulas de alumnos deban ser de un grupo y 1 del otro, con lo cual uno de los grupos de la experiencia sera aproximadamente del doble de alumnos que el otro. Por ello se decidi que el grupo 1 abarcara 2 aulas ya que as tendramos m s datos estadsticos para o a los objetivos de los grupos 4 y 5. Finalmente, para la consecuci n de los objetivos del grupo o 6, ambos grupos de la experiencia (tanto el n mero 1 como el 2) son tenidos en cuenta, ya u que en cualquier caso los alumnos interaccionan con todas las caractersticas proporciona das del sistema de pistas en XTutor y por lo tanto tiene validez la opini n de todos sobre las o diferentes caractersticas con las que han interaccionado. Las fases aplicadas en la edici n 2007/2008 se muestran en la gura 5.4. En la edici n o o 2007/2008 ya no hay 2 grupos de la experiencia en cuanto a las fases generales, sino que todos los alumnos siguen las mismas fases generales. Adem s, una de las fases es eliminada, a la de la interacci n con el profesor humano proporcionando pistas. Esto es as porque en o esta edici n no tenemos como objetivo comparar a un profesor humano con respecto al o sistema proporcionando pistas. El resto de las fases tienen la misma explicaci n general y o fueron dise adas de la misma forma que para la edici n 2006/2007, y sus particularidades n o y especicidades se explicar n m s adelante en esta secci n. La experiencia dise ada en a a o n la edici n 2007/2008 servir para la consecuci n de los grupos de objetivos 4 y 5, para la o a o consecuci n de los objetivos 6.2, 6.3 y 6.4, y parcialmente para el objetivo 6.1. o Otra de las diferencias entre la metodologa de la edici n 2006/2007 y la de 2007/2008 o fue que al eliminar una fase en el 2007/2008, algunas fases de la 2007/2008 incrementaron su tiempo dedicado y el n mero de problemas durante la sesi n de 2 horas. As pues el preu o test y post-test pasaron a contener 10 preguntas sin pistas con una duraci n estimada de 12 o minutos. As mismo la fase de interacci n de los alumnos con el sistema tutor con pistas o

216

Captulo 5. Evaluaci n del Modelo de Pistas Propuesto o

pas a ser de unos 65 minutos, teniendo un total de 20 problemas con pistas (es decir un o incremento de 4 problemas con pistas, ya que en la edici n 2006/2007 fueron 16). o Para obtener resultados sobre los objetivos del grupo 4, se va a medir el incremento de aprendizaje de los alumnos durante la interacci n con el sistema (como diferencia entre el o post-test y el pre-test) para dos grupos diferentes de materias: por un lado S+I (shell script e IPC), y por otro lado M+F (makele y FAT). De este modo, se conocer cuanto incrementa a el conocimiento para las materias S+I y M+F. Se ha realizado esta separaci n en grupos de o materias porque las mismas t cnicas de provisi n de pistas que fueron aplicadas para los e o ejercicios de S, tambi n fueron aplicadas para los ejercicios de I para el mismo alumno; y e las mismas t cnicas de provisi n de pistas que fueron aplicadas para los ejercicios de M, e o tambi n fueron aplicadas para los ejercicios de F para el mismo alumno. Por lo tanto, un e alumno que interaccion con un ejercicio S con una determinada t cnica de pistas, tuvo una o e interacci n con un ejercicio de I correspondiente que tena la misma t cnica de provisi n de o e o pistas. Es importante recalcar que esto no signica que unos ejercicios fueran sobre S+I y otros sobre M+F. Cada ejercicio s lo cubri una materia concreta (S, M, I, o F). La agrupao o ci n por un lado en S+I, y por otro lado en M+F, es porque los ejercicios sobre S tuvieron o las mismas t cnicas de provisi n de pistas que los ejercicios sobre I, considerando que era el e o mismo alumno el que interaccionaba (y los ejercicios sobre M tuvieron las mismas t cnicas e de provisi n de pistas que los ejercicios sobre F, considerando que era el mismo alumno el o que interaccionaba). Viendo los incrementos de aprendizaje en S+I y M+F para cada alumno, podremos ver el incremento de aprendizaje fruto de la interacci n con el tutor de pistas seg n las t cnicas o u e concretas aplicadas para S+I y M+F para dicho alumno. As podremos comparar el efecto que producen las diferentes t cnicas de provisi n de pistas en el incremento de aprendizae o je de los alumnos y divididas en materias (S+I y M+F). Realizando estas comparaciones obtendremos resultados sobre los objetivos del grupo 4. Para medir los objetivos del grupo 5, se van a recoger diferentes datos del sistema de pistas fruto de la interacci n de los alumnos y se van a comparar dichos datos cuando se usa o una t cnica determinada de pistas u otra. Finalmente, para medir los objetivos del grupo 6, e se van a tener en cuenta las encuestas realizadas en las ediciones 2006/2007 y 2007/2008. Aspectos comunes en ambas ediciones a tener en cuenta en la metodologa para garan tizar la validez de los resultados en ambas ediciones, son los siguientes (todos ellos se han desarrollado en m s detalle en la secci n previa de comparaci n de incremento de aprendia o o zaje entre tutor humano y sistema tutor proporcionando pistas): Los alumnos que interact en con caractersticas y t cnicas de pistas diferentes, tienen u e que tener un nivel de conocimiento inicial similar. Esto es para garantizar que un mayor incremento de aprendizaje pueda venir por el hecho de tener a alumnos con mejor conocimiento inicial o viceversa y no por la aplicaci n de la t cnica de pistas en s. o e Este nivel de conocimiento inicial similar se garantiza seleccionando aleatoriamente la relaci n entre los alumnos y las t cnicas por las que van a pasar. A posteriori se puede o e corroborar viendo los resultados del pre-test de cada uno de los alumnos y viendo por qu tipo de t cnicas pasaron, comprobando que por t cnicas diferentes pasaron alume e e nos del mismo nivel. En caso de que los alumnos no tuvieran el mismo nivel inicial, habr que interpretar este hecho en el an lisis de resultados. a a

5.6. Evaluaci n de Diferentes Estrategias para Provisi n de Pistas o o

217

El pre-test y post-test tienen que estar bien dise ados. Esto implica que ambos deben n tener el mismo nivel, no se deben repetir preguntas entre ellos, y deben ser dise ados n de forma que sean buenos evaluadores del conocimiento de los alumnos. Todas estas caractersticas se cumplen en el dise o realizado. Como ya se coment en una secci n n o o anterior, es de destacar que en la edici n 2006/2007, consideramos que el pre-test o y post-test son buenos indicadores del conocimiento de los alumnos, ya que aunque s lo son 8 preguntas en 10 minutos, estas preguntas son sobre aspectos aleatorios que o no conocen los alumnos y que de la materia abordada la asignatura s lo se centra en o aspectos fundamentales de los temas. Para la edici n 2007/2008 esta estimaci n es un o o poquito mejor ya que se incrementan en 2 m s el n mero de preguntas del pre-test y el a u post-test. Hay que tener en cuenta que en este caso el dise o del pre-test y post-test no n tiene relevancia para los grupos de objetivos 5 y 6, y s lo una importancia relativa para o el grupo de objetivos 4, ya que estamos interesados en ver la diferencia de incremento de conocimiento que producen las diferentes t cnicas, no obstante cuanto m s exactos e a sean las medidas del pre-test y post-test m s exactamente sabremos cu nto incrementa a a el conocimiento en cada caso y cu l es la diferencia seg n las t cnicas aplicadas. a u e Cabe en este momento destacar que la fase de interacci n con el sistema tutor de pistas no o fue exactamente igual en la edici n 2006/2007 con respecto a la 2007/2008. A continuaci n o o se explican ambas y la forma en que se llegan a los objetivos del grupo 4 en cada caso. En la edici n 2006/2007, la interacci n con el sistema tutor de pistas se corresponde con o o la fase 3 del grupo de la experiencia 1. Dentro de este grupo de la experiencia 1, los alumnos fueron divididos en tres subgrupos: A, B, y C. Todos los alumnos recibieron los mismos problemas raz, pero recibieron diferentes t cnicas de pistas dependiendo del subgrupo al e que pertenecan. Dependiendo de la materia abarcada, y de las t cnicas de pistas aplicadas a e un ejercicio, los ejercicios fueron etiquetados. El criterio de etiquetado fue el siguiente: Primera letra: Dene la materia abarcada por el problema: S (Shell Script), M (Makele), I (Inter Process Communication), F (Sistema de cheros FAT). Segunda letra: Es un n mero que representa el orden del problema dentro de la mau teria. Dene la estrategia de provisi n de pistas que puede variar. Las variaciones o resultar n en diferentes t cnicas de pistas. a e Tercera letra: Dene la t cnica de provisi n de pistas a aplicar. Dicha t cnica depende e o e del n mero establecido en la segunda letra. Cada n mero diferente de segunda letra u u tiene un conjunto predenido de posibles t cnicas de provisi n de pistas. Las relacioe o nes entre t cnicas posibles y letras para cada n mero son las siguientes: e u 1V: Hay una penalizaci n en la puntuaci n por ver una pista. o o 1W: No hay penalizaci n en la puntuaci n por ver pistas. o o 2G: Existen un conjunto de n pistas con meta-informaci n previa. El alumno o puede seleccionar tantas pistas como quiera pero hay una penalizaci n diferente o en la puntuaci n por ver cada pista. o 2W: Existen un conjunto de n pistas con meta-informaci n previa. El alumno o puede seleccionar s lo un m ximo de k pistas (siendo k menor o igual a n), pero o a no hay ninguna penalizaci n por ver las pistas. o

218

Captulo 5. Evaluaci n del Modelo de Pistas Propuesto o 3B: Algunas de las pistas son otros ejercicios, para los cuales hay una bonicaci n en el problema inicial por resolver correctamente los ejercicios pista. o 3P: Algunas de las pistas son otros ejercicios, para los cuales hay una penalizaci n en el problema inicial por resolver incorrectamente los ejercicios pista. o 3W: Algunas de las pistas son otros ejercicios, para los cuales no hay ni bonicaci n ni penalizaci n por el hecho de resolver los ejercicios pista correcta o o o incorrectamente. 4F: Las pistas est n s lo disponibles como resultado de un intento incorrecto del a o alumno. 4H: Las pistas est n disponibles para los alumnos desde el inicio. a

Por lo tanto, dos problemas que tienen las mismas primeras y segundas letras (materia abordada y n mero) diferir n s lo en un aspecto especco de la estrategia relacionada con la u a o provisi n de pistas (lo cual es indicado en la tercera letra). Por ejemplo, los problemas M2G o y M2W ser n ejercicios que tienen los mismos problemas raz sobre makele, que ser n a a concretamente los segundos problemas sobre makele en la experiencia. Ambos problemas M2G y M2W tendr n n meta-informaciones sobre n pistas correspondientes. Realmente, a las n meta-informaciones de pistas y el contenido de las pistas en s, son exactamente las mismas una a uno en el problema M2G con respecto al M2W. Pero la diferencia est en que a el alumno que recibe el problema M2G puede seleccionar todas las pistas que quiera pero penalizando en su puntuaci n, mientras que el alumno que interacciona con el problema o M2W puede seleccionar s lo un n mero m ximo de k pistas (siendo k menor o igual a n), o u a pero sin penalizar su puntuaci n por el hecho de ver pistas. o Los alumnos del subgrupo A recibieron el siguiente conjunto de 16 problemas: S1V, S2G, S3P, S4F, M1W, M2W, M3B, M4H, I1V, I2G, I3P, I4F, F1W, F2W, F3B, F4H. Mientras que los alumnos del subgrupo B recibieron los siguientes 16 problemas: S1W, S2W, S3B, S4H, M1V, M2G, M3P, M4F, I1W, I2W, I3B, I4H, F1V, F2G, F3P, F4F. Finalmente, los alumnos del subgrupo C recibieron los siguientes problemas: S1V, S2G, S3W, S4F, M1W, M2W, M3W, M4H, I1V, I2G, I3W, I4F, F1W, F2W, F3W, F4H. Cada uno de los cuatro temas abarcados en la asignatura tuvo un total de cuatro problemas asociados. Los problemas que tienen el mismo n mero varan una estrategia de pistas u especca con independencia del tema abarcado. Cada alumno recibi para los temas de shell o Script y comunicaci n entre procesos, el mismo conjunto de t cnicas de pistas, mientras que o e cada alumno recibi para los temas de makele y FAT las mismas t cnicas de pistas. Es o e conveniente remarcar sin embargo, que los ejercicios eran s lo de un tema, es decir que no o haba ejercicios que combinaran conceptos de shell script con comunicaci n entre procesos, o ni de makele con FAT. La tabla 5.5 presenta un resumen de los diferentes tipos de t cnicas e de pistas que fueron aplicadas dependiendo de los subgrupos y de los temas abarcados. Es importante notar que el n mero de alumnos en cada uno de esos subgrupos no es el u mismo. En el subgrupo A hubo un total de 16 alumnos, en el grupo B fueron 24, mientras que en el grupo C fueron 12 (en total no suman 55 que es el n mero de alumnos en el grupo u de la experiencia 1, porque fueron descartados los datos de 3 alumnos ya que llegaron tarde a la sesi n de laboratorio). La diferencia en el n mero de alumnos en cada subgrupo es debida o u a los siguientes factores:

5.6. Evaluaci n de Diferentes Estrategias para Provisi n de Pistas o o

219

Subgrupo A

Shell Script e IPC S1 y I1: Penalizaci n por ver una o pista S2 y I2: Penalizaci n por o ver pistas que pueden ser seleccionadas basadas en meta-informaci n o S3 y I3: Penalizaci n por resolo ver incorrectamente problemas que son pistas S4 y I4: Pista s lo disponible coo mo una respuesta a un intento incorrecto S1 y I1: Sin penalizaci n por ver o una pista S2 y I2: Sin penalizaci n por o ver pistas que pueden ser seleccionadas basadas en metainformaci n o S3 y I3: Bonicaci n por la reo soluci n correcta de problemas o que son pistas S4 y I4: Pista directamente disponible al inicio S1 y I1: Penalizaci n por ver una o pista S2 y I2: Penalizaci n por o ver pistas que pueden ser seleccionadas basadas en meta-informaci n o S3 y I3: Sin penalizaci n ni boo nicaci n por resoluci n de proo o blemas que son pistas S4 y I4: Pista s lo disponible coo mo una respuesta a un intento incorrecto

Makele y FAT M1 y F1: Sin penalizaci n por o ver una pista M2 y F2: Sin penalizaci n por o ver pistas que pueden ser seleccionadas basadas en metainformaci n o M3 y F3: Bonicaci n por la reo soluci n correcta de problemas o que son pistas S4 y F4: Pista directamente disponible al inicio M1 y F1: Penalizaci n por ver o una pista M2 y F2: Penalizaci n por o ver pistas que pueden ser seleccionadas basadas en metainformaci n o M3 y F3: Penalizaci n por resolo ver incorrectamente problemas que son pistas S4 y F4: Pista s lo disponible o como una respuesta a un intento incorrecto M1 y F1: Sin penalizaci n por o ver una pista M2 y F2: Sin penalizaci n por o ver pistas que pueden ser seleccionadas basadas en metainformaci n o M3 y F3: Sin penalizaci n ni boo nicaci n por resoluci n de proo o blemas que son pistas S4 y F4: Pista directamente disponible al inicio

Tabla 5.5: Conjuntos de estrategias de provisi n de pistas dependiendo de los subgrupos y o temas

220

Captulo 5. Evaluaci n del Modelo de Pistas Propuesto o Para poder obtener mejores datos estadsticos para objetivos de investigaci n del grupo o 5. Para algunos de los objetivos del grupo 5, es deseable que haya el mismo n mero de u alumnos para cada variaci n de estrategia de provisi n de pistas. As, para tres variao o ciones de estrategias de provisi n de pistas, es conveniente que el n mero de alumnos o u del subgrupo B sea igual a la suma del n mero de los alumnos en los subgrupos A y u C. Sin embargo para la otra variaci n de estrategia de pistas (la de bonicar, penalizar o o no afectar en la puntuaci n por responder correcta o incorrectamente las pistas) es o conveniente que los tres subgrupos sean igual en n mero de alumnos. Hay que notar u que este criterio adoptado, entra en conicto con los mejores datos estadsticos para los objetivos del grupo 4, que requeriran un n mero homog neo de alumnos en todos u e los grupos. Aqu se pone de maniesto que ciertos criterios de dise o de la experiencia n pueden mejorar los datos estadsticos para algunos objetivos, pero a costa de empeorar los datos estadsticos de otros objetivos. En estos casos, hay que tomar una soluci n o de compromiso en el dise o. n El n mero de alumnos que viene a cada grupo de la universidad es aleatorio. Inicialu mente se asigna aleatoriamente los alumnos a los subgrupos A, B, y C, con la regla de que el n mero de alumnos en B, sea igual a la suma de A y C. Pero tambi n es u e aleatorio los alumnos que nalmente van de cada subgrupo a la sesi n voluntaria de o ejercicios.

Una justicaci n nal sobre la edici n 2006/2007 es sobre la separaci n entre t cnicas o o o e aplicadas para los temas de shell script e IPC por un lado, y de makele y FAT por otro. Esto se ha hecho por dos motivos fundamentales: por un lado, esto es una forma de garantizar que los alumnos interaccionar n por todas las caractersticas del sistema de pistas, de forma que a podr n estar adecuadamente preparados para responder a las preguntas de la encuesta para la a consecuci n del objetivo del grupo 6 de objetivos; por otro lado es una forma de corroborar o los resultados para diferentes materias, y de que se puedan medir los objetivos propuestos acorde a la metodologa. Vemos por lo tanto que con la experiencia de la edici n 2006/2007, podemos llegar o a conclusiones de estimaci n concretos de algunas estrategias de provisi n de pistas, y en o o algunos casos de combinaciones de estrategias de pistas con respecto a otras combinaciones. Pero en dicha experiencia no se pueden llegar a conclusiones sobre todas las cuestiones de t cnicas por separado sino se responde a la combinaci n de varias de ellas con respecto a e o otras combinaciones. Preguntas que no se pueden responder por separado son tales como si afecta m s la penalizaci n por ver pistas respecto a no verlas, o por el contrario el dejar a o las pistas disponibles desde el inicio o s lo ante una respuesta incorrecta (ya que ambos o aspectos estaban mezclados en el incremento de conocimiento calculado en la experiencia de la edici n 2006/2007). Tampoco se puede responder si afecta m s la restricci n de penalizar o a o por ver pistas con respecto a no penalizar por verlas cuando en ning n caso hay un n mero u u m ximo a seleccionar basado en meta-informaci n o cuando no lo hay. a o Este fue uno de los motivadores principales para la siguiente experiencia de la edici n o 2007/2008, aunque tambi n hubo otros. A continuaci n se enumeran los motivadores de la e o edici n 2007/2008 que se tuvieron en cuenta en el dise o de la experiencia: o n Poder distinguir el efecto en el incremento de conocimiento de cada estrategia de provisi n de pistas diferente por separado, en lugar de como combinaci n de varias. o o

5.6. Evaluaci n de Diferentes Estrategias para Provisi n de Pistas o o

221

Corroborar los datos obtenidos en la edici n 2006/2007, disponiendo de mayor n meo u ro de datos estadsticos. A adir alguna nueva caracterstica de estrategia relacionada con la provisi n de pistas, n o ya que en la nueva edici n haba m s tiempo para la fase de interacci n con el tutor o a o inteligente de provisi n de pistas. En concreto la caracterstica elegida fue el limitar el o n mero de pistas a elegir poniendo como lmite todas las posibles menos una, o bien u que s lo se pueda elegir una de entre todas. Por lo tanto en esta nueva experiencia se o medir tambi n qu incrementa m s el aprendizaje si poner un lmite alto de n mero a e e a u de pistas a elegir o bien uno bajo, en cualquiera de los dos casos sin penalizar en la puntuaci n por el hecho de ver las pistas. o Para ello, en la edici n 2007/2008 se vari el dise o de la experiencia en la fase 3 de ino o n teracci n con el sistema tutor de pistas. Se propusieron un total de 20 ejercicios, 5 para cada o uno de los temas de la asignatura. Cada uno de los 5 problemas tena un aspecto de t cnica e de pistas diferente que se iba a variar. El criterio de etiquetado para los 4 primeros problemas de cada tema es igual al explicado en la edici n 2006/2007, con sus tres letras correspono dientes. Para el quinto de los problemas que se a adi en esta experiencia su etiquetado y n o signicado de la tercera letra fue el siguiente: 5A: Una pista de grupo compuesta por varias pistas de las cuales se permite seleccionar todas menos una. No se penaliza en la puntuaci n por ver pistas. o 5O: Una pista de grupo compuesta por varias pistas de las cuales se permite seleccionar s lo una. No se penaliza en la puntuaci n por ver pistas. o o En la edici n 2007/2008, en lugar de haber tres subgrupos cada uno de los cuales reo ciba un conjunto de t cnicas diferentes, no hubo subgrupos, sino que se consideraron todas e las posibles combinaciones de t cnicas diferentes. Dado que tenemos un total de 5 aspectos e diferentes de estrategias, 4 de las cuales tienen 2 variaciones, y 1 de ellas tiene 3 variaciones (esa es la de penalizar, bonicar o no afectar en la puntuaci n por resoluci n de pistas), o o entonces tendremos un total de 48 combinaciones diferentes de posibles t cnicas de pistas. e Estas combinaciones son para cada uno de los 4 temas sobre los que se pregunta en la sesi n o controlada. Se asign aleatoriamente y secuencialmente cada una de las 48 combinaciones o a cada uno de los alumnos, al haber matriculados m s de 82 alumnos, un total de 34 coma binaciones fueron dadas a 2 alumnos, mientras que 12 combinaciones s lo fueron asignadas o a un alumno. La misma combinaci n de t cnicas se di para shell script e IPC por una paro e o te, y para los temas de makele y Sistema de Ficheros se dio la combinaci n contraria de o t cnicas (variando cada uno de los 5 aspectos diferentes involucrados). Esto fue para hacer e que el mismo alumno interaccionara con t cnicas contrarias, y as pudiera tener experiencia e con todas las t cnicas posibles. Por esto mismo (al ser las mismas t cnicas en materias dos e e a dos), se medir n incrementos de conocimiento dos a dos en las materias para el an lisis de a a resultados. Para obtener los resultados en la edici n 2007/2008 se medir la correlaci n entre las o a o diferentes caractersticas de provisi n de pistas proporcionadas y el incremento de conoci o miento obtenido. Para ello habr que medir incrementos de conocimientos separando maa terias dos a dos (S+I y M+F), debido a que las t cnicas empleadas son iguales dos a dos. e

222

Captulo 5. Evaluaci n del Modelo de Pistas Propuesto o

Viendo la correlaci n se obtendr informaci n acerca de qu t cnicas de provisi n de pistas o a o e e o son m s id neas para incrementar el conocimiento de los alumnos. Adem s, se ver este a o a a efecto de cada t cnica por separado y no como combinaci n de t cnicas, empleando la coe o e rrelaci n parcial eliminando el efecto de las otras t cnicas y del nivel inicial que tienen los o e alumnos (dado por su nota en el pre-test). Es importante ver tanto qu t cnicas inuyen m s e e a en el incremento del conocimiento y la proporci n de cuanto m s inuye una sobre otra, o a m s que el valor absoluto total del incremento, ya que ese valor absoluto puede depender de a otros factores como la materia abordada, cantidad de tiempo de la sesi n, etc. o Relativo a la edici n 2007/2008 y asociado al grupo de objetivos 4, nalmente es reo levante comentar que el hecho de qu alumnos vienen nalmente a clase no debe afectar e a los resultados, ya que no es necesario para los resultados que haya un alumno por cada una de las t cnicas, si bien para encontrar datos estadsticos m s signicativos ser mejor e a a cuanto m s distribuidas est n las t cnicas de los alumnos que vienen, algo que es de esperar a e e dado que ser aleatorio los alumnos que vienen a clase al igual que lo fue la asignaci n de a o alumnos a tipos de t cnicas. e Hasta ahora se han comentado los aspectos metodol gicos para el grupo n mero 4 de o u objetivos fundamentalmente. A continuaci n se explican los aspectos metodol gicos para o o los grupos n mero 5 y 6. u En ambas ediciones (2006/2007 y 2007/2008), acorde con el dise o de las experiencias n ya comentadas, para cada una de las t cnicas de provisi n de pistas, aproximadamente la e o mitad de los alumnos interaccionaron con una variaci n de la t cnica y la otra mitad con o e la variaci n diferente de dicha t cnica. Para el grupo de objetivos n mero 5, se medir n o e u a diferentes datos almacenados en la plataforma fruto de la interacci n de los alumnos con o el sistema. Dependiendo de la t cnica concreta cuya variaci n se quiera medir, se tomar n e o a una serie de par metros de los almacenados en la plataforma. Se comparar n tales par mea a a tros cuando se utiliza una variaci n o la otra. Para ver si la diferencia entre los diferentes o par metros es signicativa se realizar n las pruebas estadsticas correspondientes. a a En cuanto al objetivo del grupo n mero 6, se tendr en cuenta la experiencia de la ediu a ci n 2006/2007 y tambi n de la 2007/2008, ya que en ambas ediciones se realizaron unas o e encuestas al nal de la sesi n, en la que los alumnos tenan que evaluar diferentes aspectos o de las t cnicas de provisi n de pistas. Las encuestas de ambas ediciones no fueron las mise o mas porque en cada una de ellas se queran medir objetivos diferentes, pero en conjunto con las encuestas de las 2 ediciones se podr dar respuesta a los objetivos del grupo 6 marcados. a

5.6.3.

Resultados y An lisis Crtico a

A continuaci n se muestran los resultados y su interpretaci n, divididos en los diferentes o o grupos mencionados en esta secci n, de forma que para cada grupo de objetivos se le dedica o una subsecci n. Para cada grupo de objetivos, primero se exponen los resultados y an lisis o a crtico de la edici n 2006/2007 y seguidamente los de la 2007/2008. o Grupo 4 de Objetivos: T cnicas de pistas que producen un mayor incremento de conoe cimiento Resultados y an lisis para la edici n 2006/2007 En primer lugar se presentar n los rea o a sultados y an lisis crtico relativo a la experiencia de la edici n 2006/2007. a o

5.6. Evaluaci n de Diferentes Estrategias para Provisi n de Pistas o o

223

Figura 5.5: Histograma de incremento de conocimiento para temas S+I del subgrupo A La tabla 5.6 muestra diferentes estadsticos descriptivos sobre el test inicial, el test nal, y el incremento de conocimiento entre el post-test y el pre-test para todos los alumnos que interaccionaron con el sistema tutor de pistas, separados en materias: shell script e IPC por un lado, y makele y FAT por otro. Estos estadsticos descriptivos de incremento de aprendizaje y de los tests inicial y nal se han calculado para cada uno de los tres subgrupos denidos (A, B, y C). De acuerdo a la metodologa expuesta en la secci n anterior, en la experiencia o de la edici n 2006/2007 podemos inferir 4 conjuntos diferentes de conjuntos de t cnicas o e de provisi n de pistas. Cada conjunto corresponde a 8 problemas (4 por cada materia), en o los cuales 2 problemas tienen una de las cuatro t cnicas del conjunto. Conviene aclarar que e denominamos t cnicas de bajo coste y esfuerzo para el alumno aquellas que implican no e penalizar por ver pistas (ya sea pista de grupo o no) y dejar la pista disponible directamente desde el inicio, mientras que denominamos t cnicas con un coste y esfuerzo para el alumno e a aquellas que implican una penalizaci n por ver pistas y s lo poner a disposici n la pista o o o como respuesta ante un intento incorrecto. Utilizaremos la estadstica inferencial para comparar las medias obtenidas de incremen tos de aprendizaje para cada uno de los 3 grupos de alumnos en cada una de las 2 divisiones de materias. Las guras 5.5, 5.6, 5.7, 5.8, 5.9, y 5.10 muestran los histogramas de la variable incremento de aprendizaje para cada uno de los grupos de la experiencia y materias, as como la curva normal que m s se aproxima a dichas distribuciones. a Para hacer comparaciones entre las medias de incremento de aprendizaje de los diferentes grupos y ver si son signicativas las diferencias mediante estadstica inferencial, pensa

224

Captulo 5. Evaluaci n del Modelo de Pistas Propuesto o

Conjunto de t cnicas de proe visi n de pistas o aplicadas T cnicas con un e coste y esfuerzo para el alumno y t cnica de penae lizar por resolver incorrectamente problemas que son pistas T cnicas de bajo e coste y esfuerzo para el alumno y t cnica de bonicar e por resolver correctamente problemas que son pistas T cnicas con un e coste y esfuerzo para el alumno y t cnica de no afece tar en la puntuaci n o por resoluci n de o pistas T cnicas de bajo e coste y esfuerzo para el alumno y t cnica de no afece tar en la puntuaci n o por resoluci n de o pistas

Subgrupo correspondiente/Estadsticos descriptivos sobre las materias S+I Subgrupo A Test inicial: Media: 2.66 Desv. tp. 1.92 Test nal: Media: 5 Desv. tp. 2.74 Incremento de aprendizaje: Media: 2.34 Desv. tp. 4.13 Subgrupo B Test inicial: Media: 4.58 Desv. tp. 2.92 Test nal: Media: 6.67 Desv. tp. 1.75 Incremento de aprendizaje: Media: 2.08 Desv. tp. 3.1 Subgrupo C Test inicial: Media: 2.29 Desv. tp. 2.25 Test nal: Media: 5.42 Desv. tp. 3.17 Incremento de aprendizaje: Media: 3.12 Desv. tp. 2.64

Subgrupo correspondiente/Estadsticos descriptivos sobre las materias M+F Subgrupo B Test inicial: Media: 3.85 Desv. tp. 2.08 Test nal: Media: 7.6 Desv. tp. 1.88 Incremento de aprendizaje: Media: 3.75 Desv. tp. 1.80 Subgrupo A Test inicial: Media: 3.75 Desv. tp. 2.74 Test nal: Media: 6.09 Desv. tp. 2.41 Incremento de aprendizaje: Media: 2.34 Desv. tp. 2.32

Subgrupo C Test inicial: Media: 4.79 Desv. tp. 3.45 Test nal: Media: 6.67 Desv. tp. 2.22 Incremento de aprendizaje: Media: 1.87 Desv. tp. 2.17

Tabla 5.6: Estadsticos descriptivos sobre test inicial, test nal e incremento de aprendizaje para cada subgrupo de t cnicas de pistas y materias (escala de 0 a 10) e

5.6. Evaluaci n de Diferentes Estrategias para Provisi n de Pistas o o

225

Figura 5.6: Histograma de incremento de conocimiento para temas S+I del subgrupo B

mos aplicar en primer lugar las pruebas t y ANOVA sobre los diferentes datos. Estos m todos e requieren como premisas que las poblaciones de las muestras sean normales y tengan igualdad de varianzas, o bien si no se cumple la premisa de normalidad, que el n mero de datos u de todos los grupos puestos en la comparaci n sea sucientemente grande. Aplicando las o pruebas de normalidad y homogeneidad de varianzas a cada una de las 6 variables de los histogramas presentados, vemos que si bien se puede asumir homogeneidad de varianzas mediante la prueba de Levene para todas las poblaciones (eso implica que se puede asumir que la varianza del incremento de aprendizaje para S+I y M+F es la misma para los diferentes subgrupos denidos), sin embargo no se puede asumir que todas las poblaciones sean normales mediante las pruebas de Kolmogorov-Smirnov y Shapiro-Wilk (de hecho ninguna de las 6 se puede asumir como normal). Es por ello que al no poder asumir todas las poblaciones normales y no tener un n mero sucientemente grande de muestras, entonu ces no podemos aplicar la prueba t ni ANOVA, por lo que hay que recurrir a m todos no e param tricos. Mirando los diferentes histogramas podemos observar que algunas distribue ciones (concretamente las 3 asociadas a las materias de S+I) no llegan a ajustar bien con la distribuci n normal debido a que hay muchos alumnos cuyo incremento de aprendizaje es o muy bajo, aumentando en gran proporci n la frecuencia de una de las colas. o Realizando la prueba no param trica de Kruskal-Wallis para los 3 grupos diferentes e de conjuntos de t cnicas de pistas y tanto para el incremento de aprendizaje en S+I como e para M+F, vemos que para las materias S+I el estadstico chi-cuadrado vale 0.885 con una signicaci n de 0.642, y al ser la signicaci n mayor a 0.05 entonces no podemos rechazar o o

226

Captulo 5. Evaluaci n del Modelo de Pistas Propuesto o

Figura 5.7: Histograma de incremento de conocimiento para temas S+I del subgrupo C

la hip tesis de igualdad de medias entre las 3 poblaciones diferentes que interaccionaron o con diferentes t cnicas de pistas para S+I. Sin embargo, vemos que para las materias M+F e el estadstico chi-cuadrado toma un valor de 7.908 con una signicaci n de 0.019, la cual es o menor a 0.05 por lo que podemos rechazar la hip tesis de igualdad de medias entre las tres o poblaciones que interaccionaron con diferentes t cnicas de pistas para las materias de M+F. e Realizando la prueba de Mann-Whitney para comparar dos a dos los 3 grupos para cada una de las dos divisiones de materias, obtenemos que en ning n caso hay diferencia sigu nicativa de medias entre ninguna de las 3 combinaciones de comparaci n de las materias o S+I. Sin embargo, aplicando esta prueba a los tres grupos para M+F, obtenemos una diferencia signicativa entre las medias de los grupos A y B (U de Mann-Whitney = 119, W de Wilcoxon = 255, Z = -2.168, Signicaci n = 0.030), as como entre las medias de los o grupos B y C (U de Mann-Whitney = 76, W de Wilcoxon = 154, Z = -2.451, Signicaci n = o 0.014), pero no se obtiene diferencia signicativa entre las medias de los grupos A y C (U de Mann-Whitney = 87, W de Wilcoxon = 165, Z = -0.457, Signicaci n = 0.647) por lo que no o se puede descartar la hip tesis de igualdad de medias entre esas dos poblaciones. De estos o resultados podemos concluir que en el experimento realizado no se encontraron diferencias signicativas de incremento de aprendizaje para las materias de S+I entre grupos de alumnos a los que se proporcionaron diferentes t cnicas de provisi n de pistas. Por el contrario, se e o encontraron diferencias signicativas de incremento de aprendizaje para las materias M+F entre grupos de alumnos a los que se proporcionaron diferentes t cnicas de provisi n de e o pistas. En concreto donde se encontraron las diferencias signicativas para M+F fueron de

5.6. Evaluaci n de Diferentes Estrategias para Provisi n de Pistas o o

227

Figura 5.8: Histograma de incremento de conocimiento para temas M+F del subgrupo A la siguiente forma: Las t cnicas con un coste y esfuerzo para el alumno junto con la t cnica de penalie e zar por resoluci n incorrecta de pistas resultaron signicativamente mejores que las o t cnicas de bajo coste y esfuerzo para el alumno junto con la t cnica de bonicar por e e resolver correctamente problemas que son pistas. Las t cnicas con un coste y esfuerzo para el alumno junto con la t cnica de penalizar e e por resoluci n incorrecta de pistas resultaron signicativamente mejores que las t cnio e cas de bajo coste y esfuerzo para el alumno junto con la t cnica de no afectar en la e puntuaci n por resoluci n de pistas. De hecho esta diferencia es algo m s signicativa o o a que la primera. En todos los casos donde se encuentran diferencias signicativas entre el uso de unos tipos de t cnicas de pistas y otras, podemos armar bajo una alta probabilidad que dicha e diferencia no fue debida al azar. Por el contrario, donde no se obtiene ninguna diferencia signicativa no podemos concluir ni que la diferencia ir en el sentido que indica la muestra a (que ser m s probable cuanto mayor sea la diferencia) o en el sentido opuesto (y que salga a a en un sentido en la muestra es simplemente una cuesti n del azar). o A continuaci n se pasar n a analizar las posibles causas de diferencias de medias o a all donde las diferencias fueron signicativas. Seguidamente se analizar n las posibles cau a sas de posibles tendencias de diferencia de medias all donde las diferencias no fueron signi

228

Captulo 5. Evaluaci n del Modelo de Pistas Propuesto o

Figura 5.9: Histograma de incremento de conocimiento para temas M+F del subgrupo B cativas. En este an lisis de causas que pudieran explicar las diferencias de medias, considea raremos en primer lugar como causa la uni n de las diferentes t cnicas de provisi n de pistas o e o consideradas en cada grupo del experimento denido. Pero tambi n tendremos en cuenta los e siguientes factores: La materia abordada o el dise o de los ejercicios y pistas, que puede inuir en que n unas t cnicas de provisi n de pistas incrementen m s o menos el aprendizaje. e o a El nivel inicial de conocimiento de los alumnos en la materia. A pesar de que los grupos de alumnos fueron elegidos aleatoriamente en la experiencia, el azar pudo hacer que algunos grupos de alumnos tuvieran un nivel inicial de conocimiento mejor en las materias que otros. Por lo tanto las diferencias de medias de incremento de aprendizaje entre grupos podran tener que ver con el nivel inicial de los alumnos. Caben aqu tres diferentes hip tesis para cada comparaci n: 1) Que el nivel inicial o o de los alumnos no afecte en lo que incrementar n su conocimiento, 2) Que alumnos a con un nivel inicial mayor incrementen m s su conocimiento, debido a que tienen a una mayor capacidad para aprender la materia e incrementar m s su conocimiento, 3) a Que alumnos con un nivel inicial menor incrementen m s su conocimiento, ya que a tienen m s margen de mejora. Hay que notar que dependiendo del valor absoluto del a nivel inicial de los alumnos, ese efecto en uno u otro sentido puede variar ya que por ejemplo si el valor inicial es muy alto (pr ximo al m ximo) entonces est claro que o a a ese alumno no podr mejorar mucho su conocimiento pues de inicio ya lo tiene todo. a

5.6. Evaluaci n de Diferentes Estrategias para Provisi n de Pistas o o

229

Figura 5.10: Histograma de incremento de conocimiento para temas M+F del subgrupo C En primer lugar, analizaremos las comparaciones que resultaron signicativas: Para los subgrupos A y B en las materias de M+F su nivel inicial era similar, ya que la media obtenida en los tests iniciales por ambos grupos fue similar (3.75 frente a 3.85) por lo que en ese caso se descarta el factor de que la causa fuera un diferente nivel inicial de los alumnos, y podemos concluir que la causa fue por las diferentes t cnicas e de provisi n de pistas. o Para la materia de M+F, la diferencia es a n m s signicativa entre las medias de u a incremento de conocimiento de los grupos B y C. Entre ambos grupos, hay un diferente nivel inicial de los alumnos siendo mayor en el grupo C (4.79 frente a 3.85). Si acept ramos la hip tesis explicativa de que alumnos con mayor nivel inicial increa o mentan m s su conocimiento, entonces como a pesar de eso la diferencia es signicaa tiva, podemos concluir que la diferencia de incremento de aprendizaje es debida a las t cnicas de provisi n de pistas empleadas. Si por el contrario, aceptamos la hip tesis e o o de que alumnos con mayor nivel inicial incrementan menos su conocimiento, entonces se podra postular que ese sera uno de los factores que hace incrementar m s el a conocimiento, y entonces no necesariamente seran las t cnicas de provisi n de pistas e o empleadas las que implicaran un mayor incremento de conocimiento. Si acept ramos a que la diferencia en el nivel inicial de los alumnos no inuye en su incremento nal de aprendizaje entonces tambi n concluiriamos que son las t cnicas de provisi n de e e o pistas empleadas las que provocaron un mayor incremento de conocimiento.

230

Captulo 5. Evaluaci n del Modelo de Pistas Propuesto o

A continuaci n, se analizan las comparaciones que no resultaron signicativas, en eso tos casos s lo hablamos de posibles hip tesis teniendo en cuenta las tendencias vistas en o o la muestra, pero realmente al no haber signicaci n estadstica no hay garanta de que la o tendencia sea en un sentido o en otro, aunque s mayor probabilidad. Todas estas hip tesis o se basaran en aceptar que la tendencia observada en la muestra sera la real, pero al no te ner signicaci n necesaria ya ese supuesto, entonces dichas hip tesis probables se deberan o o conrmar en pr ximas experiencias. No obstante estas hip tesis posibles nos ayudar n una o o a vez conozcamos las conclusiones de la edici n 2008: o Para S+I en los subgrupos A y B, vemos que result s lo un poco mejor las t cnicas o o e que requieren coste y esfuerzo y penalizar por resoluci n incorrecta de pistas respecto o a las t cnicas de bajo coste y esfuerzo y bonicar por resoluci n correcta de pistas. En e o esta comparaci n, la diferencia en el nivel inicial de los alumnos es considerable (2.66 o frente a 4.58). Podemos ah formular diferentes hip tesis como que esa reducci n de la o o diferencia de las medias de incremento de conocimiento con respecto a la observada en la comparaci n de M+F, fue debida a que para diferentes materias o tipos de ejercicios o (en este caso para S+I) el efecto de las t cnicas de provisi n de pistas es diferente, e o o que los alumnos que tienen un nivel inicial mayor acaban incrementando m s su a conocimiento, o un efecto combinado de ambos factores que como resultado da una reducci n de diferencia de medias con respecto a la materia de M+F. o Para la materia de S+I, entre los grupos A y C la diferencia de medias de incremento de aprendizaje no es signicativa aunque hay una tendencia hacia ser mejor en el grupo C. Entre ambos grupos, el nivel inicial de los alumnos es similar (2.66 frente a 2.29) por lo que este nivel inicial no debe ser un factor explicativo de la comparaci n. Por o ello, se puede decir que aunque estadsticamente no es signicativo, es m s probable a la hip tesis de que para S+I sea mejor no afectar en la puntuaci n por resoluci n de o o o pistas que penalizar por resoluci n incorrecta (ya que del conjunto de estrategias de o ambos grupos es la unica que vara). Comparando los grupos A y C para M+F, aunque la diferencia de medias no es signicativa, s que se ve que result mejor los alumnos que interaccionaron con t cnicas o e de bonicar por resoluci n correcta de pistas con respecto a los que lo hicieron con o t cnicas que no tenan en cuenta la resoluci n de pistas en la puntuaci n (ya que del e o o conjunto de estrategias de ambos grupos es la unica que vara). Vemos que en este caso el nivel inicial de los alumnos que interaccionaron con la bonicaci n fue menor o (3.75 frente a 4.79). Se podra argumentar la hip tesis de que este nivel inicial menor o en los alumnos hace que el incremento de aprendizaje fuera mayor en lugar de la variaci n en la estrategia de provisi n de pistas, aunque igual de v lido sera argumentar o o a que ese nivel inicial no tiene efecto en la puntuaci n, o que el nivel inicial menor de o los alumnos hace que se incremente menos el conocimiento, pero que a pesar de ese efecto la t cnica de bonicar por resoluci n correcta de pistas compens el otro efecto. e o o Resultados y An lisis para la edici n 2007/2008 A continuaci n pasaremos a analizar a o o los datos de la experiencia 2007/2008 referentes a este grupo de objetivos. En primer lugar cabe destacar que cada aspecto de estrategia de provisi n de pistas presente en uno de los o

5.6. Evaluaci n de Diferentes Estrategias para Provisi n de Pistas o o

231

problemas es independiente de los dem s aspectos, ya que cada aspecto diferente se aplica a a problemas diferentes, no combin ndose en el mismo problema. Es por ello que suponemos a que el efecto de cada t cnica es totalmente independiente de los dem s. e a Como ya se ha comentado en el apartado de metodologa, cada alumno pas por una o serie de ejercicios con una combinaci n de t cnicas de pistas diferente, de entre las 48 como e binaciones posibles seg n el dise o de la experiencia. Concretamente, pas con un conjunto u n o de t cnicas para las materias de S+I y otro para M+F. Hemos calculado la correlaci n parcial e o entre cada una de las estrategias de provisi n de pistas empleadas y el incremento de apreno dizaje (tanto para S+I como para M+F) eliminando el efecto del nivel inicial de los alumnos en S+I o M+F (dado por su nota en el pre-test) y eliminando tambi n el efecto del resto de e estrategias de pistas empleadas. Concretamente se ha calculado la correlaci n biserial puntual parcial, ya que siempre o se establece la correlaci n entre una variable continua (incremento de aprendizaje en S+I o o M+F) y otra variable dicot mica verdadera (cuyos 2 valores son las 2 t cnicas de pistas o e asociadas a una determinada estrategia de provisi n de pistas). Es parcial porque se eliminan o los efectos colaterales de otras variables que pudieran inuir, que en este caso son las otras estrategias de provisi n de pistas empleadas que son a su vez variables dicot micas verdao o deras (es decir que pueden tomar 2 valores) y el nivel inicial del alumno en la materia que es una variable continua (dado por el pre-test en S+I o en M+F). A continuaci n se enumeran las estrategias de pistas que se han tenido en cuenta en la o experiencia, junto con los 2 valores que puede tomar cada una de ellas: Coste por ver pista sin lmite m ximo. Se considera 0 si no tiene efecto en la puntua a ci n por ver pista, y 1 si se penaliza en la puntuaci n por ver pista. En ninguno de los o o 2 casos hay un lmite m ximo de pistas que se pueden seleccionar. a Coste por ver pista con posible lmite m ximo. Se considera 0 si no tiene efecto en la a puntuaci n por ver pista pero hay un lmite m ximo a seleccionar, y 1 si se penaliza o a en la puntuaci n por ver pista sin haber un lmite m ximo de pistas a visualizar. o a Disponibilidad. Se considera 0 si la pista s lo est disponible para ser seleccionada o a como respuesta ante un intento incorrecto, y 1 si la pista est disponible para ser a seleccionada desde el momento inicial en el que se muestra el ejercicio al alumno. Lmite m ximo de pistas a seleccionar. Se considera 0 si se pueden seleccionar todas a las pistas menos una, y 1 si s lo se puede seleccionar una pista. o Efecto en puntuaci n por resoluci n de pistas. Se considera 0 si no hay ning n efecto o o u en la puntuaci n por resolver correctamente o incorrectamente pistas, y 1 si hay alg n o u efecto en la puntuaci n por resoluci n de pistas: bien bonicaci n por resoluci n coo o o o rrecta de pistas, o bien penalizaci n por resoluci n incorrecta de pistas. o o Tipo de efecto en la puntuaci n por resoluci n de pistas. Se considera 0 si se penaliza o o por resoluci n incorrecta de pistas y 1 si se bonica por resoluci n correcta de pistas. o o Hay que destacar que para poder aplicar este m todo, todas las variables deben ser die cot micas o continuas, es por ello que para el caso de la variable inicial de tipo de efecto o

232 Diferentes estrategias de provisi n de o pistas Coste por ver pista sin lmite m ximo a Coste por ver pista con posible lmite m ximo a Disponibilidad Lmite m ximo de pis a tas a seleccionar Efecto en puntuaci n o por resoluci n de piso tas Tipo de efecto en la puntuaci n por resoluo ci n de pistas o Nivel inicial del alumno en la materia (Nota del pre-test)

Captulo 5. Evaluaci n del Modelo de Pistas Propuesto o Ganancia de aprendizaje en S+I -0.382 0.020) 0.089 0.599) 0.010 0.953) -0.056 0.743) 0.357 0.030) (Signicaci n o (Signicaci n o (Signicaci n o (Signicaci n o (Signicaci n o Ganancia de aprendizaje en M+F 0.350 0.034) 0.054 0.749) -0.223 0.184) 0.084 0.623) -0.501 0.002) (Signicaci n o (Signicaci n o (Signicaci n o (Signicaci n o (Signicaci n o

-0.019 (Signicaci n o 0.930) -0.490 (Signicaci n o 0.002)

0.239 (Signicaci n o 0.284) -0.451 (Signicaci n o 0.005)

Tabla 5.7: Correlaci n parcial entre el incremento de aprendizaje para S+I y M+F con reso pecto a las diferentes estrategias de provisi n de pistas empleadas y al nivel inicial de los o alumnos, quitando el efecto del resto de variables en la puntuaci n por resoluci n de pistas, que originalmente tena 3 posibles valores (bonio o caci n por resoluci n correcta de pistas, penalizaci n por resoluci n incorrecta de pistas, o o o o y sin efecto en la puntuaci n por resoluci n de pistas), hubo de dividirse en 2 variables o o dicot micas que son las 2 ultimas expresadas en la anterior lista. o En cada una de las correlaciones calculadas siempre se correlaciona una de estas variables con respecto a un incremento de conocimiento (en S+I o en M+F), quitando el efecto de todo el resto de estas variables y del conocimiento inicial del alumno en la materia. Realmente hay una excepci n que es la variable del tipo de efecto en la puntuaci n por resoluci n o o o de pistas, sobre la cual nunca se considera que se vaya a quitar su efecto, ya que esta variable no tiene valores en todos los datos, ya que carece de valor en aquellos datos en los que no se ha aplicado ning n efecto en la puntuaci n por resoluci n de pistas). u o o La tabla 5.7 muestra los resultados de la correlaci n biserial puntual parcial para cada o una de las variables especicadas quitando el efecto del resto de variables y tanto con respecto al incremento de conocimiento en S+I como en M+F. Tambi n muestra el resultado e de la correlaci n parcial entre las variables continuas de conocimiento inicial del alumno e o incremento de conocimiento tanto para las materias S+I como M+F. A continuaci n se analizan los resultados de la edici n 2007/2008 para cada una de las o o estrategias de pistas introducidas (se consideran diferencias estadsticamente signicativas cuando la signicaci n es menor que 0.05): o

5.6. Evaluaci n de Diferentes Estrategias para Provisi n de Pistas o o

233

1. Coste por ver pista sin lmite m ximo: Se observa que es signicativamente mejor para a el incremento de aprendizaje en M+F penalizar en la puntuaci n por ver pistas que no o tener ning n efecto en la puntuaci n por ver pistas. Sin embargo, para el incremento u o de aprendizaje en S+I se observa que el resultado es el inverso, resultando signicativamente mejor no quitar puntos por ver pistas que penalizar por la visualizaci n de o pistas. De esto podemos concluir que la variaci n de la estrategia de pistas relacioo nada con el coste por ver pista sin lmite m ximo, inuy en los resultados nales a o de incremento de aprendizaje de los alumnos. Tambi n podemos ver que la forma en e que inuye no es siempre la misma, ya que obtuvimos resultados diferentes para S+I y M+F. Al salir diferencias signicativas pero en sentidos inversos para S+I y M+F, entonces podemos asegurar que hay algunos factores que inuyen en que una t cnica e de pistas sea mejor que la otra o viceversa. Estos factores no se pueden buscar entre los que hemos descartado su efecto mediante la correlaci n parcial. Realizando un o an lisis, hemos llegado a la conclusi n de que tales efectos son el tipo de materia (en a o este caso S+I o M+F), el dise o de los ejercicios/pistas, y el perl determinado que n tiene cada alumno (en el perl no se incluye en este caso su nivel inicial en la materia, ya que el efecto de esta variable ya ha sido descartado en la correlaci n). Por lo tanto, o concluimos que estos factores adicionales hacen que pueda ser mejor penalizar por ver pista o bien no tener ning n efecto en la puntuaci n. u o 2. Coste por ver pista con posible lmite m ximo: En este aspecto no se observa ninguna a diferencia signicativa entre los incrementos de aprendizaje ni para S+I ni para M+F entre aplicar la t cnica de penalizar por ver pistas o no tener ning n efecto en la e u puntuaci n por ver pista. Tampoco ni siquiera se ve cierta tendencia de la muestra o sobre lo que podra ser mejor debido a los peque os valores de la correlaci n y los n o altos valores de la signicaci n. Esto no signica que no pueda haber correlaci n entre o o estas variables, pero se necesitaran m s muestras para poder discernirlo. Tambi n es a e posible la hip tesis de que no haya correlaci n para este caso pero que variando la o o materia, o/y el dise o de los ejercicios/pistas, o/y el perl del alumno, entonces se n pudiera dar alguna correlaci n entre incremento de conocimiento y la estrategia de o coste por ver pista con posible lmite m ximo. a 3. Disponibilidad: En este aspecto no se observa ninguna diferencia signicativa entre los incrementos de aprendizaje ni para S+I ni para M+F por el hecho de s lo dejar dispoo nible la pista ante un intento incorrecto o dejar la pista disponible desde el inicio. No obstante para M+F se observa una tendencia (aunque no signicativa) hacia ser mejor la t cnica de dejar la pista disponible s lo ante una respuesta incorrecta del alumno. e o Para poder discernir si existe correlaci n entre estas dos variables seran necesarias un o mayor n mero de muestras. Tambi n que la correlaci n vaya en un sentido u otro o u e o no la hubiera, podra depender de factores como el tipo de materia, o/y el dise o de n los ejercicios/pistas, o/y el perl del alumno. 4. Lmite m ximo de pistas a seleccionar: En este aspecto tampoco se observa ningu a na diferencia signicativa entre los incrementos de aprendizaje ni para S+I ni para M+F entre aplicar la t cnica de poder seleccionar todas las pistas menos 1, o poder e seleccionar s lo 1 pista entre todas. Tampoco ni siquiera se ve cierta tendencia de la o

234

Captulo 5. Evaluaci n del Modelo de Pistas Propuesto o muestra sobre lo que podra ser mejor debido a los peque os valores de la correlaci n n o y los altos valores de la signicaci n. Del mismo modo que en casos anteriores, esto o no signica que no pueda haber correlaci n entre estas variables, pero se necesitaran o m s muestras para poder discernirlo. Tambi n es posible la hip tesis de que no haya a e o correlaci n para este caso pero que variando la materia, o/y el dise o de los ejercio n cios/pistas, o/y el perl del alumno, entonces se pudiera dar alguna correlaci n entre o incremento de conocimiento y la estrategia de coste por ver pista con posible lmite m ximo. a

5. Efecto en puntuaci n por resoluci n de pistas: Se observa que es signicativamente o o mejor para el incremento de aprendizaje en S+I tener alg n efecto en la puntuaci n u o (bien bonicar o penalizar) por resoluci n correcta o incorrecta de pistas que no tener o ning n efecto en la puntuaci n por resoluci n de pistas. Sin embargo, el resultado u o o sobre la t cnica que result mejor se invierte en el caso de incremento de aprendizaje e o en M+F, resultando signicativamente mejor no aplicar ning n efecto en la puntuaci n u o por resoluci n de pistas que ejercer alg n efecto en la puntuaci n. De esto podemos o u o concluir que la variaci n de la estrategia de pistas relacionada con el efecto en la o puntuaci n por resoluci n de pistas, inuy en los resultados nales de incremento o o o de aprendizaje de los alumnos. Tambi n podemos ver que la forma en que inuye e no es siempre la misma, ya que obtuvimos resultados diferentes para S+I y M+F. Al salir diferencias signicativas pero en sentidos inversos para S+I y M+F, entonces podemos asegurar que hay algunos factores que inuyen en que una t cnica de pistas e sea mejor que la otra o viceversa. Estos factores no se pueden buscar entre los que hemos descartado su efecto mediante la correlaci n parcial. Realizando un an lisis, o a hemos llegado a la conclusi n de que tales efectos son el tipo de materia (en este o caso S+I o M+F), el dise o de los ejercicios/pistas, y el perl determinado que tiene n cada alumno (en el perl no se incluye en este caso su nivel inicial en la materia, ya que el efecto de esta variable ya ha sido descartado en la correlaci n). Por lo tanto, o concluimos que estos factores adicionales hacen que pueda ser mejor seg n el caso u tener efecto en la puntuaci n por resoluci n de pistas o no tener ning n efecto en la o o u puntuaci n. o 6. Tipo de efecto en la puntuaci n por resoluci n de pistas: No se ha observado diferencia o o signicativa ni para el incremento de aprendizaje en S+I ni para M+F, entre aplicar una bonicaci n por resoluci n correcta de pistas o una penalizaci n por resoluci n o o o o incorrecta de pistas. Pero se observa una tendencia en M+F hacia ser mejor bonicar por resoluci n correcta de pistas que penalizar por resoluci n incorrecta de pistas. De o o nuevo para saber si realmente existe correlaci n entre las variables, habra que hacer o nuevos experimentos para tener un mayor n mero de datos. Y tambi n el que el efecto u e sea en un sentido u otro puede depender de otros factores ya comentados en puntos anteriores. Finalmente, aunque no es una estrategia de provisi n de pistas, se analiza la correlaci n o o entre el incremento de conocimiento y el nivel inicial de los alumnos. De este an lisis se a puede observar que tanto para S+I como para M+F result signicativo la correlaci n entre o o estas variables, resultando que un mayor nivel inicial de los alumnos en una materia implica

5.6. Evaluaci n de Diferentes Estrategias para Provisi n de Pistas o o

235

un menor incremento de conocimiento tras interaccionar con los ejercicios con pistas, y que un menor nivel inicial de los alumnos en una materia implica un mayor incremento de conocimiento tras interaccionar con los ejercicios con pistas. Tras un an lisis concluimos a que esto se debe a dos causas: alumnos con un menor nivel inicial tienen un mayor margen de mejora para poder incrementar su aprendizaje (por ejemplo un alumno con nivel inicial de 8 como m ximo s lo pueden incrementar en 2 puntos su aprendizaje porque lo m ximo a o a que pod is sacar es un 10), y que el sistema result m s benecioso para alumnos que saben e o a menos inicialmente. An lisis de la Combinaci n de Resultados de las Ediciones 2006/2007 y 2007/2008 a o A continuaci n se pasa a interpretar en conjunto los datos obtenidos en ambas ediciones o (2006/2007 y 2007/2008). Esta interpretaci n de resultados en conjunto se ver desde dos o a vertientes: Analizar si los datos obtenidos en ambas ediciones son congruentes y compatibles entre s. Ajustar y profundizar las conclusiones obtenidas en la edici n 2006/2007 gracias a los o resultados obtenidos en la edici n 2007/2008. o En primer lugar al haber demostrado en la edici n 2007/2008 que menores niveles inio ciales de los alumnos en una materia implican mayores incrementos de conocimiento y viceversa, esto se debe tomar como un hecho en el an lisis de resultados de la edici n 2006/2007 a o en lugar de ser s lo una hip tesis. Adem s, veremos las diferencias signicativas que se dieo o a ron en la edici n 2007/2008 para ver si son compatibles con los resultados de la edici n o o 2006/2007. En la edici n 2007/2008 tenemos resultados sobre el efecto de cada estrateo gia de provisi n de pistas por separado y para las materias S+I y M+F, mientras que en la o edici n 2006/2007 tenemos resultados sobre comparaciones entre conjuntos de t cnicas, es o e decir uniendo la combinaci n de diferentes estrategias. Por ello a partir de los resultados de o 2007/2008 se pueden hacer predicciones sobre lo que debera salir para la edici n 2007/2008 o combinando los resultados de comparaciones de estrategias de pistas especcos para dar las combinaciones de la edici n 2006/2007. Como no en todas las estrategias de 2007/2008 sao lieron diferencias signicativas, y adem s no siempre todas las combinaciones de t cnicas a e de los grupos considerados en 2006/2007 tienen porqu dar diferencias a favor en el mismo e sentido respecto a las t cnicas an logas con las que se comparan, entonces tan s lo podemos e a o hablar de hip tesis probables sobre la compatibilidad de los resultados. A continuaci n se o o realiza el an lisis para cada una de las 3 comparaciones posibles en S+I y otras 3 para M+F a en la edici n 2006/2007: o 1. Comparando los grupos A y B en M+F, ya vimos que la causa de la diferencia signicativa entre ganancias de aprendizaje de ambos grupos, no puede deberse al nivel inicial de los alumnos en la materia ya que dicho nivel fue similar en ambos grupos. Con la comparaci n de dichos grupos, vimos que fue mejor el conjunto de t cnicas o e formado por penalizar por ver pistas sin lmite m ximo, penalizar por ver pistas con a posible lmite m ximo, dejar las pistas s lo disponibles ante un intento incorrecto, y a o penalizar por resoluci n incorrecta de pistas (denominadas como t cnicas con coste y o e

236

Captulo 5. Evaluaci n del Modelo de Pistas Propuesto o esfuerzo para el alumno), con respecto al conjunto de t cnicas de no penalizar en nine guno de los casos, dejar las pistas disponibles desde el inicio y bonicar por resoluci n o correcta de pistas (denominadas como conjunto de t cnicas sin coste y esfuerzo para e el alumno). Se puede ver que los resultados de la edici n 2007/2008 son compatibles o con esto ya que para M+F sali signicativamente mejor penalizar por ver pistas sin o lmite m ximo, y se observ una tendencia (aunque no signicativa) a ser mejor el de a o jar disponible las pistas s lo ante un intento incorrecto. Sin embargo, se observ una o o tendencia (aunque no signicativa) a ser mejor bonicar por resoluci n correcta de o pistas, y no se observa tendencia en cuanto a penalizar o no por ver pistas con posible lmite m ximo. Suponiendo extrapolables los resultados de la edici n 2007/2008 para a o los de la 2006/2007, entonces al tener en la combinaci n de t cnicas a 2 factores en o e un sentido (1 de ellos signicativo) frente a 1 factor en el sentido inverso, entonces se hace m s probable la relaci n que se acab presentando en la edici n 2006/2007. a o o o

2. Comparando los grupos A y B en S+I, vimos que no haba diferencia signicativa de ganancias de aprendizaje entre ellos. La comparaci n entre t cnicas de pistas que o e se realiz en este caso fue el mismo que en el punto anterior pero en este caso para o la materia de S+I. Sali una muy leve diferencia (no signicativa) a favor del mismo o conjunto de t cnicas que resultaron mejores para M+F (es decir salieron un poquito e mejor las t cnicas con coste y esfuerzo para el alumno). Como vimos que en este caso e los alumnos que interaccionaron con t cnicas con un coste y esfuerzo tenan un nivel e inicial considerablemente menor, ahora que sabemos que niveles iniciales menores producen mayores incrementos de conocimiento, podemos concluir que la leve diferencia a favor del grupo que interaccion con las t cnicas con coste para los alumnos o e no puede en ning n caso explicarse para el caso de S+I por ser mejores las t cnicas de u e coste. De hecho, en caso de haber tenido grupos de alumnos con el mismo nivel inicial en la materia, es de suponer que habran salido mejor las t cnicas sin coste o esfuerzo e para el alumno. En este punto cabe preguntarse porqu en M+F s sali una diferencia e o signicativa en este aspecto entre las diferentes t cnicas de pistas empleadas, y sin e embargo para S+I el sentido de la comparaci n de incremento de aprendizaje de la o muestra podra ser el inverso de eliminarse el efecto del nivel inicial de los alumnos. Se puede ver que este resultado de la edici n 2006/2007 es compatible con los de la o 2007/2008 porque en la edici n 2007/2008 para S+I sali signicativamente mejor o o no tener efecto en la puntuaci n por ver pistas sin lmite m ximo, pero no se obo a serv ninguna tendencia remarcable entre las comparaciones del resto de t cnicas que o e componen el conjunto para estos grupos. Por lo tanto, suponiendo extrapolables los resultados de la edici n 2007/2008 para los de la 2006/2007, entonces al tener en la o combinaci n de t cnicas a 1 factor relacionado con la provisi n de pistas que produce o e o ganancia de aprendizaje en un sentido (y de forma signicativa), pero por otro lado al no ser el nivel inicial de los alumnos el mismo, eso hizo compensar la ganancia en el otro sentido, dando un resultado nal muy equivalente entre los grupos comparados en la edici n 2006/2007. o 3. Comparando los grupos A y C en M+F, vimos que en ese caso la unica t cnica que e variaba entre los 2 grupos comparados era que en un caso se bonicaba por resoluci n correcta de pistas, mientras que en otro caso no se tena ning n efecto en la o u

5.6. Evaluaci n de Diferentes Estrategias para Provisi n de Pistas o o

237

puntuaci n. Result ser un poquito mejor (pero en ning n caso fue signicativo eso o u tadsticamente) el grupo que interactu con la t cnica de bonicar respecto al grupo o e de no tener ning n efecto en la puntuaci n. Pero como hubo una diferencia entre los u o niveles iniciales de los alumnos de estos grupos, esto hace pensar que la diferencia de ganancia de aprendizaje podra invertirse de descartar el factor del nivel inicial de los alumnos, siendo mejor no tener efecto en la puntuaci n que bonicar. Partiendo de los o resultados de 2007/2008, podemos ver que para M+F result mejor (de forma signio cativa) no tener ning n efecto en la puntuaci n que tenerlo, y se observ una tendencia u o o (no signicativa) a ser mejor bonicar por resoluci n correcta de pistas que penalizar o por resoluci n incorrecta de pistas. Por lo tanto era de prever que resultase mejor no o tener ning n efecto en la puntuaci n. Si descartamos el efecto del nivel inicial del u o alumno, esa sera la tendencia que se observara en la edici n 2006/2007, aunque se o esperaba una diferencia m s grande a favor de no tener efecto en la puntuaci n viendo a o los resultados de la edici n 2007/2008. No obstante tambi n es comprensible que la o e diferencia no sea tan grande al ser menor el n mero de datos en la edici n 2006/2007. u o 4. Comparando los grupos A y C en S+I, vimos que en ese caso la unica t cnica que vae riaba entre los 2 grupos comparados era que en un grupo se penalizaba por resoluci n o incorrecta de pistas mientras que en otro grupo no se tena en cuenta en la puntuaci n o la resoluci n de pistas. Result ser mejor (aunque no signicativamente) el grupo que o o interactu con la t cnica de no tener ning n efecto en la puntuaci n, que el grupo que o e u o penaliz por resoluci n incorrecta de pistas. En este caso, los niveles iniciales de los o o alumnos fueron muy similares por lo que se descarta este efecto en el an lisis. Partiena do de los resultados de la edici n 2007/2008 vemos que result mejor estadsticamente o o para S+I aplicar alg n efecto en la puntuaci n por resoluci n de pistas, en lugar de no u o o tener ning n efecto en la puntuaci n por resoluci n de pistas, y que no hubo apenas u o o diferencia entre bonicar o penalizar por resoluci n de pistas. Sin embargo, esto no o es congruente con los datos obtenidos en la edici n 2006/2007 que indican una cierta o tendencia de la muestra hacia ser mejor no tener ning n efecto en la puntuaci n que a u o penalizar por resoluci n incorrecta de pistas. Es esta la unica situaci n de las 6 donde o o los datos obtenidos en la edici n 2007/2008 no reejan los de la 2006/2007. Como o hip tesis formulamos que la diferencia en el efecto de esta estrategia de pistas radica o en el diferente perl de los alumnos, ya que en ambos casos se est aplicando a la a misma materia. 5. Comparando los grupos B y C en M+F vimos que fue signicativamente mejor para el incremento de aprendizaje el grupo que interaccion con t cnicas que implicaban o e cierto coste y esfuerzo junto con la t cnica de penalizar por resoluci n incorrecta de e o pistas que el grupo que interaccion con t cnicas que no implicaban coste y esfuerzo o e junto con la t cnica de no tener efecto en la puntuaci n por resoluci n de pistas. Parte e o o de esa diferencia se puede explicar porque el grupo con t cnicas con coste tena un e nivel inicial inferior, pero el resto de la diferencia es debida a las diferentes t cnicas e de pistas empleadas. Partiendo de los resultados de la edici n 2007/2008 vemos que o para M+F sali signicativamente mejor penalizar por ver pistas sin lmite m ximo, o a y se observ una tendencia (aunque no signicativa) a ser mejor el dejar disponible o las pistas s lo ante un intento incorrecto. Sin embargo, se observ una tendencia (no o o

238

Captulo 5. Evaluaci n del Modelo de Pistas Propuesto o signicativa) a ser mejor no tener efecto en la puntuaci n que penalizar por resoluci n o o incorrecta de pistas, y no se observa tendencia en cuanto a penalizar o no por ver pistas con posible lmite m ximo. Suponiendo extrapolables los resultados de la edici n a o 2007/2008 para los de la 2006/2007, entonces al tener en la combinaci n de t cnicas o e a 2 factores en un sentido (1 de ellos signicativo) frente a 1 factor en el sentido inverso, entonces se hace m s probable la relaci n que se acab presentando en la edici n a o o o 2006/2007.

6. Comparando los grupos B y C en S+I vemos que tambi n son compatibles los resultae dos de la edici n 2007/2008 con respecto a los de la 2006/2007 haciendo un an lisis o a similar. Conclusiones Principales de los Resultados de las Ediciones 2006/2007 y 2007/2008 En esta secci n se van a desarrollar una serie de puntos, a modo de conclusiones globales: o Variar las t cnicas de provisi n de pistas, produce en ciertos casos incrementos de e o aprendizaje signicativos por s mismos, cuando se descarta el efecto del resto de va riables consideradas que pudieran afectar. Por lo tanto, el hecho de variar las t cnicas e de provisi n de pistas supone en diferentes casos un aprendizaje m s efectivo para o a los alumnos. Algunas de esas situaciones signicativas se han podido demostrar en las experiencias, mientras que de otras simplemente hay indicios, aunque no se ha podido demostrar si realmente la diferencia es debido al ruido o realmente al factor sistem tico de las t cnicas en s. En un futuro se deber n realizar m s experiencias, a e a a focaliz ndose s lo en un aspecto cada vez y replicando la experiencia en un n mero a o u sucientemente elevado de sesiones para demostrar si realmente las diferencias son signicativas entre diferentes t cnicas de provisi n de pistas con determinados factoe o res jos. Uno de los problemas de las experiencias realizadas es que cada aspecto por separado de t cnica de provisi n de pistas puede afectar normalmente al incremento e o de conocimiento pero no de una forma abismal. Con los medios que tenemos, en los que el n mero de alumnos es limitado, s lo podemos detectar diferencias signicau o tivas cuando la diferencia en una muestra es grande. Para diferencias m s peque as a n necesitamos replicar m s veces la experiencia para detectar signicaci n. a o Para t cnicas de aspectos combinados, se demostr diferencias signicativas para unas e o materias entre t cnicas con coste para los alumnos y penalizaci n en la resoluci n e o o incorrecta de pistas, con respecto a t cnicas de bajo coste y bonicaci n por resoluci n e o o de pistas, a favor de las t cnicas de coste y penalizaci n por resoluci n incorrecta. e o o Del mismo modo resultaron signicativamente mejor para unas materias t cnicas con e coste para los alumnos y penalizaci n por resoluci n incorrecta de pistas, con respecto o o a t cnicas de bajo coste y sin afectar en la puntuaci n. e o En cuanto a t cnicas de aspectos independientes, se demostr diferencias signicativas e o para unas materias entre no penalizar por ver vistas con respecto a penalizar por ver pistas, dependiendo de la materia, una vez a favor de penalizar por ver pistas y otra vez a favor de no penalizar. As mismo result signicativamente mejor para unas o materias no tener efecto en la puntuaci n por resoluci n de pistas con respecto a tener o o

5.6. Evaluaci n de Diferentes Estrategias para Provisi n de Pistas o o

239

alg n efecto en la puntuaci n por resoluci n correcta de pistas, y para otras materias u o o result diferencia signicativa en el sentido contrario, es decir siendo mejor tener o efecto en la puntuaci n por resoluci n de pistas con respecto a no tenerlo. o o Las t cnicas de provisi n de pistas consideradas no siempre dan un incremento de e o aprendizaje en el mismo sentido ni con la misma fuerza. Esto depende de las materias consideradas, el dise o de los ejercicios/pistas, el perl de los alumnos, y otros facton res que puedan no haberse considerado. Queda en un futuro una gran labor para ver que otros factores pueden afectar en el efecto que producen las t cnicas de provisi n e o de pistas en el incremento del aprendizaje, as como para saber bajo qu circunstan e cias exactas dichos factores hacen decantar la balanza por mejorar una t cnica u otra. e Por ejemplo, a modo de hip tesis se podra decir que una pista que hace reexionar al o alumno, llevarle a la soluci n y que le resulta divertida har que aprenda m s. Por lo o a a tanto, en ese caso sera mejor que un alumno la viera y para ello sera mejor no pena lizar por ver pista y d rsela directamente para su incremento de aprendizaje. Mientras a que en otras ocasiones (por ejemplo pistas que dan la soluci n directamente) sera meo jor que el alumno reexione sobre el problema inicial e intente resolverlo, y que pida la pista s lo cuando la necesite y en este caso seran mejor las t cnicas de provisi n o e o de pistas contrarias. Muchas m s hip tesis de este y otros tipos totalmente diferentes a o pueden ser estudiadas en un futuro. Con estas conclusiones, podemos decir que la adaptaci n de t cnicas de provisi n de o e o pistas en el sistema en funci n de las diferentes condiciones resulta esencial de cara a ino tentar conseguir el mayor incremento de aprendizaje para cada uno de los alumnos. La idea sera poner las mejores t cnicas de provisi n de pistas en cada caso, que seran las que m s e o a incrementaran el conocimiento. Es de notar que esta adaptaci n sera s lo de las t cnicas o o e de pistas a utilizar y considera que el contenido de ejercicios, pistas, etc. no cambia, sino que lo que cambia seran las t cnicas asociadas a los cinco aspectos de provisi n de pistas e o comentados. Esta adaptaci n es diferente a adaptar los contenidos, pistas, ejercicios, etc. En o la adaptaci n de t cnicas de provisi n de pistas habra que tener en cuenta, entre otras cosas, o e o las siguientes: La materia concreta. No es lo mismo una materia con un grado de dicultad diferente, la naturaleza y estructura de los conceptos, el nivel de los alumnos en ella, etc. El material especco de ejercicios y pistas. Como se dise en los ejercicios, pistas, n etc. es esencial en todo el proceso y puede hacer que una t cnica incremente m s o e a menos el aprendizaje. Todo lo referente al alumno particular: su nivel inicial en las materias, sus preferencias, historial de las t cnicas que le han ido mejor, etc. e Relaci n de los Resultados con Respecto al Estado del Arte A continuaci n se exponen o o trabajos relacionados con los resultados expuestos, indicando el tipo de relaci n con los o resultados. En la secci n de contribuciones ya se expusieron relaciones con trabajos previos, o pero no se hizo tanto hincapi en aquellos relacionados con los resultados obtenidos, que e son los que se desarrollar n en esta secci n. a o

240

Captulo 5. Evaluaci n del Modelo de Pistas Propuesto o

En primer lugar, se pueden realizar predicciones a priori acerca de qu t cnicas de pistas e e podran resultar mejores para incrementar las ganancias de aprendizaje en base a las diferen tes teoras de aprendizaje. Las teoras m s importantes del aprendizaje ya han sido presenta a das en una de las secciones del captulo del estado del arte, ahora se tratar de adaptarlas al a contexto de las pistas. Bas ndonos en las teoras de aprendizaje cognitivo, podemos ver que el camino de caa da alumno puede inuir en su aprendizaje, y que diferentes alumnos requieren caminos de aprendizaje distintos, etc. Desde el punto de vista de las t cnicas de pistas, podemos formue lar la hip tesis de que dependiendo de la t cnica de pistas empleada, el modo en c mo un o e o alumno procesa la informaci n puede variar, y de este modo las ganancias de aprendizaje o nales pueden variar dependiendo de ello. Las t cnicas de pistas introducidas en esta evae luaci n, tales que requieren un esfuerzo o coste para los alumnos, pueden implicar que el o alumno no seleccione la pista hasta que est seguro que realmente la necesita. Adem s, de e a esa forma el alumno ha experimentado un proceso de pensamiento sobre el problema inicial. En esta situaci n, estas t cnicas de pistas de alto coste seran buenas para las ganancias o e de aprendizaje. Pero otra posible hip tesis es que el alumno no seleccione la pista debido o al coste o esfuerzo que supone pero que el alumno realmente la necesite. En tal situaci n, o el alto coste de las t cnicas de pistas sera malo para las ganancias de aprendizaje. Estas e situaciones, dependeran de los perles de los alumnos y de su aptitud ante las t cnicas de e pistas. Parte de ese perl de los alumnos puede deducirse de la encuesta que se presenta m s adelante en este captulo. Por lo tanto, la adaptaci n de la t cnica de pistas dependiendo a o e del perl de los alumnos sera necesaria. De un modo similar, podemos argumentar que una t cnica de pistas especca sera buena o no para las ganancias de aprendizaje dependiendo e de las materias abordadas, del dise o de los ejercicios/pistas, etc., ya que una t cnica de n e pistas especca puede inducir a un camino de aprendizaje determinado para los alumnos, pero el camino de aprendizaje optimo no es siempre el mismo, sino que depende de los factores citados. Todas estas posibles hip tesis basadas en las teoras de aprendizaje cognitivo y o razonamiento de sentido com n est n de acuerdo a los resultados observados en la experienu a cias, los cuales muestran que varias t cnicas de pistas resultaron signicativamente mejores e estadsticamente en una direcci n u otra dependiendo de un conjunto de factores. o Adem s de las teoras cognitivas que hay que tenerlas en cuenta para el an lisis de todas a a las t cnicas de pistas, tambi n tienen que tenerse en cuenta otras teoras para el an lisis e e a de las estrategias de pistas relacionadas con la bonicaci n, penalizaci n o no tener efecto o o en la puntuaci n por resoluci n de pistas. La teora de Skinner sobre el refuerzo, puede o o ser aplicada en este contexto. El hecho de afectar o no en la puntuaci n por resoluci n o o de pistas puede ser visto como un refuerzo: refuerzo positivo si hay una bonicaci n por o resoluci n correcta de pistas, o refuerzo negativo si hay una penalizaci n por resoluci n o o o incorrecta de pistas. Este refuerzo introducido en nuestro contexto de pistas tiene algunos de los requerimientos enunciados por Skinner: 1. Es un efecto inmediato en la puntuaci n cuando se responde a un problema pista o 2. Los conceptos cubiertos por el problema pista son algunos de los aspectos que el alumno debe dominar. Pero hay algunas diferencias con respecto al refuerzo expuesto por Skinner, las cuales son consecuencia de la utilizaci n de pistas: o

5.6. Evaluaci n de Diferentes Estrategias para Provisi n de Pistas o o

241

1. El refuerzo es realizado sobre los puntos en la puntuaci n del primer problema pero o no sobre el problema pista 2. Los alumnos pueden seleccionar el intentar resolver o no el problema, conociendo previamente si la resoluci n del problema pista tiene alg n efecto en la puntuaci n o o u o no y el tipo de efecto (bonicar o penalizar). 3. Los conceptos cubiertos por el problema inicial deben ser tambi n dominados (el proe blema pista podra ser un paso intermedio en el proceso). Adem s, es conocido teoras que prueban la efectividad del refuerzo positivo, pero hay a discusi n sobre el efecto del refuerzo negativo. o De las teoras que ultimamente se han expuesto, uno podra pensar inicialmente que el tener alg n efecto en la puntuaci n para la resoluci n de pistas sera mejor que no tener u o o ning n efecto en la puntuaci n, y que bonicar en la puntuaci n por resoluci n correcta u o o o de pistas sera mejor que penalizar por resoluci n incorrecta de pistas. En la investigaci n o o realizada, para S+I result estadsticamente signicativo mejor tener alg n efecto en la puno u tuaci n por resoluci n de pistas que no tenerlo, lo cual est de acuerdo a la anterior hip teo o a o sis. Con respecto a la comparaci n entre bonicar o penalizar no se encontraron diferencias o signicativas estadsticamente. No obstante, para M+F, result signicativamente mejor es o tadsticamente no tener ning n efecto en la puntuaci n en lugar de tener alg n efecto en la u o u puntuaci n. Si miramos m s detalladamente los datos de M+F, podemos observar que reo a sult estadsticamente signicativo mejor no tener ning n efecto en la puntuaci n en lugar o u o de penalizar por resoluci n incorrecta de pistas, pero no result estadsticamente signicao o tivo mejor no tener ning n efecto en la puntuaci n que bonicar por resoluci n correcta de u o o pistas. En este punto, debemos recordar que las condiciones de nuestro experimento en relaci n o con este aspecto son diferentes a las teoras expuestas ultimamente, debido al contexto de las pistas. Si introducimos el factor extra de la utilizaci n de las pistas en este contexto, entonces o deberamos a adir el ya comentado efecto para todas las estrategias de pistas presentadas en n esta investigaci n: esto es que el mejor camino de aprendizaje depende de factores extra, o los cuales pueden variar qu t cnicas de pistas son mejores para cada caso. Por ejemplo, e e el hecho de penalizar por resoluci n incorrecta de pistas puede implicar una reducci n del o o n mero de pistas respondidas (de hecho se prueba posteriormente m s adelante que esto es u a as), y en algunos casos si el alumno responde menos cantidad de problemas pistas, entonces puede aprender menos. Esta es una de las razones por las que en este contexto, penalizar por resoluci n incorrecta de pistas puede no ser efectivo para el aprendizaje. Pero la intensidad o o la direcci n de este efecto puede variar dependiendo de la materia, los ejercicios, las pistas o dise adas, etc. Por estas razones, en algunas ocasiones puede ser mejor no tener efecto en la n puntuacion, y en otras ocasiones puede ser mejor lo inverso. Una vez realizado el an lisis en relaci n con las teoras del aprendizaje, nos disponea o mos a realizar el an lisis sobre otros trabajos relacionados publicados. En [146] y [147] los a autores compararon las ganancias de aprendizaje dependiendo de los diferentes comportamientos observados de los alumnos en el sistema. Pero nuestro punto de vista en el trabajo es diferente ya que nosotros nos centramos en las comparaciones de ganancias de aprendizaje dependiendo de diferentes t cnicas de pistas, mientras que en [146] y [147] no se variaron e lo que nosotros hemos llamado como t cnicas de pistas. e

242

Captulo 5. Evaluaci n del Modelo de Pistas Propuesto o

Pero existe una elevada conexi n entre nuestro trabajo y tales investigaciones. De nuestro o trabajo, conocemos que en algunas ocasiones algunas t cnicas de pistas son mejores que e otras, pero la tendencia puede variar dependiendo de otros factores. Tales factores (como los diferentes perles de los alumnos, las materias, el dise o de ejercicios y pistas, etc.) puede n implicar que los alumnos hagan m s o menos comportamientos err ticos de los comentados a a en [146] y [147]. Esto es como decir que debido al dise o de un ejercicio especco con n pistas, los alumnos podran estar m s condicionados a realizar abuso de pistas, evitar las a pistas, o errores varios, de acuerdo a las categoras de dichas investigaciones. O que debido a la materia, si s lo unos pocos alumnos conocen sobre tales conceptos, entonces algunos o tipos de posibilidades sobre abuso de ayuda est n descartadas porque los alumnos necesitan a ayuda para tales conceptos como la mayora de ellos tienen una carencia de ellos. O que dependiendo del perl de los alumnos, los alumnos pueden realizar m s o menos errores de a un tipo u otro o ninguno. Por lo tanto, dependiendo de un conjunto de factores y variables, los alumnos pueden realizar m s o menos diferentes tipos de errores relacionados con las a interacciones con pistas. Por otro lado, las diferentes t cnicas de pistas pueden inuir en el comportamiento de e los alumnos. M s adelante se mostrar que penalizar por ver pistas, dar pistas s lo como una a a o respuesta ante un intento incorrecto, y penalizar por resoluci n incorrecta de pistas, reduce o la cantidad de pistas que los alumnos pueden seleccionar. De este modo, para situaciones donde dependiendo de los factores comentados hay una mayor probabilidad de abuso de pistas, entonces es recomendable aplicar tales t cnicas comentadas con el n de intentar e reducir el abuso de pistas para que hubiera menos cantidad del error de abuso de pistas y esto pudiera ser benecioso con respecto a las ganancias de aprendizaje. Pero si por ejemplo los factores cambian y hay una mayor probabilidad de evitar las pistas, entonces las t cnicas e de pistas que promueven solicitar m s pistas (como pistas directamente disponibles para ser a seleccionadas, no penalizar por ver pistas, bonicar o no tener efecto en la puntuaci n por o resoluci n de pistas) seran mejores porque tales t cnicas haran a los alumnos seleccionar o e m s pistas, implicando un descenso de evitar pistas, por lo que las ganancias de aprendizaje a seran mayores. Tambi n es importante remarcar que el modo c mo los alumnos se comportan para cada e o una de las t cnicas de pistas, tambi n depende de los factores comentados. Hemos obtenido e e diferencias estadsticamente signicativas (se expondr n m s adelante) sobre los compor a a tamientos de los alumnos para diferentes t cnicas de provisi n de pistas dependiendo de e o otros factores (por ejemplo dependiendo de la dicultad y tipo de cuestiones). Por lo tanto, esto es otra evidencia de que algunos factores tienen inuencia en los comportamientos de los alumnos, y que por lo tanto dichos factores inuencian las ganancias de aprendizaje obtenidas. Adicionalmente, el camino ideal de aprendizaje para cada alumno especco puede va riar, por lo que podemos formular hip tesis sobre si podra tener peque as variaciones con o n respecto al modelo propuesto en [146]. Los factores que podran variar el modelo ideal han sido ya comentados. Por ejemplo, el camino de aprendizaje ideal podra no ser independiente del contenido de pista: si la pista es muy buena, entonces es mejor que el estudiante la viera incluso si en una situaci n regular no la debera ver, o si la pista es muy mala por c mo se o o dise o, entonces es mejor que el alumno no la vea incluso si tiene una carencia del concepto. n En algunas ocasiones, los profesores no conocen que ellos dise aron una pista de una forma n

5.6. Evaluaci n de Diferentes Estrategias para Provisi n de Pistas o o

243

inadecuada. El modelo de la referencia [147] podra ser visto como un modelo de comporta miento ideal de los alumnos desde el punto de vista del alumno, cuando el alumno no conoce por ejemplo sobre lo que la pista tratar , pero el camino de aprendizaje optimo podra ser a diferente dependiendo de otros factores que el alumno no conoce a priori. Si el modelo cambia levemente para cada caso, entonces los mejores comportamientos cambiaran para cada caso. Los mismos autores en [147] proponen un sistema para dar alguna ayuda textual al alumno con el n de guiarle hacia el camino de aprendizaje correcto. Aquella soluci n no o cambia las t cnicas de pistas a aplicar que es el prop sito de nuestra investigaci n. Las t cnie o o e cas de pistas descritas en esta investigaci n podran ser aplicadas a aquel sistema con el n o de intentar guiar al alumno por el camino de aprendizaje correcto. Grupo 5 de Objetivos: Comportamiento de los Alumnos ante Diferentes T cnicas de e Pistas Esta secci n de resultados para objetivos del grupo 5 se ha estructurado de manera que o se ha dividido por subobjetivos de dicho grupo. Dado que en ambas ediciones hay aproximadamente un equilibrio entre el n mero de alumnos que pasan por unas t cnicas y otras de u e cada aspecto, es por ello que podemos agrupar los resultados de ambas ediciones 2006/2007 y 2007/2008 y de esa forma los datos ser n m s signicativos estadsticamente al tener un a a mayor n mero de muestras. La metodologa empleada en ambos casos es la misma puesto u que se basa en recoger par metros del sistema disponibles en ambas experiencias sobre una a serie de ejercicios, y con una distribuci n de alumnos aproximadamente equitativa en cada o uno de los grupos de alumnos para los que se aplic una determinada t cnica. o e Objetivo 5.1: Conocer si los alumnos solicitan m s o menos pistas y en qu grado por el a e hecho de penalizar en la puntuaci n por ver pistas y conocer si esto depende tambi n o e de la dicultad y el tipo de problema inicial donde se aplica. De acuerdo a la metodologa, en el primer problema de cada materia se variaba la estrategia de provisi n de pistas o en el sentido de que algunos alumnos podan solicitar la pista sin tener penalizaci n en la o puntuaci n, mientras que otros podan solicitar la pista pero tenan una penalizaci n en su o o puntuaci n. Por lo tanto, hay 4 problemas (uno por cada materia, y cada uno s lo con una o o pista asociada) los cuales tienen esta variaci n. De un modo similar, hay otros 4 problemas o (uno por cada materia, y corresponden al segundo problema de cada materia) los cuales varan la estrategia de provisi n de pistas en el sentido de que un grupo de alumnos pueden o seleccionar un n mero m ximo de pistas pero sin penalizaci n, mientras que otros alumnos u a o pueden seleccionar cualquier n mero de pistas pero con una penalizaci n en la puntuaci n. u o o Estos 8 problemas son en los que nos jamos para medir este objetivo. Compararemos cuantas pistas solicitaron cada grupo de alumnos con el n de concluir si la penalizaci n por ver pistas implica una reducci n en el n mero de pistas vistas. Adicionalo o u mente nos podemos preguntar si eso depende tambi n de la dicultad y el tipo de problema. e Para responder a eso, dentro de los 4 primeros problemas comentados hay 2 de m ltiple u elecci n (uno f cil y otro de dicultad media-alta), y 2 de relleno de blancos (uno f cil y el o a a otro de dicultad media-alta). Adem s, los otros 4 problemas son de respuesta m ltiple (con a u 4 niveles diferentes de dicultad). No obstante, esta segunda pregunta se estudiar despu s, a e

244

Captulo 5. Evaluaci n del Modelo de Pistas Propuesto o Par metro/Grupo de t cnica a e Sin penalizaci n por o ver pistas 340 207 133 60.88 Con penalizaci n por o ver pistas 345 154 191 44.64

N` mero total de interacciones de los alumnos con u problemas distintos N mero de interacciones donde un alumno vio al u menos una pista del problema N mero de interacciones donde un alumno no vio u ninguna pista del problema Porcentaje de interacciones de los alumnos en los que vieron al menos una pista ( %)

Tabla 5.8: Comparaci n del comportamiento de los alumnos ante la t cnica de penalizar por o e visualizar pistas o no y primeramente se analizar n los datos en conjunto (teniendo en cuenta todos los tipos de a problema y dicultad) para responder a la primera cuesti n de si los alumnos solicitan m s o a o menos pistas y en qu grado por el hecho de penalizar en la puntuaci n por ver pistas. e o La tabla 5.8 muestra los resultados globales, incluyendo los 8 problemas, del n mero de u veces que los alumnos solicitaron al menos una pista en un problema con respecto al n mero u total de interacciones de los alumnos con problemas distintos (se considera que un alumno ha interaccionado con un problema cuando ha intentado responderlo al menos una vez). Esta relaci n se muestra agrupada con respecto a la t cnica de provisi n de pistas empleada: o e o penalizando o no la puntuaci n por ver dicha pista. Es importante resaltar que los resultados o de la tabla 5.8 no tienen en cuenta si el alumno seleccion una pista o varias de un problema, o sino que se considera como que se vio alguna pista del problema cuando se vieron una o m s a pistas de dicho problema. Aplicando el estadstico chi-cuadrado de Pearson a estas dos variables, vemos que to ma el valor 18.128, y raz n de verosimilitudes de 18.212, en ambos casos con 2 grados o de libertad y n mero de muestras de 685, las cuales tienen unas probabilidades asociadas u (signicaci n) de 0.000, por lo que al ser menores a 0.05 rechazamos la hip tesis de indeo o pendencia, y por lo tanto podemos determinar que el tipo de t cnica referente a la puntuaci n e o por visualizaci n de pistas (penalizar o no) se encuentra relacionada con el n mero de pistas o u que ven los alumnos. Con el estadstico chi-cuadrado de Pearson y las razones de versosimilitud hemos con cluido que hay relaci n entre ambas variables mediante contraste de hip tesis, pero no sao o bemos cual es el grado de esa relaci n. Para ello recurrimos a otros estadsticos que se o presentan en las tablas 5.9 (medidas sim tricas) y 5.10 (medidas direccionales). En ambas e tablas el nivel de signicaci n de los diferentes par metros es menor al 0.05 por lo que se o a rechaza la hip tesis de independencia entre ambas variables. El grado de la relaci n entre o o estas dos variables podemos considerarlo de moderado al estar entre 0.114 y 0.163 en todas las pruebas, siendo ndices que oscilan en el intervalo [0,1]. Un estadstico especialmente importante en variables dicot micas (como es el caso) para o determinar el grado de la relaci n entre dos variables son los ndices de riesgo. La tabla 5.11 o muestra los ndices de riesgo para determinar el grado de relaci n entre penalizar o no por o

5.6. Evaluaci n de Diferentes Estrategias para Provisi n de Pistas o o Estadstico utilizado Phi V de Cramer Coeciente de Contingencia Valor 0.163 0.163 0.161 Signicaci n o aproximada 0.000 0.000 0.000

245

Tabla 5.9: Medidas sim tricas para determinar el grado de relaci n del comportamiento de e o los alumnos ante la t cnica de penalizar por visualizar pistas o no e Estadstico utilizado Lambda visualizaci n de pista o dependiente Valor 0.114 Err. tp. asint. 0.054 T aprox. 1.998 Sign. aprox. 0.046

Tabla 5.10: Medidas direccionales para determinar el grado de relaci n del comportamiento o de los alumnos ante la t cnica de penalizar por visualizar pistas o no e ver pistas y el comportamiento del alumno. De los datos de la tabla 5.11 podemos decir que entre las interacciones que no ven las pistas asociadas a los problemas hay un 1.930 m s de probabilidad de que tuvieran un proa blema que penalizara por ver las pistas que otro que no penalizara. Por lo tanto el riesgo de no ver una pista es casi 2 veces mayor cuando se proporciona una t cnica de penalizaci n e o por ver pistas que cuando se hace la t cnica de no inuir en la puntuaci n por ver pistas. e o Podemos decir que el riesgo de que esto suceda es signicativamente mayor a 1 puesto que este valor no se encuentra en el intervalo de conanza al 95 %. As mismo, cuando el desen lace a evaluar es no ver la pista, la probabilidad de encontrar este desenlace en interacciones con problemas con penalizaci n por ver pistas es 1.415 mayor que en problemas sin penalio zaci n por ver pistas. Si el desenlace a evaluar es ver la pista, la probabilidad de encontrar o tal desenlace en interacciones con problemas con penalizaci n por ver pistas es 0.733 menor o que en problemas sin penalizaci n por ver pistas. En ambos casos vuelve a no estar el 1 en o el intervalo de conanza lo que muestra una diferencia signicativa en la probabilidad de la diferencia entre grupos. Aplicando la prueba binomial (no param trica) para determinar cu l es la probabilidad e a de ver pista o no verla en funci n del grupo considerado de t cnica (con penalizaci n o sin o e o penalizaci n por ver pista), podemos observar con una signicaci n alta (menor a 0.05) que o o la probabilidad de ver pista cuando no hay penalizaci n por ver pista se encuentra en el ino tervalo de % del [56, 66], mientras que la probabilidad de ver pista cuando hay penalizaci n o por ver pista se encuentra en el intervalo de % del [40, 50]. A continuaci n, seguimos con el an lisis de la cuesti n de investigaci n sobre si el tipo o a o o de problema (relleno de blancos, de m ltiple elecci n, o m ltiple respuesta) y la dicultad u o u del problema tiene una inuencia en la cantidad de pistas vistas, as como en la diferencia entre interacciones no penalizadas por ver pistas y las que se penalizan por ver pistas. Las tablas 5.12 y 5.13 presentan los resultados para las interacciones de los alumnos con los 8 problemas (combinando los resultados de ambas ediciones), la primera de ellas con los primeros problemas de cada materia, y la segunda de ellas con los segundos problemas de

246 Estadstico utilizado

Captulo 5. Evaluaci n del Modelo de Pistas Propuesto o Valor Intervalo de Conanza al 95 % (Inferior) 1.424 Intervalo de Conanza al 95 % (Superior) 2.616

Raz n de las ventajas para subo grupo (Penalizaci n por ver piso tas/Sin penalizaci n por ver piso tas) Para la cohorte pista= No Ve pista Para la cohorte pista= Ve pista

1.930

1.415 0.733

1.202 0.634

1.666 0.848

Tabla 5.11: Indices de riesgo sobre la relaci n entre penalizar o no por ver pistas y el como portamiento del alumno cada materia. La tabla 5.14 muestra el estadstico chi-cuadrado de Pearson (con la signicaci n aso o ciada entre par ntesis), y los intervalos de conanza al 95 % de la probabilidad de ver pista e dependiendo de si se aplica la t cnica de penalizaci n o no por ver pista, tras aplicar la pruee o ba binomial para cada uno de los 8 problemas. Por simplicidad, no se han proporcionado para cada uno de los problemas por separado las medidas sim tricas y direccionales para e determinar el grado de relaci n del comportamiento de los alumnos ante la t cnica de peo e nalizar por visualizar pistas o no. Del mismo modo, por simplicidad no se proporcionan los ndices de riesgo dividido por cada uno de los problemas. No obstante, tanto las medidas direccionales, sim tricas, as como los ndices de riesgo se pueden calcular directamente a e partir del desglose de datos presentado en las tablas 5.12 y 5.13. De los valores del estadstico chi-cuadrado de Pearson y de los intervalos de probabi lidades de ver pista seg n la prueba binomial de la tabla 5.14 podemos darnos cuenta que u la diferencia entre el n mero de pistas vistas para el caso en que hay penalizaci n por ver u o pistas respecto a que no haya penalizaci n es signicativa dependiendo del tipo de problema o y de su dicultad. Podemos ver que para los problemas de m ltiple elecci n la diferencia no u o es signicativa en ninguno de los 2 problemas, esto se podra explicar porque los alumnos realizan diferentes intentos en los problemas de m ltiple elecci n hasta que dan con la sou o luci n pero sin la utilizaci n de pistas, y este factor es predominante respecto a si se deja la o o pista con o sin penalizaci n por verla. Para los problemas de relleno de blancos la diferencia o sale signicativa cuando el problema es f cil-medio pero no cuando es medio-difcil. Esto a se podra explicar porque ante un problema de relleno de blancos es difcil para los alumnos hacer diferentes intentos hasta dar con la soluci n, cuando es difcil casi todos optan por ver o la pista con lo que no hay mucha diferencia, mientras que si es medio-f cil menos alumnos a tienen que pedir pista, los alumnos se piensan m s si verla o no dependiendo de si se penalia za o no, por lo que la diferencia es signicativa. Para los problemas de m ltiple respuesta la u diferencia siempre sali signicativa excepto para el problema f cil, esto se puede explicar o a porque para un problema f cil los alumnos no requieren ninguna pista, por lo que no es muy a determinante si se penaliza o no por dar pista. En cuanto a la cantidad de pistas vistas podemos ver una tendencia a ser mayor para

5.6. Evaluaci n de Diferentes Estrategias para Provisi n de Pistas o o

247

Problema Par metro/Grupo de t cnica a e

S1 (F cila Medio, M ltiple u Elecci n) o

M1 (F cila Medio, Relleno de Blancos)

I1 (MedioDifcil, Relleno de Blancos)

F1 (MedioDifcil, M ltiple u Elecci n) o

N mero total de interacciones de los alumnos u con el problema N mero de interacciones donde un alumno u vio al menos una pista del problema N mero de interacciones donde un alumno no u vio ninguna pista del problema Porcentaje de interacciones de los alumnos en los que vieron al menos una pista ( %) N mero total de interacciones de los alumnos u con el problema N mero de interacciones donde un alumno u vio al menos una pista del problema N mero de interacciones donde un alumno no u vio ninguna pista del problema Porcentaje de interacciones de los alumnos en los que vieron al menos una pista ( %) N mero total de interacciones de los alumnos u con el problema N mero de interacciones donde un alumno u vio al menos una pista del problema N mero de interacciones donde un alumno no u vio ninguna pista del problema Porcentaje de interacciones de los alumnos en los que vieron al menos una pista ( %) N mero total de interacciones de los alumnos u con el problema N mero de interacciones donde un alumno u vio al menos una pista del problema N mero de interacciones donde un alumno no u vio ninguna pista del problema Porcentaje de interacciones de los alumnos en los que vieron al menos una pista ( %)

Sin penalizaci n por o ver pistas 46 3 43 6.52 40 37 3 92.5 43 35 8 81.40 47 13 34 27.66

Con penalizaci n por o ver pistas 48 1 47 2.13 43 27 16 62.79 43 35 8 81.40 42 7 35 16.67

Tabla 5.12: Comparaci n del comportamiento de los alumnos ante la t cnica de penalizar o e por visualizar pistas o no dividida por tipos de problemas y su grado de dicultad para los primeros problemas de cada materia

248

Captulo 5. Evaluaci n del Modelo de Pistas Propuesto o

Problema Par metro/Grupo de t cnica a e

S2 (Difcil, M ltiple u Respuesta)

N mero total de interacciones de los alumnos u con el problema N mero de interacciones donde un alumno u vio al menos una pista del problema N mero de interacciones donde un alumno no u vio ninguna pista del problema Porcentaje de interacciones de los alumnos en los que vieron al menos una pista ( %) M2 N mero total de interacciones de los alumnos u (Mediocon el problema N mero de interacciones donde un alumno u Difcil, vio al menos una pista del problema M ltiple u u Respuesta) N mero de interacciones donde un alumno no vio ninguna pista del problema Porcentaje de interacciones de los alumnos en los que vieron al menos una pista ( %) I2 N mero total de interacciones de los alumnos u (Medio, con el problema N mero de interacciones donde un alumno u M ltiple u Respuesta) vio al menos una pista del problema N mero de interacciones donde un alumno no u vio ninguna pista del problema Porcentaje de interacciones de los alumnos en los que vieron al menos una pista ( %) F2 N mero total de interacciones de los alumnos u (F cila con el problema Medio, N mero de interacciones donde un alumno u M ltiple u vio al menos una pista del problema Respuesta) N mero de interacciones donde un alumno no u vio ninguna pista del problema Porcentaje de interacciones de los alumnos en los que vieron al menos una pista ( %)

Sin penalizaci n por o ver pistas 23 45 42 93.33 42 34 80.95 81.81 41 32 9 78.05 36 11 21 30.56

Con penalizaci n por o ver pistas 28 47 30 63.83 42 25 17 59.52 44 19 25 43.18 37 11 22 29.73

Tabla 5.13: Comparaci n del comportamiento de los alumnos ante la t cnica de penalizar o e por visualizar pistas o no dividida por tipos de problemas y su grado de dicultad para los segundos problemas de cada materia

5.6. Evaluaci n de Diferentes Estrategias para Provisi n de Pistas o o

249

Problema S1 (F cila Medio, M ltiple u Elecci n) o M1 (F cila Medio, Relleno de Blancos) I1 (MedioDifcil, Relleno de Blancos) F1 (MedioDifcil, M ltiple u Elecci n) o S2 (Difcil, M ltiple u Respuesta) M2 (MedioDifcil, M ltiple u Respuesta) I2 (Medio, M ltiple u Respuesta) F2 (F cila Medio, M ltiple u Respuesta)

Par metro a Estadstico chicuadrado de Pearson Intervalo de conanza de la probabilidad de ver pista en % Estadstico chicuadrado de Pearson Intervalo de conanza de la probabilidad de ver pista en % Estadstico chicuadrado de Pearson Intervalo de conanza de la probabilidad de ver pista en % Estadstico chicuadrado de Pearson Intervalo de conanza de la probabilidad de ver pista en % Estadstico chicuadrado de Pearson Intervalo de conanza de la probabilidad de ver pista en % Estadstico chicuadrado de Pearson Intervalo de conanza de la probabilidad de ver pista en % Estadstico chicuadrado de Pearson Intervalo de conanza de la probabilidad de ver pista en % Estadstico chicuadrado de Pearson Intervalo de conanza de la probabilidad de ver pista en %

Valor 1.136 Sin penalizar por ver pista [1-16] Penalizando por ver pista [0-10] 10.362 Sin penalizar por ver pista [8298] Penalizando por ver pista [49-75] 0.000 Sin penalizar por ver pista [6991] Penalizando por ver pista [69-91] 1.538 Sin penalizar por ver pista [1740] Penalizando por ver pista [829] 11.762 Sin penalizar por ver pista [8498] Penalizando por ver pista [51-75] 4.613 Sin penalizar por ver pista [6890] Penalizando por ver pista [45-73] 10.751 Sin penalizar por ver pista [6588] Penalizando por ver pista [31-57] 0.006 Sin penalizar por ver pista [1845] Penalizando por ver pista [18-45]

Signicaci n o 0.287 0.05

0.001 0.05

1 0.05

0.215 0.05

0.001 0.05

0.032 0.05

0.001 0.05

0.939 0.05

Tabla 5.14: Estadstico chi-cuadrado de Pearson para cada uno de los 8 problemas para comparar comportamiento de los alumnos con respecto a penalizar o no por ver pistas

250

Captulo 5. Evaluaci n del Modelo de Pistas Propuesto o

los problemas de relleno de blancos, seguidos de los de m ltiple respuesta, y nalmente u los de m ltiple elecci n. Tambi n se observa que a mayor dicultad de un problema mayor u o e cantidad de pistas se vieron. Como regla general podemos decir que existe una diferencia signicativa entre el n mero u de pistas vistas, comparando los casos de penalizar o no por ver pistas, cuando la cantidad de pistas vistas no es ni muy peque a ni muy grande. Como los problemas de m ltiple n u elecci n hacen que el n mero de pistas pedidas sea muy peque o (con independencia de su o u n dicultad aunque esta algo inuye en el n mero de pistas pedidas), entonces en ninguno de u los casos hay diferencia signicativa. Como los problemas de relleno de blancos hacen que se pidan muchas pistas, entonces si encima es difcil el problema, la cantidad de pistas pedidas ser muy elevada y no habr diferencia signicativa, si es f cil o medio entonces el n mero a a a u de pistas pedidas ser medio y habr una diferencia signicativa. Por ultimo, los problemas a a de respuesta m ltiple, tienen tambi n cierto efecto a que los alumnos hagan muchos intentos u e hasta tener la respuesta correcta, pero no es tan acentuado como en los de m ltiple elecci n, u o por ello si el problema es f cil habr una peque a cantidad de pistas pedidas, lo que har que a a n a la diferencia no sea signicativa, pero por el contrario si el problema es medio o difcil la cantidad de pistas pedidas ser en un intervalo razonable ni muy alto ni muy bajo, lo que a har que la diferencia sea signicativa. a Es de notar que los resultados obtenidos no dicen que no exista alguna diferencia en la poblaci n en los problemas donde no se vio diferencia signicativa, simplemente que con o esta experiencia no se consigui determinar esa relaci n y que de los datos de la muestra o o no se puede inferir diferencias signicativas en esos casos. En cualquier caso, esto muestra el indicio de que dichas relaciones en caso de existir seran menos acentuadas que las demostradas como signicativas en esta experiencia. Objetivo 5.2: Conocer si los alumnos solicitan m s o menos pistas y en qu grado por el a e hecho de permitir solicitar pistas s lo como respuesta ante intentos incorrectos o bien o por dejarles seleccionar la pista desde el inicio y conocer si esto depende tambi n de e la dicultad del tipo de problema inicial donde se aplica. El cuarto problema de cada una de las materias utiliza un aspecto de provisi n de pistas que puede variar seg n dos o u estrategias: la pista est disponible directamente al alumno, o bien la pista s lo est disponia o a ble ante un intento incorrecto del alumno. En este apartado se compara el n mero de pistas u solicitadas por los alumnos ante cada una de estas dos t cnicas de provisi n de pistas. e o La tabla 5.15 muestra los resultados globales, incluyendo los 4 problemas para ambas ediciones (2006/2007 y 2007/2008), del n mero de veces que los alumnos solicitaron al u menos una pista en un problema con respecto al n mero total de interacciones de los alumnos u con problemas distintos (se considera que un alumno ha interaccionado con un problema cuando ha intentado responderlo al menos una vez). Esta relaci n se muestra agrupada con o respecto a la t cnica de provisi n de pistas empleada: directamente o como respuesta ante e o un intento incorrecto. Aplicando el estadstico chi-cuadrado de Pearson a estas dos variables, vemos que toma el valor 10.654, y raz n de verosimilitudes de 10.652, en ambos casos con 1 grado de libertad o y n mero de muestras de 297, las cuales tienen unas probabilidades asociadas (signicaci n) u o de 0.001, por lo que al ser menores a 0.05 rechazamos la hip tesis de independencia, y por o lo tanto podemos determinar que el tipo de t cnica referente a cuando se deja disponible la e

5.6. Evaluaci n de Diferentes Estrategias para Provisi n de Pistas o o Par metro/Grupo de t cnica a e Pista s lo o como respuesta ante intento incorrecto 133 75 58 56.39

251 Pista disponible directamente 164 122 42 74.39

N` mero total de interacciones de los alumnos con probleu mas distintos N mero de interacciones donde un alumno vio al menos u una pista del problema N mero de interacciones donde un alumno no vio ninguna u pista del problema Porcentaje de interacciones de los alumnos en los que vieron al menos una pista ( %)

Tabla 5.15: Comparaci n del comportamiento de los alumnos ante la t cnica de pistas diso e ponibles directamente desde el inicio, o s lo disponibles como respuesta ante un intento o incorrecto Estadstico utilizado Phi V de Cramer Coeciente de Contingencia Valor 0.189 0.189 0.186 Signicaci n o aproximada 0.001 0.001 0.001

Tabla 5.16: Medidas sim tricas para determinar el grado de relaci n del comportamiento de e o los alumnos ante la t cnica de dejar disponibles las pistas desde el inicio o dejarlas disponie bles s lo ante un intento incorrecto o pista (directamente o como respuesta ante un intento incorrecto) se encuentra relacionada con el n mero de pistas que ven los alumnos. u Con el estadstico chi-cuadrado de Pearson y la raz n de versosimilitudes hemos conclui o do que hay relaci n entre ambas variables mediante contraste de hip tesis, pero no sabemos o o cu l es el grado de esa relaci n. Para ello recurrimos a otros estadsticos que se presentan a o en la tabla 5.16 (medidas sim tricas). En esa tabla el nivel de signicaci n de los diferene o tes par metros es menor al 0.05 por lo que se rechaza la hip tesis de independencia entre a o ambas variables. El grado de la relaci n entre estas dos variables podemos considerarlo de o moderado al estar entre 0.186 y 0.189 en todas las pruebas, siendo ndices que oscilan en el intervalo [0,1]. En este caso el estadstico lambda con variable dependiente la visualizaci n o de pista no se ha aplicado porque el error tpico asint tico relacionado es igual a 0. o Un estadstico especialmente importante en variables dicot micas (como es el caso) para o determinar el grado de la relaci n entre dos variables son los ndices de riesgo. La tabla 5.17 o muestra los ndices de riesgo para determinar el grado de relaci n entre dejar la pista dispo o nible desde el inicio o s lo disponible ante una respuesta incorrecta y el comportamiento del o alumno. De los datos de la tabla 5.17 podemos decir que entre las interacciones que no ven las pistas asociadas a los problemas hay un 2.246 m s de probabilidad de que tuvieran un proa

252 Estadstico utilizado

Captulo 5. Evaluaci n del Modelo de Pistas Propuesto o Valor Intervalo de Conanza al 95 % (Inferior) 1.376 Intervalo de Conanza al 95 % (Superior) 3.668

Raz n de las ventajas para subo grupo (Pista s lo ante intento ino correcto/Pista desde el inicio) Para la cohorte pista= No Ve pista Para la cohorte pista= Ve pista

2.246

1.703 0.758

1.231 0.637

2.356 0.902

Tabla 5.17: Indices de riesgo sobre la relaci n entre penalizar o no por ver pistas y el como portamiento del alumno blema en el que s lo se activaran las pistas despu s de un intento incorrecto del alumno en o e lugar de otro que tuviera las pistas disponibles desde el inicio. Por lo tanto el riesgo de no ver una pista es m s de 2 veces mayor cuando se proporciona una t cnica de dejar las pistas a e s lo disponibles ante un intento incorrecto que cuando se hace la t cnica de dejar las pistas o e disponibles desde el inicio. Podemos decir que el riesgo de que esto suceda es signicativamente mayor a 1 puesto que este valor no se encuentra en el intervalo de conanza al 95 %. As mismo, cuando el desenlace a evaluar es no ver la pista, la probabilidad de encontrar este desenlace en interacciones con problemas con pistas disponibles s lo ante un intento o incorrecto es 1.703 mayor que en problemas con pistas disponibles desde el inicio. Si el desenlace a evaluar es ver la pista, la probabilidad de encontrar tal desenlace en interacciones con problemas donde la pista se activa s lo ante una respuesta incorrecta es 0.758 menor o que en problemas donde la pista se proporciona desde el inicio. En ambos casos vuelve a no estar el 1 en el intervalo de conanza lo que muestra una diferencia signicativa en la probabilidad de la diferencia entre grupos. Aplicando la prueba binomial (no param trica) para determinar cu l es la probabilidad e a de ver pista o no verla en funci n del grupo considerado de t cnica (pista disponible ante o e intento incorrecto o bien pista disponible desde el inicio), podemos observar con una signicaci n alta (menor a 0.05) que la probabilidad de ver pista cuando la pista est disponible o a desde el inicio se encuentra en el intervalo de % del [68, 80], mientras que la probabilidad de ver pista cuando la pista s lo queda disponible ante un intento incorrecto del alumno se o encuentra en el intervalo de % del [49, 64]. A continuaci n, seguimos con el an lisis de la cuesti n de investigaci n sobre si la dio a o o cultad del problema tiene una inuencia en la cantidad de pistas vistas, as como en la diferencia entre interacciones donde las pistas se dejan disponibles directamente y aquellas donde s lo se dejan ante una respuesta incorrecta del alumno. En este caso no se analiza o si el tipo de problema inuye tambi n, ya que s lo se dispusieron de 4 problemas todos e o ellos del mismo tipo que fue relleno de blancos. La tabla 5.18 presenta los resultados para las interacciones de los alumnos con los 4 problemas (combinando los resultados de ambas ediciones). La tabla 5.19 muestra el estadstico chi-cuadrado de Pearson (con la signicaci n aso o ciada entre par ntesis), y los intervalos de conanza al 95 % de la probabilidad de ver pista e

5.6. Evaluaci n de Diferentes Estrategias para Provisi n de Pistas o o

253

Problema Par metro/Grupo de t cnica a e

Pista desde el inicio

S4 (MedioDifcil)

M4 (Difcil)

I4 (MedioDifcil)

F4 (F cila Medio, M ltiple u Elecci n) o

N mero total de interacciones de los alumnos u con el problema N mero de interacciones donde un alumno u vio al menos una pista del problema N mero de interacciones donde un alumno no u vio ninguna pista del problema Porcentaje de interacciones de los alumnos en los que vieron al menos una pista ( %) N mero total de interacciones de los alumnos u con el problema N mero de interacciones donde un alumno u vio al menos una pista del problema N mero de interacciones donde un alumno no u vio ninguna pista del problema Porcentaje de interacciones de los alumnos en los que vieron al menos una pista ( %) N mero total de interacciones de los alumnos u con el problema N mero de interacciones donde un alumno u vio al menos una pista del problema N mero de interacciones donde un alumno no u vio ninguna pista del problema Porcentaje de interacciones de los alumnos en los que vieron al menos una pista ( %) N mero total de interacciones de los alumnos u con el problema N mero de interacciones donde un alumno u vio al menos una pista del problema N mero de interacciones donde un alumno no u vio ninguna pista del problema Porcentaje de interacciones de los alumnos en los que vieron al menos una pista ( %)

46 34 12 73.91 40 37 3 92.5 41 29 12 70.73 37 22 15 59.46

Pista disponible ante respuesta incorrecta 39 23 16 58.97 36 27 9 75 28 19 9 67.86 30 6 24 20.00

Tabla 5.18: Comparaci n del comportamiento de los alumnos ante la t cnica de dejar diso e ponible directamente la pista o s lo ante un intento incorrecto dividida por problemas con o diferente grado de dicultad para los cuartos problemas de cada materia

254 Problema S4 (MedioDifcil)

Captulo 5. Evaluaci n del Modelo de Pistas Propuesto o Par metro a Estadstico chi-cuadrado de Pearson Intervalo de conanza de la probabilidad de ver pista en % Valor 2.132 Pista directamente [61-84] Pista s lo o disponible ante intento incorrecto [45-72] 4.364 Pista directamente [82-98] Pista s lo o disponible ante intento incorrecto [60-86] 0.065 Pista directamente [57-82] Pista s lo o disponible ante intento incorrecto [51-82] 10.604 Pista directamente [44-73] Pista s lo o disponible ante intento incorrecto [9-36] Signicaci n o 0.144 0.05

M4 (Difcil)

Estadstico chi-cuadrado de Pearson Intervalo de conanza de la probabilidad de ver pista en %

0.037 0.05

I4 (MedioDifcil)

Estadstico chi-cuadrado de Pearson Intervalo de conanza de la probabilidad de ver pista en %

0.799 0.05

F4 (F cila Medio)

Estadstico chi-cuadrado de Pearson Intervalo de conanza de la probabilidad de ver pista en %

0.001 0.05

Tabla 5.19: Estadstico chi-cuadrado de Pearson para cada uno de los 4 problemas para comparar comportamiento de los alumnos con respecto a dejar la pista disponible desde el inicio o s lo ante un intento incorrecto o dependiendo de si se aplica la t cnica de penalizaci n o no por ver pista, tras aplicar la pruee o ba binomial para cada uno de los 8 problemas. Por simplicidad, no se han proporcionado para cada uno de los problemas por separado las medidas sim tricas y direccionales para e determinar el grado de relaci n del comportamiento de los alumnos ante la t cnica de peo e nalizar por visualizar pistas o no. Del mismo modo, por simplicidad no se proporcionan los ndices de riesgo dividido por cada uno de los problemas. No obstante, tanto las medidas direccionales, sim tricas como los ndices de riesgo se pueden calcular directamente a partir e del desglose de datos presentado en la tabla 5.18. En estos problemas de relleno de blancos se puede postular con respecto a c mo inuye o la dicultad del problema, que el efecto de dejar la pista disponible directamente o s lo o ante un intento incorrecto, es similar a lo que ocurra con penalizar o no por ver la pista. As los resultados obtenidos son compatibles con la regla de que si un problema de relleno de blancos es medio-difcil o difcil, entonces los resultados de la diferencia entre el n mero u de pistas vistas no resulta signicativo comparando los grupos donde se dejan disponibles las pistas directamente y donde s lo se dejan disponibles ante un intento incorrecto. Esto se o

5.6. Evaluaci n de Diferentes Estrategias para Provisi n de Pistas o o

255

puede explicar porque de por si en los problemas de relleno de blancos hay una tendencia de los alumnos a ver m s pistas, que unido a que el problema sea medio-difcil o difcil hace a que se vean una gran cantidad de pistas, lo que conlleva que las diferencias entre dejar la pista disponible desde el inicio o s lo ante una respuesta incorrecta, no sean signicativas ya o que en ambos casos se ven muchas pistas, y el factor de si la pista se visualiza directamente o s lo ante un intento incorrecto pasa a un segundo plano. Una excepci n a esta regla la o o supone el problema M4 donde si se maniesta una diferencia signicativa siendo catalogado con dicultad alta. No obstante, a n as el problema est al lmite de la signicaci n ya que u a o en la prueba binomial al 95 % los extremos de ambos intervalos se cortan. De modo an logo a a como pasaba en el caso de penalizar o no por ver pistas, resulta que cuando en un problema de relleno de blancos su dicultad es media-baja, entonces eso hace que el n mero de pistas u vistas no sea ni muy alto ni muy bajo, lo que hace que afecte el factor de si la pista se deja directamente o s lo ante una respuesta incorrecta, en el n mero de pistas vistas. As pues, o u en el problema F4 de relleno de blancos y dicultad media-baja se muestra una diferencia signicativa entre ambos grupos. Objetivos 5.3 y 5.4: Conocer si los alumnos solicitan m s o menos pistas y en qu grado a e por el hecho de bonicar, penalizar en la puntuaci n o no tener efecto en la puntuaci n o o por el hecho de responder correctamente o incorrectamente a los problemas pista. Conocer si los alumnos responden mejor a los problemas pista por el hecho de bonicar, penalizar en la puntuaci n o no tener efecto en la puntuaci n por el hecho de responder o o correctamente o incorrectamente a los problemas pista. Para contestar a estas preguntas de investigaci n, miraremos a los terceros problemas de cada una de las materias. De o acuerdo con la metodologa, para cada uno de esos problemas habr una variaci n para ca a o da grupo de alumnos que representar tres t cnicas diferentes de provisi n de pistas: en un a e o caso se bonicar por la resoluci n correcta de las pistas, en otro caso se penalizar por la a o a resoluci n incorrecta de las pistas, y en otro no habr ning n efecto en la puntuaci n por o a u o la resoluci n de pistas. Observando el n mero de pistas que pidieron los alumnos de cada o u grupo, as como el n mero de resoluciones correctas de pistas dependiendo del grupo de u alumnos, seremos capaces de responder a las dos cuestiones de investigaci n. o La tabla 5.20 muestra los resultados globales, incluyendo los 4 problemas para las ediciones 2006/2007 y 2007/2008, del n mero de veces que los alumnos solicitaron una pista u en un problema (en este caso se puede solicitar m s de una pista en cada problema) con resa pecto al n mero total de interacciones de los alumnos con problemas distintos, del n mero u u de problemas pista totales que se respondieron (que puede ser mayor al n mero de probleu mas ya que por cada problema hay varios problemas pista que se observan directamente todos al presionar la pista, en concreto el correspondiente de shell script tiene 4, por 2 el de makele, y de 1 para los de IPC y FAT) con respecto al n mero m ximo posible teniendo u a en cuenta las pistas que se solicitaron y del n mero de problemas pista que se resolvieron u correctamente con respecto al n mero total de problemas pista que se respondieron. Estas u relaciones se muestran agrupadas con respecto a la t cnica de provisi n de pistas empleae o da: bonicando por resoluci n correcta de pistas, penalizando por resoluci n incorrecta de o o pistas, o no teniendo efecto en la puntuaci n por la resoluci n de pistas. o o Aplicando el estadstico chi-cuadrado de Pearson a las variables t cnica de efecto en e la puntuaci n por resoluci n de pistas y n mero de pistas respondidas por los alumnos, o o u

256 Par metro/Grupo de t cnica a e

Captulo 5. Evaluaci n del Modelo de Pistas Propuesto o Bonicaci n o por resoluci n o correcta de pistas 118 177 Penalizaci n o por resoluci n o incorrecta de pistas 123 147 Sin afectar en la puntuaci n por o resoluci n o de pistas 85 107

N` mero total de interacciones de los u alumnos con problemas distintos N mero m ximo posible de problemas u a pista que pudieron responder los alumnos restringido a las interacciones donde los alumnos vieron al menos una pista del problema N mero de pistas respondidas por los u alumnos Porcentaje de pistas respondidas ( %) N mero total de pistas resueltas correcu tamente por los alumnos Porcentaje de pistas resueltas correctamente por los alumnos ( %)

137 77.40 80 58.39

78 53.06 48 61.54

84 78.50 34 40.48

Tabla 5.20: Comparaci n del comportamiento de los alumnos ante el aspecto de efecto en la o puntuaci n por resoluci n de pistas o o vemos que toma el valor 27.978, y raz n de verosimilitudes de 27.279, en ambos casos con o 2 grados de libertad y n mero de muestras de 431, las cuales tienen unas probabilidades u asociadas (signicaci n) de 0.000, por lo que al ser menores a 0.05 rechazamos la hip tesis o o de independencia, y por lo tanto podemos determinar que el tipo de t cnica referente al e efecto en la puntuaci n en el problema inicial por resoluci n de pistas (bonicar, penalizar o o o no tener ning n efecto) se encuentra relacionada con el n mero de pistas que responden u u los alumnos. De modo an logo, aplicamos el estadstico chi-cuadrado de Pearson a las variables t cnia e ca de efecto en la puntuaci n por resoluci n de pistas y n mero de pistas respondidas correco o u tamente por los alumnos para todas aquellas pistas que se respondieron, vemos que toma el valor 9.036, y raz n de verosimilitudes de 9.045, en ambos casos con 2 grados de libertad y o n mero de muestras de 299, las cuales tienen unas probabilidades asociadas (signicaci n) u o de 0.011, por lo que al ser menores a 0.05 rechazamos la hip tesis de independencia, y por o lo tanto podemos determinar que el tipo de t cnica referente al efecto en la puntuaci n en el e o problema inicial por resoluci n de pistas (bonicar, penalizar o no tener ning n efecto) se o u encuentra relacionado con lo bien o mal que los alumnos resuelven las pistas. Con el estadstico chi-cuadrado de Pearson y las razones de versosimilitud hemos con cluido que hay relaci n entre ambos pares de variables mediante contraste de hip tesis, pero o o no sabemos cu l es el grado de esa relaci n. Para ello recurrimos a otros estadsticos que se a o presentan en la tabla 5.21 (medidas direccionales) dando dos valores al tener en este caso dos pares de variables: el primer valor se corresponde a la relaci n con el n mero de piso u tas respondidas, mientras que el segundo valor se corresponde a la relaci n con el n mero o u

5.6. Evaluaci n de Diferentes Estrategias para Provisi n de Pistas o o Estadstico utilizado Phi V de Cramer Coeciente de Contingencia Valor 0.255/0.174 0.255/0.174 0.247/0.171 Signicaci n o aproximada 0.000/0.011 0.000/0.011 0.000/0.011

257

Tabla 5.21: Medidas sim tricas para determinar el grado de relaci n del comportamiento e o de los alumnos (pistas respondidas, y n mero de pistas respondidas correctamente) ante la u t cnica de penalizar por visualizar pistas o no e de pistas resueltas correctamente. En ambas tablas el nivel de signicaci n de los difereno tes par metros es menor al 0.05 por lo que se rechaza la hip tesis de independencia entre a o ambos pares de variables. El grado de la relaci n entre ambos pares de variables podemos o considerarlo de moderado al estar entre 0.171 y 0.255 en todas las pruebas, siendo ndices que oscilan en el intervalo [0,1]. En este caso no determinaremos los ndices de riesgo al haber tres posibles t cnicas de e efecto en la puntuaci n por resoluci n de pistas, por lo que no es una variable dicot mica. o o o No obstante se podra aplicar los ndices de riesgo dos a dos, dando lugar a un total de tres combinaciones. Aplicando la prueba binomial (no param trica) para determinar cu l es la probabilidad e a de responder un problema pista o no responderlo en funci n del grupo considerado de t cnica o e (con bonicaci n, con penalizaci n o sin efecto en la puntuaci n), podemos observar con o o o una signicaci n alta (menor a 0.05) que la probabilidad de responder a un problema pista o cuando hay bonicaci n por ver pista se encuentra en el intervalo de % del [71, 83], mientras o que la probabilidad de responder a un problema pista cuando no hay efecto en la puntuaci n o por resoluci n de pistas se encuentra en el intervalo de % del [71, 85], y la probabilidad de o responder a un problema pista cuando se penaliza en la puntuaci n por resoluci n incorrecta o o de pistas se encuentra en el intervalo de % del [46, 60]. De un modo an logo, aplicando la prueba binomial (no param trica) para determinar a e cu l es la probabilidad de resolver correctamente un problema pista o resolverlo incorrectaa mente en funci n del grupo considerado de t cnica (con bonicaci n, con penalizaci n o sin o e o o efecto en la puntuaci n), podemos observar con una signicaci n alta (menor a 0.05) que la o o probabilidad de resolver correctamente a un problema pista cuando hay bonicaci n por ver o pista se encuentra en el intervalo de % del [51, 66], mientras que la probabilidad de resolver correctamente a un problema pista cuando no hay efecto en la puntuaci n por resoluci n de o o pistas se encuentra en el intervalo de % del [31, 51], y la probabilidad de resolver correctamente a un problema pista cuando se penaliza en la puntuaci n por resoluci n incorrecta de o o pistas se encuentra en el intervalo de % del [52, 71]. De todos estos resultados podemos concluir que los alumnos responden a m s pistas a cuando se bonica por resoluci n correcta de pistas o cuando no se tiene efecto en la puno tuaci n por resoluci n de pistas, que cuando se penaliza por resoluci n incorrecta de pistas. o o o Esto parece algo natural ya que al penalizar en la puntuaci n, eso hace que los alumnos no o seleccionen tantas. Sin embargo no se ha observado diferencia signicativa de que se respondan m s por el hecho de bonicar respecto a no tener efecto en la puntuaci n. Adem s, a o a se obtiene que se responde mejor a las pistas cuando se bonica o penaliza que cuando no

258

Captulo 5. Evaluaci n del Modelo de Pistas Propuesto o

se tiene ning n efecto en la puntuaci n. Esto tambi n parece natural porque al tener alg n u o e u efecto en la puntuaci n los alumnos ponen m s inter s por responder bien la cuesti n, y o a e o cuando no hay ning n efecto pueden responder sin preocupaciones e incluso sin pensarlo u mucho. No obstante no se ha observado diferencia signicativa que se respondan mejor por bonicar con respecto a penalizar o viceversa. Grupo 6 de Objetivos: Valoraci n de los Alumnos de las Diferentes T cnicas de Pistas o e En este grupo de objetivos se presentar n como resultados las diferentes encuestas reaa lizadas a los alumnos, dando la media, varianza y el n mero de alumnos que respondieron u el formulario. Seguidamente, se analizar n los resultados obtenidos viendo c mo valoraron a o los alumnos las diferentes cuestiones y poni ndolo en contexto con los resultados obtenidos e en objetivos anteriores. En ambas ediciones de Laboratorio de Arquitectura de Ordenadores los alumnos rellenaron una encuesta sobre diferentes aspectos de la herramienta de provisi n de pistas con las o que ellos interaccionaron. Los alumnos respondieron a cada cuesti n en una escala de 1 a 7. o Hay que notar que por un lado el n mero de alumnos que respondieron la encuesta es menor u que el n mero de alumnos matriculados, esto se explica porque la encuesta se realiz en una u o sesi n de laboratorio con asistencia voluntaria por lo que no acudieron todos los alumnos o matriculados en la asignatura. Por otro lado, el hecho que no coincida el n mero de alumu nos que respondieron la encuesta con los n meros dados para el an lisis de incremento de u a aprendizaje, se debe a diferentes factores como: algunos alumnos se fueron de la sesi n sin o realizar la encuesta pero habiendo hecho todo lo anterior, o algunos alumnos llegaron tarde o salieron antes de a la sesi n por lo que no pudieron realizar el test inicial o el test nal y por o lo tanto no se pueden computar sus datos para el an lisis de incremento de conocimiento. a La secci n se ha dividido en tantos apartados como objetivos tiene este grupo (un total o de 4). Para algunas de las preguntas, s lo se tuvo en cuenta las respuestas de los alumnos en o una de las ediciones de Laboratorio de Arquitectura de Ordenadores, mientras que para otras se tuvieron en cuenta ambas ediciones en la citada asignatura. Esto fue porque en cada edici n se hubo de limitar el n mero de cuestiones realizadas a los alumnos para no saturarles o u con un elevado n mero de cuestiones. As pues las que se consideraron m s importantes se u a repitieron en ambas ediciones, mientras que las dem s se repartieron entre ambas ediciones. a Objetivo 6.1: Conocer la opini n de los alumnos sobre la importancia de las t cnio e cas de pistas Las cuestiones de la encuesta para este objetivo se realizaron en la edici n o 2006/2007, la tabla 5.22 muestra los resultados. En primer lugar, es de destacar la alta varianza de los resultados en cada una de las cuestiones, lo que implica que existe disparidad de criterios entre diferentes alumnos, lo que tiene como consecuencia que existen diversos perles de alumnos y formas de valorar la importancia de las diferentes t cnicas de provisi n de pistas. Esto tambi n es un indicio de e o e la necesidad de adaptaci n del sistema y de la adaptabilidad de las diferentes estrategias de o provisi n de pistas seg n los diferentes perles de alumnos. o u Por otro lado, con respecto a las diferentes t cnicas de provisi n de pistas, como regla e o general los alumnos consideraron m s importantes aquellas t cnicas que implican un esfuera e zo bajo para ellos y que no implican penalizaci n para ellos (una excepci n a esta regla es o o

5.6. Evaluaci n de Diferentes Estrategias para Provisi n de Pistas o o Cuesti n o Pistas para los problemas disponibles desde el inicio Pistas para los problemas disponibles s lo ano te respuestas incorrectas Pistas que son s lo texto o Pistas que son otros problemas Varios niveles de jerarqua de pistas (concepto de pistas de pistas anidadas) Secuencia de pistas (pistas que son varios problemas en pasos) Presentar varias pistas de las que s lo se pueo de seleccionar ver un m ximo a Pistas dependiendo del perl del alumno Penalizaci n por ver pistas o Penalizaci n por intentos incorrectos o Bonicaci n por resolver bien pistas o Penalizaci n por resolver mal pistas o Media 4.93 4.49 4.81 4.37 4.73 4.72 3.91 4.01 4.03 4.88 4.55 3.88 Varianza 3.2 3.29 2.78 3.36 3.15 2.94 3.32 3.91 3.20 2.97 3.52 3.55

259 Numero de Respuestas 74 79 74 73 78 76 76 76 75 78 58 57

Tabla 5.22: Resultados de la encuesta sobre la importancia de diferentes aspectos de provisi n de pistas en la edici n 2006/2007 de Laboratorio de Arquitectura de Ordenadores o o la penalizaci n por intentos incorrectos a la que los alumnos dieron una valoraci n alta). o o Este criterio no siempre coincide con las t cnicas que resultaron m s beneciosas para los e a alumnos en cuanto a incremento de aprendizaje. Por ejemplo, en la experiencia 2006/2007 que es la misma en que se realiz la encuesta, result m s benecioso de forma signicativa o o a t cnicas de alto coste y penalizaci n en la provisi n de pistas para M+F, respecto a t cnicas e o o e de bajo coste y bonicaci n o no tener efecto en la puntuaci n por resoluci n de pistas. o o o Sin embargo en la encuesta los alumnos punt an como m s importantes t cnicas de bajo u a e coste para ellos (c mo que las pistas se les den directamente en lugar de s lo ante un inteno o to incorrecto, tampoco les parece especialmente importante la penalizaci n por ver pistas, o y se punt a m s alto el bonicar por resoluci n correcta de pistas que la penalizaci n por u a o o resoluci n incorrecta). o En la misma lnea, se observa una tendencia de los alumnos a opinar c mo lo m s im o a portante t cnicas que suponen un camino m s f cil y allanado hacia la respuesta nal, en e a a lugar de caminos donde el aprendizaje supone un proceso m s completo. Este aprendizaje a mediante un proceso m s completo podra suponer un mayor incremento de aprendizaje que a mediante t cnicas de bajo coste, aunque para estas otras t cnicas preguntadas no hubo un e e an lisis de incremento de aprendizaje ya que no fueron seleccionadas para dicho objetivo. a En este grupo, los alumnos marcaron como m s importante las pistas que son s lo texto en a o lugar de pistas que son otros problemas. Las pistas de texto pueden suponer menos esfuerzo para los alumnos, pero posiblemente ellos pueden aprender m s realizando otros problemas a cuya consecuci n supone pistas para los problemas iniciales. Del mismo modo los alumo nos no consideraron especialmente importantes t cnicas de presentar meta-informaci n de e o

260 Cuesti n o

Captulo 5. Evaluaci n del Modelo de Pistas Propuesto o Media 5.25 5.32 Varianza 2.84 3.55 Numero de Respuestas 71 57

Preero preguntas que tengan una puntuaci n o para evaluar mi conocimiento Preero tener las pistas disponibles en cualquier momento en lugar de que s lo se mueso tren cuando se ha respondido mal a una cuesti n o

Tabla 5.23: Resultados de la encuesta sobre la preferencia de diferentes aspectos de provisi n o de pistas en la edici n 2006/2007 de Laboratorio de Arquitectura de Ordenadores o pistas en las que tienen que seleccionar un m ximo o que las pistas se adapten al perl del a alumno. De nuevo, hay indicios para suponer que este tipo de t cnicas aunque implican un e coste o esfuerzo para el alumno, son beneciosas para el aprendizaje, pero los alumnos no las consideraron especialmente relevantes. Por otro lado, sobre algunas t cnicas de las presentadas en la encuesta se pueden formue lar hip tesis de que son buenas para la adquisici n de conocimiento, y adem s para dichas o o a t cnicas coincide que hacen un camino de aprendizaje m s directo para los alumnos siendo e a t cnicas de bajo coste y esfuerzo. Tales t cnicas son el presentar varios niveles de jerarquas e e de pistas (esto proporciona una ayuda en varios niveles al alumno, dando lugar cada vez a ayudas m s detalladas que hace que el alumno adquiera el conocimiento) y proporcionar a secuencias de pistas (esto ayuda a la consecuci n de conocimiento al explicar un concepto o paso a paso). Estas t cnicas fueron evaluadas como positivas por los alumnos en la encuesta. e Objetivo 6.2: Conocer las preferencias de los alumnos sobre las t cnicas de pistas En e la edici n 2006/2007 se realizaron a los alumnos algunas de las cuestiones de la encuesta o para este objetivo (en concreto s lo dos cuestiones), mientras que en la edici n 2007/2008 o o se realizaron las mismas cuestiones de la edici n 2006/2007 pero adem s se ampliaron con o a nuevas cuestiones para hacerlo m s completo. Las tablas 5.23 y 5.24 muestran los resultados. a En las preferencias de los alumnos respecto a las t cnicas de provisi n de pistas se vuele o ve a observar una alta varianza en todas las cuestiones, lo que implica la gran diferencia de preferencias entre los alumnos, lo que da idea que alumnos de diferente perl tendr n a diferentes preferencias. Esto implica la importancia de la adaptabilidad en el sistema seg n u las preferencias de los alumnos, que son muy diversas. Se observa que los alumnos vuelven a marcar como preferidas algunas de las t cnicas e que consideraban m s importantes (las que implicaban un menor coste o esfuerzo), como a es en los casos de preferir pistas que son texto en lugar de problemas o pistas disponibles directamente en lugar de que s lo se activen ante una respuesta incorrecta. Se observa que la o diferencia es m s acentuada cuando se habla de preferencias que cuando eval an la impora u tancia de ellas. Esto puede ser debido a que aunque los alumnos las consideren importantes, su sentimiento o preferencia sea la contraria, por lo que en esta segunda pregunta hay m s a diferencia y a n as en la primera algunos reejan su sentimiento. u Por otro lado, algunas t cnicas que fueron evaluadas como importantes para los alumnos e (pistas jer rquicas y pistas de secuencia) no salen como preferidas por ellos, quiz s porque a a

5.6. Evaluaci n de Diferentes Estrategias para Provisi n de Pistas o o Cuesti n o Preero que las pistas sean s lo texto en lugar o de otros problemas a resolver Preero que las pistas est n disponibles direce tamente, en lugar de que s lo se activen ante o una respuesta incorrecta del problema inicial Preero un n mero elevado de niveles u jer rquicos de pistas (concepto de pistas de a pistas) Preero que una pista est dividida como una e secuencia de bastantes problemas (pistas que son varios problemas en pasos) en lugar que sea un unico problema Preero preguntas que tengan una puntuaci n o para evaluar mi conocimiento Media 4.57 4.59 Varianza 3.75 4.11

261 Numero de Respuestas 44 46

3.71

3.52

41

3.59

3.11

44

4.80

3.11

46

Tabla 5.24: Resultados de la encuesta sobre la preferencia de diferentes aspectos de provisi n o de pistas en la edici n 2007/2008 de Laboratorio de Arquitectura de Ordenadores o exigen un esfuerzo: el hecho de tener pistas jer rquicas y de secuencia implica un mayor a esfuerzo al tener que resolver m s problemas pistas, tener una secuencia o camino de aprena dizaje, etc., aunque por otro lado alivian el esfuerzo al ayudar a resolver el problema inicial en pasos. Se puede explicar c mo anteriormente, que por un lado las consideren importantes, o pero sin embargo su sentimiento sea otro y por ello la diferente puntuaci n entre importancia o y preferencias. En cualquier caso, tambi n se observa que el hecho de tener asociada puntuaci n para e o los problemas se evalu de forma alta en cuanto a las preferencias de los alumnos. o Finalmente, se puede comentar como vara la puntuaci n entre las contestaciones de o los alumnos de una edici n a otra, demostrando el diferente perl de los alumnos seg n la o u edici n. o Objetivo 6.3: Conocer lo que los alumnos consideran justo acerca de las t cnicas de e pistas En la edici n 2006/2007 se realizaron a los alumnos algunas de las cuestiones de o la encuesta para este objetivo relativo a conocer lo que los alumnos consideran justo acerca de las t cnicas de pistas (en concreto s lo cuatro cuestiones), mientras que en la edici n e o o 2007/2008 se realizaron las mismas cuestiones de la edici n 2006/2007 pero adem s se o a ampliaron con nuevas cuestiones para hacerlo m s completo. Las tablas 5.25 y 5.26 muestran a los resultados. De nuevo, se vuelve a observar una alta varianza en todas las cuestiones respecto a lo que los alumnos consideran justo acerca de diferentes aspectos de provisi n de pistas, lo que o implica la gran diferencia de escala de valores entre los alumnos, lo que da idea que alumnos de diferente perl tendr n diferentes sensaciones de lo que es m s justo. Esto implica la a a importancia de la adaptabilidad en el sistema seg n las escalas de los alumnos, que son muy u diversas.

262

Captulo 5. Evaluaci n del Modelo de Pistas Propuesto o

Cuesti n o Me parece justo que ver pistas quite puntuaci n o Me pareci excesiva la penalizaci n por ver o o pistas que se estableci o Me parece justo que se quiten puntos por contestar mal a una pista Me parece justo que se d una bonicaci n en e o puntos por contestar bien a una pista

Media 5.29 4.24 3.61 4.59

Varianza 2.79 2.70 3.48 4.02

Numero de Respuestas 79 78 77 56

Tabla 5.25: Resultados de la encuesta sobre lo que los alumnos consideran justo acerca de diferentes aspectos de provisi n de pistas en la edici n 2006/2007 de Laboratorio de o o Arquitectura de Ordenadores

Cuesti n o Me parece justo que por cada intento fallido se quite puntuaci n o Me pareci excesiva la penalizaci n intentos o o fallidos que se estableci o Me parece justo que ver pistas quite puntuaci n o Me pareci excesiva la penalizaci n por ver o o pistas que se estableci o Me parece justo que se quiten puntos por contestar mal a una pista Me pareci excesiva la penalizaci n por cono o testar mal pistas que se estableci o Me parece justo que se d una bonicaci n en e o puntos por contestar bien a una pista Me pareci excesiva la bonicaci n por cono o testar bien pistas que se estableci o Cuando el sistema mostr varias pistas de las o cuales s lo se poda elegir un m ximo, creo o a que el criterio de limitaci n de n mero de piso u tas a ver fue excesivo

Media 4.76 5.07 4.41 4.90 2.96 4.86 4.66 2.93 4.31

Varianza 2.92 2.73 2.06 2.56 4.04 2.69 3.54 2.27 3.44

Numero de Respuestas 46 45 44 42 45 42 44 40 39

Tabla 5.26: Resultados de la encuesta sobre lo que los alumnos consideran justo acerca de diferentes aspectos de provisi n de pistas en la edici n 2007/2008 de Laboratorio de o o Arquitectura de Ordenadores

5.6. Evaluaci n de Diferentes Estrategias para Provisi n de Pistas o o Cuesti n o El hecho de penalizar en la puntuaci n por ver o pistas, hizo que no seleccionar muchas a El hecho de penalizar por contestar mal una pista, hizo que no contestara muchas El hecho de bonicar por contestar bien una pista, hizo que las contestara Media 4.54 4.07 4.34 Varianza 3.33 3.61 3.43

263 Numero de Respuestas 81 75 73

Tabla 5.27: Resultados de la encuesta sobre el comportamiento de los alumnos ante diferentes aspectos de provisi n de pistas en la edici n 2006/2007 de Laboratorio de Arquitectura o o de Ordenadores Los alumnos consideran justo que se quiten puntos por cada intento fallido, por ver pistas, y que se bonique con puntos por resoluci n correcta de pistas. Sin embargo no cono sideran justo que la resoluci n incorrecta de las pistas quite puntos sobre el problema inicial. o Sin embargo, consideraron como excesiva la penalizaci n que se estableci en cada uno de o o los aspectos en los que se penaliz en el sistema (por intentos incorrectos, por ver pistas, y o por resoluci n incorrecta de pistas) y como escasa la bonicaci n que se estableci por resoo o o luci n correcta de pistas. Sin embargo no consideraron especialmente excesiva la limitaci n o o de selecci n m xima de pistas establecida. o a Sin embargo, los criterios de penalizaci n de ejercicios fueron basados en algunos requio sitos justos como que si en una pregunta de m ltiple elecci n haba varias posibilidades, un u o alumno perda toda la puntuaci n s lo cuando acertaba la opci n la ultima, o las penaliza o o o ciones por resoluci n incorrecta de pistas fueron en la misma cantidad que las bonicaciones o por resoluci n correcta de pistas. Todo esto pudiera ser explicado por un sentimiento de los o alumnos hacia sacar buenas puntuaciones en sus notas, lo que hace que no les gusten las penalizaciones, pero si las bonicaciones. Tambi n es de destacar que los alumnos de la edici n 2007/2008 tuvieron una opini n e o o m s reacia respecto a la justicia de quitar puntos por ver pistas o ante resoluciones incorrectas a de pistas que los de la edici n 2006/2007. De modo parecido, tambi n los alumnos de la o e edici n 2007/2008 les pareci m s excesiva la penalizaci n por ver pistas que a los de la o o a o 2006/2007. Esto tambi n muestra el diferente perl de los alumnos en ambas ediciones. e Objetivo 6.4: Conocer la opini n de los alumnos sobre su comportamiento ante las o t cnicas de pistas En la edici n 2006/2007 se realizaron a los alumnos tres cuestiones e o de la encuesta para conocer la opini n de los alumnos sobre su comportamiento ante las o diferentes t cnicas de provisi n de pistas, mientras que en la edici n 2007/2008 se realizaron e o o las mismas tres cuestiones de la edici n 2006/2007 y una adicional. Las tablas 5.27 y 5.28 o muestran los resultados. En los resultados sobre la concepci n que los alumnos tienen sobre su comportamiento o respecto a las t cnicas de provisi n de pistas se vuelve a observar una alta varianza en todas e o las cuestiones, lo que implica la gran diferencia de percepci n de su comportamiento entre o los alumnos, lo que da idea que alumnos de diferente perl tendr n diferentes comportaa mientos en el sistema. Esto implica la importancia de la adaptabilidad en el sistema seg n u

264 Cuesti n o

Captulo 5. Evaluaci n del Modelo de Pistas Propuesto o Media 3.19 Varianza 4.15 Numero de Respuestas 43

El hecho de penalizar en la puntuaci n por cao da intento fallido, hizo que no contestara muchas El hecho de penalizar en la puntuaci n por ver o pistas, hizo que no seleccionar muchas a El hecho de penalizar por contestar mal una pista, hizo que no contestara muchas El hecho de bonicar por contestar bien una pista, hizo que las contestara

3.80 3.55 4.35

4.25 3.82 4.53

44 42 40

Tabla 5.28: Resultados de la encuesta sobre el comportamiento de los alumnos ante diferentes aspectos de provisi n de pistas en la edici n 2007/2008 de Laboratorio de Arquitectura o o de Ordenadores los comportamientos de los alumnos, que son muy diversos. Se observa que la media de las cuestiones relativas a si penalizar en la puntuaci n ante o diferentes t cnicas de provisi n de pistas, se encuentra en torno al 4 y a veces menor a 4, e o mientras que el comportamiento ante bonicar por resoluci n correcta de pistas se encuentra o s lo un poco por encima de 4. Esto, junto con la alta varianza implica que bastantes alumnos o no tienen en cuenta casi el que se penalice o no en el sistema para contestar preguntas, ver pistas, etc. ni si se bonica por resoluci n correcta de pistas, mientras que otros s que lo o tienen en cuenta. Esto en su conjunto explica los resultados de comportamiento observados en el grupo de objetivos 5, donde se observan diferencias signicativas entre unas t cnicas e de provisi n de pistas y otras, pero el grado de relaci n es moderado. o o Tambi n se observa que en la edici n 2006/2007 los alumnos tuvieron m s en cuenta en e o a su comportamiento el hecho de que se penalizara o no en la puntuaci n, algo que tambi n o e explica que la diferencia entre comportamientos observados ante las t cnicas de penalizaci n e o fuera menos acentuado en la edici n 2007/2008. o Por otro lado, estos resultados tambi n implican que para algunos alumnos podra dar e lo mismo las t cnicas de provisi n de pistas en cuanto a su comportamiento, y por ende e o podran no afectar a su incremento de aprendizaje. En tal caso, sera conveniente pensar en modicaciones o t cticas adicionales para hacer que las t cnicas de pistas afectaran a su a e comportamiento para producirles un benecio. Tambi n se vuelven a observar diferencias entre las contestaciones de los alumnos de e ambas ediciones, lo que lleva a pensar en la diferencia de perles que hubo en los alumnos de ambas ediciones.

5.7.

Evaluaci n de Contenidos, Alumnos y Ejercicios Basado en o la Informaci n del Sistema de Pistas o

En esta secci n se presentan unas ideas iniciales para aprovechar el modelo de pistas o propuesto para poder evaluar contenidos, alumnos y ejercicios, fruto de la interacci n de o

5.7. Evaluaci n de Contenidos, Alumnos y Ejercicios Basado en la Informaci n del o o Sistema de Pistas 265 los alumnos con el sistema de pistas implementado acorde a la especicaci n. Por lo tanto o esta secci n en lugar de evaluar propiamente el modelo de pistas propuesto, muestra unas o ideas iniciales de c mo puede aprovecharse dicho modelo para poder evaluar otros aspectos o relacionados con la educaci n. o Se pueden tener en cuenta diferentes par metros de los ejercicios con pistas para la evaa luaci n de diferentes elementos de un curso tales como conceptos, ejercicios y alumnos. La o evaluaci n puede tambi n depender de los criterios de dise o de los materiales de pistas. En o e n esta secci n se describe un m todo inicial de evaluaci n que hemos aplicado en las asigo e o naturas de Software de Comunicaciones y de Servidores de Informaci n durante la edici n o o 2007/2008. Dependiendo de la relaci n sem ntica entre las pistas generadas y el problema raz inio a cial, hemos establecido diferentes modos de evaluaci n. Otro factor a tener en cuenta en la o evaluaci n puede ser la estructura y los tipos de pistas proporcionadas. Para ambos cursos o hemos tenido en cuenta tres casos generales diferentes los cuales se corresponden con tres dise os diferentes de materiales de pistas. Cada uno de estos casos o categoras se distingue n por la relaci n sem ntica especca entre las pistas generadas y el problema inicial. Para o a cada uno de los casos, los resultados de la evaluaci n deben tener en cuenta esta relaci n o o sem ntica. a La gura 5.11 muestra un ejemplo de cada una de las tres categoras en relaci n con o el tema de servicios web con AXIS dentro de la asignatura de servidores de informaci n. o Cada color diferente (azul, naranja y amarillo) se corresponde con un ejercicio con pistas diferente. A la izquierda se encuentra la estructura jer rquica del ejercicio inicial con sus a pistas correspondientes. A la derecha se encuentra la relaci n sem ntica entre el ejercicio o a raz y los diferentes ejercicios con pistas. Ambos diagramas no son iguales ya que el dise o n estructural de los ejercicios y pistas puede ser diferente a su relaci n sem ntica. Los nodos o a que tienen el mismo n mero en diferentes diagramas del mismo color, corresponden a los u mismos nodos de ejercicios o pistas. El caso azul muestra un ejercicio sobre la herramienta tcpmon. Dicho ejercicio tiene una pista la cual no tiene ninguna meta-informaci n previa, por lo que cuando un alumno o selecciona la misma, el/ella no sabe nada sobre la pista. La pista cubre todo el concepto inicial de tcpmon (atributo Sobre Todo), en lugar de s lo cubrir s lo una parte del concepto. o o En general, el caso azul representa un ejercicio que tiene varias pistas, y en la que cada una de las pistas cubre todos los conceptos abarcados por el ejercicio inicial. Adem s, las pistas a no tienen ninguna meta-informaci n previa que mostrar a los alumnos. o El caso naranja muestra un ejercicio sobre la implementaci n de un cliente para un servio cio web. Dicho ejercicio tiene tres pistas con meta-informaci n previa, por lo que un alumno o recibe algo de informaci n sobre las pistas antes de solicitarlas. Cada una de las pistas es o sobre uno de los tres m todos para implementar un servicio web en AXIS (JWS, WSDD, y e WSDL). Cada una de las pistas representa una parte de los conceptos del ejercicio inicial. En general, el caso naranja representa un ejercicio con varias pistas en las que cada pista cubre s lo una parte de los conceptos del ejercicio inicial, siendo dichas partes disyuntivas, o y en las que las pistas tienen meta-informaci n previa. o El caso amarillo muestra un ejercicio sobre clientes de un servicio web utilizando el m todo JWS. Este ejercicio tiene tres pistas (sobre los m todos, los atributos, y el almacee e namiento de datos) con meta-informaci n previa. Dos de las pistas son partes del ejercicio o

266

Captulo 5. Evaluaci n del Modelo de Pistas Propuesto o

Figura 5.11: Estructura de cada ejercicio con pistas y relaciones sem nticas a

5.7. Evaluaci n de Contenidos, Alumnos y Ejercicios Basado en la Informaci n del o o Sistema de Pistas 267 Par metro a N mero total de alumnos que realizaron el ejercicio u N mero de alumnos que respondieron correctamenu te al primer intento sin necesidad de ver pistas N mero de alumnos que respondieron correctamenu te tras varios intentos, sin necesidad de ver pistas N mero de alumnos que respondieron correctamenu te al primer intento pero viendo la pista N mero de alumnos que respondieron correctamenu te tras varios intentos, viendo la pista N mero de alumnos que respondieron incorrectau mente Herramienta tcpmon 11 7 0 0 4 0 Establecimiento de variables 11 4 0 4 2 1

Tabla 5.29: Colecci n de datos para ejercicios de tipo azul o inicial, pero la otra pista es sobre un concepto que es parte de otra pista. El caso amarillo es como el naranja, pero algunas pistas pueden ser partes de otras. Estos son tres casos tpicos que fueron utilizados en ambos cursos, extendi ndolos con e diferentes niveles de jerarqua (en los ejemplos s lo hay un nivel de jerarqua, pero otras o pistas de pistas pueden ser a adidas). n En cualquier caso, hay muchas otras posibilidades, variando la estructura del diagrama y las relaciones sem nticas (por ejemplo permitiendo que una pista tenga varios conceptos a relacionados en parte con otras pistas). Para cada uno de los casos, la forma de proceder en la evaluaci n nal tendr algunos cambios. o a Como ejemplo, se muestra la evaluaci n de todos los ejercicios para el tema de servicios o web con AXIS. De este tema se desarrollaron cuatro ejercicios, de los que hay un ejemplo del tipo naranja, otro del tipo amarillo, y dos ejemplos del tipo azul. La tabla 5.29 muestra un resumen de los datos recogidos para los ejercicios de tipo azul, mientras que la tabla 5.30 para los ejercicios de tipo naranja y amarillo. Del an lisis de la colecci n de datos para los ejercicios de tipo azul podemos concluir a o que el concepto sobre la herramienta tcpmon fue adquirido correctamente por la mayora de los alumnos, ya que 7 de los 11 alumnos respondieron a la cuesti n correctamente sin o la necesidad de ninguna ayuda de pistas, y el resto de alumnos lo consigui con la ayuda o de las pistas al intentarlo varias veces. De estos datos, tambi n podemos concluir que la e cuesti n y la pista estuvieron bien formuladas. Con respecto al ejercicio de establecimiento o de variables result que los alumnos no tenan tan claro este concepto como el de tcpmon, o pero los resultados son aceptables. Por lo tanto la conclusi n con respecto a la evaluaci n de o o este concepto del establecimiento de variables es que fue adquirido en un modo moderado, ya que 4 de los 11 alumnos respondieron correctamente al primer intento sin necesidad de visualizar pistas, y 6 de los alumnos contestaron correctamente despu s de ver una pista que e les claric el concepto global. As mismo podemos detectar tambi n una gran carencia de o e un alumno en este ejercicio ya que el fue el unico que contest incorrectamente la cuesti n. o o Del an lisis del ejercicio sobre la aplicaci n cliente llegamos a la conclusi n de que a o o este concepto fue bien entendido por los alumnos y que el ejercicio con pistas fue bien

268

Captulo 5. Evaluaci n del Modelo de Pistas Propuesto o

Par metro a N mero total de alumnos que realizaron el ejercicio u N mero de alumnos que respondieron correctamenu te al primer intento sin necesidad de ver pistas N mero de alumnos que respondieron correctamenu te tras varios intentos, sin necesidad de ver pistas N mero de alumnos que respondieron correctamenu te al primer intento pero viendo la pista N mero de alumnos que respondieron correctamenu te tras varios intentos, viendo la pista N mero de alumnos que respondieron incorrectau mente N mero de alumnos que vieron la pista sobre JWS u N mero de alumnos que vieron la pista sobre u WSDD N mero de alumnos que vieron la pista sobre WSDL u N mero de alumnos que vieron la pista sobre m tou e dos N mero de alumnos que vieron la pista sobre variau bles N mero de alumnos que vieron la pista sobre almau cenamiento de datos

Aplicaci n o Cliente 12 7 2 0 3 0 0 0 3

M todo JWS e 12 1 2 0 6 3

7 4 4

Tabla 5.30: Colecci n de datos para ejercicios de tipo naranja y amarillo o

5.7. Evaluaci n de Contenidos, Alumnos y Ejercicios Basado en la Informaci n del o o Sistema de Pistas 269 dise ado (ya que 7 de los 11 alumnos contestaron correctamente en el primer intento sin n visualizar pistas y el resto respondi correctamente despu s de ver alguna pista o realizar o e varios intentos). Como este ejercicio es del tipo naranja, las pistas son sobre alguna parte del ejercicio general, por lo que resulta de inter s analizar cuantas pistas de cada parte fueron e seleccionadas. De la tabla podemos observar que la pista m s seleccionada (y de hecho la a unica seleccionada) fue sobre el m todo WSDL, lo cual nos lleva a la conclusi n de que este e o m todo especco necesita m s atenci n y hay una posible carencia. e a o Finalmente, el ejercicio de tipo amarillo sobre el m todo JWS proporciona algunos ree sultados que podran signicar dos cosas (o ambas): el ejercicio fue mal dise ado o/y el con n cepto no fue adquirido correctamente por los alumnos. Esta conclusi n est basada en que o a s lo 1 alumno respondi correctamente en el primer intento, 3 alumnos no fueron capaces o o de responder correctamente despu s de todo el proceso, y el resto de alumnos realiz mue o chos intentos hasta responder la cuesti n correctamente (esta ultima informaci n no est en o o a la tabla 5.29). Como el ejercicio es de tipo amarillo, podemos observar que el concepto que fue menos adquirido por los alumnos es sobre m todos ya que los alumnos solicitaron m s e a pistas sobre el. Sin embargo, los alumnos solicitaron el mismo n mero de pistas para el alu mac n de datos y los atributos, lo cual puede ser interpretado como que sus carencias sobre e el concepto de almac n de datos no es s lo relacionado con los atributos. e o De un modo similar, todos los diferentes problemas de las asignaturas software de comunicaciones y servidores de informaci n fueron analizados uno a uno, determinando las o carencias de conceptos, los posibles ejercicios dise ados incorrectamente, y las carencias de n alumnos especcos en los conceptos donde la mayora de los alumnos respondieron correc tamente. En esta secci n se han explicado ideas iniciales de un m todo sobre como un profeo e sor puede sacar provecho de los problemas con pistas de acuerdo a la nueva especicaci n o denida, de forma que sirvan para evaluar a alumnos, contenidos, y ejercicios. Esto se ha presentado poniendo como caso dos asignaturas donde se ha aplicado. Si bien esta aplicaci n puede servir para ilustrar las ideas iniciales del m todo, tambi n es de destacar que al o e e ser peque o el n mero de alumnos, los datos estadsticos de las conclusiones no seran muy n u signicativos. Para la evaluaci n de los conceptos, ejercicios, y alumnos, hemos tomado algunos o par metros iniciales del sistema de pistas acorde con la especicaci n denida, pero se a o podran tomar par metros adicionales. Tambi n se ha visto que las conclusiones de la evalua a e ci n dependen en gran medida de los dise os del material de pistas, abarcando qu artilugios o n e de la especicaci n se utilizan, las relaciones sem nticas entre los diferentes ejercicios que o a componen las pistas, etc. La evaluaci n de los cursos puede tambi n tener consecuencias en dise os de materiales o e n futuros, consejos que se les envan a los alumnos, y desarrollos para pistas personalizadas, tal como el basado en t cnicas de Web Sem ntica, para el cual ya hemos implementado un e a prototipo, seg n se describe en el pr ximo captulo. u o

Captulo 6

Aplicaci n de T cnicas de Web o e Sem ntica para Pistas Adaptativas a

En este captulo se presenta una soluci n integrada con sistemas de tutora inteligente o para conseguir la adaptaci n de diferentes aspectos relacionados con las pistas en aprendio zaje basado en problemas, siendo al mismo tiempo compatible con los recursos y t cnicas e de Web sem ntica. a Esta soluci n que se muestra a lo largo del captulo integra y combina los siguientes o aspectos: Utiliza la arquitectura general para la combinaci n de t cnicas de Web sem ntica o e a con tutores inteligentes, que hemos denido en el captulo de teora de modelado del e-learning. Se muestra c mo se ha particularizado dicha arquitectura general al caso o de la adaptaci n de pistas, utilizando el razonador de Web sem ntica CWM [154], o a as como el tutor inteligente XTutor junto con la extensi n del m dulo de pistas que o o hemos implementado. De esta forma, la soluci n propuesta representa una instancia o particular de la arquitectura general propuesta. Se muestra c mo la acci n combinada o o del razonador de Web sem ntica junto con el tutor inteligente puede conseguir adapa taci n de diferentes aspectos relacionados con la provisi n de pistas en aprendizaje o o basado en problemas. Ello hace que el sistema global resultante pueda utilizar y razonar sobre recursos y herramientas de Web sem ntica existentes, as como producir a nuevos materiales de Web sem ntica para que puedan ser utilizados por otros sistemas, a integrando as el sistema global dentro de la Web sem ntica, y pudiendo aprovechar a todas las ventajas que el uso de t cnicas de Web sem ntica representa. e a Cada problema (que puede ser un problema raz, un problema pista, o ambos) est guardado en un repositorio, y est descrito en XML de acuerdo a la especia a caci n de pistas denida que se ha comentado en el captulo correspondiente. De esta o forma se garantiza la interoperabilidad y reusabilidad entre sistemas de e-learning que intercambian instancias en XML. Los problemas guardados en el repositorio se pueden combinar de diferentes formas para dar lugar a materiales de ejercicios con pistas que est n acorde con la especicaci n de pistas denida. a o Se permite adaptar los contenidos de las pistas. Es decir, el contenido de las pistas 271

272

Captulo 6. Aplicaci n de T cnicas de Web Sem ntica para Pistas Adaptativas o e a que se muestra a un alumno para un determinado ejercicio, puede cambiar. As por ejemplo mientras a un alumno se le puede mostrar un problema muy difcil a modo de pista, a otro se le puede mostrar un problema muy sencillo como pista del mismo ejercicio raz. En la soluci n presentada, esta adaptaci n de contenidos de pistas no o o implica la generaci n autom tica del texto que conformar la pista fruto de un razonao a a miento sem ntico, sino que los posibles problemas pista ya est n de por s generados a a y guardados en XML en el repositorio indicado en el anterior punto y el razonamiento sem ntico ser el encargado de elegir cuales ser n la pista para el ejercicio inicial para a a a un determinado alumno, pero sin generar el texto concreto del problema pista. La idea ser proporcionar a cada alumno aquellos problemas pista que son m s efectivos para a a su aprendizaje y que puedan producirle una mayor ganancia de conocimiento. Se permite adaptar las t cnicas de provisi n de pistas. Estas t cnicas de provisi n e o e o de pistas son las comparadas en el captulo anterior de evaluaci n, aunque tambi n o e podran existir otras posibilidades denidas en la especicaci n de pistas. Se busca en o la soluci n aportada habilitar aquellas t cnicas de pistas que proporcionen un mayor o e benecio a los alumnos en cada uno de los casos considerados. En la adaptaci n se o tienen en cuenta los factores que se determinaron podan inuir en c mo afectaban las o t cnicas de provisi n de pistas: el tipo de materia, el dise o de los ejercicios/pistas, y e o n el perl del alumno. El sistema utiliza reglas de adaptaci n at micas, reusables, parametrizables, intero o cambiables, y conformadas seg n dependencias. De acuerdo a la teora general de u reglas explicada, se siguen estas caractersticas en las reglas denidas, en este caso aplicadas al caso concreto de la adaptaci n de pistas. As pues, cada regla de adaptao ci n de pistas es at mica (es decir que no puede ser dividida en partes m s peque as, o o a n ya que en tal caso se dividira en varias reglas que seran las at micas), reusable (la o misma regla puede ser usada para conformar varias reglas mayores, y algunas reglas pueden ser reusadas en varios contextos: no s lo de pistas sino incluso de otros ambio tos), parametrizables (ciertas reglas pueden tener uno o m s par metros que afectan a a a la decisi n nal de la regla), conformadoras (se pueden formar reglas m s complejas o a a partir de la combinaci n de varias de las reglas at micas, pero siempre respetano o do las dependencias que puedan existir entre las diversas reglas), e intercambiables (usualmente hay varias formas de componer una regla compuesta a partir de las reglas at micas, ya que siempre que se respeten las dependencias de reglas, las mismas se o pueden intercambiar).

El captulo est dividido en seis secciones. En primer lugar se enumeran cu les son las a a contribuciones que aporta nuestra soluci n de uso de t cnicas de Web sem ntica para piso e a tas adaptativas con respecto a otros trabajos previos del estado del arte. Seguidamente se explica la relevancia y porqu son importantes las contribuciones realizadas. La tercera sece ci n est dedicada a explicar los detalles de la arquitectura para combinar t cnicas de Web o a e sem ntica para pistas adaptativas utilizando el m dulo de pistas implementado en XTutor: a o se comenta c mo se ha realizado la instancia particular para pistas a partir de la arquiteco tura general, los problemas encontrados en la implementaci n y c mo se han solucionado, o o y se describe un prototipo implementado de tal arquitectura. La cuarta secci n explica las o

6.1. Contribuciones Realizadas en Relaci n con la Aplicaci n de T cnicas de Web o o e Sem ntica para Pistas Adaptativas a 273 ontologas utilizadas en la soluci n propuesta (esto representa los datos sobre los que se o puede razonar con herramientas de Web sem ntica), abarcando ontologas para modelado de a diferentes aspectos de usuarios (tanto de ambito global, como especco para pistas), para modelado de las areas tem ticas, para las diferentes posibilidades de t cnicas de la especia e caci n de pistas denida, para diferentes interacciones de los alumnos con un determinado o problema, y para las interacciones de un alumno con respecto a diferentes problemas. La quinta secci n explica el conjunto de reglas de adaptaci n denidas en relaci n con las piso o o tas, y se muestra para el caso concreto de adaptaci n de pistas como estas reglas tienen o en cuenta tanto la adaptaci n de contenidos como de t cnicas de pistas, y como hacer que o e las reglas sean at micas, reusables, interoperables y conformadoras seg n dependencias de o u acuerdo a la teora general del modelado de reglas denida. Finalmente, la ultima secci n del o captulo est dedicada a mostrar un ejemplo completo de adaptaci n de pistas funcionando a o en el prototipo implementado. En este ejemplo, se describen diferentes anotaciones sem ntia cas de recursos en N3 (los cuales son usados en el proceso de razonamiento sem ntico) de a acuerdo con las ontologas denidas, se muestra una regla combinada concreta la cual se ha dividido en varios cheros codicados en N3 (que es el lenguaje que entiende el razonador de Web sem ntica CWM), la forma especca de ejecutar CWM en los diferentes pasos, y a se observa como los diferentes problemas en XML iniciales se van juntando para conformar ejercicios con pistas XML para mostrar para los alumnos, siendo diferentes seg n los u factores que inuyen en la adaptaci n. o

6.1.

Contribuciones Realizadas en Relaci n con la Aplicaci n de o o T cnicas de Web Sem ntica para Pistas Adaptativas e a

Nuestra propuesta para la aplicaci n de tecnologas de Web sem ntica en educaci n es o a o nueva e innovativa en relaci n con diferentes aspectos. En primer lugar, se muestra que es o factible la implementaci n de una instancia concreta de la nueva arquitectura que hemos o denido para combinar tutores inteligentes con t cnicas de Web sem ntica. Con la implee a mentaci n exitosa de un prototipo para pistas adaptativas utilizando el razonador de Web o sem ntica CWM y el m dulo de pistas implementado en XTutor, se demuestra que la ara o quitectura general denida es factible. Como se ha visto en el captulo de teora general del e-learning, la arquitectura general que denimos es nueva e innovativa ya que se centra en los diferentes elementos de los tutores inteligentes y su relaci n con los razonadores de Web o sem ntica (de forma que se puedan integrar tutores inteligentes existentes con razonadores a de Web sem ntica existentes), es capaz de interaccionar con recursos de Web sem ntica pero a a tambi n con cheros XML que representan recursos educativos interpretables por los tutores e inteligentes, y comenta sobre los diferentes problemas de dise o y soluciones de implemenn taci n en relaci n con la arquitectura. La implementaci n que se muestra del prototipo para o o o pistas adaptativas, supone la primera implementaci n de esta nueva arquitectura, y un ejemo plo de los problemas encontrados a este caso concreto, as como las soluciones aportadas. En segundo lugar, nosotros nos centramos en la provisi n de pistas adaptativas, lo cual o implica una selecci n de las pistas concretas que conformar n el contenido, as como una o a selecci n de las t cnicas de provisi n de pistas que se van a aplicar para cada caso concreto o e o dependiendo de las condiciones. La provisi n de pistas adaptativas utilizando t cnicas de o e

274

Captulo 6. Aplicaci n de T cnicas de Web Sem ntica para Pistas Adaptativas o e a

Web sem ntica es un aspecto que no haba sido cubierto anteriormente hasta donde sabea mos, es decir que no se haban utilizado t cnicas de Web sem ntica para la consecuci n e a o de pistas adaptativas. Existen otros trabajos que han presentado soluciones en relaci n con o aplicaciones de Web sem ntica para adaptaci n de contenidos y su secuenciamiento [161], a o adaptaci n de contenidos de ejemplos asociados a recursos [166], adaptaci n de feedback o o [162], o adaptaci n de tests [187]. Ciertas ideas presentadas en dichos trabajos pueden ser o aprovechadas y extrapolables para este caso, pero existen peculiaridades propias al aplicarse al dominio de las pistas adaptativas seg n la especicaci n de pistas denida. Entre otras cou o sas, la aplicaci n a pistas adaptativas requiere la denici n de nuevas ontologas que tengan o o en cuenta el hecho particular de las pistas en la adaptaci n, y la denici n de nuevas reglas o o sem nticas que tengan en cuenta el hecho diferenciador del contexto de las pistas. a En tercer lugar, nuestro trabajo introduce el concepto de cheros XML que representan recursos educativos los cuales pueden ser juntados y combinados, para dar otros cheros XML nuevos transformados. Dicha transformaci n se basa en los criterios establecidos por o las reglas sem nticas dependiendo de los diferentes factores de adaptaci n. La transformaa o ci n de cheros XML basado en reglas sem nticas ya ha sido estudiado en anteriores trabao a jos, pero hasta donde sabemos esto no se haba aplicado en el ambito de los recursos edu cativos. En [187] se utiliza una especicaci n como IMS-QTI que tiene un mapeo a XML, o pero en aquel trabajo se usa directamente con el mapeo a RDF de los recursos de tests, con lo que no se acaba generando ning n XML interpretable por los sistemas educativos. En un u ambito como el educativo en el que existen multitud de especicaciones con mapeos XML, siendo muchos los sistemas existentes que utilizan dichos recursos XML, pudi ndolos care gar y ejecutar, resulta importante en ciertos casos que los sistemas de Web sem ntica puedan a generar recursos nales XML como los que pueden interpretar tales sistemas educativos, garantizando as la interoperabilidad y reusabilidad. En este trabajo, por lo tanto otro elemento diferenciador es que demuestra dicha transformaci n de recursos XML educativos basado en o la adaptaci n seg n reglas sem nticas, para conformar otros cheros XML educativos nueo u a vos compatibles con especicaciones educativas de e-learning. Cabe notar tambi n aqu en e este aspecto que aparte de los motivos descritos en el captulo de especicaci n de pistas por o los cuales se deni una nueva especicaci n de pistas y un nuevo mapeo XML en lugar de o o la utilizaci n de IMS-QTI, otro de los aspectos que motiv la creaci n de un nuevo mapeo o o o XML es que este nuevo mapeo hace m s sencillo y f cil poder combinar diferentes ejera a cicios para formar otros con pistas seg n las diferentes caractersticas de la especicaci n u o de pistas. Hacer esta combinaci n para formar nuevos materiales XML a partir de los mao teriales XML iniciales sera m s difcil en IMS-QTI porque por ejemplo habra que a adir a n ciertas variables, condiciones, etc. mientras que en la especicaci n denida es casi directo o al insertar casi directamente unos trozos de c digo en otros. o Finalmente, comentar el uso de N3 (Notation 3) [150] y CWM [154]. Hasta donde sabemos, este es el primer trabajo en el que se utiliza N3 y CWM para una aplicaci n educativa. o La mayora de aplicaciones educacionales que utilizan t cnicas de Web sem ntica han usa e a do TRIPLES como lenguaje de reglas sem nticas. En primer lugar, cabe comentar que se a escogi fundamentalmente N3 y CWM como artilugios para la prueba de concepto dentro o del sistema implementado, al igual que se podra haber escogido otro razonador sem ntico u a otro lenguaje. No obstante, nuestra selecci n de N3 y CWM estuvo inuenciada en el tiempo o de ejecuci n del razonamiento. Necesit bamos un razonador sem ntico que pudiera ejecutar o a a

6.2. Relevancia de las Aportaciones Realizadas en Relaci n con la Aplicaci n de o o T cnicas de Web Sem ntica para Pistas Adaptativas e a

275

el proceso de razonamiento r pidamente para poder tener las inferencias en el menor tiempo a posible, ya que el tiempo de respuesta del razonador es crtico en nuestra aplicaci n. Para o cada petici n de usuario, un nuevo razonamiento es ejecutado y varios usuarios pueden acceo der a la aplicaci n a la vez. Como CWM est implementado en el lenguaje de programaci n o a o python, que es tambi n el lenguaje de programaci n de XTutor, entonces pensamos la poe o sibilidad de poder obtener alg n benecio en el futuro fruto de la integraci n de partes de u o c digo de estos dos sistemas, lo cual pudiera reducir el tiempo de ejecuci n. De esta forma o o se eligi CWM como razonador sem ntico, y N3 como lenguaje de Web sem ntica al ser o a a el lenguaje que interpreta el razonador CWM. Adicionalmente, creemos que es interesante tener la implementaci n en diferentes razonadores para posteriormente poder investigar cu l o a resulta mejor en t rminos de eciencia, y por ejemplo poder determinar cu l proporciona e a un menor tiempo de razonamiento para diferentes casos, lo cual resulta crtico en algunas aplicaciones educativas.

6.2.

Relevancia de las Aportaciones Realizadas en Relaci n con o la Aplicaci n de T cnicas de Web Sem ntica para Pistas o e a Adaptativas

El trabajo realizado en relaci n con la aplicaci n de t cnicas de Web sem ntica para piso o e a tas adaptativas, es relevante desde diferentes puntos de vista. En primer lugar, cabe indicar que proporciona una soluci n adaptativa de provisi n de pistas. Es muy relevante generar o o unas pistas en aprendizaje basado en problemas, que proporcionen el aprendizaje m s efeca tivo posible para los alumnos en cada caso. De esta forma los alumnos pueden obtener el m ximo provecho durante el tiempo que dura su experiencia educativa de interacci n con el a o sistema. Obtener modelos que maximicen el aprendizaje de los alumnos es muy importante, ya que este suele ser el objetivo m s importante del proceso educativo. Por lo tanto, esta a es posiblemente la caracterstica m s relevante relacionada con este tema: proporcionar una a soluci n que adapte los contenidos de pistas, las t cnicas de provisi n de pistas, etc. depeno e o diendo de diferentes factores, de forma que se intentan proporcionar las mejores posibles en cada caso, para as mejorar el aprendizaje de los alumnos en el sistema. En relaci n con lo anterior, cabe se alar que la implantaci n del modelo propuesto pero n o mitir en un futuro hacer an lisis sobre qu t cnicas de pistas resultan mejor que otras y a a e e bajo qu condiciones, estableciendo los factores que contribuyen al efecto de incremento e de aprendizaje de unas t cnicas de pistas con respecto a otras. Estas conclusiones son relee vantes, ya que permitir n conocer con m s exactitud qu procesos y t cnicas proporcionan a a e e un aprendizaje m s efectivo y ante qu situaciones se producen. De esta forma se podr n a e a incrementar y ampliar las conclusiones del captulo anterior sobre la evaluaci n. Esto es por o lo tanto un hecho relevante, y con la implantaci n de un sistema adaptativo ser m s sencillo o a a variar las diferentes condiciones a comparar, controlar los diversos factores, etc. Otro aspecto especialmente relevante es la integraci n del sistema adaptativo de pistas o con la Web sem ntica. La soluci n proporcionada permite gestionar recursos educativos a o tanto en formatos XML que son los que usualmente entienden los sistemas educativos de e-learning, como en lenguajes de Web sem ntica que son los formatos entendibles por las a herramientas de Web sem ntica. De esta forma, el sistema puede interaccionar tanto con a

276

Captulo 6. Aplicaci n de T cnicas de Web Sem ntica para Pistas Adaptativas o e a

recursos XML denidos en especicaciones de e-learning, como con recursos existentes de Web sem ntica. Usualmente los sistemas adaptativos de e-learning que no son compatibles a con la Web sem ntica s lo pueden entender los recursos XML, y por lo tanto no pueden a o hacer uso de multitud de recursos que pudieran existir realizados para la Web sem ntica. a Del mismo modo, sistemas educativos de Web sem ntica que no pueden entender cheros a XML de acuerdo a especicaciones, no pueden interaccionar con algunos otros sistemas educativos que s que comprenden tales especicaciones. La relevancia de esta integraci n o del sistema adaptativo con pistas con t cnicas de Web sem ntica, radica en las ventajas e a que la integraci n con la Web sem ntica aporta. Estas ventajas ya han sido comentadas en o a el captulo de teora general del e-learning, pero se particularizar n ahora para el caso del a sistema de pistas. Algunas de estas ventajas que hacen relevante la integraci n del sistema o de pistas adaptativo, son las siguientes: Permite la interoperabilidad de datos y el reuso con otras disciplinas. Ciertas ontologas, anotaciones de recursos, etc. presentes en otras disciplinas podran usarse en nuestro sistema de pistas adaptativo, y los recursos de nuestro sistema podran ser utilizados para aplicaciones de otras disciplinas. Datos extendidos para el procesado. El razonador sem ntico CWM utilizado puede a razonar sobre una cantidad de datos mayor ya que podra utilizar los diversos recursos existentes en la Web para sacar conclusiones sobre la adaptaci n de pistas, en lugar de o s lo con los datos locales del propio sistema o Uso de herramientas robustas que ya han sido implementadas para la Web sem ntica. a Herramientas ya existentes para la Web sem ntica, tal como editores de ontologas, a herramientas para anotaciones, el razonador CWM u otros, etc. podran ser usadas para futuras modicaciones, extensiones, etc. siendo todas ellas herramientas robustas y generalistas. Se habilita el reuso de reglas sobre adaptabilidad de pistas entre diferentes sistemas. Las reglas denidas en el modelo y su implementaci n concreta en el razonador CWM o en este caso, pueden ser reutilizadas en diferentes sistemas educacionales. De esta forma, no se tendran porqu codicar de nuevo dichas reglas para cada sistema educa e cional nuevo donde se quieren reutilizar, sino que bastara con reutilizar el razonador con las reglas ya implementadas, y hacer las conexiones oportunas entre el razonador y el nuevo sistema educativo donde se quieren reutilizar. Del mismo modo, reglas ya implementadas para el mismo razonador u otro en lenguaje de Web sem ntica, se a podran integrar con el sistema XTutor. Extensibilidad. C mo escribir reglas en lenguaje N3 de Web sem ntica es m s sencillo o a a y r pido, al ser un lenguaje de alto nivel, que escribirlo en cada lenguaje de sistema a educacional especco, de esta forma la soluci n de sistema adaptativo de pistas se o hace m s f cilmente extensible ante futuras modicaciones. a a

6.3. Implementaci n de la Arquitectura General de Web Sem ntica para Pistas o a Adaptativas

277

6.3. Implementaci n de la Arquitectura General de Web o Sem ntica para Pistas Adaptativas a
Esta secci n presenta una implementaci n especca de la arquitectura general para loo o grar pistas adaptativas y personalizadas. La secci n se ha dividido en tres partes: en primer o lugar se denen algunos t rminos relevantes para la comprensi n de la implementaci n reae o o lizada, seguidamente se explican los elementos especcos de la arquitectura, mientras que nalmente se explican los diferentes criterios de dise o y las decisiones de implementaci n. n o

6.3.1. Deniciones de T rminos e

Un ejercicio inicial es un ejercicio que ha sido dise ado por un dise ador de cursos n n o profesor, utilizando un editor de textos, una herramienta de autor, etc. y dicho ejercicio no ha sido transformado en ning n momento por la acci n del sistema. Por lo tanto, dicho u o ejercicio est en la misma forma inicial que cuando fue creado por el dise ador de cursos. Es a n de notar que por las suposiciones iniciales del modelo explicado en secciones posteriores, los ejercicios iniciales ser n s lo una cuesti n pero no contendr n por ejemplo otros ejercicios a o o a pistas. Un ejercicio pista es un ejercicio que es utilizado como pista de otro ejercicio. Se puede pensar como un ejercicio que puede ayudar en la resoluci n de otro ejercicio. o Un ejercicio raz es un ejercicio que es utilizado como la cuesti n principal, es decir que o no es una pista de otro, pero sin embargo puede contener otros ejercicios pista. Los ejercicios raz son aquellos que los alumnos pueden solicitar. Un ejercicio nal es un ejercicio que ha evolucionado a lo largo del tiempo, fruto de transformaciones desde los ejercicios iniciales. Es de notar que por las suposiciones iniciales del modelo explicado en secciones posteriores, los ejercicios nales estar n compuestos por a un ejercicio raz y adem s otros ejercicios que son utilizados como pistas del ejercicio raz. a El mismo ejercicio inicial puede ser utilizado como ejercicio pista de un ejercicio nal y tambi n como ejercicio raz de otro ejercicio nal diferente. e

6.3.2.

Elementos de la Arquitectura Implementada

La gura 6.1 muestra la arquitectura que hemos implementado para obtener pistas adaptativas. Esta arquitectura es un caso particular de la arquitectura presentada en la gura 6.1 en el captulo de teora de modelado del e-learning, donde se presenta la arquitectura general para combinar t cnicas de Web sem ntica con tutores inteligentes. En la gura 6.1 el mismo e a color denota la misma funci n y est tambi n acorde a los colores de los elementos de la o a e arquitectura general presentada. En esta implementaci n, el razonador utilizado es CWM, el o tutor inteligente empleado es XTutor, y el lenguaje de Web sem ntica es N3. a El alumno solicita un recurso URL. Esta petici n es recibida para ser procesada por el o programa contenido en el chero cwm.tags.py. Este chero contiene un programa que he mos implementado, el cual ejecuta algunas tareas de procesamiento. Desde este programa se llama al razonador CWM varias veces. El razonamiento es ejecutado por CWM basado en las reglas de personalizaci n y adaptaci n (personalization rules), obteniendo las conclusioo o nes (reasoned conclusions). Los datos que CWM recibe como entrada son las conclusiones

278

Captulo 6. Aplicaci n de T cnicas de Web Sem ntica para Pistas Adaptativas o e a

Figura 6.1: Arquitectura Implementada para lograr pistas adaptativas previas realizadas por CWM en relaci n con la misma petici n de usuario, as como las anoo o taciones sem nticas sobre los usuarios (como el nivel de conocimiento en cada materia), los a problemas y pistas (como sobre qu conceptos trata cada problema o pista), y el dominio de e la materia (dando las diferentes relaciones entre los conceptos de la materia). Para cada uno de estos aspectos existe una ontologa. Alguna informaci n est tica (cheros XML iniciales, o a las reglas a aplicar para la adaptaci n, y algunas anotaciones sem nticas) es escrita al inicio o a (por ejemplo los cheros iniciales XDOC que los profesores crean que son cheros XML que representan los problemas y pistas), mientras que otra informaci n cambia din micao a mente y es almacenada como variables en XTutor (tal como el nivel de conocimiento de un alumno en un determinado concepto) y se necesita una conversi n desde XTutor a N3, por o lo que un m dulo de transformaci n es requerido. o o Una vez que la secuencia completa de reglas especca es ejecutada, se obtiene una conclusi n nal por CWM. Esta conclusi n est relacionada con el tipo, n mero de piso o a u tas, t cnicas de provisi n de pistas a aplicar, contenidos de pistas a mostrar, etc. que van e o a ser aplicadas al recurso solicitado por el alumno. Seguidamente, como parte del chero cwm.tags.py, hay un m dulo de transformaci n que convierte desde las conclusiones nales o o escritas en N3 y los cheros XML iniciales XDOCs hacia cheros XML nales XDOC que cumplen con la especicaci n de pistas denida. De esta forma los cheros XML iniciales o son combinados y transformados para formar otros cheros XML nales que son los que se muestran al alumno que ha pedido el recurso. Esta transformaci n se realiza en base a las o conclusiones razonadas obtenidas por CWM. En la implementaci n actual, el chero XML o XDOC inicial no es utilizado como una de las entradas para razonamiento por CWM, por lo que es s lo generado en formato XML por el profesor; sin embargo, tenemos la intenci n o o de introducirlo como parte del razonamiento en el futuro. Para hacer esto, un m dulo de o

6.3. Implementaci n de la Arquitectura General de Web Sem ntica para Pistas o a Adaptativas

279

transformaci n para transformar el formato XML inicial seg n la especicaci n de pistas en o u o anotaciones en lenguaje N3 de Web sem ntica ser requerido. a a Finalmente, el c digo del chero cwm.tags.py llama al reproductor de pistas que hemos o implementado. Este m dulo reproductor de pistas recibe el chero XML XDOC nal como o entrada y lo ejecuta. El reproductor de pistas realiza las tareas de procesado y presentaci n. o El reproductor de pistas procesa la informaci n usando las variables de estado (por ejemplo o la puntuaci n actual, las pistas vistas o las pistas respondidas correctamente), modica las o variables de acuerdo a la interacci n con el alumno, y presenta al alumno la p gina HTML o a de respuesta con el problema con las pistas. El problema con las pistas es personalizado y adaptado de acuerdo con las conclusiones inferidas por CWM. Algunas de las variables modicadas por XTutor como resultado de la interacci n tienen un efecto en los razonamientos o siguientes en CWM. Por ejemplo, si un alumno responde incorrectamente a un problema, entonces el nivel de conocimiento del alumno decrecer en los conceptos cubiertos por dicho a problema. Estas variables din micas de datos necesarias para el razonador de Web sem ntia a ca, son transmitidas a trav s del m dulo de transformaci n para obtener las anotaciones N3 e o o para que puedan ser utilizadas en los razonamientos.

6.3.3.

Decisiones Tomadas en la Arquitectura Implementada de Pistas Adaptativas

En esta subsecci n se abordan las decisiones tomadas durante la implementaci n de la o o arquitectura para pistas adaptativas. En cuanto a la informaci n que tenemos junto con sus o diferentes formatos distinguimos tres casos: 1. Ficheros XDOCs que son cheros XML de acuerdo con la especicaci n de pistas o denida. Esto es para permitir la interoperabilidad a nivel XML (ya que una gran parte de los sistemas de e-learning intercambian informaci n en XML, de esta forma o podran intercambiar las descripciones de ejercicios con pistas en XML), para tener los datos en un formato entendible por el reproductor de pistas de XTutor (ya que este reproductor puede ejecutar r pidamente tareas de procesado y de presentaci n de a o cheros XML), y porque por el momento no se necesita razonar sobre esta informaci n o en CWM, por lo que no es necesario ponerlo en N3. 2. Alguna informaci n sobre usuarios, problemas, pistas, conceptos de las materias, y o reglas en N3. Esto es porque queremos ejecutar todo el procesado relacionado con la adaptaci n y la personalizaci n con CWM (esto es por el reuso del c digo, el lenguaje o o o de alto nivel de abstracci n, etc.), por lo que es necesario escribirlo en un formato o entendible por CWM. Adicionalmente, queremos tener interoperabilidad a nivel de Web sem ntica para estos aspectos. a 3. Informaci n din mica que cambia entre interacciones. La base de datos y las variables o a de XTutor son la informaci n din mica. Como no necesitamos interoperabilidad para o a esta informaci n, entonces la manera m s r pida para procesarla es almacenar dicha o a a informaci n en formatos propietarios de XTutor. Pero la informaci n que se necesio o ta para ser razonada por CWM, es transformada. Por lo tanto, dicha informaci n es o replicada en dos formatos diferentes.

280

Captulo 6. Aplicaci n de T cnicas de Web Sem ntica para Pistas Adaptativas o e a

CWM ejecuta algunas tareas de procesamiento (en concreto todas las necesarias para determinar las pistas adaptativas y personalizadas que se van a generar en cada caso) debido a que el prop sito es poder reutilizar dichas reglas, y porque adem s en caso de modicaciones o a de las reglas, as se tiene que tocar solamente la parte de reglas del razonador sem ntico y a no se tiene que modicar partes del c digo de XTutor. o En el prototipo implementado, CWM se ejecuta para cada petici n de usuario, pero no o en segundo plano. Adem s, no hay conclusiones almacenadas (ni conclusiones pasadas ni a futuras). En el prototipo implementado para validar la propuesta era suciente con esta soluci n. Pero para reducir el tiempo de respuesta de razonamiento de CWM y especialmente o cuando el n mero de usuarios que accedan al sistema sea elevado, entonces ser conveniente u a considerar otras t cnicas para reducir el tiempo de procesado. e Finalmente, estamos utilizando diferentes areas de acceso por usuario para evitar problemas de concurrencia entre peticiones de usuarios. Para la informaci n est tica o din mica o a a que es controlada por XTutor, no hay problemas de concurrencia, porque XTutor contro la la concurrencia por s mismo. La unica informaci n que puede presentar problemas de o concurrencia son los cheros XML XDOCs generados. Es de notar que si algunas conclusiones fueran guardadas (conclusiones pasadas o futuras), entonces una posible soluci n o sera almacenarlas como una parte de los XDOCs generados nales (esto est permitido por a la especicaci n de pistas denida). En este caso, los XDOC iniciales para cada petici n o o seran los ultimos XDOC nales generados, y sera necesario sincronizar el acceso a los XDOCs nales, ya que varios usuarios podran querer escribir concurrentemente en el mis mo XDOC. Adem s, CWM sera ejecutado como una respuesta a una petici n s lo en el a o o caso de que la informaci n relacionada con la petici n de entrada no hubiera sido razonada o o previamente.

6.4.

Ontologas en el Sistema de Pistas Adaptativas

Las ontologas permiten modelar una cierta realidad sobre aspectos determinados. En este caso estamos interesados en modelar todo lo relacionado con la adaptaci n de pistas, o de forma que las ontologas generadas permitan que sus datos sean utilizados para poder realizar razonamientos para la adaptaci n de pistas en aprendizaje basado en problemas. o Especcamente, en nuestro caso tenemos especial inter s en la adaptaci n de las diferentes e o t cnicas de provisi n de pistas para cada uno de los ejercicios. e o Las ontologas que necesitaremos ser n las siguientes y para cada una de ellas se dedica a una subsecci n: o Los conceptos de un curso. Informaci n general de los problemas o ejercicios. o Las diferentes t cnicas de provisi n de pistas aplicadas a los ejercicios. e o Alumnos. Ejercicios con pistas que se generan para los alumnos.

6.4. Ontologas en el Sistema de Pistas Adaptativas

281

Figura 6.2: Ontologa de conceptos para un laboratorio de comunicaci n entre procesos o

6.4.1. Ontologa de los Conceptos de un Curso

Los conceptos involucrados en un determinado curso as como sus relaciones deben ser modelados por medio de una ontologa. Una de las formas m s sencillas de modelar los conceptos involucrados en un detera minado curso es utilizando s lo la relaci n Is-a que denota que un determinado concepto o o es una especializaci n de otro, es decir que un determinado concepto pertenece al tipo que o denota otro concepto. Para el ejemplo que utilizaremos m s adelante en la ultima secci n a o del captulo, y que se corresponde con parte del prototipo implementado, esta ser la unica a relaci n que ser tenida en cuenta. Como ejemplo, la gura 6.2 muestra una ontologa de los o a conceptos involucrados para un laboratorio de comunicaci n entre procesos, mostrando las o relaciones de jerarqua entre ellos mediante la relaci n Is-a. Se muestran las diferentes partes o en las que cada concepto est dividido. Cada parte es otro concepto que puede ser de nuevo a dividido en otros conceptos y as sucesivamente a lo largo de la jerarqua. El ejemplo de la gura 6.2 ser utilizado posteriormente en la ultima secci n del captulo para el razonamiento a o sobre dichos conceptos para lograr adaptaci n de pistas en el prototipo implementado. o Un chero en N3 describe el diagrama de la gura 6.2. Cada nodo del diagrama denota un concepto sobre IPC (comunicaci n entre procesos) y esto es expresado como por ejemplo o :semget a :IPCConcept. Una echa denota que alg n concepto tiene como parte otro y esto u es expresado utilizando la propiedad dc:hasPart del vocabulario Dublin Core [200], como por ejemplo :Functions dc:hasPart :semget. No obstante, es posible utilizar ontologas y anotaciones de conceptos que describan ti pos m s ricos de relaciones entre ellos, como por ejemplo las ontologas de dominio para a

282

Captulo 6. Aplicaci n de T cnicas de Web Sem ntica para Pistas Adaptativas o e a

contenido de curso denidas en [165]. A pesar de que en el prototipo implementado no hacemos uso de estas ontologas, la ontologa de dominio que proponemos para el entorno de pistas es la que se deni en [165]. Dicha ontologa no se limita s lo a la relaci n Is-a sino o o o que introduce una serie de relaciones muy utiles entre conceptos de forma que se podra adaptar las pistas en funci n de los diferentes tipos de relaciones establecidos. As por ejemo plo, la propiedad HasPart podra utilizarse para seleccionar como pistas aquellas cosas que fueran parte de un determinado concepto sobre el que vaya el problema inicial sobre el que se requieren pistas. La propiedad IsBasisof se podra utilizar para dar como pista de algo aque llo sobre lo que est basado, o HasAsExample para dar como pista un determinado ejemplo a de dicho concepto. Otros ejemplos de adaptaci n de pistas sobre estas y otras propiedades o denidas en [165] seran muy utiles. Al tener m s tipos de relaciones entre conceptos y no a s lo el Is-a, entonces se pueden hacer mayor variedad de pistas, y adem s muchos de los o a conceptos denidos en la ontologa de [165] acoplan muy bien en la denici n de pistas. o Adem s de las ontologas de dominio, se podran denir ontologas de aplicaci n esa o pecca, donde se a adiran conceptos especcos de una determinada materia, junto con n la denici n de nuevas propiedades especcas del area concreta. De esta forma se abriran o nuevas formas de adaptaci n en funci n de las nuevas propiedades especcas, que seran o o m s cercanas a la tem tica concreta abarcada. No obstante, estas ontologas especcas se a a deben denir para cada materia concreta y no se pueden denir en general, por lo que habra que analizar cada caso especco.

6.4.2.

Ontologa sobre Informaci n General de los Ejercicios o

Para conseguir la adaptaci n de pistas en aprendizaje basado en problemas, necesitao remos cierta informaci n relativa a los ejercicios. Esta informaci n ser utilizada en los o o a razonamientos de las diferentes reglas adaptativas, de forma que la informaci n relacionao da con los problemas inuya en el tipo de adaptaci n aplicada. La informaci n relacionada o o con los problemas se compondr de dos vertientes: por un lado informaci n general (ser la a o a presentada en esta secci n) y por otro lado la informaci n relacionada con las diferentes o o t cnicas de provisi n de pistas (se expondr en la siguiente secci n). e o a o La gura 6.3 muestra una representaci n gr ca de la ontologa que hemos generado o a para recoger la informaci n general de los ejercicios. o Hemos utilizado la propiedad dc:subject del vocabulario de Dublin Core [200], la propiedad owl:oneOf del vocabulario de OWL, mientras que el resto de propiedades (las cuales comienzan con el prejo p, denotando nuestro propio espacio de nombres) son de nuestra propia creaci n. o La propiedad dc:subject establece los diferentes conceptos que un determinado problema o ejercicio cubre. Un determinado problema puede tener varias propiedades dc:subject, indicando que dicho ejercicio cubre diferentes conceptos. De esta forma se establece tambi n un e nexo de uni n entre esta ontologa de informaci n general de los problemas y la ontologa de o o los conceptos presentada en la anterior secci n. La informaci n sobre qu conceptos abarca o o e un determinado problema puede ser utilizada por ejemplo para relacionar pistas y problemas que abarquen conceptos similares, o con una determinada relaci n entre los conceptos o abarcados. La propiedad p:type indica el tipo de problema que es. Un determinado problema s lo o

6.4. Ontologas en el Sistema de Pistas Adaptativas

283

Figura 6.3: Ontologa sobre informaci n general de los ejercicios o

puede ser de un tipo de entre varias opciones, lo cual se denota mediante la propiedad owl:oneOf. As, en nuestro contexto, un problema podr ser de tipo relleno de blancos (FIB), a de m ltiple elecci n (MC), de m ltiple respuesta (MR) o de respuesta corta (SA). Dado que u o u el tipo de problema que tengamos inuye en el comportamiento de los alumnos ante diferentes t cnicas de provisi n de pistas, esta informaci n podr utilizarse por ejemplo para e o o a adaptar las diferentes t cnicas de provisi n de pistas. e o La propiedad p:difculty puede tomar un valor en el rango [0,10] y representa la dicultad estimada del ejercicio por parte de un profesor. No se ha considerado la propiedad difculty del est ndar IEEE-LOM porque s lo tiene un espacio de valores predenidos. Esta a o informaci n puede ser tenida en cuenta para adaptar el nivel del alumno a la dicultad de los o problemas con los que se encuentra, o para tomar decisiones sobre las t cnicas de provisi n e o de pistas a utilizar ya que la dicultad de un problema es otro de los factores que inuyen en el distinto comportamiento de los alumnos ante diferentes t cnicas de provisi n de pistas. e o La propiedad p:mayberoot s lo puede tomar 2 valores e indica si un problema puede o ser un ejercicio raz o no, la propiedad p:maybehint s lo puede tomar 2 valores e indica si o un problema puede ser un ejercicio pista o no, mientras que la propiedad p:mayhavehint del mismo modo s lo puede tomar 2 valores, e indica si un problema puede tener una pista o asociada o no. Todas estas propiedades sirven para conocer c mo se puede combinar ese o determinado problema para formar ejercicios con pistas. Por lo tanto, se restringen algunas posibilidades de composici n de ejercicios con pistas seg n los valores de estas propiedades, o u y s lo ser n posibles adaptaciones que cumplan las reglas marcadas por estas propiedades. o a

284

Captulo 6. Aplicaci n de T cnicas de Web Sem ntica para Pistas Adaptativas o e a

En cualquier caso es el dise ador de problemas o el profesor quien marca el criterio de n si un determinado problema puede ser raz, pista, o si dicho problema admite tener pistas. Es de remarcar que un problema pista podra admitir o no pistas, ya que por ser problema pista indica que es parte de la pista de otro problema, pero otra cosa diferente es que dicho problema pista tenga a su vez otras pistas o no. Un determinado problema podr ser utilizado como problema raz (en caso de que la proa piedad p:mayberoot sea 1) o como problema pista (en caso de que la propiedad p:maybehint sea 1). En cualquiera de los dos casos, esto se denota mediante la propiedad p:usedas. Es de remarcar que no hemos marcado los nodos Root Problem y Hint Problem como especializaciones de Problem, sino que en su lugar los hemos relacionado con la propiedad p:usedas, porque existe la posibilidad de que un problema raz sea a la vez un problema pista, y quere mos diferenciar en la ontologa aquellas estadsticas cuando el problema ha sido usado como raz respecto a cuando el problema ha sido utilizado como problema pista. Todas las propiedades hasta ahora expuestas en esta secci n, son anotadas al inicio como o parte de un recurso, y dichas propiedades no cambian durante el proceso. Sin embargo hay otra cierta informaci n relacionada con el ejercicio que cambia din micamente y viene recoo a gida en propiedades din micas, las cuales cambian durante el proceso (por ejemplo el n mea u ro de respuestas correctas, el n mero de pistas vistas, etc.). Esta otra informaci n din mica u o a depende de las interacciones que los diferentes alumnos van teniendo con el problema especco, y va cambiando su valor dependiendo de si los alumnos responden correctamente o fallan en el ejercicio, si los alumnos necesitan m s o menos pistas en el ejercicio, o del a n mero de intentos que necesitan para llegar a la soluci n nal. u o Como queremos distinguir la informaci n relacionada a cuando un problema es raz, o o cuando un problema es parte de una pista, entonces se dispondr de dos tipos de estadsticas a para estos dos casos. Estas estadsticas se introducen mediante la propiedad p:hasstats. Las propiedades estadsticas son las mismas con independencia de si se trata de un problema raz o un problema pista, ya que hemos de tener en cuenta que un problema pista puede a su vez tener otras pistas asociadas a el mismo. Las diferentes propiedades estadsticas denidas son las siguientes, junto con una informaci n que las describe: o p:loaded: representa el n mero de veces que el problema es cargado por alumnos u distintos. p:answered: representa el n mero de veces que el problema ha sido respondido por u alumnos distintos. No es igual que el par metro anterior ya que un alumno puede a cargar o ver un problema, pero puede no responderlo. p:hintsviewed: representa el n mero de alumnos distintos que vieron alguna pista en u relaci n con dicho problema. o p:correct: es el n mero de veces que el alumno llega a una soluci n correcta sin neu o cesidad de ver ninguna pista. p:correctwh: es el n mero de veces que el alumno llega a una soluci n correcta tras u o haber visto alguna pista. p:avgtries: es el n mero medio de intentos incorrectos que los alumnos hicieron antes u de llegar a responder correctamente el problema, cuando no vieron ninguna pista.

6.4. Ontologas en el Sistema de Pistas Adaptativas

285

Figura 6.4: Ontologa sobre las diferentes t cnicas de pistas aplicadas a los ejercicios e p:avgtrieswh: es el n mero medio de intentos incorrectos que los alumnos hicieron u antes de llegar a responder correctamente el problema, cuando vieron alguna pista. Esta informaci n estadstica relativa a un problema la cual est presente en la ontologa, o a distingue entre el caso de un problema raz o un problema pista. Esto es porque queremos que en los razonamientos adaptativos se tenga en cuenta ambas informaciones y si la junt ramos a perderamos datos y potencialidad de adaptaci n. La informaci n estadstica recogida en la o o ontologa puede ser utilizada para muy diversos nes a la hora de adaptar pistas como por ejemplo para adaptar en funci n de la dicultad del problema tomada seg n las interacciones o u de los alumnos con el problema viendo cual es el porcentaje de fallos, el porcentaje de pistas pedidas, n mero de intentos para llegar a la soluci n, etc.; para adaptar la reducci n en la u o o puntuaci n que supondr cada intento fallido del alumno (por ejemplo viendo el n mero o a u medio de intentos), etc.

6.4.3. Ontologa sobre las Diferentes T cnicas de Pistas Aplicadas a los Ejer e cicios
En la subsecci n anterior se observ la diferente informaci n general asociada a un o o o problema. Sin embargo, en la presente subsecci n se presentar informaci n relativa a cada o a o una de las t cnicas de provisi n de pistas por separado. Esto es necesario porque por un e o lado queremos tener la informaci n general y por otro lado la informaci n m s especca de o o a cuando un determinado problema se usa como pista con una determinada t cnica o cuando e a ese problema se le asocian pistas con una determinada t cnica. e La gura 6.4 muestra la ontologa que hemos denido acerca de las diferentes t cnicas e de pistas aplicadas a los ejercicios. Por un lado vemos que se distingue que un mismo problema o ejercicio sea utilizado como problema raz o problema pista. Cuando el problema es utilizado como raz, entonces

286

Captulo 6. Aplicaci n de T cnicas de Web Sem ntica para Pistas Adaptativas o e a

tendr otros problemas pista que ser n aplicados al problema raz siguiendo algunas de las a a estrategias de pistas. Cuando la situaci n es que el problema se utiliza como pista, entonces o ese problema pista ser parte (puede haber m s problemas pista asociados al mismo problea a ma raz) de las pistas del problema raz, y se habr aplicado dicho problema siguiendo algu a nas de las estrategias de pistas. A cada problema, actuando como raz, se le aplicar tantas a veces la propiedad p:isappliedwith como n mero de t cnicas de pistas diferentes considerau e das (en este caso ser n 12). Se denir n tantos objetos de una determinada clase de estrategia a a de pistas, como n mero de t cnicas de pistas diferentes haya relacionadas a dicha estrategia, u e para determinar la t cnica concreta de pistas a aplicar se utiliza la propiedad p:type. Toe dos estos objetos pertenecen a una clase que hereda de la clase Hinting Strategy por lo que tendr n una serie de par metros comunes que representar n la informaci n relativa a cuando a a a o a dicho problema raz se le aplica una determinada t cnica de provisi n de pistas. e o Cuando el problema es utilizado como pista, la situaci n es similar. Se le aplicar tantas o a veces la propiedad p:serveaspartof como n mero de t cnicas de pistas diferentes consideu e radas y se denir n tantos objetos de una determinada clase de estrategia de pistas, como a n mero de t cnicas de pistas diferentes haya relacionadas a dicha estrategia. u e La informaci n que se da para cada t cnica de provisi n de pistas, viene dividida en dos o e o categoras: Ganancia de aprendizaje. Se denota mediante la propiedad p:hasLG Comportamiento. Se denota mediante la propiedad p:hasbehaviour La ganancia de aprendizaje se reere a la comparaci n de ganancia de aprendizaje eno tre t cnicas asociadas a una misma estrategia de pistas. La direcci n sobre qu t cnica ree o e e sult mejor en la comparaci n viene dada por la propiedad p:direction (con s lo dos valores o o o posibles al ser dicot micas las variables de estrategias de pistas), el grado de fuerza de dicha o relaci n viene dado por la propiedad p:correlation, mientras que el grado de signicaci n o o estadstico de esa relaci n viene dado por p:signicance. Cuando es sobre un problema ac o tuando como raz dar informaci n de ganancia de aprendizaje cuando sobre dicho problema a o se ha aplicado dicha t cnica de pistas. Cuando es sobre un problema actuando como pista e dar informaci n de ganancia de aprendizaje cuando dicho problema es una pista de otro a o aplic ndole dicha t cnica. a e En cuanto al comportamiento, vemos que hay una serie de par metros similares a los ya a vistos en la secci n anterior. Ahora la diferencia es que dichos par metros son en refereno a cia a cuando al problema se le aplica una determinada t cnica de pistas (en caso de que el e problema act a como raz) o cuando el problema es parte de una pista aplicando una deteru minada t cnica (en caso de que el problema act a como pista). Tambi n hay una serie de e u e par metros extra, los cu les no estaban presentes en la secci n anterior. Dichos par metros a a o a son p:correctupdown (da el n mero de problemas pista resueltos correctamente en caso de u que el problema act e como raz, da informaci n acerca de si el problema raz se ha conu o testado bien en caso de que el problema act e como pista), p:avgtriesupdown (da el n mero u u medio de intentos en los problemas pista para llegar a la soluci n correcta en caso de que el o problema act e como raz, da el n mero medio de intentos en el problema raz para llegar a u u la soluci n en caso de que el problema act e como pista), y p:avgdown (este par metro s lo o u a o tienen sentido si el problema act a como raz y da informaci n acerca del n mero medio de u o u problemas pista que ha tenido dicho problema raz).

6.4. Ontologas en el Sistema de Pistas Adaptativas

287

Por lo tanto, gracias a esta ontologa denida se podr acceder a la informaci n de dicho a o problema cuando sobre el se aplic cada una de las t cnicas de pistas, o cuando el actu coo e o mo parte de cada una de las t cnicas de pistas. Para cada problema podremos ver seg n la e u ontologa, lo bueno o malo que fue para la ganancia de aprendizaje aplicarle cada una de las t cnicas de pistas asociadas, y tambi n c mo se comportaron los alumnos ante dicha t cnica e e o e de pistas aplicada sobre dicho problema. As mismo se conocer cuando dicho problema a act a como pista lo bueno o malo que result para la ganancia de aprendizaje, as como el u o comportamiento de los alumnos. La informaci n recogida en esta ontologa resulta de utilidad para poder adaptar las o pistas a los alumnos en funci n de la materia concreta que abarca el problema, del dise o o n del problema/pistas, etc. Todos estos factores redundar n en que un determinado problema a con pistas sea m s o menos efectivo, y la informaci n correspondiente queda reejada en a o los diferentes par metros, de forma que podremos adaptar las t cnicas de pistas en funci n a e o de lo que produce mayor incremento de aprendizaje, lo que est asociado a un determinado a comportamiento, etc. Finalmente, es de destacar que la informaci n almacenada en cada objeto de t cnica de o e pistas es s lo referente a una t cnica de pistas concreta, pero no a la combinaci n de varias. o e o A veces, se podr presentar en el sistema un problema con pistas que utiliza la combinaci n a o de diferentes t cnicas de pistas. Al establecer los valores de comportamiento acorde con la e ontologa, no podremos tomar directamente los valores de interacci n de los alumnos con ese o problema y ponerlo para todas las t cnicas de pistas que combinaba, ya que la informaci n e o guardada en la ontologa es s lo de cada t cnica independiente. Sin embargo, en caso de o e que s lo fuera una t cnica de pistas la aplicada, entonces s se podran tomar los valores o e directamente ya que eso estara acorde a la informaci n guardada en la ontologa. o

6.4.4. Ontologa de los Alumnos

En relaci n con los alumnos, tendremos por un lado informaci n general de ellos, y por o o otro lado informaci n acerca de las diferentes t cnicas de pistas con las que ellos interact an. o e u Con respecto a la informaci n general de un alumno podemos utilizar especicaciones o existentes tal como IMS-LIP [80] o IEE-PAPI. Estas especicaciones nos dar n informaci n a o acerca de diferentes aspectos de un alumno e igual que tienen un mapeo a XML, tambi n tiee nen un mapeo a RDF mediante una ontologa que las dene. En otros trabajos como en [166] o [187] se escoge un subconjunto de estas especicaciones. En nuestro caso, para el uso que vamos a hacer en el modelo, utilizaremos s lo una ontologa que incluya los par metros de o a IEEE-PAPI tal como se muestran en la gura 6.5. Con esta ontologa podremos denir sobre cada uno de los conceptos de un determinado temario, qu nivel de conocimiento en una e escala de [0, 10] tiene cada uno de los alumnos. De esta forma, se podr n adaptar las pistas a para que sean de un nivel acorde con el nivel que tiene el alumno en los conceptos abarcados por los problemas/pistas. Por otro lado, ampliaremos la ontologa de los alumnos para que incluya informaci n o acerca de las diferentes t cnicas de pistas con respecto a dichos alumnos. Para ello se ha e dividido la ontologa en las mismas partes que la encuesta realizada en el captulo anterior. La representaci n gr ca de dicha ontologa se puede observar en la gura 6.6. Entre la o a informaci n que se tendr de cada alumno se encuentra la siguiente: o a

288

Captulo 6. Aplicaci n de T cnicas de Web Sem ntica para Pistas Adaptativas o e a

Figura 6.5: Ontologa sobre caractersticas generales de los alumnos La importancia que los alumnos consideran para cada una de las t cnicas de pistas. e Consideraremos las mismas t cnicas de pistas que las que se introdujeron en la evaluae ci n del captulo anterior. Por lo tanto habr un total de 12 par metros. No se muestran o a a todos esos par metros nales, as como los de otras ramas por cuesti n de espacio, y a o por eso s lo se han dejado indicados en un croquis y con puntos suspensivos. o Las preferencias de los alumnos ante cada una de las estrategias de pistas. En este caso habr un total de 6 par metros ya que hay 6 estrategias de provisi n de pistas consia a o deradas, las cuales ponen en contraposici n de preferencia a 2 t cnicas de provisi n o e o de pistas por cada estrategia. La justicia de cada una de las estrategias de pistas. En este caso tambi n habr un e a total de 6 par metros, las cuales podr n en contraposici n de justicia a 2 t cnicas de a a o e provisi n de pistas por cada estrategia. o El comportamiento de los alumnos ante cada una de las estrategias de pistas. En este caso se distinguen dos ramas en la ontologa: por una lado c mo dicen comportarse o los alumnos (por ejemplo mediante una encuesta) ante cada una de las estrategias de pistas (habr por lo tanto 6 par metros en esa rama), y por otro lado el comportamiento a a real de los alumnos en el sistema (en este caso por cada t cnica de provisi n de pistas e o con la que ha interaccionado el alumno, se mostrar n par metros del n mero de pistas a a u visto, n mero de intentos medio antes de llegar a la soluci n, etc.). En este ultimo u o caso, los par metros de comportamiento asociados a un alumno ser n muy similares a a a los recogidos para los problemas, pero en este caso ser n el c mulo de las experiencias a u del alumno.

6.5. Denici n de Reglas para el Sistema de Pistas o

289

Figura 6.6: Ontologa sobre las diferentes t cnicas de pistas en relaci n con los alumnos e o Con todo esto, se podr n adaptar las t cnicas de pistas a aplicar a un determinado alumno a e en funci n del efecto que dichas t cnicas tienen sobre el, sus preferencias, opiniones, etc. ya o e que diferentes alumnos pueden experimentar diferentes efectos y tener distintas opiniones y sentimientos ante t cnicas de pistas distintas. e

6.4.5. Ontologa de los Ejercicios con Pistas que se Generan para los Alumnos
Finalmente se ha denido una ontologa de los ejercicios con pistas. Esta ontologa es un el reejo de los ejercicios con pistas que nalmente se generan a los alumnos en la plataforma XTutor. Por lo tanto, es una traducci n directa de la especicaci n de pistas, o o pero ahora en lugar de mapeada a XML, mapeada a RDF, con las reglas denidas por una ontologa asociada. Para representar gr camente a dicha ontologa, se utiliza el diagrama a UML de la especicaci n de pista, que ya fue presentado en un captulo anterior y que se o vuelve a presentar ahora en la gura 6.7. Es de notar que las ontologas de problemas, vistas previamente en otras subsecciones, son s lo ontologas que dan informaci n relativa a un ejercicio independiente, mientras que o o la ontologa de esta subsecci n representa ejercicios como composici n de varios problemas o o independientes.

6.5.

Denici n de Reglas para el Sistema de Pistas o

En esta secci n se presenta una propuesta de reglas adaptativas para adaptaci n de piso o tas, siguiendo la teora general de reglas denida en la tesis, de forma que tales reglas sean at micas, reusables, parametrizables, interoperables e intercambiables, y con los tipos de o

290

Captulo 6. Aplicaci n de T cnicas de Web Sem ntica para Pistas Adaptativas o e a

Figura 6.7: Ontologa de los ejercicios con pistas que se generan nalmente para los alumnos relaciones entre ellas que se denieron de acuerdo a las restricciones impuestas por su denici n. o

6.5.1.

Suposiciones Iniciales

Las posibilidades de adaptaci n de las pistas asociadas a los ejercicios, vendr n limitadas o a por una serie de restricciones que se enumeran a continuaci n: o Cada ejercicio inicial (ya sea raz o pista o de ambas categoras) estar representado en a XML conteniendo s lo a el mismo, de acuerdo a la especicaci n de pistas denida. o o Por conteniendo a el mismo se deduce que en la representaci n XML no puede estar o dicho ejercicio junto con otros ejercicios como pistas. Para los ejercicios nales, s lo se permite un nivel de jerarqua de problemas pista. Es o decir que un problema podr tener una pista asociada compuesta en general por varios a problemas pista, pero dichos problemas pista no podr n tener a la vez otras pistas. a Para los ejercicios nales, s lo se permite un nivel de jerarqua entre tipos de pistas o de secuencia, grupo, de alternativa, etc. Es decir que no puede haber una pista de secuencia que a su vez tenga pistas de grupo u otras de secuencia, ni viceversa. S lo se podr n utilizar los par metros de las ontologas denidas. o a a S lo se podr n utilizar las reglas de adaptaci n de pistas denidas en esta secci n. o a o o Los ejercicios iniciales en XML, representando cada uno un s lo ejercicio, se ir n o a combinando para formar ejercicios nales XML conteniendo otros ejercicios pista.

6.5. Denici n de Reglas para el Sistema de Pistas o

291

Figura 6.8: Diferentes aspectos considerados para la adaptaci n de pistas o

6.5.2. Denici n de los Diferentes Aspectos que Intervendr n en la Adaptao a ci n o

Los diferentes aspectos considerados a adaptar en relaci n con la provisi n de pistas o o para ejercicios, se pueden visualizar en la gura 6.8, donde se muestra una relaci n de como posici n. o Tales aspectos son los siguientes: Contenidos y tipo de pistas. En esta categora de reglas de tipo 1 (R1) entra todo tipo de adaptaci n relacionada con qu contenido de pistas se le mostrar n a los usuarios,y o e a qu tipos de pistas de entre las recogidas en la especicaci n. e o T cnicas de pistas. En esta categora de reglas de tipo 2 (R2) entran las elecciones entre e t cnicas de pistas expuestas en el captulo de evaluaci n, donde ya se demonstr que e o o adaptar t cnicas de pistas tena sentido. En total son un total de seis aspectos a adaptar. e Penalizaci n por cada intento incorrecto. En esta categora de reglas de tipo 3 (R3) o entra la adaptaci n de cu ntos puntos se penalizan por cada intento incorrecto ante un o a determinado problema.

6.5.3. Adaptaci n del Contenido o

La gura 6.9 muestra mediante una relaci n de composici n, cu les son los diferentes o o a aspectos considerados para adaptar en relaci n con los contenidos de las pistas y los tipos o de pista.

292

Captulo 6. Aplicaci n de T cnicas de Web Sem ntica para Pistas Adaptativas o e a

Figura 6.9: Diferentes aspectos considerados para la adaptaci n de contenidos y tipo de o pistas Se observa que existen cuatro grupos diferentes: Decisi n del tipo de pista. Se denota como R1.1. En este punto se decide si el tipo de o pista a aplicar ser de grupo o de secuencia. a Decisi n de los par metros de pista de grupo. Se denota como R1.2. En caso de ser o a una pista de grupo, hay que establecer el texto a poner asociado a cada posible pista que puede ver el usuario, as como el texto global a poner. Vemos claramente que este grupo de reglas es dependiente de R1.1 ya que se requiere que la decisi n de R1.1 sea o de pista de grupo para poder aplicar esta regla. N mero de pistas a poner. Se denota como R1.3, e indica el n mero de ejercicios pista u u que un determinado ejercicio raz tendr . a Qu problemas pista tener. Se denota como R1.4, y establece el contenido concreto e de los problemas pista a tener asociados a un determinado ejercicio raz. Se observa que existe una dependencia de esta regla con respecto a R1.3, ya que es necesario saber primero el n mero de problemas pista a tener, para poder luego seleccionar sus u contenidos concretos, es decir qu problemas pista ser n elegidos. En este caso la e a dependencia entre R1.4 con respecto a R1.3 es diferente a la que exista entre R1.2 y R.1.1, ya que en este caso no es necesaria una salida especca de la regla de la cual depende, sino que es factible cualquier salida, pero dicha salida afectar al grupo de a reglas R1.4 ya que dependiendo del n mero de pistas requerido as ser el n mero de u a u problemas especcos que haya que seleccionar.

6.5. Denici n de Reglas para el Sistema de Pistas o

293

Figura 6.10: Ejemplo de reglas diferentes a aplicar en funci n de salidas de otras reglas o Es de notar que para la formaci n de reglas superiores compuestas de reglas at micas, o o estas dependencias se pueden expresar gr camente de forma adecuada. Por ejemplo, en la a gura 6.10 se muestra c mo expresar que dependiendo de la salida de la regla que decide si o se aplicar una pista de secuencia o de grupo, se aplicar n una serie de reglas u otras. a a A continuaci n se pasan a mostrar cada una de las reglas at micas que componen cada o o uno de los grupos expuestos: Decisi n de secuencia o grupo o Las reglas de este grupo sirven para elegir entre tipo de pista en secuencia o de grupo. Por lo tanto s lo hay dos posibilidades de resultado nal. o En primer lugar la R.1.1.1 implicara la elecci n de una pista de tipo secuencia o de o tipo de grupo de una forma aleatoria. Se elegira bajo una cierta probabilidad p que sera el par metro a considerar en la regla. Si p=0 entonces se elegira seguro una pista de secuencia a y si p=1 se elegira una pista de grupo. La citada regla tiene la siguiente denici n formal de o acuerdo al modelo general: Cdigo: R.1.1.1 o Descripcin: Implica la eleccin de una pista de secuencia o o o de grupo de una forma aleatoria. Parametrizable: S. El parmetro es p que indica la a probabilidad de que una pista sea de grupo. Combinacin lineal: Con ninguna regla. o Entradas en secuencia requeridas: Ninguna. Salida en secuencia: Cualquier regla excepto del grupo R1.1 La regla R.1.1.2 implica la elecci n de una pista de tipo de grupo o de secuencia seg n o u la preferencia del alumno respecto a este aspecto: Cdigo: R.1.1.2 o Descripcin: Se elige de grupo o de secuencia segn la o u preferencia del alumno. Parametrizable: No. Combinacin lineal: Con R1.1.3 o Entradas en secuencia requeridas: Ninguna. Salida en secuencia: Cualquier regla excepto del grupo R1.1

294

Captulo 6. Aplicaci n de T cnicas de Web Sem ntica para Pistas Adaptativas o e a

La regla R.1.1.3 implicara la elecci n de una pista de grupo o de secuencia seg n el o u nivel del alumno en los conceptos del problema raz fueran mayor o menor a un determinado umbral: Cdigo: R.1.1.3 o Descripcin: Se elige pista de grupo o de secuencia o dependiendo del nivel de conocimiento del alumno en los conceptos del ejercicio raz. Parametrizable: S. Tiene 2 parmetros. El primer parmetro a a es el umbral de nivel de conocimiento del alumno considerado en el concepto. El segundo es para indicar si se supera dicho umbral si lo que se proporcionar es pista de grupo o a de secuencia. Combinacin lineal: Con R1.1.2 o Entradas en secuencia requeridas: Ninguna. Salida en secuencia: Cualquier regla excepto del grupo R1.1 Las reglas R.1.1.2 y R1.1.3 se podr n combinar mediante combinaci n lineal para decidir a o si la pista nal ser de grupo o de secuencia, teniendo en cuenta tanto la preferencia del a alumno como su nivel de conocimiento en los conceptos del problema raz del cual se le va a proporcionar la pista. Se podra establecer una escala de variables continuas en cada una de esas dos reglas y asignarles un peso a cada regla, obteniendo un valor nal y compar ndolo a con un umbral decidir si la pista a proporcionar sera de grupo o de secuencia. Decisi n de Par metros de Grupo o a Las reglas de este grupo depender n todas de que la salida de las reglas de decisi n del a o tipo de pista sea que son pistas de grupo. Habr un conjunto de reglas para establecer el a texto de meta-informaci n de cada uno de los elementos de una pista de grupo, y otro para o establecer el texto global com n en una pista de grupo. A continuaci n se especican las u o cuatro reglas consideradas para este conjunto: Cdigo: R.1.2.1 o Descripcin: Texto de meta-informacin de cada pista es o o sobre lo que va el concepto tratado en dicha pista. Parametrizable: No. Combinacin lineal: No. o Entradas en secuencia requeridas: Alguna regla de R1.1 tenga como salida la eleccin de una pista de grupo. o Salida en secuencia: Cualquier regla. Cdigo: R.1.2.2 o Descripcin: Texto de meta-informacin de cada pista es la o o definicin del concepto que trata dicha pista. o Parametrizable: No. Combinacin lineal: No. o

6.5. Denici n de Reglas para el Sistema de Pistas o

295

Entradas en secuencia requeridas: Alguna regla de R1.1 tenga como salida la eleccin de una pista de grupo. o Salida en secuencia: Cualquier regla. Es de notar que R1.2.1 y R1.2.2 son reglas para determinar el texto de cada una de las meta-informaciones de una pista de grupo, y que podran anidarse en secuencia, dando como resultado que la meta-informaci n a poner sera tanto el concepto tratado como su denici n. o o Cdigo: R.1.2.3 o Descripcin: Texto de informacin general de una pista de o o grupo es algo predeterminado. Parametrizable: S. El texto concreto a poner. Combinacin lineal: No. o Entradas en secuencia requeridas: Alguna regla de R1.1 tenga como salida la eleccin de una pista de grupo. o Salida en secuencia: Cualquier regla. Cdigo: R.1.2.4 o Descripcin: Texto de informacin general es sobre el nmero o o u mximo de pistas que se pueden visualizar. a Parametrizable: No. Combinacin lineal: No. o Entradas en secuencia requeridas: Alguna regla de R1.1 tenga como salida la eleccin de una pista de grupo, y regla de o tcnica de pistas estableciendo el nmero mximo d pistas a e u a visualizar. Salida en secuencia: Cualquier regla. Estas dos reglas R1.2.3 y R1.2.4 est n encargadas de establecer el texto general a mosa trar a los usuarios en relaci n con una pista de grupo, del mismo modo ambas se pueden o combinar en secuencia para Numero de Pistas a Poner A continuaci n se muestran dos reglas posibles para elegir el n mero de ejercicios pista o u a poner asociados a un determinado ejercicio raz. Cdigo: R.1.3.1 o Descripcin: El nmero de ejercicios pista a poner es un o u mltiplo del nmero de conceptos del ejercicio raz donde u u el alumno tiene una carencia de conocimiento. Parametrizable: S. Por un lado est como parmetro el a a umbral bajo el que se considera que un determinado alumno tiene una carencia en un determinado concepto. Por otro lado est el nmero de ejercicios pista que se darn por a u a cada carencia en un determinado concepto.

296

Captulo 6. Aplicaci n de T cnicas de Web Sem ntica para Pistas Adaptativas o e a

Combinacin lineal: No. o Entradas en secuencia requeridas: Ninguna. Salida en secuencia: R1.4.6, R1.4.7 o una combinacin lineal o de ambas.

Cdigo: R.1.3.2 o Descripcin: Se elige el nmero aleatoriamente bajo una o u cierta probabilidad de aparicin de cada nmero. Si la o u probabilidad de aparicin de un determinado nmero es 1 o u entonces es un nmero fijo prefijado de antemano. u Parametrizable: S. Las probabilidades de aparicin de o cada nmero. u Combinacin lineal: No. o Entradas en secuencia requeridas: Ninguna. Salida en secuencia: R1.4.6, R1.4.7 o una combinacin lineal o de ambas.

Qu Problemas Pista Tener e A continuaci n se muestran una serie de reglas para seleccionar qu contenidos exactos o e de pistas tener. Cdigo: R.1.4.1 o Descripcin: Descarta aquellos ejercicios anotados como que o no pueden ser pista. Parametrizable: No. Combinacin lineal: No. o Entradas en secuencia requeridas: Ninguna. Salida en secuencia: Ninguna.

Cdigo: R.1.4.2 o Descripcin: Se elige aleatoriamente de entre los ejercicios o no descartados como pista, un nmero determinado como pistas. u Parametrizable: S. El nmero de ejercicios elegidos u aleatoriamente. Combinacin lineal: No. o Entradas en secuencia requeridas: Ninguna. Salida en secuencia: Cualquiera.

Cdigo: R.1.4.3 o Descripcin: Descartar a los ejercicios que son el propio o ejercicio raz.

6.5. Denici n de Reglas para el Sistema de Pistas o Parametrizable: No. Combinacin lineal: No. o Entradas en secuencia requeridas: Ninguna. Salida en secuencia: Cualquiera.

297

Cdigo: R.1.4.4 o Descripcin: Se seleccionan aquellos ejercicios pista tales o que tratan al menos sobre algn concepto que tambin es u e tratado por el ejercicio raz. Parametrizable: No. Combinacin lineal: No. o Entradas en secuencia requeridas: Ninguna. Salida en secuencia: Cualquiera.

Cdigo: R.1.4.5 o Descripcin: Se descartan como pistas aquellos ejercicios que o tratan algn concepto que no se trata en el ejercicio raz. u Parametrizable:No. Combinacin lineal: No. o Entradas en secuencia requeridas: Ninguna. Salida en secuencia: Cualquiera.

Cdigo: R.1.4.6 o Descripcin: Escoge para cada concepto donde un alumno o requiere pistas, aquellos ejercicios pista cuyo nivel de dificultad estimado por el profesor estn ms prximos al a a o nivel de conocimiento del alumno en dicho concepto. Parametrizable: S. El nmero de ejercicios pista a u proporcionar. Combinacin lineal: S. Con R.1.4.7 o Entradas en secuencia requeridas: Alguna regla del grupo R1.3 para indicar cuntos ejercicios pista hay que a seleccionar. Salida en secuencia: Cualquiera.

Cdigo: R.1.4.7 o Descripcin: Escoge para cada concepto donde un alumno o requiere pistas, aquellos ejercicios pista cuyo nivel de dificultad dado por la visualizacin de parmetros de la o a interaccin de los alumnos en el sistema estn ms prximos o a a o al nivel de conocimiento del alumno en dicho concepto. Parametrizable: S. Son los diferentes parmetros de la a

298

Captulo 6. Aplicaci n de T cnicas de Web Sem ntica para Pistas Adaptativas o e a

interaccin con el sistema que dan una idea de la dificultad o del sistema, y son todos los que aparecen como estadsticas de un problema en la ontologa sobre informacin general de o los ejercicios, tales como el nmero medio de intentos, u nmero de pistas solicitadas, porcentaje de xito, etc. u e Combinacin lineal: S. Con R.1.4.6 o Entradas en secuencia requeridas: Alguna regla del grupo R1.3 para indicar cuntos ejercicios pista hay que a seleccionar. Salida en secuencia: Cualquiera.

La combinaci n lineal de las reglas R.1.4.6 y R.1.4.7 implica que la decisi n sobre o o qu ejercicios se escogen como pistas est basada en la dicultad de dichos problemas, e a pero para estimar dicha dicultad se le puede dar mayor o menor peso a la estimaci n de o dicultad dada por el profesor a dicho problema (regla R.1.4.6) o a los datos estadsticos to mados sobre el problema que pueden dar una idea de la dicultad de dicho problema (regla R.1.4.7).

6.5.4.

Adaptaci n de las T cnicas de Pistas o e

En concreto, para cada problema raz al que se le podr n poner diferentes problemas a pista, se podr n adaptar las seis estrategias de pistas comentadas en el captulo anterior de a evaluaci n. Estas seis estrategias de pistas sobre las que se tienen que tomar las decisiones o son las siguientes: 1. Grupo de reglas R2.1. Aqu se elige entre penalizar en la puntuaci n por ver pistas o o no tener efecto en la puntuaci n por ver pistas. En ambos casos sin lmite m ximo para o a el usuario de pistas por seleccionar. Este tipo de reglas se podr aplicar con cualquier a otra excepto con las del grupo R.2.2. 2. Grupo de reglas R2.2. Aqu se elige entre penalizar en la puntuaci n por ver pistas o pero sin lmite m ximo de pistas a seleccionar, o no tener efecto en la puntuaci n a o por ver pistas pero con un lmite m ximo de pistas a seleccionar. Este tipo de reglas a requieren que tengamos una pista de grupo ya que para poder establecer un lmite m ximo de pistas a seleccionar necesitamos que la pista sea de tipo de grupo. Por lo a tanto es dependiente de que la salida de las reglas del grupo R1.1 sea una pista de grupo. 3. Grupo de reglas R2.3. Se elige entre tener efecto en la puntuaci n del ejercicio raz o por resoluci n de pistas o no tener efecto en la puntuaci n la resoluci n de pistas. Este o o o tipo de reglas se podr aplicar en combinaci n con cualquier otra. a o 4. Grupo de reglas R2.4. Se elige entre bonicar por resoluci n correcta de pistas o peo nalizar por resoluci n incorrecta de pistas. Este tipo de reglas s lo se podr aplicar si o o a la salida de las reglas de tipo R2.3 es la decisi n de tener efecto en la puntuaci n del o o ejercicio raz por resoluci n de pistas. o

6.5. Denici n de Reglas para el Sistema de Pistas o

299

5. Grupo de reglas R2.5. En este caso se selecciona entre proporcionar las pistas directamente o s lo mostrar las pistas ante intentos incorrectos de los alumnos. Este tipo de o reglas se podr aplicar con cualquier otra. a 6. Grupo de reglas R2.6. Aqu se elige entre poder seleccionar todas las pistas menos una o s lo poder seleccionar una pista. Este tipo de reglas requieren que tengamos una o pista de grupo ya que para poder establecer un lmite m ximo de pistas a seleccionar a necesitamos que la pista sea de tipo de grupo. Por lo tanto es dependiente de que la salida de las reglas del grupo R1.1 sea una pista de grupo. Para cada una de estas seis estrategias de pistas se elegir una t cnica de pistas concreta. a e Para cada una de ellas habr tres decisiones posibles: las dos t cnicas de pistas propuestas o a e bien no aplicar ninguna de ellas. Cada una de las seis estrategias de pistas es independiente as como las decisiones tomadas en cada una de ellas, excepto por las restricciones que se han comentado previamente. Por lo tanto por cada una de ellas se deber elegir qu t cnica de pistas se aplica o si no a e e se aplica ninguna. El proceder propuesto para cualquiera de las seis es muy similar, teniendo reglas an logas, es por ello que s lo se explica en gen rico para reglas gen ricas del tipo a o e e R2.X.Y siendo X el n mero de la estrategia de pistas a considerar, e Y el n mero de la regla u u at mica concreta. o A continuaci n se describen las reglas para la elecci n de una t cnica de pistas asociada o o e a una determinada estrategia de pistas: Cdigo: R.2.X.1 o Descripcin: Se elige la tcnica de pistas tal que produjo o e una mayor ganancia de aprendizaje cuando dicha tcnica se e aplic en el ejercicio raz. Se ve la tendencia gracias al o parmetro de la ontologa de la direccin de la ganancia, y a o la cantidad de ganancia y su significacin tambin gracias o e a los parmetros correspondientes de la ontologa. a Parametrizable: S. El umbral bajo el cual se proporciona dicha tcnica (por ejemplo puede ser tomado de la e significacin). o Combinacin lineal: S. Con cualquiera de R.2.X.1 o Entradas en secuencia requeridas: Depende. Se especifica en el texto de introduccin de este apartado. o Salida en secuencia: Cualquiera.

Esta primera regla es para considerar en la decisi n cuando sobre el problema raz se o aplicaron ambas t cnicas de pistas cual result mejor. e o Cdigo: R.2.X.2 o Descripcin: Se elige la tcnica de pistas tal que produjo o e una mayor ganancia de aprendizaje cuando dicha tcnica se e aplic siendo un determinado ejercicio pista con dicha o

300

Captulo 6. Aplicaci n de T cnicas de Web Sem ntica para Pistas Adaptativas o e a

tcnica. Se ve la tendencia en este caso del ejercicio e actuando como pista con esas tcnicas gracias al e parmetro de la ontologa de la direccin de la ganancia, y a o la cantidad de ganancia y su significacin tambin gracias o e a los parmetros correspondientes de la ontologa. a Parametrizable: S. El umbral bajo el cual se proporciona dicha tcnica (por ejemplo puede ser tomado de la e significacin). o Combinacin lineal: S. Con cualquiera de R.2.X.1 o Entradas en secuencia requeridas: Depende. Se especifica en el texto de introduccin de este apartado. Adicionalmente se o requiere saber qu problemas pista concretos lo sern del raz. e a Es decir que tiene una dependencia adicional del grupo de reglas R1.4 Salida en secuencia: Cualquiera.

Esta segunda regla es para considerar en la decisi n a los problemas pista que lo ser n o a del problema raz, cuando dichos problemas pista se han aplicado con otros problemas races en otras ocasiones utilizando las dos t cnicas de pistas, para ver cual result mejor. Esta regla e o habra que aplicarla para cada problema pista que se va a asignar al problema raz. A cada problema pista con respecto a su bondad en cada una de las t cnicas se le podra asignar un e peso, que sera como una combinaci n lineal a la hora de la decisi n. o o Cdigo: R.2.X.3 o Descripcin: Se elige la tcnica de pistas tal que produjo o e un determinado comportamiento en los alumnos cuando dicha tcnica se aplic en el ejercicio raz. Se ve e o la tendencia gracias a los parmetros correspondientes de a la ontologa referente a los comportamientos de los alumnos ante dicha tcnica. e Parametrizable: S. El umbral bajo el cual se proporciona dicha tcnica tomado de los parmetros de comportamiento e a de los ejercicios. Combinacin lineal: S. Con cualquiera de R.2.X.1 o Entradas en secuencia requeridas: Depende. Se especifica en el texto de introduccin de este apartado. o Salida en secuencia: Cualquiera.

Esta tercera regla es para considerar en la decisi n el comportamiento de los alumnos o en el ejercicio raz, cuando sobre dicho problema raz se han aplicado diferentes t cnicas de e pistas. De esta forma se puede ver la diferencia de comportamiento de los alumnos viendo los par metros de la ontologa, cuando se aplican diferentes t cnicas de pistas. De este modo, a e se puede elegir una t cnica u otra dependiendo de si el comportamiento de los alumnos es e en un sentido u otro.

6.5. Denici n de Reglas para el Sistema de Pistas o

301

Cdigo: R.2.X.4 o Descripcin: Se elige la tcnica de pistas tal que produjo o e un determinado comportamiento en los alumnos cuando dicha tcnica se aplic estando un determinado e o problema pista con las tcnicas de pistas consideradas e Se ve la tendencia gracias a los parmetros correspondientes a de la ontologa referente a los comportamientos de los alumnos ante dicha tcnica. e Parametrizable:S. El umbral bajo el cual se proporciona dicha tcnica tomado de los parmetros de comportamiento e a de los ejercicios. Combinacin lineal: S. Con cualquiera de R.2.X.1 o Entradas en secuencia requeridas: Depende. Se especifica en el texto de introduccin de este apartado. o Salida en secuencia: Cualquiera.

Esta cuarta regla es para considerar en la decisi n el comportamiento de los alumnos o en un ejercicio pista, considerando cual ha sido el comportamiento de los alumnos cuando dicho problema se aplic como pista en otros ejercicios races, con cada una de las t cnicas o e de pistas consideradas. De esta forma se puede ver la diferencia de comportamiento de los alumnos viendo los par metros de la ontologa, cuando se aplican diferentes t cnicas de a e pistas. De este modo, se puede elegir una t cnica u otra dependiendo de si el comportamiento e de los alumnos es en un sentido u otro. Cdigo: R.2.X.5 o Descripcin: Se elige la tcnica de pistas en funcin de la o e o importancia que el alumno estima para las dos tcnicas de e pistas puestas en contraposicin. o Parametrizable: S. El umbral bajo el cual se proporciona dicha tcnica tomado de la importancia estimada por el alumno e de las tcnicas de pistas. e Combinacin lineal: S. Con cualquiera de R.2.X.1 o Entradas en secuencia requeridas: Depende. Se especifica en el texto de introduccin de este apartado. o Salida en secuencia: Cualquiera.

Cdigo: R.2.X.6 o Descripcin: Se elige la tcnica de pistas en funcin del o e o comportamiento que el alumno dice va a tener para las dos tcnicas de pistas puestas en contraposicin. e o Parametrizable: S. El umbral bajo el cual se proporciona dicha tcnica tomado de la estimacin de comportamiento e o del propio alumno con respecot a las tcnicas de pistas. e Combinacin lineal: S. Con cualquiera de R.2.X.1 o

302

Captulo 6. Aplicaci n de T cnicas de Web Sem ntica para Pistas Adaptativas o e a

Entradas en secuencia requeridas: Depende. Se especifica en el texto de introduccin de este apartado. o Salida en secuencia: Cualquiera.

Cdigo: R.2.X.7 o Descripcin: Se elige la tcnica de pistas en funcin de la o e o preferencia del alumno con respecto a las dos tcnicas de e pistas puestas en contraposicin. o Parametrizable: S. El umbral bajo el cual se proporciona dicha tcnica tomado de la preferencia del alumno con respecto e a las tcnicas de pistas. e Combinacin lineal: S. Con cualquiera de R.2.X.1 o Entradas en secuencia requeridas: Depende. Se especifica en el texto de introduccin de este apartado. o Salida en secuencia: Cualquiera.

Cdigo: R.2.X.8 o Descripcin: Se elige la tcnica de pistas en funcin de la o e o justicia que el alumno estima para las dos tcnicas de e pistas puestas en contraposicin. o Parametrizable: S. El umbral bajo el cual se proporciona dicha tcnica tomado de la justicia estimada por el alumno e de las tcnicas de pistas. e Combinacin lineal: S. Con cualquiera de R.2.X.1 o Entradas en secuencia requeridas: Depende. Se especifica en el texto de introduccin de este apartado. o Salida en secuencia: Cualquiera.

Es de remarcar que estas cuatro ultimas reglas expuestas dependen de la opini n de los o alumnos, normalmente recogidas a trav s de encuestas, y que se almacenar n de acuerdo a e a la ontologa denida. Para la elecci n de una determinada t cnica de pistas u otra o incluso ninguna de ellas, o e todas estas ocho reglas se pueden combinar linealmente de forma que la decisi n nal sobre o cual se elige sea fruto de un compendio de informaci n que involucra diferentes factores, y a o cada uno de dichos factores se le asignara un peso asociado seg n su importancia. As pues u la decisi n nal de si usar una t cnica u otra podra venir dado de tener en cuenta lo siguiente: o e Por un lado la materia abarcada, el dise o de los ejercicios, de las pistas, etc. Esto n se tendra en cuenta en la decisi n gracias a ver qu t cnica de pistas produjo una o e e mayor ganancia de aprendizaje en los alumnos cuando el problema raz lo fue en otras ocasiones, y tambi n cuando los problemas pista seleccionados lo fueron en otras e ocasiones. Tambi n se tendra en cuenta en la decisi n gracias a ver qu t cnica de e o e e pistas produjo un comportamiento m s deseado en los alumnos cuando el problema a

6.6. Ejemplo de Adaptaci n de Pistas o

303

raz lo fue en otras ocasiones, y tambi n cuando los problemas pista seleccionados lo e fueron en otras ocasiones. Por otro lado, las preferencias, gustos, criterios, etc. de los alumnos en relaci n con las o t cnicas de provisi n de pistas, que muestren a trav s de una encuesta. Para la elecci n e o e o de la t cnica de provisi n de pistas no se tendra en cuenta directamente el nivel de e o los alumnos en los diferentes conceptos, pero sin embargo este nivel de los alumnos en los diferentes conceptos s que se tendra en cuenta a la hora de la elecci n de los o contenidos de pistas como se ha visto anteriormente.

6.5.5. Adaptaci n de las penalizaciones por intentos incorrectos o

Otro de los par metros posibles de adaptaci n es la cantidad de puntos que se quitan en a o un problema cuando se realiza un intento incorrecto. A continuaci n se muestran dos reglas o para este prop sito. o Cdigo: R.3.1.1 o Descripcin: Se elige segn el nmero medio de intentos para o u u llegar a la solucin correcta. o Parametrizable: S. Se asigna una determinada puntuacin a o los alumnos correspondiente al nmero medio de intentos. u Combinacin lineal: S, con R.3.1.2 o Entradas en secuencia requeridas: Ninguna. Salida en secuencia: Cualquiera. Cdigo: R.3.1.2 o Descripcin: Se elige segn el % de xito de la pregunta. o u e Parametrizable: S. Se asigna una determinada puntuacin a o los alumnos segn el % de xito en dicha pregunta. u e Combinacin lineal: S, con R.3.1.1 o Entradas en secuencia requeridas: Ninguna. Salida en secuencia: Cualquiera. Estas dos reglas se pueden combinar linealmente para hacer que el criterio de selecci n o de la puntuaci n a quitar por intento incorrecto est basada en el % de exito de contestaciones o e de la pregunta, y tambi n del n mero medio de intentos que los alumnos realizan. e u

6.6.

Ejemplo de Adaptaci n de Pistas o

En esta secci n se presenta un ejemplo concreto de adaptaci n de pistas que se ha impleo o mentado en el sistema. El ejemplo incluye la implementaci n en el lenguaje N3 de algunas o de las reglas at micas explicadas anteriormente, un caso especco de c mo combinarlas o o para dar lugar a una regla de adaptaci n personalizada m s compleja, la forma de ejecutaro a las usando el razonador CWM, y para unos problemas y usuarios concretos los resultados obtenidos en el sistema fruto de su ejecuci n. o

304

Captulo 6. Aplicaci n de T cnicas de Web Sem ntica para Pistas Adaptativas o e a

Figura 6.11: Algunos ejercicios iniciales considerados en XML

6.6.1.

Ejercicios Iniciales Considerados

En el ejemplo presentado, tenemos siete ejercicios iniciales (nombrados desde P1 a P7). Cada ejercicio est escrito en formato XML de acuerdo a la especicaci n de pistas denida. a o La gura 6.11 muestra cuatro ejercicios iniciales en XML (P1, P5, P6, y P7). Es intuitivo averiguar como son estos ejercicios mirando a su descripci n XML. o

6.6.2.

Ejercicios Finales Considerados

Cada ejercicio inicial Pi puede evolucionar en el tiempo en caso de que sea un ejercicio raz. La evoluci n depender del usuario que pide el ejercicio. El ejercicio inicial raz se o a transforma dando lugar a un ejercicio evolucionado Pe. Pe contendr al ejercicio Pi como a raz, y a otros ejercicios pista Ph como pistas. Por ejemplo, consideremos algunos ejemplos de evoluciones para el ejercicio inicial raz P1. La gura 6.12 muestra cuatro evoluciones diferentes del ejercicio raz inicial P1. En cada caso, P1 es el ejercicio raz, pero este ejercicio tiene insertados a otros ejercicios como pistas. Las pistas est n delimitadas con la etiqueta a <hints:hint>. Los cuatro ejemplos de evoluci n presentados en la gura 6.12 son los que se o utilizar n en las siguientes subsecciones. Tambi n, estos ejemplos ejecut ndose pueden ser a e a vistos en las siguientes guras de las pr ximas secciones. o Es de resaltar que la gura 6.12 representa una secuencia de pistas, lo cual viene delimitado mediante la etiqueta <hintSeq> y su ejecuci n puede ser vista en la gura 6.12. o Pero hay otras posibilidades de tipos de pistas. Por ejemplo los ejercicios pista podran ser combinados para formar una pista de grupo (con la etiqueta <hintGroup>). En tal caso, las

6.6. Ejemplo de Adaptaci n de Pistas o

305

Figura 6.12: Algunos ejercicios nales en XML como evoluci n de P1 como raz o

306

Captulo 6. Aplicaci n de T cnicas de Web Sem ntica para Pistas Adaptativas o e a

pistas no seran mostradas al usuario directamente sino con una meta-informaci n previa de o cada pista.

6.6.3.

Anotaciones Sem nticas a

En esta subsecci n se muestra un ejemplo de las anotaciones sem nticas en N3 de tres o a aspectos diferentes de nuestro entorno de pistas: los conceptos del curso, los ejericios/pistas, y los usuarios. S lo se muestran las anotaciones requeridas para nuestro ejemplo concreto o (es decir la informaci n que es requerida por el razonador sem ntico de acuerdo a las reglas o a sem nticas utilizadas), por lo que no se utiliza toda la potencialidad de expresividad de las a ontologas denidas presentadas anteriormente. Materias del Curso De acuerdo con la ontologa de conceptos de un curso, para los conceptos de la materia de IPC presentados en la gura 6.2, ya hemos visto que un chero en N3 describira dicho diagrama. Cada nodo denota un concepto de IPC lo que se expresara como por ejemplo semget a :IPCConcept. Cada echa denota que alg n concepto tiene como parte otro y esto u es expresado como por ejemplo :Functions dc:hasPart :semget.. Realmente para el tipo de reglas de razonamiento utilizadas en el ejemplo, no es necesario anotar los conceptos con este ultimo tipo de relaci n. o Ejercicios y Pistas La anotacion sem ntica en N3 del problema P1 es la siguiente, centr ndonos en los a a par metros que nos interesan para los siguientes razonamientos a trav s de reglas: a e

p:P1 p:P1 p:P1 p:P1

a p:Problem. dc:subject ipc:errorCode, ipc:closeRemovesem. p:mayberoot 1; p:maybehint 0. p:difficulty "8".

De hecho el ejercicio puede ser anotado con m s informaci n de acuerdo a la ontologa a o denida, pero no se realiza porque no es necesaria m s informaci n para las reglas de razoa o namiento. Finalmente, se describe la informaci n relevante anotada sobre los otros seis ejercicios. o Dicha informaci n se necesita para alcanzar las conclusiones del ejemplo de razonamiento. o P2 trata sobre el concepto semctl; P3 trata sobre los conceptos semop y closeRemoveSem; P4 no puede ser una pista; P5 trata sobre el concepto errorCode, puede ser una pista, y tiene una dicultad de 1; P6 trata sobre el concepto errorCode, puede ser una pista y tiene una dicultad de 5; nalmente P7 trata sobre el concepto closeRemoveSem, puede ser una pista y tiene una dicultad de 3.

6.6. Ejemplo de Adaptaci n de Pistas o Usuarios/Conceptos Usuario 1 (U1) Usuario 2 (U2) Usuario 3 (U3) Usuario 4 (U4) Concepto closeRemoveSem 9 2 0 7 Concepto errorCode 0 0 10 4

307

Tabla 6.1: Niveles de conocimiento de cuatro usuarios en dos conceptos del laboratorio de IPC. Usuarios Tal como se estableci en una secci n anterior los usuarios son anotados utilizando un o o subconjunto muy limitado de la especicaci n IEEE PAPI, que se corresponde con la anoo taci n del nivel de los alumnos en los diferentes conceptos de una materia. o A continuaci n, se presentan las anotaciones del usuario 1 (U1) para los dos conceptos o del curso utilizado en la regla de ejemplo (que son errorCode y closeRemoveSem). le:errorCodeU1 a papi:Performance. le :closeRemoveSemU1 a papi:Performance. :U1 papi:hasPerformance le:errorCodeU1. :U1 papi:hasPerformance le:closeRemoveSemU1. le:errorCodeU1 papi:learning_competency ipc:errorCode. le:errorCodeU1 papi:performance_value "0". le:closeRemoveSemU1 papi:learning_competency ipc:closeRemoveSem; papi:performance_value "9". La tabla 6.1 muestra el nivel de conocimiento de 4 usuarios en el sistema para los mismos dos conceptos. Para ello se hacen anotaciones similares a la presentada.

6.6.4. Uso de N3 y CWM para Componer una Regla de Pistas Adaptativa

En nuestro entorno las reglas se expresan en el lenguaje N3. Las reglas establecen los criterios de adaptaci n y evoluci n para los ejercicios con pistas. El razonador de Web sem ntio o a ca CWM ejecuta las reglas e inere conclusiones bas ndose en los datos anotados sobre los a conceptos de las materias, los ejercicios, las pistas, los usuarios, etc. En el ejemplo presentado, hay un total de siete ejercicios iniciales (tal como se present en una subsecci n anterior). Los ejercicios anotados como que pueden ser raz son los o o ejercicios que los usuarios pueden solicitar accediendo a la URL adecuada. Cada uno de los ejercicios que pueden ser raz evolucionar n de forma separada. Habr tantas evoluciones a a posibles como la multiplicaci n del n mero de usuarios por el n mero de ejercicios que o u u pueden ser raz. En este caso, suponemos que el usuario s lo puede solicitar P1 de entre los o siete problemas considerados, ya que es el unico anotado como que puede ser raz. Cada ejercicio anotado como que puede ser pista, es un candidato de ser parte de una pista de otro problema. Por lo tanto, los ejercicios iniciales son combinados o juntados para

308

Captulo 6. Aplicaci n de T cnicas de Web Sem ntica para Pistas Adaptativas o e a

Figura 6.13: Regla de ejemplo compuesta de varias reglas at micas o

formar ejercicios con pistas que evolucionan. La evoluci n de un ejercicio inicial ser dio a ferente dependiendo del usuario que solicita el ejercicio, y tambi n dependiendo de otras e condiciones que est n marcadas en las reglas de razonamiento. a La regla que hemos elegido como ejemplo se corresponde con el siguiente diagrama de la gura 6.13 que combina varias de las reglas at micas presentadas en la anterior secci n. o o La numeraci n de las reglas en el diagrama se corresponde con la misma numeraci n de la o o secci n anterior sobre denici n de reglas para el sistema de pistas. o o Esta es tan s lo una de las m ltiples combinaciones que se pueden realizar para cono u formar una regla como composici n de las reglas at micas sobre pistas presentadas en una o o secci n anterior. Adem s, es de destacar que el mismo efecto nal de la regla puede ser cono a seguido cambiando el orden de ciertos elementos, respetando las normas de composici n o de reglas de la teora general de reglas particularizadas en este caso para las pistas. En esta composici n de regla s lo tenemos una secuenciaci n de una serie de reglas at micas, no o o o o habiendo ninguna relaci n de combinaci n lineal. As mismo, una de las reglas recibe como o o entradas dos salidas de otras dos reglas. La regla presentada en el diagrama 6.13 se aplica cada vez que un usuario solicita un ejercicio que est anotado con la propiedad de poder ser raz. Podemos ver a partir de las a reglas at micas para pistas denidas, que la composici n de esta regla tendr el siguiente o o a efecto global: El ejercicio raz solicitado tendr como pista una secuencia de ejercicios pista. Por cada a concepto del curso cubierto por el ejercicio raz inicial solicitado en el cual el alumno tenga una carencia (nivel de conocimiento del alumno menor a 8 en ese concepto), se le asignara un ejercicio inicial como pista para dicho concepto. El ejercicio asignado debe estar anotado como que puede ser una pista, debe cubrir tal concepto donde el alumno tiene la carencia, pero no debe cubrir otros conceptos nuevos que no est n presentes en el ejercicio a inicial raz que se ha solicitado. Adicionalmente, la diferencia entre la dicultad estimada por el profesor para el ejercicio y el nivel de conocimiento del alumno en dicho concepto, debe ser la menor entre todos los ejercicios pista posibles que cumplan los anteriores criterios. Finalmente, la pista que se obtiene como resultado es una secuencia de la combinaci n o de los diferentes ejercicios pista asignados para cada concepto del cual el alumno tiene una carencia A continuaci n, se ir n visualizando las diferentes reglas at micas que intervienen, proo a o porcion ndose su c digo en N3 y viendo de esta forma tambi n c mo cumplen los requisia o e o tos de la teora de reglas. As mismo, se mostrar n las diferentes ejecuciones del razonador a CWM en cada una de las reglas para conseguir los objetivos deseados.

6.6. Ejemplo de Adaptaci n de Pistas o Juntar Todas las Anotaciones de Ejercicios

309

Esto no es una regla en s mismo sino que es para reunir la informaci n anotada de los o diferentes problemas en un s lo chero. El comando en CWM a ejecutar es el siguiente: o cwm ListProblems > ProblemsUnion.n3 ListProblems es una lista de ejercicios anotados en N3. Nuestra implementaci n actual o puede localizar autom ticamente todas las anotaciones de ejercicios que est n en diferentes a a localizaciones (por ejemplo se puede indicar obtener todas las anotaciones de ejercicios que est n bajo un mismo directorio especco). Con esta lnea, CWM junta las anotaciones de a todos los ejercicios considerados (representados por ListProblems) y se escribe el resultado en el chero ProblemsUnion.n3 (el cual contiene la uni n de todas las anotaciones de todos o los ejercicios considerados). Considerar como Posibles Pistas a Todos los Problemas Esta no es una de las reglas descritas en el anterior diagrama, sino que sirve para preparar el paso por el resto de reglas. Esta regla se encuentra en el chero Rule1.n3 (hay que notar que las deniciones de espacios de nombres de todos los cheros est n omitidas): a @forAll :problem, :hint. { :problem a p:Problem. :hint a p:Problem. :problem p:isinexecution 1 . } log:implies { :problem p:candidatehintr :hint .} . Esta regla indica que para un ejercicio en ejecuci n (la propiedad isinexecution es anoo tada por el propio sistema indicando el ejercicio raz que un usuario especco ha solicitado en ese momento), sus ejercicios pista candidatos son cualquier otro ejercicio. El comando de CWM que es ejecutado es el siguiente: cwm ProblemsUnion.n3 Rules1.n3 --think --filter="Filter1.n3" > conclusions1.n3 Por lo tanto, se toman los datos anotados de los ejercicios (ProblemsUnion.n3), y CWM razona sobre estos datos (opci n think) de acuerdo con la regla escrita (Rules1.n3). Los o resultados se obtienen en el chero conclusions1.n3. La opci n lter est puesta con el o a n de obtener un chero conclusions1.n3 que contenga s lo la informaci n ltrada por las o o reglas de Filter1.n3. Con esto obtenemos las conclusiones que deseamos. Este chero de ltro s lo obtendr cu les son las pistas candidatas y cu les las descartadas para el ejercicio o a a a raz. Esto es en general, ya que este mismo ltro se utilizar en diferentes casos de llamadas a a CWM. Pero para este caso particular como la regla en Rules1.n3 no marca nada como pista descartada, acabar ltrando s lo cu les son las pistas candidatas. El chero Filter1.n3 es el a o a siguiente:

310

Captulo 6. Aplicaci n de T cnicas de Web Sem ntica para Pistas Adaptativas o e a

@forAll p:problem, p:hint. { p:problem p:candidatehintr p:hint } log:implies { p:problem p:candidatehint p:hint }. { p:problem p:discardedhint p:hint } log:implies { p:problem p:discardedhint p:hint }. Regla R1.4.1: Descartar Ejercicios que no Pueden Actuar como Ejercicios Pista Esta regla se dene en el siguiente chero Rule1.4.1.n3: @forAll :problem, :hint. { :problem p:candidatehint :hint.} log:implies{ @forAll :f. { <file:conclusions1.n3> log:semantics :f . :f log:notIncludes { :problem p:discardedhint :hint } . } log:implies {:problem p:possiblehint :hint . }. }. @forAll :problem, :hint. { :problem p:possiblehint :hint . :hint p:maybehint 0 . } log:implies { :problem p:discardedhint :hint .}. En primer lugar, en dicha regla se marcan como posibles pistas aquellas que est n anoa tadas como candidatas pero que no han sido descartadas. Este modo de proceder inicial es com n a muchas de las reglas que veremos. Esto es para garantizar que una regla pueda ser u combinadas con muchas otras, en concreto con un conjunto de reglas tales que devuelvan un conjunto de pistas candidatas y otro de pistas a descartar. Aunque en este caso concreto de combinaci n de varias reglas da lo mismo poner esta primera parte (porque inicialmente o de la anterior regla no se descarta ninguna pista y por lo tanto las pistas posibles coinciden con las candidatas), pero podran hacerse otras combinaciones donde esto fuera necesario. Para habilitar estas otras formas de combinar esta regla con otras, es por lo que se pone esta primera parte en la regla. El comando de ejecuci n de CWM es el siguiente: o cwm ProblemsUnion.n3 Rules1.4.1.n3 --think --filter="Filter2.n3" > conclusions2.n3 Es de observar que el chero de ltro utilizado en este caso es ligeramente diferente al del apartado anterior, ya que se toman aquellas sentencias tales que son posibles pistas, y se renombran como pistas candidatas. Esto es para que la salida de las conclusiones de esta regla est marcada como pistas candidatas, ya que esto ser la entrada de otras reglas, e a y debemos seguir siempre el mismo criterio de propiedad. El chero Filter2.n3 se muestra a continuaci n: o

6.6. Ejemplo de Adaptaci n de Pistas o @forAll p:problem, p:hint. { p:problem p:possiblehint p:hint } log:implies { p:problem p:candidatehint p:hint }. { p:problem p:discardedhint p:hint } log:implies { p:problem p:discardedhint p:hint }. Regla R1.4.3: Descartar Ejercicios que son el Mismo Ejercicio Raz En este caso la regla se dene en el chero Rule1.4.3.n3 de la siguiente forma: @forAll :problem, :hint. { :problem p:candidatehint :hint.} log:implies{ @forAll :f. { <file:conclusions2.n3> log:semantics :f . :f log:notIncludes { :problem p:discardedhint :hint } . } log:implies {:problem p:possiblehint :hint . }. }. @forAll :problem, :hint. { :problem p:possiblehint :hint . :problem log:notEqualTo :hint. } log:implies { :problem p:candidatehintr :hint .}. Y su ejecuci n en CWM es as: o cwm ProblemsUnion.n3 conclusions2.n3 Rules1.4.3.n3 --think --filter="Filter1.n3" > conclusions3.n3

311

Todo es muy intiutivo y an logo a los casos anteriores, utiliz ndose uno de los ltros ya a a vistos. Destaca la presencia de la propiedad log:notEqualTo que se utiliza para comprobar que un ejercicio no es el mismo que otro. Regla R1.4.4: Seleccionar Ejercicios que Tratan algun Concepto tambi n Tratado en el e Ejercicio Raz En este caso la regla se dene en el chero Rule1.4.4.n3 de la siguiente forma: @forAll :problem, :hint. { :problem p:candidatehint :hint.} log:implies{ @forAll :f. { <file:conclusions3.n3> log:semantics :f . :f log:notIncludes { :problem p:discardedhint :hint } . } log:implies {:problem p:possiblehint :hint . }. }.

312

Captulo 6. Aplicaci n de T cnicas de Web Sem ntica para Pistas Adaptativas o e a

@forAll :problem, :concept1, :hint. { :problem p:possiblehint :hint. :concept1 a ipc:IPCConcept. :hint dc:subject :concept1. :problem dc:subject :concept1; } log:implies { :problem p:candidatehintr :hint .} . De forma que si existe una pista tal que trata sobre un determinado concepto, el cual tambi n es tratado en el problema inicial, entonces dicho problema es candidato a ser pista del e problema inicial, en base a la similitud de conceptos. Aquellos problemas que no cumplan esta propiedad dejar n de ser candidatos a ser pista. a La ejecuci n en CWM de esta reglas es as: o cwm ProblemsUnion.n3 conclusions3.n3 Rules1.4.4.n3 IPC-ont.n3 ProblemsUnion.n3 --think --filter="Filter1.n3" > conclusions4.n3 En este caso se incluye en los razonamientos las anotaciones sobre los diferentes problemas (en ProblemsUnion.n3), ya que se necesita saber qu conceptos son tratados por cada e problema. Tambi n se incluyen las anotaciones sobre los diferentes conceptos para vericar e cu les son los conceptos a tratar. a Regla R1.4.5: Descartar como Pistas aquellos Ejercicios que Tienen alg Concepto un que no est en el Ejercicio Raz a Como un mismo ejercicio puede tratar sobre alg n concepto que tambi n lo trata el u e ejercicio raz, pero adem s tambi n alg n concepto no tratado por el ejercicio raz, entonces a e u es posible descartar este tipo de ejercicios. Esto se hace con la siguiente regla denida en el chero Rule1.4.5.n3: @forAll :problem, :hint. { :problem p:candidatehint :hint.} log:implies{ @forAll :f. { <file:conclusions4.n3> log:semantics :f . :f log:notIncludes { :problem p:discardedhint :hint } . } log:implies {:problem p:possiblehint :hint . }. }.

@forAll :concept2, :t. { :problem p:possiblehint :hint. :concept2 a ipc:IPCConcept. :hint dc:subject :concept2. <file:ProblemsUnion.n3> log:semantics :t .

6.6. Ejemplo de Adaptaci n de Pistas o :t log:notIncludes { :problem dc:subject :concept2 } .} log:implies { :problem p:discardedhint :hint. }. La ejecuci n en CWM de esta regla es as: o

313

cwm ProblemsUnion.n3 conclusions4.n3 IPC-ont.n3 Rules1.4.5.n3 ProblemsUnion.n3 --think --filter="Filter1.n3" > conclusions5.n3 R1.3.1: Elecci n del Numero de Pistas en Funci n de las Necesidades del Usuario o o La siguiente regla localizada en el chero Rule1.3.1.n3, tiene en cuenta el nivel de conocimiento de los alumnos en cada uno de los conceptos abordados por el problema raz, para seleccionar el n mero de ejercicios pista que se proporcionar n: u a @forAll :student, :problem, :knowledge, :concept, :level. { :problem p:isinexecution 1 . :problem dc:subject :concept . :student papi:hasPerformance :knowledge. :knowledge papi:learning_competency :concept. :knowledge papi:performance_value :level. :level math:lessThan "8" .} log:implies{ :student le:requireshint :concept. }. Esta regla establece los conceptos en los cuales un alumno tiene un nivel de conocimiento menor a 8, y estos conceptos se marcan como conceptos en los que el alumno requiere pistas. De nuevo las conclusiones alcanzadas se ltran para obtener s lo lo necesario para o otras reglas que pueden utilizar el resultado de esta. De esta forma se La ejecuci n en CWM o de esta regla es as: cwm ProblemsUnion.n3 currentUser.n3 Rules1.3.1.n3 ProblemsUnion.n3 --think --filter="Filter1.n3" > conclusions6.n3 Es de notar que el resultado nal de esta regla tras la ejecuci n de CWM con su ltrado o respectivo, no es cu les pistas son candidatas y cu les descartadas, como vena siendo haa a bitual en las anteriores reglas. En su lugar, el resultado es sobre qu conceptos un usuario e require pistas. R1.4.6: Escoger Pistas con Nivel de Dicultad Similar al Nivel del Alumno La siguiente regla localizada en el chero Rule1.4.6.n3 sirve para el prop sito de descaro tar pistas que no tienen un nivel de dicultad pr ximo al nivel de conocimiento del alumno o en el concepto del que tiene una carencia:

314

Captulo 6. Aplicaci n de T cnicas de Web Sem ntica para Pistas Adaptativas o e a

@forAll :problem, :hint. { :problem p:candidatehint :hint.} log:implies{ @forAll :f. { <file:conclusions5.n3> log:semantics :f . :f log:notIncludes { :problem p:discardedhint :hint } . } log:implies {:problem p:possiblehint :hint . }. }. @forAll :student, :problem, :hint, :concept. { :problem p:possiblehint :hint. :hint dc:subject :concept. :student a le:Learner. } log:implies{ @forAll :f. { <file:conclusions6.n3> log:semantics :f . :f log:notIncludes { :student le:requireshint :concept } . } log:implies {:problem p:discardedhint :hint . }. }. @forAll :student, :problem, :concept, :hint1, :hint2, :knowledge, :level, :dif1, :dif2, :a1, :a2, :b1, :b2. { :student a le:Learner; le:requireshint :concept. :problem p:possiblehint :hint1; :hint2. :hint1 dc:subject :concept; p:difficulty :dif1. :hint2 dc:subject :concept; p:difficulty :dif2. :student papi:hasPerformance :knowledge. :knowledge papi:learning_competency :concept. :knowledge papi:performance_value :level. (:level :dif1) math:difference :a1. (:level :dif2) math:difference :a2. :a1 math:absoluteValue :b1. :a2 math:absoluteValue :b2. :b2 math:lessThan :b1.} log:implies { :problem p:discardedhint :hint1.}. Es de notar que en esta regla tenemos como entrada dos cheros de conclusiones obtenidos anteriormente. Por un lado, el chero conclusions5.n3 que indica las pistas candidatas y las descartadas. Por otro lado, el chero conclusions6.n3 que indica los conceptos para los que un usuario requiere pistas. La primera parte de la regla es la com n a muchas de u las reglas y sirve para quedarnos de entre las pistas candidatas con aquellas que no se han descartado. Como ya hemos visto, es como una interfaz inicial para que las reglas puedan anidarse en secuencia. La segunda parte de la regla descarta como pistas aquellos ejercicios que cubren al menos un concepto para el cual el alumno no requiere una pista. Finalmen te, en la ultima parte de la regla se calcula la diferencia en valor absoluto entre el nivel de conocimiento del alumno en un determinado concepto y la dicultad estimada por el profe-

6.6. Ejemplo de Adaptaci n de Pistas o

315

sor para cada ejercicio que cubre dicho concepto. Esto se hace para todos los conceptos del problema inicial para los que el alumno requiere una pista. Tan s lo los ejercicios pista con o la menor diferencia para cada concepto no son marcados como descartables. El comando CWM a ejecutar es el siguiente: cwm conclusions5.n3 conclusions6.n3 currentuser.n3 ProblemsUnion.n3 Rules3.n3 --think --filter="Filter2.n3" > conclusions7.n3 R1.1.1: Selecci n de una Pista de Tipo Secuencia o Para este tipo de regla no hace falta realizar ning n razonamiento, ya que implica la u selecci n autom tica de que el tipo de pista a utilizar ser de secuencia. Por lo tanto no hay o a a que invocar al razonador CWM, sino que la conclusi n se alcanza autom ticamente, y por lo o a tanto la regla s lo la compone un chero conclusions8.n3 con la siguiente lnea que indica o que el tipo de pista es la pista con c digo 1 correspondiente a la pista de secuencia. o :problem p:typehint 1; Adaptaci n al Formato del Transformador de N3 a XDOCs o Finalmente, las conclusiones alcanzadas en los cheros conclusions7.n3 y conclusions8.n3 tienen toda la informaci n necesaria para poder representar un ejercicio con pistas o para un determinado usuario, ya que contienen exactamente que ejercicios pista se le van a proporcionar al usuario y el tipo de pista que se le va a mostrar. Cabe por lo tanto como paso nal, transformar esta informaci n al formato nal entendible por el conversor de o N3 al XML denido en nuestra especicaci n de pistas, as se forma el chero nal cono clusions9.n3. Dicho chero nal en N3 se transformar mediante el conversor en XML, y a dicho XML es el que ser ejecutado en nuestro reproductor de pistas y visualizado va Web a por los alumnos. Ejecuci n del Ejercicio P1 por parte de los Diferentes Usuarios o Consideremos que el problema P1 es solicitado por los cuatro usuarios presentados previamente. Por lo tanto el problema P1 ser marcado como en ejecuci n para todos los usuaa o rios. Veremos c mo este ejercicio inicial P1 evoluciona a lo largo del tiempo en base a la o regla de razonamiento de ejemplo. Se mostrar como los ejercicios nales en que se transfora ma son una combinaci n de los ejercicios iniciales. El chero conclusions9.n3 contendr la o a secuencia de pistas (en N3) para un determinado usuario para este problema inicial P1. P2, P3, y P4 no son nunca seleccionados como pistas de P1 con independencia del usuario que solicita P1. Esto es porque P4 est anotado como que no puede ser una pista, P2 trata sobre a un concepto (semctl) que no est cubierto en P1, y P3 trata sobre un concepto cubierto en a P1 pero tambi n de otro que no est cubierto (semop). Para U1, se le presenta s lo P5 como e a o pista (gura 6.14, parte a). Esto es porque entre los conceptos tratados en P1, el usuario U1 s lo tiene una carencia en errorCode. P5 es elegido como pista en lugar de P6 porque a o pesar del hecho de que ambos tratan el concepto errorCode, como el usuario U1 tiene un

316

Captulo 6. Aplicaci n de T cnicas de Web Sem ntica para Pistas Adaptativas o e a

Figura 6.14: Diferentes ejercicios con pistas para P1 dependiendo del usuario que lo solicita nivel de 0 en ese concepto entonces est m s cercano a la dicultad de P5 (que es 1) que a a a la de P6 (que es 5). Para el usuario U2 se le presentan dos pistas en secuencia (gura 6.14, parte b) porque dicho alumno tiene una carencia en los dos conceptos y los dos ejercicios pista proporcionados son P5 (sobre errorCode; de nuevo el nivel de conocimiento del alumno que es 2 est m s cercano a la dicultad de P5 que a la de P6) y P7 (sobre closeRemoveSem). Para el a a usuario U3 se le presenta s lo una pista que es P7 (gura 6.14, parte c). Finalmente, para el o usuario U4 se le presentan dos pistas en secuencia, que son P6 y P7 (gura 6.14, parte d). El ejercicio P6 es seleccionado en lugar de P5 porque el nivel de conocimiento del alumno para el concepto correspondiente (7) est m s cercano con respecto a la dicultad del problema a a

Chapter 7

Conclusions
This chapter presents the conclusions of this PhD. First of all, it provides a list of the more relevant contributions found in this PhD, next a summary of the main applications related to the contributions, and nally a discussion about the limits of the contributions.

7.1. List of Contributions

The contributions of this PhD can be divided in four general blocks: theory of the elearning modeling, new specication of hints for problem-based learning, evaluation of the hinting model and the implemented hinting tutor, and application of semantic Web techniques for achieving adaptive hints. For each one of these four general blocks, there is a subsection explaining the specic contributions.

7.1.1. Theory of the E-learning Modeling

The list of contributions regarding the theory of the e-learning modeling is the following: It provides a global view of the e-learning modeling that includes a classication of what issues to model, how to model such issues, and the relationships between different concepts. This global view takes into account existing work about software and Web modeling from software and Web Engineering sciences, as well as existing works on e-learning modeling. It tries to give a general overview about e-learning modeling that allows researchers to have a clear idea about the topic. It provides an ideal vision of the e-learning that includes interoperability between different issues, authoring tools that are easy to use by teachers without high technological expertise, enabling the best practices to improve students learning gains, maintainable resources, etc. As part of this contribution, there are some illustrations with specic case studies. This ideal view takes into account previous e-learning studies. Study of the relationships between main LMS functionalities and present e-learning specications, determining some lacks. For each main LMS service or functionality, 317

318

Chapter 7. Conclusions its relationship to present e-learning specications is provided. In addition, some lacks of educational standards for some LMS services are determined, explaining the need of standardization for such functionalities. Among the possible categories in which we divided the different LMS functionalities, are the following: LMS services for which it has no sense to dene a new data specication within an LMS course, LMS services that are covered completely by one or more specications, LMS services that are covered partially by one or more specications, and LMS services that are not covered by present specications. A proposal of how to use the IMS-CP specication in order to dene the general conguration information of an LMS course, how to set the layout, or how to describe the structure of the different resources, and services of an LMS. This is a different use to the regular one for IMS-CP which is for assembling different contents and resources of a course. A proposal of a modied UML-based model for describing courses in LMSs. This proposal allows describing complete LMS courses graphically based on UML class and package diagrams with some modications with respect to UML in order to cover all the needs. A proposal of a combined graphical and textual model for describing rules for adaptive and personalized e-learning systems. In addition, this model denes best practices on the denition of such types of rules, implying rules that are atomic, reusable, interchangeable, interoperable, and that can be combined to form bigger rules. The modeling method enables a way for describing individual rules with such features in a formal, clear, and easy way; for grouping them in subsets; and for determining in a clear way how they can be combined or interchanged. Denition and design of new authoring tools which can be presented as modelings close to teachers. This contribution has been made in collaboration with two Masters Thesis [14], [15]. The nal results were two software authoring tools which are easy to use by teachers without high technological knowledge. One of the authoring tools integrates several new dened specications for LMS educational services for which there were some lacks of e-learning specications (such as forums, assignments, or subgroups), and can generate XML les according to such new dened specications. The another implemented tool was CourseEditor, a course authoring tool that let a teacher describe the complete planning of a course passing through its different phases (objectives, contents, methodology and evaluation) and to make graphical representations in an easy way different aspects of IMS-LD. The tool generates les compatible with the IMS-LD e-learning specication and also other XML les with extra information about the course. A proposal of a new architecture for combining semantic Web techniques with ITSs. There are several advantages in using semantic Web techniques with ITSs, which justies its combination. At present, few works have discussed architectures for enabling this combination. Some of the state of the art works show Web service-based architectures to enable semantic Web methods in adaptive hypermedia. Our architecture

7.1. List of Contributions

319

approach presents a different point of view, because it focuses on the relationship between semantic Web reasoners and existing ITSs, explaining its architectural elements, design criterions, implementation problems, etc. Moreover, a few works exist which explain specic system solutions but they do not cover the different architectural design criterions and implementation problems. In this work, we contribute to these issues, explaining an architecture for combining semantic Web with ITSs that is general enough. Furthermore, we explain some challenges that semantic Web techniques present when applied with ITSs; those challenges require architecture implementation decisions, and we give some recommendations. A proposal of an e-learning development process. A development process in elearning has been proposed which includes an extensive list of elements to be modeled in e-learning in the correct order. By means of this development process, a course can be created in an ordered and formalized way and it can also be improved in the next phases of the life cycle, taken into account the evaluation process. A study of a general plan for the evaluation of the different aspects involved in elearning. Some general guidelines are provided in order to execute the evaluation of different e-learning issues. Based on it, the e-learning models and its use can be improved. A specic evaluation for rating the importance of different LMS functionalities, made as a experience in the context of the Computer Architecture Laboratory course. In this way, different LMS functionalities were compared, and an estimation of its importance was presented.

7.1.2. Specication of Hints for Problem-based Learning

Regarding the specication of hints for problem-based learning, the list of contributions is the following: Denition of a new specication of hints for problem-based learning. The new dened specication of hints includes a data model, a pedagogical justication for each aspect, and an XML binding. The novelty of the specication relies in the following aspects: It provides a uniform theory about the generation of hints in problem-based learning. Each one of the hinting systems for problem solving of the state of the art, have their own features, some of them common but with different names. Our specication of hints takes the more relevant features regarding the generation of hints from other state of the art systems, including the ideas from different systems, merging similar features that were in different systems with different terms, allowing more powerful combinations of different features, and grouping them as a whole, conforming a uniform theory of hints. Until now, there were several hinting systems with their own features for the generation of hints, but there was not an integrated hinting theory that merged and analyzed all the features conforming a global theory, and providing some justication (e.g. pedagogical one) for each feature. IMS-QTI v2 (Question and Test Interoperability)

320

Chapter 7. Conclusions specication allows providing hints through its adaptive items. Nevertheless, it only explains the most basic form of hint, delivering a string after a candidate request. However, it does not set a taxonomy of the different ways of providing hints, specic scoring methods taking into account hints, etc. The dened specication of hints includes new ideas based on our teaching experience, such as the concept of hint group (it only allows students to select a maximum of hints out of several possibilities based on some previous metainformation for the student), an undened number of nested hierarchical levels associated to problems, new scoring method taking into account the hints. It provides a new XML binding that permits expressing all the possibilities of exercises with hints of the dened data model as XML instances. In IMS-QTI v2, we can express different exercises with hints as XML les, but as there are not specic XML tags in IMS-QTIv2 for hints, the hint material representation may lead to big XML les, using condition tags over variables within the responseProcessing tag. With our XML representation of exercises with hints, the size of the generated les is reduced, which means an advantage in terms of storing or making easier the task of processing for hinting players. Implementation of a software player for providing hints in problem-based learning according to the new dened specication. A software player tool that implements all of the model features of the hint specication has been implemented. The player module has been implemented into the XTutor ITS using its XDOC extension mechanism and it has been programmed using python. This player together with the XTutor serverside XDOC processor can take generated XML les according to the proposed hints specication, and it can interpret and run them according to its semantics and XML binding data model. Therefore, students can take exercises with hints in the XTutor system according to the dened hinting specication, and students can access such exercises through the Web. Denition and design of a new authoring tool for generating exercises with hints according the new dened specication. It has been implemented as part of a Masters Thesis [14] a Web-based authoring tool that let designers or teachers create XML les that are according to the hinting XML binding specication. The tool allows setting whichever possibility of the specication in an easy way through forms rather than writing the XML code by hand. Denition of an UML graphical representation for the description of exercises with hints according to the new dened specication. In the line of the modeling of elearning, we provide a model for describing exercises with hints of the dened specication using UML. Denition and design of a software tool for competitive learning among students. This contribution has been made in collaboration with a Masters Thesis [16]. The idea is the denition and design of a tool for combining a system that has some of the functionalities of the hinting specication with students motivation. This motivation is based on the competition among students. Students would connect to the implemented

7.1. List of Contributions

321

software tool and they would solve exercises with hints making a competition among other students, using a competition methodology that takes ideas from chess tournaments.

7.1.3. Evaluation of the Hinting Model and the Implemented Hinting Tutor
The list of contributions related to the evaluation of the hinting model and the implemented hinting tutor, is the following: Analysis of global results of use of the platform. Analyzing data over a complete course edition of Computer Architecture Laboratory, we can conclude that students were interested in using the tool (a 78.2 % of utilization) and the 57.5 % of use of hints denotes that students used hints in several problems but they did not do hint abuse which is an undesirable aspect, so the features of the model in global prevented from hint abuse. Evaluation of the satisfaction of the students with the implemented system. The students rated the experience as very useful and the hinting tutor as easy to use in general (and also the variance was low which indicates there were not meaningful differences in students opinions). In addition, the utility of hints was not as clear for students, as they rated it only a bit more over the medium value. This may be caused by many different reasons, such as students considered some hints useful but not others due to their different level in different topics, that hints were not adaptive to students in this experience so the different level of students is not considered and all received the same hints (this will also explain the considerable variance about the utility of hints in the experience), or that hints tried not to be answers directly to students but immersing them in a discovery process. In any case, the average is over the medium so they considered hints were useful. Comparison between an assessment system without hints and our hinting tutor. The average mark of students in the nal exam was the same in both groups, but there was an increase in the percentage of students who passed the exam and a decrease in the percentage of students who did not take the exam. Therefore, these data lead to the conclusion that the XTutor hinting module produced an improvement with respect to the assessment module of exercises without hints. Comparison between human tutors generating hints and our hinting tutor. In both cases, the average learning gains were impressive. But, as the main conclusion about this issue, we can say that human tutors providing hints in problem-based learning can be replaced by our implemented hinting system without having any important decrease of students learning gains. We can say that the difference between the hinting tutor and the human tutor will be in the interval [-0.38, 0.70] with a 95 %. Therefore, in the worst case a -0.38 is not important with respect to the average learning gain that is higher to 2. Evaluation of which hinting techniques resulted better in terms of learning gains. The hinting techniques that were compared are the following: 1) Penalize for viewing hints

322

Chapter 7. Conclusions or having no effect in the scoring for viewing hints (in both cases without a maximum limit of the hints to select); 2) Penalize for viewing hints but with an unlimited number of hints to select or having no effect in the scoring for viewing hints but with a limitation of the maximum number of hints to select; 3) Penalize for incorrect hint resolution, reward for correct hint resolution or having no effect in the scoring for hint resolution; 4) Hints directly available, or only available as a response to an incorrect students attempt to the problem; 5) Being able to select all the hints minus 1, or being able to select only 1 hint (without any penalties in any case). The conclusions are based on two different session experiences in the Computer Architecture Laboratory course. A summary of the main conclusions regarding this topic, are the following: The modication of some hinting techniques has an effect on the students learning gains. Therefore, the selection of the hinting technique that is more suitable for each case cannot be done randomly, and teachers shall pay attention about which hinting techniques provide to students. What results in better learning gains are not always the same congurations of hinting techniques, and it depends on several factors. For this reason, there is a need of adaptation of the hinting techniques. The adaptation of the hinting techniques (in order to obtain the best learning gains for each case) shall depend on the topics addressed, the design of exercises/hints, or the students proles. Specically, we have found statistically signicant differences in the correlation of the students initial knowledge level and the learning gains (a less students initial knowledge level implies a greater increase of knowledge), in the cost for viewing hints without a maximum limit to select and the learning gains (in one case it was better penalizing for viewing hints, in another case it was better not having any effect on the scoring for viewing hints), and in the effect on the scoring for hint resolution and the learning gains (in one case it was better not having any effect on the scoring for hint resolution, in another case it was better having some effect on the scoring for hint resolution). In addition, we have found statistically signicant differences for the group of topics Makele and File System Design on learning gains, and it was better hinting techniques with high cost and effort and penalizing for viewing hints. Nevertheless, we have not found statistically signicant differences on learning gains regarding other different issues related to hinting techniques. Evaluation of different behaviors depending on different hinting techniques. Some of the same hinting techniques compared with respect to learning gains, were also compared with respect to the different behaviors produced in students. Some of the main conclusions were the following: It resulted statistically signicant that students requested for more hints by the fact of not having effect on the scoring for viewing hints, instead of penalizing

7.1. List of Contributions

323

on the scoring for viewing hints. In addition, it also depended on the difculty and type of exercise where it was applied. It resulted statistically signicant that students requested for more hints by the fact of of giving hints directly available instead of giving hints only as a response to an incorrect attempt instead. In addition, it also depended on the difculty and type of exercise where it was applied. It resulted statistically signicant that students answered more hints when there was a rewarding for hint resolution or no effect on the scoring for hint resolution rather than penalizing for hint resolution. But there was no signicant difference between not having any effect on the scoring or rewarding on the scoring. In addition, it resulted statistically signicant that students answered hints better when there was a rewarding or penalty for hint resolution, rather than not having any effect on the scoring. But there was not a statistically signicant difference between rewarding or penalizing for hint resolution. Evaluation of the students opinions about the different hinting techniques. Regarding this issue, we obtained two main conclusions: There is a high diversity of students responses regarding the different survey answers related to hinting techniques. This is another evidence of the need of adaptation of the hinting techniques. Students considered more important the hinting techniques that imply less effort and a more direct path to the nal solution, but this is not always the best in terms of learning gains. Proposal of an initial model for evaluating students, contents, and hints, based on some data of the hinting system. This initial model has been introduced and applied within two courses (Information Servers, and Communications Software).

7.1.4. Application of Semantic Web Techniques for Achieving Adaptive Hints

Regarding the application of semantic Web techniques for achieving adaptive hints, the list of contributions is the following: An implementation of a prototype system for combining the XTutor ITS with the hinting module extension and the CWM semantic Web reasoner. The implemented framework permits adaptation of problems with hints for students. More specically, we can divide this contribution into different subitems: Demonstrates that is feasible the implementation of a specic instance of the general architecture dened in the theory of e-learning for combining semantic Web techniques with ITSs. In this case, with the successful implementation of a prototype that combines the XTutor ITS and the CWM semantic Web reasoner. This specic instance implementation is the rst implementation of the general architecture proposed.

324

Chapter 7. Conclusions Shows the specic elements of the architecture and their relationship for this specic case, as well as the specic design and implementation problems, giving some solutions. Enables the integration of a specic ITS such as XTutor with the semantic Web for the aspect of adaptive hints, achieving all of its advantages. Allows the use together of different representational models: XML, and a semantic Web language such as N3. The work introduces the concept of XML les that represent exercises with hints resources and they can be joined and combined, in order to produce new transformed XML les. This transformation depends on the semantic Web rules and their adaptation criterions. In educational environments, as there exist a lot of XML resources, then there are many educational systems that execute such XML les. Therefore, it is important in certain cases that semantic Web systems can generate nal XML resources that are understandable by educational systems, guaranteeing interoperability and reusability. The transformation of XML resources based on semantic Web rules has already been studied, but as far as we know, it has not been applied to e-learning. The XML les are in this case according to our dened specication of hints. The XML binding of the dened specication of hints was selected to be easy to join different resources in order to be easier conforming materials based on adaptation rules. This is another advantage with respect to IMS-QTI, because if IMS-QTI were used, it would be more difcult to join different XML resources. N3 is used as semantic Web language and CWM is used as a reasoner for a semantic Web application in education. Most of the semantic Web applications in education have used TRIPLES, and as far as we know, it is the rst time that N3 and CWM were used for an educational application. Firstly, it was selected because we thought we can take advantage of the fact that CWM and XTutor are both written in python in order to reduce the execution time. But, it can also be of benet in the future in order to compare the use of different semantic Web languages and reasoners for educational applications. Denition of new ontologies for taking into account the provision of hints and selection of existing ontologies. The fact of having to adapt the hinting contents and the hinting techniques imply the denition of new ontologies for covering all the data which a system could be interested in for the adaptation of hints. In this context, we have dened new ontologies for the general information of exercises and hints, the effect of different hinting techniques applied to exercises, different hinting techniques in relationship with the students, or the nal exercises according to the specication of hints. Furthermore, we have selected and used parts of existing ontologies such as Dublin Core for description of contents, or IEEE-PAPI for students proles. Denition of new adaptive rules for taking into account the provision of adaptive and personalized hints. This contribution can be divided into two: on one hand, the establishment of adaptive rules for taking into account the adaptation of hinting contents and hinting techniques; on the other hand, the fulllment of a specic case of the application of the model for rules explained in the theory of the e-learning modeling

7.2. Applications Related to the Contributions

325

(achieving atomic, reusable, interchangeable, combinable, and interoperable rules for the specic case of adaptive hints). Implementation of some of the dened adaptive rules in N3, and execution in CWM. Some of the dened rules have been implemented in N3. We show how to use N3 and CWM in order to achieve adaptive and self-organizing hints. We illustrate it through a specic example. We describe the different semantic Web annotations of resources in N3 (which are used in the reasoning process), a global adaptive and self-organizing rule composed by several atomic rules (each one in a different N3 le), the way to execute the CWM tool in the different steps, and how the XML les representing exercises with hints are transformed according to the obtained conclusions in N3 by CWM based on the reasoning, taking into account the different rules and the semantic annotated resources.

7.2.

Applications Related to the Contributions

This section is a summary of the main possible applications that can be derived from this PhD. First of all, the generated software tools implemented can be available for students and teachers to take advantage of their potentialities. Here it is a list of the resulting software tools related to this PhD: The implemented software player for providing hints as an extension to XTutor, can be accessed and used by students in distance learning or as a complement for traditional classes. Students can access through the Web to the system, and they can interact with different features of the module according to the dened specication of hints. The type of interactions with the tool might be in a similar way as the experiences commented in this PhD or other new ones. Students can take advantage of the tool and increment their learning gains based on their experiences with the hinting module. Students can interact with a wide set of possibilities regarding the provision of hints in problem-based learning. As teachers know about the good results of the hinting tutor with respect to the comparisons with a tutor without hints, and humans generating hints, and they know about the good survey results about usability and liking, then teachers can apply the tool in the classroom with guarantees, knowing about its effectiveness. The implemented prototype that combines the XTutor ITS with its hinting module, and the CWM semantic Web reasoner. Although this is at this moment a prototype software and cannot be used directly in the classroom because it was only created for research purposes and needs some additional improvements, nevertheless, with some minor modications, it can be ready for being used by students. In this way, students can benet of the adaptation of hints, and the learning experience can be more effective. The authoring tools implemented in the context of the Masters Thesis [14], [15] are available for teachers and course designers allowing them to create XML les according to the specication of hints, other e-learning specications, or IMS-LD les,

326

Chapter 7. Conclusions depending on each authoring tool. The common idea that shares these tools is to request teachers for terms they are used to use, so that the authoring tools can be used by teachers without high technological expertise, taking advantage of their knowledge and applying it to educational technologies, saving this technological gap. The authoring tool for generating exercises with hints, allows teachers to create rich materials of exercises with hints covering all the aspects of our dened hinting specication, enabling a wide set of pedagogical possibilities depending on the teachers criterions. The authoring tool for generating different LMS functionality and service instances, allows describing the different conguration options of different common services and functionalities of different LMSs. Finally, the CourseEditor authoring tool allows teachers the creation of a complete course, passing through its different phases based on course planning. The competitive problem-based tool implemented in the context of the Masters thesis [16] is available for current use. This tool allows teachers to congure and manage tournaments among students, and students subscribe and play within such tournaments. The tournaments are based on adaptive questions to students based on chess tournaments concepts. One of the main purposes of the tool is to motivate students so they can have fun and learn at the same time. The design of the tool covered several possibilities of our dened specication of hints, but at present the implemented tool has only support for questions but not for hints, but we want to extend it in the future to cover hinting possibilities. In any case, we believe it is an excellent example of how the learning technology can be used together with motivational techniques.

Regarding the evaluation of the different hinting techniques, the work presented in this PhD can be used to help teachers to make the proper decissions regarding the use of the different hinting techniques. In this way, they can use the proper hinting techniques to cause their desired behaviors for students. Depending on the type of exercises, teachers may want to produce certain students behaviors. The knowledge about which hinting techniques produce certain students behaviors, can be applied to induce to the desired students behaviors. In addition, teachers know that the effect of the hinting techniques on the learning gains depends on several factors but it is not always in the same direction, so they might take data for each exercise in order to know which hinting techniques result better for this particular case. Finally, students survey results presented in this PhD can be used by teachers in order to adapt the different hinting techniques, for example if students are tired, teachers can provide with hinting techniques that they prefer although they cannot be the most proper for improving the students learning gains. With the provision of graphical and textual models for modeling different aspects of elearning (such as complete LMS, or adaptive rules), teachers are enabled with methodologies for developing more complete, maintainable and quality e-learning materials, as well as it enables a quicker development and the collaboration among teachers. The nal XML representations of proposed specications (such as the hints one or the IMS-CP for modeling complete LMS courses) allow interoperability between systems and reusability among teachers. Finally, regarding the semantic Web part contributions, the proposed architecture for combining semantic Web techniques with ITSs can be applied in order to implement specic

7.3. Limits of the Presented Contributions

327

instances for introducing existing tutoring systems into the semantic Web, and achieving all of its advantages. In addition, the proposed ontologies and adaptive rules can be used in other different contexts for adaptive purposes.

7.3. Limits of the Presented Contributions

This section is a summary of the limits of the presented contributions. Several times, these limits imply some future works that will be explained further in the following chapter about future work. Next, there is a list explaining each limitation item: First of all, although evident, we would like to remark that the presented theory of elearning modeling does not try to cover all the aspects of e-learning. On one hand, we present a particular view of e-learning modeling, taking into account previous state of the art. This particular view is explained mainly through the sections about global vision of e-learning modeling, ideal vision of e-learning, e-learning development process, and e-learning evaluation. But, of course, there can be other specic visions of e-learning modeling. On the other hand, we have concentrated in the modeling of some specic aspects where we detected some lacks, but there are lots of more issues that can be modeled from different points of view. The proposed models about complete LMS courses (one based on IMS-CP and another on UML) provide a complete modeling of LMS courses, and we have explained the general way of doing them. But we have not dened which are the specic parameters of a course, the standardized ways of layouts, or the different possible conguration parameters for all the possible LMS functionalities. The modied-UML method proposed for modeling complete LMS courses can be applied only by teachers with knowledge about UML representation. This is an important limitation for the widespread use. Nevertheless, teachers might be encouraged to learn UML so they could apply this dened methodology. The proposed modeling of adaptive rules, combining graphical and textual representations, covers certain usual cases of adaptation but not all. It should be seen as a model that tries to be easy enough for teachers without high technological expertise, and that covers some usual cases, but not as a model that covers all the possibilities. For new case of adaptation not covered in the model, extensions should be proposed. The CourseEditor authoring tool does not cover all the possibilities of the IMS-LD specication, but only a subset of the level A. Sometimes, we decided not to cover certain features of the specication, but giving priority to be easy to use by teachers. The authoring tool for creating LMS services or functionalities generates XML code according to dened specications. At present, there are not players that can read and interpret such les directly, as they are specications proposed by us recently. The same can be said for the authoring tool for creating exercises with hints according to the dened specication, because at this moment our created player only allows loading and interpreting such types of XML les.

328

Chapter 7. Conclusions Our new specication of hints dened allows a set of common possibilities regarding the provision of hints. But it does not include some other possibilities in order to be easier and not to obtain big XML les. IMS-QTI allows more possibilities because the way it is dened with conditional clauses, allows dening almost whatever type of presentation but at the prize of having bigger XML les. Therefore, with our dened specication of hints, there can be a lack of expressivity for certain issues. The comparisons performed between our implemented hinting system with respect to an exercise system without hints or with respect to the human tutors, are comparisons under some conditions and circumstances that have already been explained. Other circumstances may lead to different conclusions. Among these other circumstances, an example is the context in which it is applied, that in this case is engineering, but changing this context results may change. We have only performed two comparisons of our hinting module with respect to other systems, but we could perform more comparisons with respect to other different systems. Or even better, each system could be compared with respect to to some reference system, and in this way some relative comparisons might be done automatically. But in any case, such comparisons should be done under replication of the same circumstances that might inuence the measure. Statistical methods have been used for the evaluation of the different hinting techniques regarding learning gains and behaviors. The results have always some probability to be true based on statistical theory. In addition, in such cases where it did not result statistically signicant, then nothing can be said, because the results may be caused by noise. The system that combines XTutor and CWM is a prototype for educational research, but at this moment it is not ready to be used by students in the classroom. To do so, some minor changes should be incorporated such as adjustment of some variables, or improving users presentation. In addition, more annotated materials should be created, as at the moment there are only a few ones for validating the approach.

Captulo 8

Conclusiones
Este captulo presenta las conclusiones de esta tesis doctoral. En primer lugar, se pro porciona una lista de las contribuciones m s relevantes que se aportan en esta tesis doctoral, a seguidamente un resumen de las principales aplicaciones en relaci n con las contribuciones, o y nalmente una discusi n sobre los lmites de las contribuciones. o

8.1.

Lista de Contribuciones

Las contribuciones de esta tesis doctoral pueden ser divididas en cuatro bloques generales: la teora de modelado del e-learning, la nueva especicaci n de pistas para aprendizaje o basado en problemas, la evaluaci n del modelo de pistas y del tutor de pistas implementado, o y la aplicaci n de t cnicas de Web sem ntica para lograr pistas adaptativas. o e a Para cada uno de estos cuatro bloques generales, hay una subsecci n explicando las o contribuciones especcas.

8.1.1. Teora de Modelado del E-learning

La lista de contribuciones en relaci n con la teora de modelado del e-learning es la o siguiente: Se proporciona una visi n global de modelado del e-learning que incluye una clasio caci n de qu aspectos modelar, c mo modelar tales aspectos, y las relaciones entre o e o diferentes conceptos. La visi n global tiene en cuenta el trabajo existente sobre modeo lado software y Web de las ciencias de ingeniera software y Web, as como trabajos existentes sobre modelado en e-learning. Intenta dar una visi n general sobre modeo lado del e-learning que permita a los investigadores tener una idea clara sobre este tema. Se proporciona una visi n ideal del e-learning que incluye la interoperabilidad entre o diferentes aspectos, herramientas de autor que son f ciles de utilizar por profesores a sin grandes conocimientos tecnol gicos, habilitaci n de las mejores pr cticas para o o a mejorar las ganancias de aprendizaje de los alumnos, recursos mantenibles, etc. Como parte de esta contribuci n, hay algunas ilustraciones con casos de estudio especcos. o Esta visi n ideal tiene en cuenta previos estudios sobre e-learning. o 329

330

Captulo 8. Conclusiones Estudio de las relaciones entre las principales funcionalidades de sistemas de gesti n o del aprendizaje y las especicaciones de e-learning actuales, determinando algunas carencias. Para cada funcionalidad o servicio principal de los sistemas de gesti n del o aprendizaje, se proporciona su relaci n con las especicaciones de e-learning actuao les. Adicionalmente, se determinan algunas carencias de los est ndares educacionales a para algunos servicios de los sistemas de gesti n del aprendizaje, explicando la neceo sidad de estandarizaci n para tales funcionalidades. Entre las posibles categoras en o las que hemos dividido las diferentes funcionalidades de los sistemas de gesti n del o aprendizaje, est n las siguientes: servicios para los que no tiene sentido denir una a nueva especicaci n de datos dentro de un curso de sistema de gesti n del apreno o dizaje, servicios que est n completamente cubiertos por una o m s especicaciones, a a servicios que est n cubiertos parcialmente por una o m s especicaciones, y servicios a a que no est n cubiertos por las especicaciones actuales. a Una propuesta de c mo utilizar la especicaci n IMS-CP (Content Packaging) con el o o n de denir la informaci n de conguraci n general de un curso de sistema de geso o ti n del aprendizaje, c mo establecer su presentaci n, o c mo describir la estructura o o o o de los diferentes recursos y servicios de un sistema de gesti n del aprendizaje. Esto es o una utilizaci n diferente al uso regular de IMS-CP el cual es para el ensamblado de o diferentes contenidos y recursos de un curso. Una propuesta de modelo basado en UML pero modicado, para describir cursos en sistemas de gesti n del aprendizaje. Esta propuesta permite describir gr camente o a cursos completos de sistemas de gesti n del aprendizaje, bas ndose en clases UML y o a diagramas de paquetes con algunas modicaciones con respecto a UML con el n de cubrir todas las necesidades. Una propuesta de un modelo combinado gr co y textual, para describir reglas paa ra sistemas de e-learning adaptativas y personalizadas. Adem s, este modelo dene a mejores pr cticas en la denici n de tales tipos de reglas, implicando reglas que son a o at micas, reusables, intercambiables, interoperables, y que pueden ser combinadas o para formar reglas m s grandes. El m todo de modelado posibilita un modo para desa e cribir reglas individuales con tales caractersticas de un modo f cil, claro y formal; a para agruparlas en subconjuntos; y para determinar de una manera clara c mo se pueo den combinar e intercambiar. Denici n y dise o de nuevas herramientas de autor que pueden verse como modeo n lados cercanos a los profesores. Esta contribuci n ha sido realizada en colaboraci n o o con dos proyectos nd de carrera [14], [15]. Los resultados nales fueron dos herramientas de autor que son f ciles de utilizar por profesores sin grandes conocimientos a tecnol gicos. Una de las herramientas de autor integra varias especicaciones nuevas o denidas para servicios educacionales de sistemas de gesti n del aprendizaje, para los o cuales haba algunas carencias de especicaciones de e-learning (tal como foros, en tregables, o subgrupos), y puede generar cheros XML de acuerdo a dichas nuevas especicaciones denidas. La otra herramienta de autor implementada fue CourseEditor, una herramienta de autor que permite a un profesor describir la planicaci n o

8.1. Lista de Contribuciones

331

completa de un curso pasando por sus diferentes fases (objetivos, contenidos, metodologa, y evaluaci n) y representar gr camente de forma sencilla diferentes aspectos o a de IMS-LD. La herramienta genera cheros compatibles con la especicaci n de eo learning IMS-LD y tambi n otros cheros XML con informaci n extra sobre el curso. e o Una propuesta de una nueva arquitectura para combinar t cnicas de Web sem ntica e a con sistemas de tutora inteligente. Hay varias ventajas de utilizar t cnicas de Web e sem ntica con sistemas de tutora inteligente, lo cual justica su combinaci n. Aca o tualmente, pocos trabajos han abordado arquitecturas para permitir est combinaci n. a o Algunos de los trabajos del estado del arte muestran arquitecturas basadas en servicios Web para posibilitar m todos de Web sem ntica en hipermedia adaptativo. Nuese a tra propuesta de arquitectura presenta un punto de vista diferente, porque se centra en la relaci n entre razonadores de Web sem ntica y sistemas de tutora inteligente o a existentes, explicando sus elementos arquitect nicos, criterios de dise o, problemas o n de implementaci n, etc. Adem s, unos pocos trabajos existen los cuales explican soo a luciones de sistema especcas pero que no cubren los diferentes criterios de dise o n arquitect nicos y los problemas de implementaci n. En este trabajo, hemos contribuio o do en estos aspectos, explicando una arquitectura para combinar la Web sem ntica con a los sistemas de tutora inteligente, que es sucientemente general. Adem s, se expli a can algunos retos que las t cnicas de Web sem ntica presentan cuando son aplicadas e a con los sistemas de tutora inteligente. Estos retos requieren decisiones de implemen taci n de la arquitectura, y se proporcionan algunas recomendaciones. o Una propuesta de un proceso de desarrollo del e-learning. Se ha propuesto un proceso de desarrollo en e-learning el cual incluye una amplia lista de elementos a ser modelados en e-learning en el orden correcto. Por medio de este proceso de desarrollo, un curso puede ser creado de una manera ordenada y formalizada y tambi n puede ser e mejorado en las siguientes fases del ciclo de vida, tomando en cuenta el proceso de evaluaci n. o Un estudio de un plan general para la evaluaci n de los diferentes aspectos involucrao dos en e-learning. Se proporcionan algunas guas generales con el n de ejecutar la evaluaci n de los diferentes aspectos del e-learning. Basado en ello, los modelos del o e-learning y su uso pueden ser mejorados. Una evaluaci n especca para calicar la importancia de diferentes funcionalidades o de sistemas de gesti n del aprendizaje, realizada en una experiencia en el contexto o de la asignatura Laboratorio de Arquitectura de Ordenadores. De este modo, diferentes funcionalidades de sistemas de gesti n del aprendizaje fueron comparadas, y se o present una estimaci n de su importancia. o o

8.1.2.

Especicaci n de Pistas para Aprendizaje Basado en Problemas o

En relaci n con la especicaci n de pistas para aprendizaje basado en problemas, la lista o o de contribuciones es la siguiente: Denici n de una nueva especicaci n de pistas para aprendizaje basado en probleo o mas. La nueva especicaci n de pistas denida incluye un modelo de datos, una justio

332

Captulo 8. Conclusiones caci n pedag gica para cada aspecto, y un mapeo a XML. Lo novedoso de la espeo o cicaci n radica en los siguientes aspectos: o Proporciona una teora uniforme acerca de la generaci n de pistas en aprendiza o je basado en problemas. Cada uno de los sistemas de pistas para resoluci n de o problemas del estado del arte, tiene sus propias caractersticas, algunas de ellas comunes pero con diferentes nombres. Nuestra especicaci n de pistas toma las o caractersticas m s relevantes en relaci n con la generaci n de pistas, toman a o o do en cuenta otros sistemas del estado del arte, incluyendo ideas de diferentes sistemas, uniendo caractersticas similares que estaban en diversos sistemas con t rminos diferentes, permitiendo combinaciones m s poderosas de diferentes cae a ractersticas y agrup ndolas como un todo, conformando una teora de pistas uni a forme. Hasta el momento, haba varios sistemas con sus propias caractersticas para la generaci n de pistas, pero no haba una teora de pistas integradora que o uniera y analizara todas las caractersticas conformando una teora global y pro porcionara alguna justicaci n (por ejemplo pedag gica) de cada caracterstica. o o La especicaci n IMS-QTI v2 permite proporcionar pistas a trav s de sus items o e adaptativos. Sin embargo, s lo explica la forma m s b sica de pista, que es proo a a porcionar un string despu s de una solicitud de un candidato. Sin embargo, no e establece una taxonoma de los diferentes modos de proporcionar pistas, de los m todos especcos de puntuaci n tomando en cuenta las pistas, etc. e o La especicaci n de pistas denida incluye nuevas ideas basadas en nuestra exo periencia docente, tales como el concepto de pista de grupo (s lo permite a los o alumnos seleccionar un m ximo de pistas entre varias posibilidades, bas ndose a a en alguna meta-informaci n previa que se proporciona al alumno), un n meo u ro indenido de niveles de anidamiento jer rquico asociados a los problemas, a nuevo m todo de puntuaci n que toma en cuenta las pistas. e o Proporciona un nuevo mapeo a XML que permite expresar todas las posibilidades de ejercicios con pistas del modelo de datos denido, como instancias XML. En IMS-QTI v2, podemos expresar diferentes ejercicios con pistas como cheros XML, pero como no hay etiquetas XML especcas para pistas en IMS-QTI v2, entonces la representaci n de materiales de pistas puede repercutir en cheo ros XML grandes, utilizando etiquetas de condici n sobre variables dentro de o la etiqueta response-Processing. Con nuestra representaci n XML de ejercicios o con pistas, se reduce el tama o de los cheros generados, lo cual implica una n ventaja en t rminos de almacenamiento o de facilitar la tarea de procesado para e reproductores de pistas. Implementaci n de un reproductor software para la provisi n de pistas en aprendizaje o o basado en problemas de acuerdo a la nueva especicaci n denida. Se ha implemeno tado una herramienta software reproductora que entiende e interpreta todas las caractersticas del modelo de la especicaci n de pistas. El m dulo reproductor ha sido o o implementado dentro del sistema de tutora inteligente XTutor utilizando su mecanis mo de extensi n con XDOC y ha sido programado utilizando Python. Este reproductor o junto con el procesador de XDOCs del servidor XTutor pueden tomar cheros XML

8.1. Lista de Contribuciones

333

generados de acuerdo a la especicaci n de pistas propuesta, y puede interpretarlos y o ejecutarlos de acuerdo a sus sem nticas y mapeo a XML del modelo de datos. Por lo a tanto, los alumnos pueden tomar ejercicios con pistas en el sistema XTutor de acuerdo a la especicaci n de pistas denida, y los alumnos pueden acceder a tales ejercicios o a trav s de la Web. e Denici n y dise o de una nueva herramienta de autor para generar ejercicios con o n pistas de acuerdo a la nueva especicaci n denida. Se ha implementado una herrao mienta de autor basada en Web como parte de un proyecto n de carrera [14], que permite a los dise adores o profesores crear cheros XML que son compatibles con n el mapeo XML de la especicaci n de pistas. La herramienta permite establecer cualo quier posibilidad de la especicaci n de una manera sencilla a trav s de formularios, o e en lugar de escribir el c digo XML a mano. o Denici n de una representaci n gr ca en UML para la descripci n de ejercicios o o a o con pistas de acuerdo a la nueva especicaci n denida. En la lnea del modelado o del e-learning, proporcionamos un modelo para describir ejercicios con pistas de la especicaci n denida utilizando UML. o Denici n y dise o de una herramienta software para el aprendizaje competitivo entre o n alumnos. Esta contribuci n ha sido realizada en colaboraci n con un proyecto n de o o carrera [16]. La idea es la denici n y dise o de una herramienta para combinar un o n sistema que tiene algunas de las funcionalidades de la especicaci n de pistas con la o motivaci n de los alumnos. Esta motivaci n est basada en la competici n entre los o o a o alumnos. Los alumnos se conectaran a la herramienta software implementada y resol veran ejercicios con pistas realizando una competici n con otros alumnos, utilizando o una metodologa de competici n que toma ideas de los torneos de ajedrez. o

8.1.3. Evaluaci n del Modelo de Pistas y del Tutor de Pistas Implementado o

La lista de contribuciones relacionadas con la evaluaci n del modelo de pistas y del tutor o de pistas implementado, es la siguiente: An lisis de los resultados globales de utilizaci n de la plataforma. Analizando los a o datos sore una edici n de curso completa de Laboratorio de Arquitectura de Ordenao dores, podemos concluir que los alumnos estuvieron interesados en la utilizaci n de o la herramienta (un 78.2 % de utilizaci n) y el 57.5 % de utilizaci n de pistas que deo o nota que los alumnos utilizaron las pistas en varios problemas pero ellos no hicieron un abuso de pistas lo cual es un aspecto indeseable, por lo que las caractersticas del modelo en global previnieron del abuso de pistas. Evaluaci n de la satisfacci n de los alumnos con el sistema implementado. Los alumo o nos calicaron la experiencia como muy util y el tutor de pistas como f cil de utilizar a en general (y tambi n la varianza fue baja lo que indica que no hubo diferencias sige nicativas en las opiniones de los alumnos). Adicionalmente, la utilidad de las pistas no fue tan clara para los alumnos, ya que la calicaron s lo un poco m s que el vao a lor medio. Esto puede ser causado por muchas diferentes razones, tales como que los

334

Captulo 8. Conclusiones alumnos consideraron algunas pistas utiles pero no otras debido a su diferente nivel en diferentes materias, que las pistas no fueron adaptativas a los alumnos en la experiencia por lo que el nivel diferente de los alumnos no es considerado y todos recibieron las mismas pistas (esto tambi n explicara la considerable varianza sobre la utilidad de las e pistas en la experiencia), o que las pistas intentaron no ser directamente las respuestas a los alumnos sino que intentaron sumergirlos en un proceso de descubrimiento. En cualquier caso, la media est por encima de la media, por lo que consideraron las a pistas como utiles. Comparaci n entre un sistema de evaluaci n autom tica sin pistas y nuestro tutor de o o a pistas. La nota media de los alumnos en el examen nal fue la misma en ambos grupos, pero hubo un incremento en el porcentaje de alumnos que aprobaron el examen y un descenso en el porcentaje de alumnos que no realizaron el examen. Por lo tanto, estos datos llevan a la conclusi n de que el m dulo de pistas de XTutor produjo una mejora o o con respecto al modulo de evaluaciones autom ticas de ejercicios sin pistas. a Comparaci n entre tutores humanos generando pistas y nuestro tutor de pistas. En o ambos casos, la media de ganancias de aprendizaje fue impresionante. Pero como principal conclusi n sobre este aspecto, podemos decir que los tutores humanos proo porcionaron pistas en aprendizaje basado en problemas pueden ser reemplazados por nuestro sistema de pistas implementado sin tener ning n descenso importante de las u ganancias de aprendizaje de los alumnos. Podemos decir que la diferencia entre el tutor de pistas y los tutores humanos estar en el intervalo [-0.38, 0.70] con un 95 %. Por a lo tanto, en el peor caso un -0.38 no es importante con respecto a la media de ganancia de aprendizaje que es mayor a 2. Evaluaci n de qu t cnicas de provisi n de pistas resultaron mejor en t rminos de o e e o e ganancias de aprendizaje. Las t cnicas de pistas que fueron comparadas son las sie guientes: 1) Penalizar por ver pistas o no tener efecto en la puntuaci n por visualio zaci n de pistas (en ambos casos sin un lmite m ximo de las pistas a seleccionar); o a 2) Penalizar por ver pistas pero sin ning n lmite de n mero de pistas a seleccionar o u u no tener efecto en la puntuaci n por visualizaci n de pistas pero con una limitaci n o o o del m ximo n mero de pistas a seleccionar; 3) Penalizar por resoluci n incorrecta de a u o pistas, bonicar por resoluci n correcta de pistas, o no tener efecto en la puntuaci n o o por resoluci n de pistas; 4) PIstas directamente disponibles, o s lo disponibles como o o una respuesta a un intento incorrecto de alumno al problema; 5) Permitir seleccionar todas las pistas menos 1, o permitir seleccionar s lo 1 pista (sin ninguna penalizaci n o o en ninguno de los casos). Las conclusiones est n basadas en dos sesiones de experiencias diferentes en el cura so de Laboratorio de Arquitectura de Ordenadores. Un resumen de las conclusiones principales en relaci n con esta cuesti n, son las siguientes: o o La modicaci n de algunas t cnicas de pistas tiene un efecto en las ganancias o e de aprendizaje de los alumnos. Por lo tanto, la selecci n de la t cnica de pistas o e que es m s id nea para cada caso no puede ser realizada de forma aleatoria, y a o los profesores deben prestar atenci n sobre qu t cnicas de pistas proporcionar o e e a los alumnos.

8.1. Lista de Contribuciones

335

Lo que resulta en mejores ganancias de aprendizaje no es siempre las mismas conguraciones de t cnicas de pistas, y ello depende de varios factores. Por esta e raz n, hay una necesidad de adaptaci n de las t cnicas de pistas. o o e La adaptaci n de las t cnicas de pistas (con el n de obtener las mejores ganano e cias de aprendizaje para cada caso) debe depender de las materias abordadas, del dise o de los ejercicios/pistas, o de los perles de los alumnos. n Especicamente, hemos encontrado diferencias estadsticamente signicativas en la correlaci n de los niveles de conocimiento iniciales de los alumnos y las o ganancias de aprendizaje (un menor nivel de conocimiento inicial de los alumnos implica un mayor incremento de conocimiento), en el coste por ver pistas sin un lmite m ximo para seleccionar y las ganancias de aprendizaje (en un ca a so fue mejor penalizar por ver pistas, en otro caso fue mejor no tener ning n u efecto en la puntuaci n por ver pistas), y en el efecto en la puntuaci n por resoo o luci n de pistas y las ganancias de aprendizaje (en un caso fue mejor no tener o ning n efecto en la puntuaci n por resoluci n de pistas, en otro caso fue mejor u o o tener alg n efecto en la puntuaci n por resoluci n de pistas). Adem s, se enu o o a contraron diferencias estadsticamente signicativas para el gurpo de materias makele y dise o de sistema de cheros en sus ganancias de aprendizaje, sienn do mejor t cnicas de pistas con coste alto y esfuerzo y penalizar por ver pistas. e No obstante, no hemos encontrado diferencias estadsticamente signicativas de ganancias de aprendizaje en relaci n con otros diferentes aspectos relacionados o con las t cnicas de pistas. e Evaluaci n de diferentes comportamientos dependiendo de diferentes t cnicas de piso e tas. Algunas de las mismas t cnicas comparadas con respecto a las ganancias de aprene dizaje, fueron tambi n comparadas con respecto a los diferentes comportamientos proe ducidos en los alumnos. Algunas de las conclusiones principales fueron las siguientes: Result signicativo estadsticamente que los alumnos solicitaron m s pistas por o a el hecho de no tener efecto en la puntuaci n por ver pistas, en lugar de penalizar o en la puntuaci n por ver pistas. Adem s, esto dependi de la dicultad y tipo de o a o ejercicio donde fue aplicado. Result signicativo estadsticamente que los alumnos solicitaron m s pistas por o a el hecho de dejar solicitar las pistas disponibles directamente en lugar de dejar solicitar las pistas s lo como respuesta ante un intento incorrecto. Adem s, tamo a bi n dependi de la dicultad y tipo de ejercicio donde fue aplicado. e o Result estadsticamente signicativo que los alumnos respondieron m s pistas o a cuando hubo una bonicaci n por resoluci n de pistas o ning n efecto en la o o u puntuaci n por resoluci n de pistas, en lugar de por penalizar por resoluci n o o o de pistas. Pero no hubo diferencia signicativa entre no tener ning n efecto en u la puntuaci n o bonicar en la puntuaci n. Adicionalmente, result estadsticao o o mente signicativo que los alumnos respondieron mejor las pistas cuando hubo una bonicaci n o penalizaci n por resoluci n de pistas, en lugar de cuando no o o o tuvieron ning n efecto en la puntuaci n por resoluci n de pistas. Pero no hubo u o o

336

Captulo 8. Conclusiones diferencia estadsticamentes signicativa entre bonicar o penalizar por resolu ci n de pistas. o Evaluaci n de las opiniones de los alumnos sobre las diferentes t cnicas de pistas. En o e relaci n con este aspecto, obtuvimos dos conclusiones principales: o Hay una gran diversidad de las respuestas de los alumnos en relaci n con las o diferentes preguntas de la encuesta en relaci n con las t cnicas de pistas. Esto es o e otra evidencia de la necesidad de adaptaci n de las t cnicas de pistas. o e Los alumnos consideraron m s importantes las t cnicas de pistas que implican a e menos esfuerzo y un camino m s directo a la soluci n nal, pero esto no es a o siempre lo mejor en t rminos de ganancias de aprendizaje. e Una propuesta de un modelo inicial para la evaluaci n de alumnos, contenidos, y o pistas, basado en algunos datos del sistema de pistas. Este modelo inicial ha sido introducido y aplicado dentro de dos cursos (Servidores de Informaci n, y Software o de Comunicaciones).

8.1.4.

Aplicaci n de T cnicas de Web Sem ntica para Lograr Pistas Adaptao e a tivas

En relaci n con la aplicaci n de t cnicas de Web sem ntica para lograr pistas adaptativas, o o e a la lista de contribuciones es la siguiente: Una implementaci n de un sistema prototipo para combinar el sistema de tutora inteo ligente XTutor con su extensi n del m dulo de pistas y el razonador de Web sem ntica o o a CWM. El entorno implementado permite la adaptaci n de problemas con pistas para o los alumnos. M s especcamente, podemos dividir esta contribuci n en diferentes a o subitems: Demuestra que es factible la implementaci n de una instancia especca de la o arquitectura general denida en la teora del e-learning para combinar t cnicas e de Web sem ntica con sistemas de tutora inteligente. En este caso, con la implea mentaci n exitosa de un prototipo que combina el sistema de tutora inteligente o XTutor y el razonador de Web sem ntica CWM. Esta implementaci n especca a o de instancia es la primera implementaci n de la arquitectura general propuesta. o Muestra los elementos especcos de la arquitectura y sus relaciones para este caso especco, as como tambi n los problemas de dise o e implementaci n e n o especcos, dando algunas soluciones. Posibilita la integraci n de un sistema de tutora inteligente especco como o XTutor con la Web sem ntica para el aspecto de pistas adaptativas, consiguiendo a todas sus ventajas. Permite la utilizaci n a la vez de diferentes modelos de representaci n: XML, o o y un lenguaje de Web sem ntica como N3. El trabajo introduce el concepto de a cheros XML que representan recursos de ejercicios con pistas y que pueden

8.1. Lista de Contribuciones

337

ser juntados y combinados, con el n de producir nuevos cheros XML transformados. Esta transformaci n depende de las reglas de Web sem ntica y de o a sus criterios de adaptaci n. En entornos educacionales, como existen muchos o recursos XML, entonces hay muchos sistemas educacionales que ejecutan tales cheros XML. Por lo tanto, es importante en ciertos casos que los sistemas de Web sem ntica puedan generar recursos XML nales que sean entendibles por a sistemas educacionales, garantizando la interoperabilidad y la reusabilidad. La transformaci n de recursos XML basado en reglas de Web sem ntica ha sido o a ya estudiado, pero hasta donde sabemos, no ha sido aplicado al e-learning. Los cheros XML son en este caso de acuerdo a nuestra especicaci n de pistas deo nida. El mapeo XML de la especicaci n de pistas denida fue seleccionada o para que resultara f cil de juntar diferentes recursos de forma que fuera m s f cil a a a conformar materiales en base a las reglas de adaptaci n. Esta es otra ventaja con o respecto a IMS-QTI, porque si la especicaci n IMS-QTI fuera utilizada, sera o m s difcil juntar diferentes recursos XML. a Se utiliza N3 como lenguaje de Web sem ntica y CWM como razonador para una a aplicaci n de Web sem ntica en educaci n. La mayora de aplicaciones de Web o a o sem ntica en educaci n han utilizado TRIPLES, y hasta donde sabemos, esta es a o la primera vez que se utilizaron N3 y CWM para una aplicaci n educacional. o Inicialmente, se seleccion porque pensamos que podiamos aprovechar el hecho o de que CWM y XTutor est n ambos escritos en python con el n de reducir a el tiempo de ejecuci n. Pero tambi n puede ser de benecio en el futuro con o e el n de comparar la utilizaci n de diferentes lenguajes de Web sem ntica y o a razonadores para aplicaciones educacionales. Denici n de nuevas ontologas para tener en cuenta la provisi n de pistas y selecci n o o o de onotologas existentes. El hecho de tener que adaptar los contenidos de pistas y las t cnicas de pistas implica la denici n de nuevas ontologas para cubrir todos los e o datos en los cuales un sistema podra estar interesado para la adaptaci n de pistas. o En este contexto, hemos denido nuevas ontologas para la informaci n general de o ejercicios y pistas, el efecto de diferentes t cnicas de pistas aplicadas a los ejercicios, e diferentes t cnicas de pistas en relaci n con los alumnos, o los ejercicios nales de e o acuerdo a la especicaci n de pistas. Adem s, hemos seleccionado y utilizado partes o a de ontologas existentes tales como Dublin Core para la descripci n de contenidos, o o IEEE-PAPIE para los perles de alumnos. Denici n de nuevas reglas adaptativas para tener en cuenta la provisi n de pistas pero o sonalizadas y adaptativas. Esta contribuci n puede ser dividida en dos: por un lado, o el establecimiento de reglas adaptativas para tener en cuenta la adaptaci n de conteo nidos de pistas y t cnicas de pistas; por otro lado, el logro de un caso especco de e la aplicaci n del modelo de reglas explicado en la teora de modelado del e-learning o (logrando reglas at micas, reusables, intercambiables, combinables, e interoperables o para el caso especco de pistas adaptativas). Implementaci n de algunas de las reglas adaptativas denidas en N3, y ejecuci n en o o CWM. Algunas de las reglas denidas han sido implementadas en N3. Se muestra

338

Captulo 8. Conclusiones c mo utilizar N3 y CWM con el n de lograr pistas adaptativas y auto-organizativas. o Lo ilustramos a trav s de un ejemplo especco. Se describen las diferentes anotacioe nes de Web sem ntica de los recursos en N3 (los cuales son utilizados en el proceso a de razonamiento), una regla global adaptativa y auto-organizada compuesta de varias reglas at micas (cada una de ellas en un chero N3 diferente), el modo de ejecutar la o herramienta CWM en los diferentes pasos, y c mo los cheros XML representando o ejercicios con pistas son transformados de acuerdo a las conclusiones obtenidas en N3 fruto del razonamiento ejecutado por CWM, tomando en cuenta las diferentes reglas y los recursos anotados sem nticamente. a

8.2.

Aplicaciones Relacionadas con las Contribuciones

Esta secci n es un resumen de las principales aplicaciones posibles que pueden ser derio vadas de esta tesis doctoral. En primer lugar, las herramientas software implementadas que se han generado pueden dejarse disponibles para los alumnos y los profesores aprovechando todas sus potencialidades. A continuaci n se presenta una lista de las herramientas software que han resultado que o tienen relaci n con esta tesis doctoral: o El software reproductor implementado para la provisi n de pistas como una extensi n o o a XTutor, puede ser accedido y utilizado por los alumnos en aprendizaje a distancia o como un complemento para clases tradicionales. Los alumnos pueden acceder a trav s de la Web al sistema, y ellos pueden interaccionar con diferentes caractersticas e del m dulo de acuerdo a la especicaci n de pistas denida. El tipo de interacciones o o con la herramienta podra realizarse de un modo similar a las experiencias comentadas en esta tesis doctoral u otras nuevas. Los alumnos pueden aprovechar la herramienta e incrementar sus ganancias de aprendizaje en base a sus experiencias con el m dulo o de pistas. Los alumnos pueden interaccionar con un amplio conjunto de posibilidades en relaci n con la provisi n de pistas en aprendizaje basado en problemas. Como los o o profesores conocen sobre los buenos resultados del tutor de pistas con respecto a las comparaciones con un tutor sin pistas, y humanos generando pistas, y ellos conocen sobre los buenos resultados de las encuestas sobre usabilidad y agrado, entonces los profesores pueden aplicar la herramienta en clase con garantas, conociendo sobre su efectividad. El prototipo implementado que combina el sistema de tutora inteligente XTutor con su m dulo de pistas, y el razonador de Web sem ntica CWM. A pesar de que actualo a mente esta herramienta es un prototipo software y no puede ser utilizada directamente en clase porque fue s lamente creada para prop sitos de investigaci n y necesita alo o o gunas mejoras adicionales, no obstante con algunas modicaciones menores, puede estar lista para ser utilizada por los alumnos. De esta forma, los alumnos se pueden beneciar de la adaptaci n de pistas, y se puede hacer m s efectiva la experiencia de o a aprendizaje. Las herramientas de autor implementadas en el contexto de los proyectos n de carrera [14], [15] est n disponibles para profesores y dise adores de cursos permiti ndoles a n e

8.2. Aplicaciones Relacionadas con las Contribuciones

339

crear cheros XML de acuerdo a la especicaci n de pistas, otras especicaciones o de e-learning, o cheros IMS-LD, dependiendo de cada herramienta de autor. La idea com n que comparten estas herramientas es solicitar a los profesores una serie de u t rminos con los que ellos est n acostumbrados a utilizar, para que las herramientas e a de autor puedan ser utilizadas por profesores sin grandes conocimientos tecnol gicos, o aprovechando su conocimiento y aplic ndolo a tecnologas educacionales, salvando a la barrera tecnol gica. La herramienta de autor para generar ejercicios con pistas, pero mite a los profesores crear ricos materiales de ejercicios con pistas cubriendo todos los aspectos de nuestra especicaci n de pistas denida, habilitando un amplio cono junto de posibilidades pedag gicas dependiendo de los criterios de los profesores. La o herramienta de autor para generar diferentes instancias de funcionalidades y servicios de los sistemas de gesti n del aprendizaje, permite describir las diferentes opciones de o conguraci n de distintos servicios y funcionalidades comunes de diferentes sistemas o de gesti n del aprendizaje. Finalmente, la herramienta de autor CourseEditor permite o a los profesores la creaci n de un curso completo, pasando a trav s de las diferentes o e fases basadas en la planicaci n de cursos. o La herramienta de competici n basada en problemas implementada en el contexto del o proyecto n de carrera [16] est disponible para su utilizaci n actualmente. Esta hea o rramienta permite a los profesores congurar y gestionar torneos entre alumnos, y los alumnos se pueden suscribir y jugar dentro de tales torneos. Los torneos est n basaa dos en cuestiones adaptativas a los alumnos basados en los conceptos de torneos de ajedrez. Uno de los principales prop sitos de la herramienta es motivar a los alumnos o para que ellos puedan divertirse y aprender al mismo tiempo. El dise o de la herran mienta cubri varias posibilidades de nuestra especicaci n de pistas denida, pero o o actualmente la herramienta implementada tiene s lo soporte para cuestiones pero no o para pistas, pero en un futuro queremos extenderla para cubrir posibilidades de pistas. En cualquier caso, creemos que es un ejemplo excelente de c mo la tecnologa del o aprendizaje puede ser utilizada conjuntamente con t cnicas motivacionales. e En relaci n con la evaluaci n de diferentes t cnicas de pistas, el trabajo presentado en o o e esta tesis doctoral puede ser utilizado para ayudar a los profesores a tomar las decisiones adecuadas en relaci n con la utilizaci n de diferentes t cnicas de pistas. De este modo, ellos o o e pueden utilizar las t cnicas de pistas adecuadas para causar los comportamientos deseados e para los alumnos. Dependiendo del tipo de ejercicios, los profesores pueden querer producir ciertos comportamientos en los alumnos. El conocimiento sobre qu t cnicas de pistas e e producen ciertos comportamientos de alumnos puede ser aplicado para inducir a los comportamientos de alumnos deseados. Adem s, los profesores conocen que el efecto de las a t cnicas de pistas en las ganancias de aprendizaje depende de varios factores pero no es e siempre en la misma direcci n, por lo que ellos podran tomar datos para cada ejercicio con o el n de conocer qu t cnicas de pistas resultan mejores para ese caso particular. Finalmene e te, los resultados presentados en esta tesis doctoral de la encuesta a los alumnos, pueden ser utilizados por los profesores con el n de adaptar las diferentes t cnicas de pistas, por e ejemplo si los alumnos est n cansados, los profesores pueden proporcionar t cnicas de pisa e tas que los alumnos preeren a pesar de que pueden no ser las m s apropiadas para mejorar a las ganancias de aprendizaje de los alumnos.

340

Captulo 8. Conclusiones

Con la provisi n de modelos gr cos y textuales para modelar diferentes aspectos del o a e-learning (tales como un sistema de gesti n del aprendizaje completo, o reglas adaptativas), o a los profesores se les habilita con metodologas para desarrollar materiales de e-learning m s completos, mantenibles y de calidad, as como tambi n les proporciona un desarrollo a e m s r pido y la colaboraci n entre profesores. a a o Las representaciones nales XML de especicaciones propuestas (tales como la de pistas o la de IMS-CP para modelar cursos de sistemas de gesti n del aprendizaje completos) o permiten la interoperabilidad entre sistemas y la reusabilidad entre profesores. Finalmente, en relaci n con la parte de contribuciones de Web sem ntica, la arquitectuo a ra propuesta para combinar t cnicas de Web sem ntica con sistemas de tutora inteligente e a puede ser aplicada con el n de implementar instancias especcas para introducir sistemas de tutora inteligente existentes en la Web sem ntica, y lograr todas sus ventajas. Adem s, a a las ontologas propuestas y las reglas adaptativas pueden ser utilizadas en otros contextos diferents para prop sitos adaptativos. o

8.3.

Lmites de las Contribuciones Presentadas

Esta secci n es un resumen de los lmites de las contribuciones presentadas. En varias o ocasiones, estos lmites implican algunos trabajos futuros que se explicar n m s adelante en a a el siguiente captulo sobre trabajo futuro. A continuaci n, hay una lista explicando cada item o de limitaci n: o En primer lugar, a pesar de la evidencia, nos gustara remarcar que la teora de mode lado del e-learning presentada no trata de cubrir todos los aspectos del e-learning. Por un lado, presentamos una visi n particular de modelado del e-learning, tomando en o cuenta trabajos previos del estado del arte. Esta visi n particular se explica principalo mente a trav s de las secciones sobre la visi n global de modelado del e-learning, la e o visi n ideal del e-learning, el proceso de desarrollo del e-learning, y la evaluaci n del o o e-learning. Pero, por supuesto, puede haber otras visiones especcas de modelado del e-learning. Por otro lado, nos hemos concentrado en el modelado de algunos aspectos especcos donde detectamos algunas carencias, pero hay muchos m s aspectos que a pueden ser modelados desde diferentes puntos de vista. Los modelos propuestos sobre cursos completos de sistemas de gesti n del aprendio zaje (uno basado en IMS-CP y otro en UML) proporcionan un modelado completo de cursos de sistemas de gesti n del aprendizaje, y hemos explicado la manera geo neral de realizarlos. Pero no hemos denido cuales son los par metros especcos de a un curso, los modos estandarizados de presentaciones, o los diferentes par metros de a conguraci n posibles para todas las posibles funcionalidades de sistemas de gesti n o o del aprendizaje. El m todo UML modicado propuesto para el modelado de cursos completos de sistee mas de gesti n del aprendizaje puede ser aplicado s lo por profesores con conocimieno o to sobre representaci n UML. Esto es una importante limitaci n para su utilizaci n a o o o gran escala. Sin embargo, los profesores podran ser animados para aprender UML para que ellos pudieran aplicar esta metodologa denida.

8.3. Lmites de las Contribuciones Presentadas

341

El modelado propuesto de reglas adaptativas, combinando representaciones gr cas y a textuales, cubre ciertos casos usuales de adaptaci n pero no todos. Debe ser visto coo mo un modelo que intenta ser sucientemente sencillo para los profesores sin grandes conocimientos tecnol gicos, y que cubre algunos casos usuales, pero no como un moo delo que cubre todas las posibilidades. Para nuevos casos de adaptaci n no cubiertos o en el modelo, se deben proponer extensiones. La herramienta de autor CourseEditor no cubre todas las posibilidades de la especicaci n IMS-LD, sino s lo un subconjunto del nivel A. En algunas ocasiones, decidimos o o no cubrir ciertas caractersticas de la especicaci n, sino dar prioridad a ser sencilla o de utilizar por profesores. La herramienta de autor para crear servicios o funcionalidades de sistemas de gesti n del aprendizaje, genera c digo XML de acuerdo a las especicaciones denidas. o o Actualmente, no hay reproductores que puedan leer e interpretar tales cheros directamente, como son especicaciones propuestas por nosotros recientemente. Lo mismo puede decirse sobre la heramienta de autor para la creaci n de ejercicios con pistas de o acuerdo a la especicaci n denida, porque en este momento s lo nuestro reproductor o o creado permite cargar e interpretar tales tipos de cheros XML. Nuestra nueva especicaci n de pistas denida permite un conjunto de posibilidades o comunes en relaci n con la provisi n de pistas. Pero esto no incluye algunas otras o o posibilidades con el n de ser m s sencilla y de no obtener cheros XML demasiado a grandes. IMS-QTI permite m s posibilidades porque la manera en que se dene con a cla sulas condicionales, permite denir casi cualquier tipo de presentaci n pero al u o precio de tener cheros XML mayores. Por lo tanto, con nuestra especicaci n de o pistas denida, puede haber una carencia de expresividad para ciertos aspectos. Las comparaciones ejecutadas entre nuestro sistema de pistas implementado con respecto a un sistema de ejercicios o con respecto a tutores humanos, son comparaciones bajo algunos condicionantes y circunstancias que ya han sido explicados. Si hubiera otras circunstancias, esto podra llevar a conclusiones diferentes. Entre estas otras circunstancias, un ejemplo es el contexto en el cual es aplicado, que en este caso es ingeniera, pero cambiando este contexto los resultados podran cambiar. S lo hemos realizado dos comparaciones para nuestro m dulo de pistas con respecto o o a otros sistemas, pero podramos efectuar m s comparaciones con respecto a otros sis a temas diferentes. O incluso mejor, cada sistema podra ser comparado con respecto a alg n sistema de referencia, y de esta manera se podran realizar autom ticamente alu a gunas comparaciones relativas. Pero en cualquier caso, tales comparaciones deberan ser realizadas bajo la replica de las mismas circunstancias que podran inuenciar la medida. Se han utilizado m todos estadsticos para la evaluaci n de las diferentes t cnicas de e o e pistas en relaci n con las ganancias de aprendizaje y comportamientos. Los resultao dos tienen siempre alguna probabilidad de ser ciertos basados en la teora estadstica. Adem s, en tales casos donde no result estadsticamente signicativo, entonces no a o se puede decir nada, porque los resultados pueden ser causados por el ruido.

342

Captulo 8. Conclusiones El sistema que combina XTutor y CWM es un prototipo para investigaci n educacioo nal, pero en este momento no est listo para ser utilizado por los alumnos en clase. a Para hacer eso, se deberan incorporar algunos cambios menores como el ajuste de al gunas variables, o mejorar la presentaci n a los alumnos. Adem s, deberan ser creao a dos m s materiales anotados, ya que de momento s lo hay unos pocos para validar la a o propuesta.

Captulo 9

Trabajos Futuros
Este captulo est dedicado a explicar posibles lneas de trabajos futuros en relaci n con a o esta tesis doctoral. El captulo se ha dividido en cuatro secciones, seg n las areas tem ticas u a abordadas en esta tesis: teora del modelado del e-learning, especicaci n de pistas para o aprendizaje basado en problemas, evaluaci n de la especicaci n de pistas y del m dulo o o o reproductor de pistas implementado, y aplicaci n de t cnicas de Web sem ntica para pistas o e a adaptativas.

9.1.

Teora del Modelado del E-learning

En relaci n con la teora de modelado del e-learning, algunas lneas futuras a explorar o seran las siguientes: Con respecto a la utilizaci n de IMS-CP para representar cursos completos de sisteo mas de gesti n del aprendizaje y de UML para modelar tambi n cursos completos, se o e podra pensar adicionalmente en denir y estandarizar una serie de atributos, par me a tros de conguraci n, y acciones para los posibles servicios existentes en los sistemas o de gesti n del aprendizaje. De esa forma, los cheros de servicios referenciados desde o IMS-CP contendran dichos par metros estandarizados, y las clases UML represen a tando a servicios tendran atributos y m todos de los estandarizados. Por un lado, las e especicaciones ya existentes de e-learning para determinados servicios ya aportan esos cheros XML y los modelos de datos para describir dichos servicios, y por lo tanto pueden ser utilizadas ya esas especicaciones. Por otro lado, en la herramienta de autor para diferentes aspectos de e-learning ya hemos caracterizado algunos otros servicios de sistemas de gesti n del aprendizaje, generando nalmente cheros XML o representando y caracterizando a servicios y funcionalidades. Esta caracterizaci n, se o puede utilizar para el modelo global de IMS-CP y tambi n para el de UML. No obse tante, existen a n diferentes servicios y funcionalidades de los sistemas de gesti n del u o aprendizaje para los que no existen especicaciones actualmente, algunos de los cuales se han enumerado como carencias en el an lisis de la relaci n de funcionalidades a o de sistema de gesti n del aprendizaje con especicaciones del e-learning. Para estos o servicios y funcionalidades se podra pensar en la estandarizaci n, y de esa forma se o 343

344

Captulo 9. Trabajos Futuros podran utilizar en los modelos propuestos de uso de IMS-CP y de UML para cur sos completos. Para cada nueva especicaci n de servicio o funcionalidad, habra que o detallar su modelo de datos y su mapeo a XML. Se podran crear diferentes reproductores de sistemas de gesti n del aprendizaje tal o que pudieran importar y ejecutar instancias XML de acuerdo a especicaciones de e-learning denidas que genera la herramienta de autor para diferentes aspectos del elearning expuesta. De esta forma, se dara un paso para la visi n ideal del e-learning de o completa interoperabilidad y reusabilidad. Tambi n se podra habilitar en los sistemas e de gesti n del aprendizaje un bot n de importar/exportar cursos completos, que fuera o o compatible con la propuesta de utilizaci n de IMS-CP para modelar cursos completos o de sistemas de gesti n del aprendizaje, de forma que los cursos se pudieran intercamo biar y desplegar entre varios sistemas de gesti n del aprendizaje con facilidad. o Tambi n para conseguir la visi n ideal del e-learning, se podra realizar un an lisis e o a exhaustivo sobre c mo integrar las diferentes especicaciones de e-learning entre s. o Por ejemplo, la manera de integrar IMS-LD con los diferentes par metros de otras a especicaciones (por ejemplo las generadas por la herramienta de autor para diferentes aspectos del e-learning expuesta) para prop sitos de adaptaci n. o o En cuanto a la propuesta de modelado UML de cursos completos para sistemas de gesti n del aprendizaje, el modelo propuesto se podra aplicar en otros sistemas de o gesti n del aprendizaje tales como Moodle, Blackboard/WebCT, etc. y no s lo en el o o que se ha aplicado actualmente de .LRN. Tambi n se podra aplicar en otros cursos e diferentes al realizado. Adicionalmente, se podra validar el modelo empricamente realizando experiencias donde diferentes profesores participen en la elaboraci n de o un curso utilizando el modelo UML propuesto, e intercambi ndose esas instancias, y a se podra evaluar el modelo en comparaci n con el caso de no aplicar nada y que se o congure directamente, as como con las opiniones de los profesores para ver si les ha sido util, viendo tambi n si se mejora la mantenibilidad, etc. e En cuanto al modelo de representaci n gr ca y textual para reglas adaptativas de o a e-learning, tambi n se podra validar experimentalmente de forma que lo utilizasen e profesores en diversas experiencias para cursos reales, y compar ndolo respecto a la a situaci n de codicar directamente las reglas sin utilizar el modelo, ver la opini n de o o los profesores respecto a la facilidad de uso y potencialidad descriptiva, etc. La herramienta de autor para diferentes aspectos del e-learning, puede ser ampliada a adiendo nuevos servicios o funcionalidades caracterizadas de sistemas de gesti n n o del aprendizaje, y tambi n puede ser integrada con diferentes sistemas de gesti n del e o aprendizaje y otras herramientas de autor que cubren otros aspectos del e-learning. La herramienta de autor CourseEditor podra ser ampliada en m ltiples aspectos, u como para conseguir aspectos de nivel B de IMS-LD, permitir nuevos aspectos pedag gicos, etc. Del mismo modo la herramienta de competici n entre alumnos geneo o rada podra ser extendida desde diferentes puntos de vista como a adi ndole t cnicas n e e de adaptaci n m s sosticadas, introduciendo el uso de t cnicas de Web sem ntica, o a e a etc.

9.2. Especicaci n de Pistas para Aprendizaje Basado en Problemas o

345

Todas las herramientas de autor generadas pueden ser validadas en un futuro para probar que son completas y al mismo tiempo f cilmente usables por profesores sin grana des conocimientos tecnol gicos. Para ello habra que realizar experiencias con proo fesores que utilicen dichas herramientas para generar materiales educativos, y luego evaluar los resultados de materiales obtenidos, as como la opini n de los profesores o sobre diferentes aspectos de las herramientas de autor. La arquitectura general para combinar t cnicas de Web sem ntica con tutores intelie a gentes puede ser implementada en un futuro para diferentes prop sitos de adaptaci n o o y con diferentes tutores inteligentes existentes, as como razonadores de Web sem nti a ca. De esta forma, se puede ampliar las implementaciones de instancias no s lo al caso o de lograr pistas adaptativas utilizando XTutor y CWM, que es la que presentamos en esta tesis. Con estas ampliaciones de implementaciones de instancias de la arquitectura se pueden ver las diferentes casusticas y problemas encontrados junto con las decisiones tomadas.

9.2. Especicaci n de Pistas para Aprendizaje Basado en Proo blemas

En relaci n con la especicaci n de pistas para aprendizaje basado en problemas, caben o o destacar las siguientes lneas futuras de trabajos: Extensi n de la especicaci n de pistas y del reproductor de pistas implementado. La o o especicaci n de pistas denida podra ser extendida si se consideran algunas caraco tersticas de provisi n de pistas relevantes que no est n incluidas. Para ello habra que o e ampliar el modelo de datos y su mapeo a XML. As mismo, dicha nueva caracterstica podra implementarse en el reproductor de pistas existente. Traductor a IMS-QTI. Se puede pensar en realizar un traductor tal que transforme cheros XML generados en nuestra especicaci n de pistas a cheros compatibles o con la especicaci n IMS-QTI. De hecho, podra realizarse una extensi n a la heo o rramienta de autor actual que realizara esa tarea, de forma que el profesor al generar los materiales de pistas a trav s de la herramienta de autor pudiera tener la oportue nidad de exportar a nuestra especicaci n denida, a IMS-QTI o a ambas. De esta o forma los materiales generados podran ser utilizados en otros sistemas compatibles con IMS-QTI. La ventaja fundamental de tenerlo en IMS-QTI sera la interoperabili dad con otros sistemas que ya entienden esta especicaci n, y que los materiales de o ejercicios con pistas podran ser extendidos con posibilidades que permite IMS-QTI pero no nuestra especicaci n. La ventaja de tenerlo en formato XML de nuestra eso pecicaci n sera que los materiales XML se reducen bastantes con respecto a los de o IMS-QTI con todas las implicaciones que se derivan. Remarcar que el paso inverso de IMS-QTI a nuestra especicaci n podra ser tambi n un trabajo futuro, pero no toda o e representaci n de IMS-QTI se podra traducir a la especicaci n de pistas denida o o sin perder informaci n, mientras que el paso inverso desde nuestra especicaci n de o o pistas hacia IMS-QTI s es posible.

346

Captulo 9. Trabajos Futuros Aplicaciones basadas en la especicaci n de pistas denida. Se puede considerar reao lizar nuevas aplicaciones, como juegos y competiciones, tales que se basen en la especicaci n de pistas denida: por una parte aprovechando las ideas de generaci n de o o pistas que vienen en la especicaci n, o tambi n con su mapeo XML. Actualmente, o e est implementada una herramienta de competici n entre alumnos va Web de resoa o luci n de ejercicios. Como trabajo futuro se puede extender la herramienta para que o en el proceso de competici n muestre pistas a los alumnos en las preguntas seg n las o u caractersticas de la nueva especicaci n que hemos denido. De esa forma, la especi o caci n denida y sus caractersticas positivas pueden combinarse con la motivaci n o o fruto de la competici n. o

9.3.

Evaluaci n del Modelo de Pistas y de la Implementaci n del o o Tutor de Pistas

Con respecto a la evaluaci n del modelo de pistas y de la implementaci n del tutor de o o pistas basado en dicho modelo, hay muchas lneas futuras de investigaci n, a continuaci n o o se enumeran las que consideramos m s relevantes: a Comparar el tutor de pistas con respecto a otros sistemas. Por el momento se ha comparado con respecto a un m dulo de ejercicios que no proporcionaba pistas, y con o respecto a tutores humanos proporcionando pistas en clase. En ambos casos, se han obtenido resultados positivos. Pero como trabajo futuro, el tutor se podra comparar con respecto a otros sistemas, por ejemplo otros sistemas similares de provisi n de o pistas en condiciones similares para observar con cual se obtienen mejores resultados. Variar las condiciones de las comparaciones entre sistemas para ver si los resultados son extrapolables con las nuevas condiciones. Tanto para las comparaciones ya realizadas como para las comparaciones comentadas en el punto anterior, es interesante cambiar aquellas variables que pudieran afectar al resultado para observar c mo afecta o dicha variable al resultado. As, podra ocurrir que algunos tutores resultaran mejores que otros bajo ciertas circunstancias pero no siempre. Entre las variables a cambiar durante las experiencias estaran el hacer experiencias controladas en un tiempo limitado con respecto a hacerlas en periodos largos pudiendo acceder en cualquier momento a la plataforma, las duraciones de las experiencias, los tipos de alumnos que acceden a las experiencias (por ejemplo podran ser de ambitos diferentes a las ingenieras), etc. Nuevas experiencias con m s datos para aquello que no sali estadsticamente signia o cativo. Del an lisis estadstico tanto de las comparaciones entre sistemas, como para a determinar qu t cnicas de provisi n de pistas ofrecen mayor aprendizaje o diferentes e e o comportamientos, hubo ocasiones donde no result estadsticamente signicativa la o diferencia. Para tales casos, cabe repetir las experiencias con m s datos para intentar a obtener algo estadsticamente signicativo. Conocer qu otras variables pueden afectar al incremento de conocimiento y el come portamiento de los alumnos en funci n de las t cnicas de provisi n de pistas aplicadas. o e o Como trabajo futuro, esperamos variar los diferentes factores que pueden afectar a las

9.4. Aplicaci n de T cnicas de Web Sem ntica para Lograr Pistas Adaptativas o e a

347

ganancias de aprendizaje y los comportamientos de los alumnos para cada una de las diferentes t cnicas de pistas, y as hacer comparaciones entre las diferentes situacioe nes. Ejemplos de estos factores pueden ser la materia abordada o el dise o de los n ejercicios de pistas. De esta manera, intentaremos determinar m s exactamente las a condiciones especcas y factores extra que pueden hacer que unas t cnicas de pistas e sean mejores que otras. De hecho, para este trabajo futuro se valorar utilizar el ena torno de pistas adaptativo del que ya se ha implementado un prototipo, extendi ndolo e para este n. Con este entorno adaptativo, se puede adaptar a cada alumno las t cnie cas de pistas en funci n de diferentes reglas. Esas reglas recogeran los factores o o variables extra. Cambiando dichas reglas de adaptaci n, y compar ndolas con otras, o a llegaramos en un momento a determinar cu les son las mejores reglas y por lo tanto a los mejores factores y condicionantes en la aplicaci n de cada t cnica de provisi n de o e o pistas. Estudiar el efecto de nuevas estrategias de provisi n de pistas. Adem s de las estrao a tegias de pistas expuestas en esta tesis, queremos estudiar en un futuro otras nuevas estrategias de provisi n de pistas y el efecto de aplicar una t cnica de pistas u otra en o e la ganacia de aprendizaje y en el comportamiento de los alumnos. Estas nuevas estrategias a estudiar son por ejemplo el n mero de niveles en una pista jer rquica, el efecto u a de una secuencia de pistas respecto a otros tipos de pistas, cambiar la cantidad de puntos de bonicaci n por resoluci n correcta de pistas, o la cantidad de penalizaci n en o o o puntos por resoluci n incorrecta de pistas. o Extender el modelo de evaluaci n de alumnos, ejercicios, contenidos, etc. en funci n o o de la informaci n del sistema de pistas. El m todo descrito de evaluaci n de alumo e o nos, ejercicios, y contenidos en funci n de la informaci n del sistema de pistas es un o o m todo muy inicial. En dicho m todo, se toman algunos par metros del sistema de e e a pistas, pero en un futuro se podr n tomar m s par metros del sistema de pistas. Adia a a cionalmente, algunas partes de la evaluaci n dependen de los dise os de materiales o n de pistas. Se han ilustrado algunos tipos de relaciones b sicas tanto de la estructura a de los ejercicios con pistas como de la relaci n sem ntica de los diferentes ejercicios, o a pero ambos aspectos podran ser extendidos.

9.4.

Aplicaci n de T cnicas de Web Sem ntica para Lograr Piso e a tas Adaptativas

Entre los posibles trabajos futuros en este ambito destacan los siguientes: Realizaci n de experiencias pr cticas con el sistema con alumnos en asignaturas. Este o a es un importante trabajo futuro a explorar. De momento el prototipo implementado no ha sido utilizado en asignaturas con alumnos. En primer lugar habra que reali zar unos peque os ajustes al prototipo para que pudiera ser util para su utilizaci n n o por parte de los alumnos, al mismo tiempo que se deberan generar las anotaciones sem nticas oportunas de todos los recursos. Seguidamente habra que dise ar y ejea n cutar experiencias dejando disponible el sistema adaptativo de pistas para su uso por

348

Captulo 9. Trabajos Futuros parte de los alumnos en diferentes asignaturas. Por ejemplo, se podra comparar cuan to se mejora con ciertos modelos de adaptaci n propuestos, para cambiar los modelos o de adaptaci n bastara con cambiar las reglas de Web sem ntica a aplicar entre las deo a nidas. As se podran comparar varios modelos de adaptaci n, o comparar un modelo o de adaptaci n con respecto a no tener adaptaci n, es decir tal y como estaba antes el o o sistema, etc. Extensi n del prototipo implementado. El prototipo implementado para adaptaci n de o o pistas en aprendizaje basado en problemas, se puede extender para ganar en cuanto a potencialidad de adaptaci n, permitiendo razonar en base a m s datos y con reglas o a m s sosticadas. Realizar esa extensi n implicara entre otras cosas las siguientes a o extensiones: Extensi n de las ontologas. Se ampliaran para contener todos los datos sobre o los que se quiere razonar. Extensi n de las reglas. Se ampliaran las deniciones de las reglas para cubrir o nuevos casos y supuestos de formas de adaptar. Extensi n de los traductores de formatos. Al ampliar las formas de conclusioo nes nales de pistas que se pueden obtener, y de la informaci n procesada por o XTutor, entonces se necesitara ampliar los traductores de formatos desde N3 a XML de especicaci n de pistas, y viceversa seg n el caso, para tener en cuenta o u dichas ampliaciones. Extensi n del procesamiento en XTutor. Al necesitar nueva informaci n para el o o razonamiento, entonces se debe poder procesar dicha informaci n nueva dentro o de XTutor. Realizaci n de una herramienta de autor para el entorno sem ntico de ejercicios con o a pistas. Una lnea de trabajo futuro muy interesante es la creaci n de una herramienta de o autor para la generaci n de todos los materiales de Web sem ntica. Actualmente, esta o a generaci n de autora la llevamos a cabo nosotros mismos, pero no sera viable que o profesores sin grandes conocimientos tecnol gicos pudieran generar estos materiales o tan t cnicos. Es por ello que se requiere una herramienta de autor. El proceso ideal de e autora sera uno en el que los profesores pudieran llevar a cabo todo el proceso de autora sin la ayuda de terceras personas. Para lograr esto, se necesita una herramienta de autor que utilice t rminos con los que los profesores est n familiarizados. Esto ya e a se ha hecho para la informaci n relativa a los cheros XML de los ejercicios con pistas o de acuerdo a nuestra especicaci n denida, pero a n no se ha realizado en relaci n o u o con los cheros N3, para generar las ontologas, anotaciones, y reglas de adaptaci n o en el sistema. Es mejor extender la herramienta de autor actual que genera cheros XML para incluir la informaci n que va en N3, en lugar de realizar dos herramientas o de autora separadas. Por ejemplo, la herramienta de autor actual tiene una pantalla en la cual los profesores pueden introducir cuestiones de m ltiple elecci n, con sus u o opciones, soluci n, el color de fondo, los tipos de pistas, etc. En esta ventana, se o pueden a adir nuevos campos relacionados con la dicultad estimada o si el ejercicio n puede ser una pista o s lo un ejercicio raz. Sera transparente para el profesor si se o convierte alguna informaci n a N3 o XML, pero de hecho la herramienta acabara o

9.4. Aplicaci n de T cnicas de Web Sem ntica para Lograr Pistas Adaptativas o e a

349

convirtiendo cada campo en su correspondiente formato nal. Un aspecto importante en el dise o de la herramienta de autor es la selecci n de la mejor representaci n de n o o cada aspecto para los profesores. La misma informaci n puede ser representada de o m ltiples maneras. Por ejemplo, la relaci n sobre lo bien que se ajusta un concepto u o como pista de otro puede ser realizado de forma textual o gr camente, y cada opci n a o tiene innumerables posibilidades. Comparaci n con otros razonadores de Web sem ntica. La implementaci n realizada o a o ha utilizado a CWM como razonador de Web sem ntico a modo de prueba de implea mentaci n. No obstante otros razonadores sem nticos podran haber sido utilizados. o a En un futuro se podra sustituir CWM por otros razonadores de Web Sem ntica con a el mismo prop sito que lo ya implementado. De esta forma se podran realizar como paraciones sobre la idoneidad de utilizaci n de diferentes razonadores sem nticos, tal o a como el tiempo de ejecuci n que implica cada uno de ellos en este entorno. o

Bibliografa
[1] P. J. Mu oz-Merino, C. Delgado Kloos, and J. Fern ndez Naranjo, Enabling intern a operability for LMS educational services, Comput. Stand. Interfaces, vol. 31, no. 2, pp. 484498, 2009. [2] P. J. Mu oz-Merino and C. Delgado Kloos, A software player for providing hints in n problem-based learning according to a new specication, Computer Applications in Engineering Education, 2008. In Press. Accepted Date: 12 January 2008. [3] P. J. Mu oz Merino and C. Delgado Kloos, An Architecture for Combining Semantic n Web Techniques with Intelligent Tutoring Systems, in Proceedings of the Intelligent Tutoring Systems conference (B. P. Woolf, E. Ameur, R. Nkambou, and S. P. Lajoie, eds.), vol. 5091 of Lecture Notes in Computer Science, pp. 540550, Springer, 2008. [4] P. Mu oz Merino and C. Delgado Kloos, Authoring of Educational Resources for Sen mantic Web Applications, in Proceedings of the international conference on Advanced Learning Technologies, (Los Alamitos, CA, USA), pp. 236237, IEEE Computer Society, 2008. [5] P. J. Mu oz Merino, C. Delgado Kloos, R. Seepold, and R. M. Crespo Garcia, Ran ting the Importance of Different LMS Functionalities, in Proceedings of the 36th ASEE/IEEE Annual Frontiers in Education Conference, pp. 1318, 2006. [6] P. J. Mu oz Merino, C. Delgado Kloos, M. Mu oz-Organero, and J. Fernandez Nan n ranjo, Design and Data Analysis of Exercises with Hints, in Proceedings of the ASEE/IEEE 38th Annual Frontiers in Education Conference, 2008. [7] C. Delgado Kloos, A. Pardo, P. J. Mu oz Merino, and N. P rez P rez, A Type-Based n e e Taxonomy of Items in Assessments, in EDUTECH, pp. 3948, 2004. [8] P. J. Mu oz Merino, M. C. Fern ndez Panadero, M. Mu oz Organero, and C. Delgan a n do Kloos, Design and Evaluation of a methodology driven metacourse for the production of e-learning courses, in Proceedings of the IADIS International Conference WWW/Internet, 2006. [9] P. J. Mu oz Merino, M. Mu oz Organero, and C. Delgado Kloos, A Modied UMLn n based Model for Describing Distance Courses in LMSs, in Proceedings of the EActivity and Leading Technologies 2007 Conference, 2007. 351

352

BIBLIOGRAFIA

[10] M. Mu oz Organero, P. J. Mu oz Merino, and C. Delgado Kloos, A Simple Unied n n Service Access Architecture for Ubiquitous M-learning, in Proceedings of the EActivity and Leading Technologies 2007 Conference, 2007. [11] M. Mu oz Organero, A. Moreno Miguel, P. J. Mu oz Merino, and C. Delgado Kloos, n n Design And Implementation Of An Adaptive Assessment Tool Based On IMS QTI, in Proceedings of the International Technology, Education and Development Conference, 2007. [12] M. Mu oz Organero, P. J. Mu oz Merino, and C. Delgado Kloos, Enabling Mn n Learning Applications In MIDP Devices: Specication And Development Of An HTML To MIDP Automatic Converter, in Proceedings of the International Technology, Education and Development Conference, 2007. [13] P. J. Mu oz Merino and C. Delgado Kloos, Implementaci n de un sistema de pistas n o para el aprendizaje a distancia con XTutor, in Jornadas de Ingeniera Telem tica, a JITEL, 2007. [14] J. Fern ndez Naranjo, Implementaci n de una Herramienta de Autor para Diferentes a o aspectos de E-learning, Masters thesis, Tutor: Pedro J. Mu oz-Merino, Universidad n Carlos III de Madrid, 2007. [15] P. L pez Cuevas, CourseEditor: Una Herramienta de Planicaci n de Cursos Como o patible con IMS-LD, Masters thesis, Tutores: M. Carmen Fernandez-Panadero and Pedro J. Mu oz-Merino, Universidad Carlos III de Madrid, 2006. n [16] M. Fern ndez Molina, Implementaci n de un Sistema de Competici n entre Aluma o o nos para la Resoluci n de Ejercicios, Masters thesis, Tutor: Pedro J. Mu oz-Merino, o n Universidad Carlos III de Madrid, 2008. [17] R. S. Pressman, Software Engineering: A Practitioners Approach. McGraw Hill, fth ed., 2001. [18] I. Somerville, Software Engineering. Adison-Wesley, third ed., 1989. [19] T. DeMarco, Structured analysis and system specication, in Classics in software engineering, pp. 409424, Yourdon Press, 1979. [20] J. R. Cameron, JSP and JSD: The Jackson Approach to Software Development. IEEE Computer Society Press, 1983. [21] G. Booch, Object solutions: managing the object-oriented project. Addison Wesley Longman Publishing Co., Inc., 1995. [22] J. R. Rumbaugh, M. R. Blaha, W. Lorensen, F. Eddy, and W. Premerlani, ObjectOriented Modeling and Design. Prentice Hall, 1990. [23] UML. http://www.uml.org. [24] E. Song, S. Yin, and I. Ray, Using UML to model relational database operations, Comput. Stand. Interfaces, vol. 29, no. 3, pp. 343354, 2007.

 BIBLIOGRAFIA

353

[25] B. Willard, UML for systems engineering, Comput. Stand. Interfaces, vol. 29, no. 1, pp. 6981, 2007. [26] E. C. Hehner, The Logic of Programming. Prentice-Hall, Inc., 1984. [27] F. L. Bauer and H. Woessner, Algorithmic Language and Program Development. Springer-Verlag New York, Inc., 1982. [28] C. B. Jones, Systematic Software Development using VDM. Prentice-Hall, 1990. [29] S. Ceri, P. Fraternali, A. Bongio, M. Brambilla, S. Comai, and M. Matera, Designing Data-Intensive Web Applications. Morgan Kaufmann, Elsevier, 2003. [30] WebML. http://www.webml.org. [31] D. Schwabe and G. Rossi, An Object Oriented Approach to Web-Based Applications Design, Theory and Practice of Object Systems, vol. 4, no. 4, pp. 207225, 1998. [32] D. Schwabe, R. Pontes, and I. Moura, OOHDM-Web: An Environment for Implementation of Hypermedia Applications in the WWW, ACM SigWEB Newsletter, vol. 8, pp. 1834, 1999. [33] O. D. Troyer, Audience-driven web design, in Information modeling in the new millennium, pp. 442462, IGI Publishing, 2001. [34] WiSDoM. http://wsdm.vub.ac.be. [35] T. Appelmans, Web Globalization and WSDM Methodology of Web Design, Masters thesis, Vrije Universiteit Brussel (Belgium), 2004. [36] R. Hennicker and N. Koch, A UML-based Methodology for Hypermedia Design, in Proceedings of Third International Conference on UML - The Unied Modeling Language. Advancing the Standard. (A. Evans, S. Kent, and B. Selic, eds.), vol. 1939 of LNCS, pp. 410424, Springer, 2000. [37] N. Koch, Software Engineering for Adaptive Hypermedia Systems: Reference Model, Modeling Techniques and Development Process. PhD thesis, Universit t M nchen, a u 2000. [38] J. Gomez and C. Cachero, OO-H Method: extending UML to model web interfaces, in Information modeling for internet applications, pp. 144173, IGI Publishing, 2003. [39] The Object Oriented Hypermedia project. http://gplsi.dlsi.ua.es. [40] T. Bray, J. Paoli, C. M. Sperberg-McQueen, E. Maler, F. Yergeau, and J. Cowan, Extensible Markup Language (XML) 1.1 (Second Edition). World Wide Web Consortium, Recommendation REC-xml11-20060816, August 2006. http://www.w3.org/TR/2006/REC-xml11-20060816. [41] E. Thorndike, Education: A First Book. MacMillan, 1912.

354

BIBLIOGRAFIA

[42] J. Bobbit, The Curriculum. Boston, MA: Houghton, Mifin, 1918. [43] R. Tyler, Basic Principle of Curriculum and Instruction. University of Chicago Press, 1949. [44] B. Skinner, The science of learning and the art of teaching, Harvard Educational Review, vol. 4, no. 2, pp. 8697, 1954. [45] B. Skinner, Teaching machines, Science, vol. 128, no. 3330, pp. 969977, 1958. [46] R. Gagne, The conditions of learning. New York: Holt, Rinehart and Winston, 1965. [47] R. Mager, Preparing objectives for programmed instruction. Fearon, 1962. [48] G. Pask, Articial Organisms. General Systems Yearbook 4, 151, 1959. [49] H. Taba, Curriculum Development: Theory and practice. New York: Harcourt Brace and World, 1962. [50] C. Reigeluth, Instructional-Design Theories and Models. A New Paradigm of Instructional Theory. Lawrence Erlbaum, 1999. [51] Monterey Institute: Las T cnicas Did cticas en el Modelo Educativo del TEC e a de Monterrey. http://www.sistema.itesm.mx/va/dide/documentos/inf-doc/tecnicasmodelo.PDF. [52] The Pedagogical Patterns Project. http://www.pedagogicalpatterns.org. [53] R. Felder: ILS: Index of Learning Styles. http://www2.ncsu.edu:8010/unity/lockers/users/f/felder/public/ILSpage.html. [54] G. Pask, Styles and strategies of learning, British Journal of Educational Psychology, vol. 42, pp. 128148, 1976. [55] D. P. Ausubel, Educational psychology: A cognitive view. Holt, Rinehart and Winston, 1968. [56] J. S. Bruner, Toward a Theory of Instruction. Harvard University Press, 5 ed., 1971. [57] J. D. Novak, Teora y pr ctica de la Educaci n. Alianza, 1988. a o [58] .LRN. http://www.dotlrn.org. [59] Moodle. http://www.moodle.org. [60] Dokeos. http://www.dokeos.com. [61] WebCT/BlackBoard. http://www.blackboard.com. [62] J. Escobedo del Cid, L. de la Fuente Valentin, S. Gutierrez Santos, A. Pardo, and C. Delgado Kloos, Implementation of a learning design run-time environment for the .lrn learning management system, Journal of Interactive Media in Education, 2007.

 BIBLIOGRAFIA

355

[63] T. Murray, Authoring Intelligent Tutoring Systems: An analysis of the state of the art, International Journal of Articial Intelligence in Education (IJAIED), vol. 10, pp. 98129, 1999. Part II of the Special Issue on Authoring Systems for Intelligent Tutoring Systems (editors: Tom Murray and Stephen Blessing). [64] M. Rees and C. Herring, A learning management system to support face-to-face teaching using the microsoft ofce system, in Proceedings of the E-learn Conference, 2005. [65] D. Weaver, C. S. Nair, and C. Spratt, Evaluation: Webct and the student experience, University of Technology, Sydney, 2005. [66] S. Bermejo, Cooperative electronic learning in virtual laboratories through forums, IEEE Transactions on Education, vol. 48, no. 1, pp. 140149, 2005. [67] G. Casadei and M. Magnani, A learning management system to support face-to-face teaching using the microsoft ofce system, in Assessment Strategies Of an Intelligent Learning Management System, 2003. [68] E. Wenger, Articial intelligence and tutoring systems: computational and cognitive approaches to the communication of knowledge. Morgan Kaufmann Publishers Inc., 1987. [69] M. Shaker, A. Khidhir, and Y. Al-Rizzo, Design and implementation of a virtual university prototype technology requirements and evaluation, in Proceedings of 4th International Multiconference on Computer Science and Information Technology, pp. 560568, 2006. [70] C. Fallon, E-learning Standards: A Guide to Purchasing, Developing, and Deploying Standards-Conformant e-Learning. St. Lucie Press, 2003. [71] IMS Global Learning Consortium. http://www.imsglobal.org. [72] Advanced Distributed Learning. http://www.adlnet.gov. [73] Aviation Industry CBT Comittee. http://www.aicc.org/. [74] Open Knowledge Initiative. http://www.okiproject.org/. [75] Learning Technology Standards Committee. http://www.ieeeltsc.org/. [76] ISO/IEC Joint Technology Committee Subcommittee on Standards for Learning Education and Technology. http://jtc1sc36.org/. [77] IMS Global Learning Consortium:Question http://www.imsglobal.org/question/index.html. and Test Interoperability.

[78] N. Friesen, Interoperability and learning objects: an overview of e-learning standardization, Interdisciplinary Journal of Knowledge and Learning Objects, pp. 2331, 2005.

356 [79] IMS Global Learning Consortium:Content http://www.imsglobal.org/content/packaging/index.html. [80] IMS Global Learning Consortium:Learnier http://www.imsglobal.org/proles/index.html. [81] IMS Global Learning Consortium:Learning http://www.imsglobal.org/learningdesign/index.html. [82] Advanced Distributed Learning, http://www.adlnet.gov/scorm/index.cfm.

BIBLIOGRAFIA Packaging. Package.

Information Design SCORM

Specication. 2004.

[83] D. Dagger, A. OConnor, S. Lawless, E. Walsh, and V. P. Wade, Service-Oriented ELearning Platforms: From Monolithic Systems to Flexible Services, IEEE Internet Computing, vol. 11, no. 3, pp. 2835, 2007. [84] IMS Global Learning http://www.imsglobal.org/af/index.html. Consortium:Abstract Framework.

[85] V. Devedzic, J. Jovanovic, and D. Gasevic, The Pragmatics of Current E-Learning Standards, IEEE Internet Computing, vol. 11, no. 3, pp. 1927, 2007. [86] M. Rey L pez, A. Fern ndez Vilas, R. P. Daz Redondo, J. J. Pazos Arias, and J. Bero a mejo Mu oz, Extending SCORM to create adaptive courses, in Innovative Approan ches for Learning and Knowledge Sharing, vol. 4227 of Lecture Notes in Computer Science, pp. 679684, Springer Verlag, 2006. [87] D. Sampson, P. Karampiperis, and D. Fytros, Developing a common metadata model for competencies description, Interactive Learning Environments, vol. 15, pp. 137 150, August 2007. [88] The Coverpages. http://xml.coverpages.org/. [89] Microformats. http://microformats.org/. [90] XML Photo Album. http://xmlalbum.sourceforge.net/. [91] M. Magee, D. Norman, J. Wood, R. Purdy, and G. Irwin, Building digital books with Dublin Core and IMS content packaging, in Proceedings of the 2002 international conference on Dublin core and metadata applications, pp. 9196, Dublin Core Metadata Initiative, 2002. [92] G. Vossen and P. Westerkamp, Towards the Next Generation of E-Learning Standards: SCORM for Service-Oriented Environments, in Proceedings of the Sixth IEEE International Conference on Advanced Learning Technologies, pp. 10311035, IEEE Computer Society, 2006. [93] S. J. Juneidi and G. A. Vouros, Engineering an E-learning Application Using the ARL Theory for Agent Oriented Software Engineering, in Proceedings of 2005 AAAI Fall Symposium, pp. 8792, 2005.

 BIBLIOGRAFIA

357

[94] R. S. S. Guizzardi, L. Aroyo, and G. Wagner, Agent-oriented Knowledge Management in Learning Environments: A Peer-to-Peer Helpdesk Case Study. Springer-Verlag, 2003. [95] A. Papasalouros, S. Retalis, and N. Papaspyrou, Automating Standards-Based Courseware Development Using UML, in Proceedings of International conference on web engineering (ICWE), pp. 599600, 2004. [96] S. Ceri, P. Dolog, M. Matera, and W. Nejdl, Adding Client-Side Adaptation to the Conceptual Design of e-Learning Web Applications, Journal of Web Engineering, vol. 4, no. 1, pp. 2137, 2005. [97] H. Choe and T. Kim, An Enhanced LTSA Model Providing Contextual Knowledge for Intelligent e-Learning Systems, J. Inf. Sci. Eng., vol. 21, no. 5, pp. 849858, 2005. [98] J. R. Hilera, Modelado de procesos de ense anza-aprendizaje reutilizables con XML, n UML e IMS-LD, RED: Revista de Educaci n a Distancia, 2005. o [99] J.-M. Su, S.-S. Tseng, J.-F. Weng, K.-T. Chen, Y.-L. Liu, and Y.-T. Tsai, An Object Based Authoring Tool for Creating SCORM Compliant Course, in Proceedings of the 19th International Conference on Advanced Information Networking and Applications, pp. 209214, IEEE Computer Society, 2005. [100] Respondus. http://www.respondus.com. [101] I. Martnez-Ortiz, P. Moreno-Ger, J. L. Sierra, and B. Fern ndez-Manj n, <e-QTI>: a o A Reusable Assessment Engine, in Proceedings of 5th International conference on Advances in web-based learning (ICWL), pp. 134145, 2006. [102] D. Grifths and J. Blat, The Role Of Teachers In Editing And Authoring Units Of Learning Using IMS Learning Design, International Journal on Advanced Technology for Learning, vol. 2, 2005. [103] RELOAD project: Learning Design Editor. http://www.reload.ac.uk/ldeditor.html. [104] Y. Miao, CoSMoS: Facilitating Learning Designers to Author Units of Learning Using IMS LD, in Proceedings of the 13th International Conference on Computers in Education (C.-K. Looi, D. Jonassen, and M. Ikeda, eds.), vol. 133 of Frontiers in Articial Intelligence and Applications, pp. 275282, IOS Press, 2005. [105] D. Hern ndez-Leo, E. D. Villasclaras-Fern ndez, J. I. Asensio-P rez, Y. Dimitriadis, a a e I. M. Jorrn-Abell n, I. Ruiz-Requies, and B. Rubia-Avi, COLLAGE: A collabora a tive Learning Design editor based on patterns, Educational Technology and Society, vol. 9, no. 1, pp. 5871, 2006. [106] I. de la Teja, K. Lundgren-Cayro, and G. Paquette, Transposing MISA Learning Scenarios into IMS Units of Learning, Journal of Interactive Media in Education, 2005.

358

BIBLIOGRAFIA

[107] J. Dalziel, Implementing learning design: the learning activity management system (LAMS), in ASCILITE, IOS Press, 2003. [108] D. Sampson, P. Karampiperis, and P. Zervas, ASK-LDT: a Web-based Learning Scenarios Authoring Environment based on IMS Learning Design, Journal of Advanced Learning Technologies, vol. 2, 2005. [109] I. Martnez-Ortiz, P. Moreno-Ger, J. L. Sierra, and B. Fern ndez-Manj n, Supporting a o the Authoring and Operationalization of Educational Modelling Languages, J. UCS, vol. 13, no. 7, pp. 938947, 2007. [110] P. Moreno-Ger, J. L. Sierra-Rodrguez, and B. Fern ndez-Manj n, Game-Based a o Learning in e-Learning Environments, UPGRADE, pp. 1520, 2008. [111] Vogten, Hubert, Martens, Harrie, Nadolski, Rob, Tattersall, Colin, V. Rosmalen, Peter, Koper, and Rob, CopperCore service integration - Integrating IMS learning design and IMS question and test interoperability, Interactive Learning Environments, vol. 15, pp. 171180, August 2007. [112] A. Kohn, No contest : the case against competition. Boston: Houghton Mifin, 1986. [113] F. Yu, Reections upon cooperation-competition instructional strategy: theoretical foundations and empirical evidence, The National Chi Nan University Journal, vol. 5, no. 1, pp. 181196, 2001. [114] K.-C. Feng, Joyce 2: A Group Competition Game in 1:1 Digital Classroom Environment, Masters thesis, NCU, 2005. [115] E. Verd , L. Regueras, M. J. Verd , M. . P rez, and J. P. de Castro, Aplicaci n de u u e o un sistema telem tico de aprendizaje activo y competitivo en el area de Ingeniera a Telem tica, in VI Jornadas de Ingeniera Telem tica. JITEL, 2007. a a [116] P. Brusilovsky, Methods and techniques of adaptive hypermedia, in Proceedings of the Adaptive Hypertext and Hypermedia Conference, pp. 87129, Kluwer Academic Publishers, 1996. [117] P. Brusilovsky, J. Eklund, and E. Schwarz, Web-based education for all: a tool for development adaptive courseware, Computer Networks and ISDN Systems, vol. 30, pp. 291300, April 1998. [118] P. De Bra, A. Aerts, B. Berden, B. de Lange, B. Rousseau, T. Santic, D. Smits, and N. Stash, AHA! The adaptive hypermedia architecture, in Proceedings of the fourteenth ACM conference on Hypertext and hypermedia, pp. 8184, ACM, 2003. [119] N. Henze and W. Nejdl, Logically characterizing adaptive educational hypermedia systems, in Proceedings of the joint international workshop on Adaptivity, personalization and the semantic web, 2003. [120] R. DiPaolo, A. Graesser, D. Hacker, and H. White, Hints in Human and Computer Tutoring, in The Design of Instruction and Evaluation: Affordances of Using Media and Technology, pp. 155182, Routledge, 2004.

 BIBLIOGRAFIA

359

[121] R. Sutton, Assessment: a framework for teachers. Windsor : NFER-Nelson, 1991. [122] C. J. Marsh, Key Concepts for Understanding Curriculum. RoutledgeFalmer, 3 ed., 2004. [123] C. J. Marsh, A critical analysis of the use of formative assessment in schools, Springer Netherlands, pp. 2529, 2007. [124] P. Black and D. Wiliam, Assessment and Classroom Learning, Assessment in Education: Principles, Policy & Practice, vol. 5, no. 1, pp. 774, 1998. [125] B. M. Olds, B. M. Moskal, and R. L. Miller, Assessment in Engineering Education: Evolution, approaches and Future Collaborations, Journal of Engineering Education, vol. 94, no. 1, pp. 13+, 2005. [126] M. Grigoriadou, E. Gouli, A. Gogoulou, and M. Samarakou, Serving Learning and Assessment in SCALE, in Proceedings of the Sixth IEEE International Conference on Advanced Learning Technologies, pp. 886890, IEEE Computer Society, 2006. [127] C. Smaill, The implementation and evaluation of OASIS: a web-based learning and assessment tool for large classes, IEEE Transactions on Education, vol. 48, pp. 658 663, Nov. 2005. [128] A. C. Croft, M. Danson, B. R. Dawson, and J. P. Ward, Experiences of using computer assisted assessment in engineering mathematics, Computers and Education, vol. 37, no. 1, pp. 53 66, 2001. [129] C. M. Douglas, B. J. Reiser, M. Ranney, and J. G. Trafton, Tutoring Techniques: A Comparison of Human Tutors and Intelligent Tutoring Systems, Journal of the Learning Sciences, vol. 2, pp. 277305, 1992. [130] J. R. Anderson, F. G. Conrad, and A. T. Corbett, Skill Acquisition and the LISP Tutor, Cognitive Science, vol. 13, no. 4, pp. 467505, 1989. [131] K. R. Koedinger, J. R. Anderson, W. H. Hadley, and M. A. Mark, Intelligent Tutoring Goes To School in the Big City, International Journal of Articial Intelligence in Education (IJAIED), vol. 8, pp. 3043, 1997. [132] E. Harskamp and N. Ding, Structured collaboration versus individual learning in solving physics problems, International Journal of Science Education, vol. 28, no. 14, pp. 16691688, 2006. [133] V. Aleven, K. R. Koedinger, and K. Cross, Tutoring Answer Explanation Fosters Learning with Understanding, in Proceedings of the Articial Intelligence in Education Conference, pp. 199206, IOS Press, 1999. [134] M. Hough and T. Marlin, Web-based interactive learning modules for process control, Computers and Chemical Engineering, vol. 24, no. 2-7, pp. 1485 1490, 2000.

360

BIBLIOGRAFIA

[135] Y. Zhoul, R. Freedman, M. Glass, J. A. Michael, A. A. Rovick, and M. W. Evens, Delivering hints in a dialogue-based intelligent tutoring system, in Proceedings of the sixteenth national conference on Articial intelligence and the eleventh Innovative applications of articial intelligence conference innovative applications of articial intelligence, pp. 128134, American Association for Articial Intelligence, 1999. [136] A. S. Gertner, C. Conati, and K. Vanlehn, Procedural help in Andes: Generating hints using a Bayesian network student model, in Proceedings of the 15th National Conference on Articial Intelligence, pp. 106111, AAAI Press, 1998. [137] K. VanLehn, C. Lynch, K. G. Schulze, J. A. Shapiro, R. Shelby, L. Taylor, D. Treacy, A. Weinstein, and M. Wintersgill, The Andes Physics Tutoring System: Five Years of Evaluations, in Proceedings of the Articial Intelligence in Education conference (C.-K. Looi, G. I. McCalla, B. Bredeweg, and J. Breuker, eds.), vol. 125 of Frontiers in Articial Intelligence and Applications, pp. 678685, IOS Press, 2005. [138] G. Hume, J. Michael, A. Rovick, and M. Evens, Hinting as a Tactic in One-On-One Tutoring, Journal of the Learning Sciences, vol. 5, no. 1, pp. 2347, 1996. [139] M. Feng, N. T. Heffernan, and K. R. Koedinger, Predicting state test scores better with intelligent tutoring systems: developing metrics to measure assistance required, in Proceedings of the 8th International Conference on Intelligent Tutoring Systems, pp. 3140, 2006. [140] M. A. Ringenberg and K. VanLehn, Scaffolding Problem Solving with Annotated, Worked-Out Examples to Promote Deep Learning, in Proceedings of the Intelligent Tutoring Systems conference (M. Ikeda, K. D. Ashley, and T.-W. Chan, eds.), vol. 4053 of Lecture Notes in Computer Science, pp. 625634, Springer, 2006. [141] E. Guzman and R. Conejo, Self-assessment in a feasible, adaptive web-based testing system, IEEE Transactions on Education, vol. 48, pp. 688695, Nov. 2005. [142] N. Manouselis and D. Sampson, A Multi-criteria Model to Support Automatic Recommendation of e-Learning Quality Approaches, in Proceedings of the 16th World Conference on Educational Multimedia, Hypermedia and Telecommunications (EDMEDIA), pp. 518526, 2004. [143] S. Suebnukarn and P. Haddawy, A Bayesian approach to generating tutorial hints in a collaborative medical problem-based learning system., Artif Intell Med, vol. 38, pp. 524, September 2006. [144] K. N. Martin and I. Arroyo, AgentX: Using Reinforcement Learning to Improve the Effectiveness of Intelligent Tutoring Systems, in Proceedings of the Intelligent Tutoring Systems conference, pp. 564572, 2004. [145] V. Aleven and K. R. Koedinger, Limitations of Student Control: Do Students Know When They Need Help?, in Proceedings of the 5th International Conference on Intelligent Tutoring Systems, pp. 292303, Springer-Verlag, 2000.

 BIBLIOGRAFIA

361

[146] V. Aleven, B. M. McLaren, I. Roll, and K. R. Koedinger, Toward Tutoring Help Seeking: Applying Cognitive Modeling to Meta-cognitive Skills, in Proceedings of the Intelligent Tutoring Systems conference, pp. 227239, 2004. [147] V. Aleven, B. Mclaren, I. Roll, and K. Koedinger, Toward Meta-cognitive Tutoring: A Model of Help Seeking with a Cognitive Tutor, Int. J. Artif. Intell. Ed., vol. 16, no. 2, pp. 101128, 2006. [148] T. Berners-Lee, J. Hendler, and O. Lassila, The semantic web : a new form of web content that is meaningful to computers will unleash a revolution of new possibilities, Scientic American, May 2001. [149] RDF/XML syntax specication. http://www.w3.org/TR/rdf-syntax-grammar/. [150] T. Berners-Lee, Notation 3. http://www.w3.org/DesignIssues/Notation3.html. [151] D. L. Mcguinness and F. van Harmelen, OWL Web Ontology Language Overview, W3C recommendation, W3C, February 2004. [152] A. Gomez-Perez, O. Corcho, and M. Fernandez-Lopez, Ontological Engineering : with examples from the areas of Knowledge Management, e-Commerce and the Semantic Web. First Edition (Advanced Information and Knowledge Processing). Springer, July 2004. [153] Protege. http://protege.stanford.edu/. [154] T. Berners-Lee, Cwm. http://www.w3.org/2000/10/swap/doc/cwm.html. [155] T. Berners-Lee, S. Hawke, and D. Connoly, Semantic Web Tutorial Using N3. http://www.w3.org/2000/10/swap/doc/. [156] J. Davies, Semantic Web Technologies: Trends and Research in Ontology-based Systems. John Wiley and Sons, July 2006. [157] V. Devedzic, Semantic Web and Education (Integrated Series in Information Systems). Springer-Verlag New York, Inc., 2006. [158] E. Koper, Modeling Units of Study from a Pedagogical Perspective - The Pedagogical Meta-Model Behind EML, 2005. ;http://eml.ou.nl/introduction/docs/pedmetamodel.pdf. [159] N. Henze and D. Krause, Personalized Access to Web Services in the Semantic Web, in Proceedings of 3rd International Semantic Web User Interaction Workshop, Athens, Georgia, USA (6th November 2006), 2006. [160] P. D. Bra, L. Aroyo, and A. I. Cristea, Adaptive web-based educational hypermedia, in Web Dynamics, pp. 387410, 2004. [161] J. Jovanovic, D. Gasevic, and V. Devedzic, Dynamic Assembly of Personalized Learning Content on the Semantic Web, in Proceedings of European Semantic Web Conference, pp. 545559, 2006.

362

BIBLIOGRAFIA

[162] J. Jovanovic, D. Gasevic, C. Brooks, T. Eap, V. Devedzic, M. Hatala, and G. Richards, Leveraging the Semantic Web for Providing Educational Feedback, in Proceedings of the Seventh IEEE International Conference on Advanced Learning Technologies, pp. 551555, July 2007. [163] B. Lefebvre, G. Gauthier, S. Tadie, Huu, and H. Achaba, Competence ontology for domain knowledge dissemination and retrieval, Applied Articial Intelligence, vol. 19, pp. 845859, December 2005. [164] A. Zouaq, R. Nkambou, and C. Frasson, Building Domain Ontologies from Text for Educational Purposes, IEEE Transactions on Learning Technologies, vol. 1, pp. 49 62, 2008. [165] S. Boyce and C. Pahl, Developing Domain Ontologies for Course Content, Journal of Education Technology and Society, vol. 10, pp. 275288, 2007. [166] N. Henze, P. Dolog, and W. Nejdl, Reasoning and Ontologies for Personalized ELearning in the Semantic Web, Journal of Educational Technology and Society, vol. 7, pp. 8297, oct 2004. [167] D. Dicheva, S. Sosnovsky, T. Gavrilova, and P. Brusilovsky, Ontological Web Portal for Educational Ontologies, International Workshop on Applications of Semantic Web technologies for E-Learning (SW-EL 05) july, 2005. [168] Ontologies for Education Wiki. http://o4e.iiscs.wssu.edu/xwiki/bin/view/Blog/About. [169] M. Nilsson, M. Palm r, and J. Brase, The LOM RDF binding - principles and implee mentation, in Proceedings of the 3rd Annual Ariadne Conference, 2003. [170] L. Aroyo, S. Pokraev, and R. Brussee, Preparing SCORM for the Semantic Web, in Proceedings of the CoopIS/DOA/ODBASE conferences (R. Meersman, Z. Tari, and D. C. Schmidt, eds.), vol. 2888 of Lecture Notes in Computer Science, pp. 621634, Springer, 2003. [171] V. Psych , J. Bourdeau, R. Nkambou, and R. Mizoguchi, Making Learning Design e Standards Work with an Ontology of Educational Theories, in Proceedings of the Articial Intelligence in Education conference (C.-K. Looi, G. I. McCalla, B. Bredeweg, and J. Breuker, eds.), vol. 125 of Frontiers in Articial Intelligence and Applications, pp. 539546, IOS Press, 2005. [172] M.Lama, X.Vila, R.Amorim, and E.S nchez, Semantic description of the IMS leara ning design specication, in Applications of Semantic Web Technologies for Elearning, pp. 3746, 2005. [173] L. Aroyo and D. Dicheva, The New Challenges for E-learning: The Educational Semantic Web, Educational Technology and Society, vol. 7, no. 4, pp. 5969, 2004. [174] S. Isotani and R. Mizoguchi, The Unfolding of Learning Theories: Its Application to Effective Design of Collaborative Learning, in Proceedings of the Ontologies and Semantic Web for E-learning Workshop (SWEL@AIED), 2007.

 BIBLIOGRAFIA

363

[175] B. Ditcheva and D. Dicheva, Visual Browsing and Editing of Topic Map-Based Learning Repositories, in Proceedings of the International Conference on Topic Maps Research and Applications (TMRA), pp. 4455, 2006. [176] A. Zouaq, R. Nkambou, and C. Frasson, An Integrated Approach for Automatic Aggregation of Learning Knowledge Objects, Journal of Knowledge and Learning Objects, vol. 2, pp. 135162, 2007. [177] D. Perez-marin, I. Pascual-nieto, E. Alfonseca, and P. Rodriguez, Automatic identication of terms for the generation of students concept maps, in Proceedings of the International Conference on Multimedia and IT for Education, 2006. [178] D. Dicheva and C. Dichev, Helping Courseware Authors to Build Ontologies: The Case of TM4L, in Frontiers in Articial Intelligence and Applications (R. Luckin, K. R. Koedinger, and J. E. Greer, eds.), vol. 158, pp. 7784, IOS Press, 2007. [179] Y. Bodain and J.-M. Robert, Developing a robust authoring annotation system for the Semantic Web, IEEE International Conference on Advanced Learning Technologies, vol. 0, pp. 391395, 2007. [180] Y. Hayashi, J. Bourdeau, and R. Mizoguchi, Structurization of Learning/Instructional Design Knowledge for Theory-Aware Authoring Systems, in Proceedings of Intelligent Tutoring Systems conference, pp. 573582, 2008. [181] S. Isotani and R. Mizoguchi, Theory-driven group formation through ontologies, in Proceedings of the 9th international conference on Intelligent Tutoring Systems, pp. 646655, 2008. [182] J. Tane, C. Schmitz, and G. Stumme, Semantic Resource Management for the Web: An ELearning Application, in Proceedings of the 13th International World Wide Web Conference (WWW 2004) (Alternate Track Papers and Posters) (S. Feldman and M. Uretsky, eds.), ACM, 2004. [183] D. Gasevic, J. Jovanovic, V. Devedzic, and M. Boskovic, Ontologies for Reusing Learning Object Content, IEEE International Conference on Advanced Learning Technologies, pp. 944945, 2005. [184] Z. Miklos, G. Neumann, U. Zdun, and M. Sintek, Querying Semantic Web Resources Using TRIPLE Views, in Semantic Interoperability and Integration (Y. Kalfoglou, M. Schorlemmer, A. Sheth, S. Staab, and M. Uschold, eds.), no. 04391 in Dagstuhl Seminar Proceedings, Internationales Begegnungs- und Forschungszentrum f r Inforu matik (IBFI), Schloss Dagstuhl, Germany, 2005. [185] D. Gasevic and M. Hatala, Ontology mappings to improve learning resource search, British Journal of Educational Technology, vol. 37, no. 3, pp. 375389, 2006. [186] R. Mizoguchi and J. Bourdeau, Using Ontological Engineering to Overcome Common AI-ED Problems, Journal of Articial Intelligence and Education, vol. 11, pp. 107121, 2000.

364

BIBLIOGRAFIA

[187] L. Cheniti-Belcadhi, N. Henze, and R. Braham, An Assessment Framework for eLearning in the Semantic Web, in Proceedings of Twelfth GI- Workshop on Adaptation and User Modeling in interactive Systems, Berlin, Germany (4th6th October 2004), 2004. [188] Mvc: Java blueprints-j2ee patterns. http://java.sun.com/blueprints/patterns/MVCdetailed.html. [189] M. Panadero, A. Pardo, J. Panadero, and A. Lopez, A mathematical model for reusing student learning skills across didactical units, in Proceedings of the Frontiers in Education, 2002. FIE 2002. 32nd Annual, vol. 2, pp. F1A1F1A6 vol.2, 2002. [190] E-LANE. http://e-lane.org/. [191] I. Nonaka and H. Takeuchi, The Knowledge-Creating Company : How Japanese Companies Create the Dynamics of Innovation. Oxford University Press, May 1995. [192] M. Liu, Motivating Students Through Problem-based Learning, in Proceedings of Annual National Educational Computing Conference (NECC), 2005. [193] M. Albanese and S. Mitchell, Problem based learning: A review of literature on its outcomes and implementation issues, Acad Med, vol. 68, no. 1, pp. 5281, 1993. [194] L. Culver, Design Issues, standards, and technology: can online assessments measure more than recall?, in Proceedings of 18th Annual Conference on Distance Teaching and Learning, 2002. [195] C. Meyer and T. B. Jones, Promoting active learning: Strategies for the college classroom. Jossey-Bass, 1993. [196] J. C. Chen, D. C. Whittinghill, and J. A. Kadlowec, Using rapid feedback to enhance student learning and satisfaction, in Proceedings of the IEEE/ASEE Frontiers in Education Conference, 2006. [197] B. S. Bloom, M. B. Engelhart, E. J. Furst, W. H. Hill, and D. R. Krathwohl, Taxonomy of educational objectives. The classication of educational goals. Handbook 1: Cognitive domain. Longmans Green, 1956. [198] Xtutor. http://xtutor.org/. [199] MIT iCampus: XTutor. http://icampus.mit.edu/xTutor/content/?more6001. [200] Dublin Core Metadata Initiative. http://dublincore.org/.

Ap ndice A e

Anexo I: XML Schema de la Especicaci n de Pistas Denida o

<?xml version="1.0" encoding="UTF-8" ?> <xs:schema xmlns:xs="http://www.w3.org/2001/XMLSchema"> <xs:element name="assessment"> <xs:complexType> <xs:sequence> <xs:element ref="assessmentname" /> <xs:element ref="section" maxOccurs="unbounded" /> <xs:element ref="hint" minOccurs="0" /> </xs:sequence> </xs:complexType> </xs:element>

<xs:element name="assessmentname" type="xs:string"/>

<xs:element name="section"> <xs:complexType> <xs:choice> <xs:element ref="sectionname" /> <xs:element ref="MCproblem" minOccurs="0" maxOccurs="unbounded" /> <xs:element ref="MRproblem" minOccurs="0" maxOccurs="unbounded" /> <xs:element ref="SAproblem" minOccurs="0" maxOccurs="unbounded" /> <xs:element ref="FIBproblem" minOccurs="0" maxOccurs="unbounded" /> 365

366

Captulo A. Anexo I: XML Schema de la Especicaci n de Pistas Denida o

<xs:element ref="hint" minOccurs="0" /> </xs:choice> </xs:complexType> </xs:element>

<xs:element name="sectionname" type="xs:string"/>

<xs:element name="FIBproblem"> <xs:complexType> <xs:choice> <xs:element ref="feedback" minOccurs="0" /> <xs:element ref="hint" minOccurs="0" /> <xs:element ref="question" /> <xs:element ref="score" minOccurs="0" /> <xs:element ref="selectionposttext" minOccurs="0"/> <xs:element ref="solution" maxOccurs="unbounded" /> </xs:choice> <xs:attribute name="numberofsolutions" type="xs:integer" use="optional" /> <xs:attribute name="aim" type="xs:string" use="optional" /> <xs:attribute name="id" type="xs:string" use="required"/> </xs:complexType> </xs:element>

<xs:element name="MCproblem"> <xs:complexType> <xs:choice> <xs:element ref="feedback" minOccurs="0" /> <xs:element ref="hint" minOccurs="0" /> <xs:element ref="choice" minOccurs="1" maxOccurs="unbounded" /> <xs:element ref="question" /> <xs:element ref="score" minOccurs="0" /> <xs:element ref="selectionposttext" minOccurs="0" /> <xs:element ref="solution"/> </xs:choice> <xs:attribute name="aim" type="xs:string" use="optional"/> <xs:attribute name="id" type="xs:string" use="required"/> </xs:complexType> </xs:element>

367

<xs:element name="MRproblem"> <xs:complexType> <xs:choice> <xs:element ref="feedback" minOccurs="0" /> <xs:element ref="hint" minOccurs="0" /> <xs:element ref="choice" minOccurs="1" maxOccurs="unbounded" /> <xs:element ref="question" /> <xs:element ref="score" minOccurs="0" /> <xs:element ref="selectionposttext" minOccurs="0" /> <xs:element ref="solution" maxOccurs="unbounded" /> </xs:choice> <xs:attribute name="aim" type="xs:string" use="optional"/> <xs:attribute name="id" type="xs:string" use="required"/> </xs:complexType> </xs:element>

<xs:element name="SAproblem"> <xs:complexType> <xs:choice> <xs:element ref="hint" minOccurs="0" /> <xs:element ref="question" /> <xs:element ref="selectionposttext" minOccurs="0"/> </xs:choice> <xs:attribute name="aim" type="xs:string" use="optional"/> <xs:attribute name="id" type="xs:string" use="required"/> </xs:complexType> </xs:element>

<xs:element name="question" type="xs:string"/>

<xs:element name="choice"> <xs:complexType> <xs:simpleContent> <xs:extension base="xs:string"> <xs:attribute name="id" type="xs:string" /> </xs:extension> </xs:simpleContent>

368

Captulo A. Anexo I: XML Schema de la Especicaci n de Pistas Denida o

</xs:complexType> </xs:element>

<xs:element name="solution" type="xs:string"/>

<xs:element name="feedback"> <xs:complexType> <xs:choice> <xs:element ref="syntaxError" minOccurs="0" /> <xs:element ref="correct" minOccurs="0" /> <xs:element ref="incorrect" minOccurs="0" /> <xs:element ref="hint" minOccurs="0" /> </xs:choice> </xs:complexType> </xs:element>

<xs:element name="syntaxError" type="xs:string"/>

<xs:element name="correct" type="xs:string"/>

<xs:element name="incorrect" type="xs:string"/>

<xs:element name="hint"> <xs:complexType> <xs:choice> <xs:element ref="hintGroup" minOccurs="0" /> <xs:element ref="hintSeq" minOccurs="0" /> <xs:element ref="hintAlt" minOccurs="0" /> </xs:choice> <xs:attribute name="color" type="xs:string" use="optional" /> <xs:attribute name="id" type="xs:string" use="required" /> </xs:complexType> </xs:element>

<xs:element name="hintSeq"> <xs:complexType>

369 <xs:choice> <xs:element ref="FIBproblem" minOccurs="0" maxOccurs="unbounded" /> <xs:element ref="MCproblem" minOccurs="0" maxOccurs="unbounded" /> <xs:element ref="MRproblem" minOccurs="0" maxOccurs="unbounded" /> <xs:element ref="hintText" minOccurs="0" maxOccurs="unbounded" /> <xs:element ref="hintSeq" minOccurs="0" maxOccurs="unbounded" /> <xs:element ref="hintAlt" minOccurs="0" maxOccurs="unbounded" /> <xs:element ref="hintGroup" minOccurs="0" maxOccurs="unbounded" /> <xs:element ref="selectionposttext" minOccurs="0" /> </xs:choice> <xs:attribute name="aim" type="xs:string" use="optional" /> <xs:attribute name="allactive" type="xs:boolean" use="optional" /> </xs:complexType> </xs:element>

<xs:element name="hintAlt"> <xs:complexType> <xs:choice> <xs:element ref="FIBproblem" minOccurs="0" maxOccurs="unbounded" /> <xs:element ref="MCproblem" minOccurs="0" maxOccurs="unbounded" /> <xs:element ref="MRproblem" minOccurs="0" maxOccurs="unbounded" /> <xs:element ref="hintText" minOccurs="0" maxOccurs="unbounded" /> <xs:element ref="hintSeq" minOccurs="0" maxOccurs="unbounded" /> <xs:element ref="hintAlt" minOccurs="0" maxOccurs="unbounded" /> <xs:element ref="hintGroup" minOccurs="0" maxOccurs="unbounded" /> <xs:element ref="selectionposttext" minOccurs="0" />

370

Captulo A. Anexo I: XML Schema de la Especicaci n de Pistas Denida o

</xs:choice> <xs:attribute name="aim" type="xs:string" use="optional" /> </xs:complexType> </xs:element>

<xs:element name="hintGroup"> <xs:complexType> <xs:choice> <xs:element ref="selectionprevtext" minOccurs="0" /> <xs:element ref="descriptiontext" minOccurs="0" /> <xs:element ref="FIBproblem" minOccurs="0" maxOccurs="unbounded" /> <xs:element ref="MCproblem" minOccurs="0" maxOccurs="unbounded" /> <xs:element ref="MRproblem" minOccurs="0" maxOccurs="unbounded" /> <xs:element ref="hintText" minOccurs="0" maxOccurs="unbounded" /> <xs:element ref="hintSeq" minOccurs="0" maxOccurs="unbounded" /> <xs:element ref="hintAlt" minOccurs="0" maxOccurs="unbounded" /> <xs:element ref="hintGroup" minOccurs="0" maxOccurs="unbounded" /> <xs:element ref="selectionposttext" minOccurs="0" /> </xs:choice> <xs:attribute name="aim" type="xs:string" use="optional" /> <xs:attribute name="maxtoselect" type="xs:integer" use="optional" /> </xs:complexType> </xs:element>

<xs:element name="selectionprevtext" type="xs:string"/>

<xs:element name="descriptiontext" type="xs:string"/>

371 <xs:element name="selectionposttext" type="xs:string"/>

<xs:element name="hintText" type="xs:string"/>

<xs:element name="score"> <xs:complexType> <xs:choice> <xs:element ref="attemptpenalty" /> <xs:element ref="correctscore" /> <xs:element ref="hintBonus" /> <xs:element ref="hintPenalty" /> <xs:element ref="maxattemptpenalty" /> <xs:element ref="maxscore" /> <xs:element ref="normscore" /> <xs:element ref="upcoeficient" /> <xs:element ref="sectioncoeficient" /> <xs:element ref="assessmentcoeficient" /> <xs:element ref="viewpenalty" /> <xs:element ref="viewscore" /> </xs:choice> </xs:complexType> </xs:element>

<xs:element name="attemptpenalty" type="xs:decimal"/>

<xs:element name="correctscore" type="xs:decimal"/>

<xs:element name="hintBonus" type="xs:decimal"/>

<xs:element name="hintPenalty" type="xs:decimal"/>

<xs:element name="maxattemptpenalty" type="xs:decimal"/>

<xs:element name="maxscore" type="xs:decimal"/>

<xs:element name="normscore" type="xs:decimal"/>

372

Captulo A. Anexo I: XML Schema de la Especicaci n de Pistas Denida o

<xs:element name="upcoeficient" type="xs:decimal"/>

<xs:element name="sectioncoeficient" type="xs:decimal"/>

<xs:element name="assessmentcoeficient" type="xs:decimal"/>

<xs:element name="viewpenalty" type="xs:boolean"/> <xs:element name="viewscore" type="xs:boolean"/> </xs:schema>

Ap ndice B e

Anexo II: Ejemplos XML de la Especicaci n de Pistas denida o

Problema de Enterprise Java Beans <hints:MCproblem id="54a8910b-1bb2-4683-8900-c095216a0064"> <hints:choice id="096046a10251">A stateless session bean calls the methods of the entity beans</hints:choice> <hints:choice id="048982bfb82d">A servlet calls the methods of a stateless session bean</hints:choice> <hints:choice id="3dcb5f3b">A stateless session bean calls the methods of another stateless session bean</hints:choice> <hints:choice id="d760a7cb9a8d">At least one JSP calls the methods of the entity beans</hints:choice> <hints:hint id="add1b4b7"> <hints:hintGroup id="a422ac9adee"> <hints:MCproblem id="cabcee6702a0"> <hints:choice id="bbc59ecf7f60">None</hints:choice> <hints:choice id="0a4a0253">One</hints:choice> <hints:choice id="1d26c420">Two</hints:choice> <hints:choice id="d1297884">Three</hints:choice> <hints:question>How many servlets are there in the applicaton?</hints:question> <hints:solution>None</hints:solution> <hints:selectionposttext>This hint is related the servlets of the application</hints:selectionposttext> <hints:score> <hints:maxscore>100</hints:maxscore> <hints:correctscore>100</hints:correctscore> <hints:normscore>10</hints:normscore> <hints:viewscore>Yes</hints:viewscore> <hints:attemptpenalty>30</hints:attemptpenalty> 373

374

Captulo B. Anexo II: Ejemplos XML de la Especicaci n de Pistas denida o

<hints:maxattemptpenalty>80</hints:maxattemptpenalty> <hints:viewpenalty>20</hints:viewpenalty> <hints:upcoeficient>0.5</hints:upcoeficient> </hints:score> </hints:MCproblem> <hints:MCproblem id="b3919512"> <hints:choice id="25942837ed1f">None</hints:choice> <hints:choice id="e57b2b9276c1">One</hints:choice> <hints:choice id="322a97c48c0e">Two</hints:choice> <hints:choice id="2ce30096">Three</hints:choice> <hints:question>How many stateless session beans are there in the application?</hints:question> <hints:solution>One</hints:solution> <hints:selectionposttext>This is a hint about the stateless session beans of the application </hints:selectionposttext> <hints:score> <hints:maxscore>100</hints:maxscore> <hints:correctscore>100</hints:correctscore> <hints:normscore>10</hints:normscore> <hints:viewscore>Yes</hints:viewscore> <hints:attemptpenalty>30</hints:attemptpenalty> <hints:maxattemptpenalty>80</hints:maxattemptpenalty> <hints:viewpenalty>20</hints:viewpenalty> <hints:upcoeficient>0.5</hints:upcoeficient> </hints:score> </hints:MCproblem> <hints:descriptiontext>You can select both hints but you will lose 2 points for viewing each one </hints:descriptiontext> <hints:selectionprevtext>You can win or lose a maximum of 3 points for answering correct or incorrect the hints </hints:selectionprevtext> </hints:hintGroup> </hints:hint> <hints:question>Which of the following statements about the EJB implementation of the Sporting Activities application seen in the lab is true? (You will lose 3 points for each incorrct attempt)</hints:question> <hints:solution>A stateless session bean calls the methods of the entity beans</hints:solution> <hints:score> <hints:maxscore>100</hints:maxscore> <hints:correctscore>100</hints:correctscore> <hints:normscore>10</hints:normscore>

375 <hints:viewscore>Yes</hints:viewscore> <hints:attemptpenalty>30</hints:attemptpenalty> <hints:maxattemptpenalty>80</hints:maxattemptpenalty> <hints:hintBonus>30</hints:hintBonus> <hints:hintPenalty>30</hints:hintPenalty> </hints:score> </hints:MCproblem>

Problema de Suma <hints:FIBproblem id="q1" type="number"> <hints:hint id="qh" color="#FFE4C4"> <hints:hintSeq id="fds3tfsda-1"> <hints:FIBproblem id="qh-1" type="number"> <hints:hint id="qhj" color="#7FFFD4"> <hints:hintSeq id="fds3tfsda-2"> <hints:FIBproblem id="qhj-1" type="number"> <hints:question>7 + 2 =</hints:question> <hints:solution>9</hints:solution> </hints:FIBproblem> <hints:FIBproblem id="qhj-2"> <hints:question> 10 + 30 =</hints:question> <hints:solution>40</hints:solution> </hints:FIBproblem> <hints:FIBproblem id="qhj-3"> <hints:question>(7 + 2) + (10 + 30) = </hints:question> <hints:solution>49</hints:solution> </hints:FIBproblem> </hints:hintSeq> </hints:hint> <hints:question>17 + 32 =</hints:question> <hints:solution>49</hints:solution> </hints:FIBproblem> <hints:FIBproblem id="qh-2" type="number"> <hints:hint id="qhi" color="#7FFFD4"> <hints:hintSeq id="fds3tfsda-3"> <hints:FIBproblem id="ghi-1" type="number"> <hints:question>3 + 1 =</hints:question> <hints:solution>4</hints:solution> </hints:FIBproblem> <hints:FIBproblem id="ghi-2" type="number"> <hints:hint id="qhij" color="#FF8C00">

376

Captulo B. Anexo II: Ejemplos XML de la Especicaci n de Pistas denida o

<hints:hintSeq=id="fds3tfsda-4"> <hints:FIBproblem id="qhij-1" type="number"> <hints:question>5 + 5 =</hints:question> <hints:solution>10</hints:solution> </hints:FIBproblem> <hints:FIBproblem id="qhij-2" type="number"> <hints:question> 10 + 10 =</hints:question> <hints:solution>20</hints:solution> </hints:FIBproblem> <hints:FIBproblem id="qhij-3" type="number"> <hints:question>10 + 20 =</hints:question> <hints:solution>30</hints:solution> </hints:FIBproblem> </hints:hintSeq> </hints:hint> <hints:question>20 + 20 =</hints:question> <hints:solution>40</hints:solution> </hints:FIBproblem> <hints:FIBproblem id="qhi-3" tupe="number"> <hints:question>(100) + (20 + 20) + (3 + 1) = </hints:question> <hints:solution>144</hints:solution> </hints:FIBproblem> </hints:hintSeq> </hints:hint> <hints:question>121 + 23 =</hints:question> <hints:solution>144</hints:solution> </hints:FIBproblem> <hints:FIBproblem id="qh-3" type="number"> <hints:question>(17 + 32) + (121 + 23) = </hints:question> <hints:solution>193</hints:solution> </hints:FIBproblem> </hints:hintSeq> </hints:hint> <hints:question> 17 + 32 + 121 + 23 =</hints:question> <hints:solution>193</hints:solution> </hints:FIBproblem>

Problema de Ecuaciones <hints:MCproblem id="q1"> <hints:question>What is the negative solution of the

377 following equation? 25 + y2 - 30 - 2y + 2 = 0 </hints:question> <hints:solution> -1 </hints:solution> <hints:choice> -1 </hints:choice> <hints:choice> -2 </hints:choice> <hints:choice> -3 </hints:choice> <hints:choice> -4 </hints:choice> <hints:choice> -5 </hints:choice> <hints:choice> -6 </hints:choice> <hints:choice> -7 </hints:choice> <hints:feedback> <hints:syntaxError>Please type a number</hints:syntaxError> <hints:correct>Well done!</hints:correct> <hints:incorrect>You might consider using a hint </hints:incorrect> </hints:feedback> <hints:hint id="q1" color="#cccccc"> <hints:hintAlt> <hints:hintSeq id="dfsadsg-1"> <hints:FIBproblem id="q11" aim="sum" type="number"> <hints:question> Calculate first (25 - 30 + 2) </hints:question> <hints:solution> -3 </hints:solution> <hints:feedback> <hints:syntaxError>Please type a number </hints:syntaxError> <hints:correct>You know how to sum!</hints:correct> <hints:incorrect>You should review the sum. You might consider using a hint</hints:incorrect> </hints:feedback> <hints:hint id="q11" color="#dddddd"> <hints:hintSeq id="dfsadsg-2"> <hints:MCproblem id="q111"> <hints:question> 25 -30 </hints:question> <hints:solution> -5 </hints:solution> <hints:choice> -1 </hints:choice> <hints:choice> -3 </hints:choice> <hints:choice> -5 </hints:choice> <hints:choice> -8 </hints:choice> <hints:hint id="q1111" color="#eeeeee"> <hints:hintSeq id="dfsadsg-2"> <hints:MCproblem id="q11111"> <hints:question> Calculate first (5 + 5) </hints:question> <hints:solution> 10 </hints:solution>

378

Captulo B. Anexo II: Ejemplos XML de la Especicaci n de Pistas denida o <hints:choice> -4 </hints:choice> <hints:choice> 7 </hints:choice> <hints:choice> 9 </hints:choice> <hints:choice> 10 </hints:choice> <hints:choice> 12 </hints:choice> <hints:feedback> <hints:syntaxError>Please type a number </hints:syntaxError> <hints:correct>This easier sum is OK! </hints:correct> <hints:incorrect>You should review the sum. There are no more hints for this! </hints:incorrect>

</hints:feedback> </hints:MCproblem> <hints:FIBproblem id="q111112" type="number"> <hints:question> Second calculate (5 + 5) + 5 </hints:question> <hints:solution> 15 </hints:solution> <hints:feedback> <hints:syntaxError>Please type a number </hints:syntaxError> <hints:correct>This easier sum is OK! </hints:correct> <hints:incorrect>You should review the sum. There are no more hints for this! </hints:incorrect> </hints:feedback> </hints:FIBproblem> <hints:FIBproblem id="q111113" type="number"> <hints:question> Third Calculate (5 + 5 + 5 + 5 + 5) + 5 </hints:question> <hints:solution> 30 </hints:solution> <hints:feedback> <hints:syntaxError>Please type a number </hints:syntaxError> <hints:correct>This easier sum is OK! </hints:correct> <hints:incorrect>You should review the sum. There are no more hints for this! </hints:incorrect> </hints:feedback> </hints:FIBproblem>

379 </hints:hintSeq> </hints:hint> </hints:MCproblem> </hints:hintSeq> </hints:hint> </hints:FIBproblem> <hints:FIBproblem id="q12" aim="remember"> <hints:question> The roots of the equation ay2 + by + c = 0 are (-b +- root(b2 - 4ac))/(2a) </hints:question> <hints:solution> -1 </hints:solution> </hints:FIBproblem> <hints:hintSeq id="id="dfsadsg-3" aim="solveequation"> <hints:FIBproblem id="q131" type="number"> <hints:question> Calculate first the negative solution for y2 = 9 </hints:question> <hints:solution> -3 </hints:solution> <hints:feedback> <hints:syntaxError>Please type a number </hints:syntaxError> <hints:correct>This easier equation is OK! </hints:correct> <hints:incorrect>You should consider take another hint</hints:incorrect> </hints:feedback> <hints:hint id="q1312" color="#dddddd"> <hints:FIBproblem id="q13121" type="number"> <hints:question> What is 3 to the power of 2? </hints:question> <hints:solution> 9 </hints:solution> <hints:feedback> <hints:syntaxError>Please type a number </hints:syntaxError> <hints:correct>Correct! Now try the previous exercise. Think about the relation between powers and roots </hints:correct> <hints:incorrect>You should review the power. There are no more hints for this! </hints:incorrect> </hints:feedback> </hints:FIBproblem>

380

Captulo B. Anexo II: Ejemplos XML de la Especicaci n de Pistas denida o

</hints:hint> </hints:FIBproblem> <hints:FIBproblem id="q132" type="number"> <hints:question> Second, calculate the negative solution for y2 +3y + 2 = 0 </hints:question> <hints:solution> -2 </hints:solution> <hints:feedback> <hints:syntaxError>Please type a number </hints:syntaxError> <hints:correct>This easier equation is OK! </hints:correct> <hints:incorrect>There are no more hints for this </hints:incorrect> </hints:feedback> </hints:FIBproblem> <hints:FIBproblem id="q133" type="number"> <hints:question> Finally, Calculate the overall equation solution </hints:question> <hints:solution> -1 </hints:solution> </hints:FIBproblem> </hints:hintSeq> <hints:MCproblem id="q14" aim="substitute"> <hints:question> Try to substitute the different possible values for y in the equation! </hints:question> <hints:choice> OK </hints:choice> <hints:solution> OK </hints:solution> </hints:MCproblem> </hints:hintAlt> </hints:hint> </hints:MCproblem>

Problema de Ros <FIBproblem id="qa" numberofsolutions="5"> <question> Write 5 rivers between the top 10 longest rivers of Spain </question> <solution>Tajo</solution> <solution>Ebro</solution>

381 <solution>Guadalquivir </solution> <solution>Duero</solution> <solution>Guadiana</solution> <solution>Minyo</solution> <solution>Jucar</solution> <solution>Segura</solution> <solution>Genil</solution> <solution>Turia</solution> <score> <maxscore>100</maxscore> <correctscore>100</correctscore> <normscore>100</normscore> <viewscore>Yes</viewscore> <attemptpenalty>1</attemptpenalty> <maxattemptpenalty>5</maxattemptpenalty> <hintBonus>50</hintBonus> <hintPenalty>10</hintPenalty> </score> <feedback> <syntaxError>Please type the five rivers</syntaxError> <correct>Well done!</correct> <incorrect>You might consider using a hint</incorrect> </feedback> <hint id="qb" color="#dddddd"> <hintGroup id="nuevo" maxtoselect="2"> <selectionprevtext>Two hints are shown to you. You can select a maximum of two of them</selectionprevtext> <descriptiontext>Both hints are about rivers</descriptiontext> <hintSeq id =sdkrflsdeag> <selectionposttext>This is a MC first and a MR second. You will lose 40 points if you select this hint. For correct/incorrect You can win a maximum of 20 and You can lose a maximum of 8.</selectionposttext> <MCproblem id="ql"> <question>One of the top 10 rivers flows into Guadalquivir and outlet in Palma del Rio. Which is this River? </question> <solution>Genil</solution> <choice>Duero</choice> <choice>Almanzora</choice> <choice>Bidasoa</choice> <choice>Genil</choice> <choice>Eo</choice> <score> <maxscore>100</maxscore>

382

Captulo B. Anexo II: Ejemplos XML de la Especicaci n de Pistas denida o

<correctscore>100</correctscore> <normscore>100</normscore> <viewscore>Yes</viewscore> <attemptpenalty>30</attemptpenalty> <maxattemptpenalty>90</maxattemptpenalty> <viewpenalty>30</viewpenalty> <upcoeficient>0.25</upcoeficient> </score> </MCproblem> <MRproblem id="qc"> <feedback> <syntaxError>Please type an answer</syntaxError> <correct>Well done!</correct> <incorrect>You might consider using a hint</incorrect> </feedback> <question> Select only the rivers in the top 10 longest rivers of Spain</question> <choice id="qd">Lena</choice> <choice id="qe">Turia</choice> <choice id="qf">Ter</choice> <choice id="qg">Guadiana</choice> <choice id="qh">Huecar</choice> <solution>Guadiana</solution> <solution>Turia</solution> <score> <maxscore>100</maxscore> <correctscore>100</correctscore> <normscore>100</normscore> <viewscore>Yes</viewscore> <attemptpenalty>30</attemptpenalty> <maxattemptpenalty>90</maxattemptpenalty> <viewpenalty>10</viewpenalty> <upcoeficient>0.25</upcoeficient> <hintBonus>50</hintBonus> <hintPenalty>10</hintPenalty> </score> <hint id="qi" color="#eeeeee"> <hintGroup id="sadfb4nuevo" maxtoselect="1"> <selectionprevtext>Two hints are shown to you. You can select a maximum of one of them </selectionprevtext> <descriptiontext>Both hints are about rivers </descriptiontext> <MCproblem id="qj424ddv"> <selectionposttext>Penalty for viewing: 10.

383 You can win 10. You can lose 2</selectionposttext> <question>Is there some of the rivers of the list that is not from Spain?</question> <solution>Yes</solution> <choice>Yes</choice> <choice>No</choice> <score> <maxscore>100</maxscore> <correctscore>100</correctscore> <normscore>100</normscore> <viewscore>Yes</viewscore> <attemptpenalty>90</attemptpenalty> <maxattemptpenalty>90</maxattemptpenalty> <viewpenalty>10</viewpenalty> <upcoeficient>0.2</upcoeficient> </score> </MCproblem> <FIBproblem id="qk"> <selectionposttext>Penalty for viewing: 5. You can win 50. You can lose 10</selectionposttext> <question>Write the name of the river that is not from Spain</question> <solution>Lena</solution> <score> <maxscore>100</maxscore> <correctscore>100</correctscore> <normscore>100</normscore> <viewscore>Yes</viewscore> <attemptpenalty>5</attemptpenalty> <maxattemptpenalty>10</maxattemptpenalty> <viewpenalty>5</viewpenalty> <upcoeficient>1</upcoeficient> </score> </FIBproblem> </hintGroup> </hint> </MRproblem> </hintSeq> <MCproblem id="qweoinv"> <selectionposttext>This is also into the MC. You only lose 10 points to see this hint. You can win 20, you can lose 4</selectionposttext> <question>One of the top 10 rivers flows into Guadalquivir and outlet in Palma del Rio. Which is this River?</question>

384

Captulo B. Anexo II: Ejemplos XML de la Especicaci n de Pistas denida o

<solution>Genil</solution> <choice>Duero</choice> <choice>Almanzora</choice> <choice>Bidasoa</choice> <choice>Genil</choice> <choice>Eo</choice> <score> <maxscore>100</maxscore> <correctscore>100</correctscore> <normscore>100</normscore> <viewscore>Yes</viewscore> <attemptpenalty>30</attemptpenalty> <maxattemptpenalty>90</maxattemptpenalty> <viewpenalty>10</viewpenalty> <upcoeficient>0.4</upcoeficient> </score> </MCproblem> <MCproblem id="frewgdfs"> <selectionposttext>This is a Multiple Choice for all aims. You dont lose anything to see this hint</selectionposttext> <question>OK?</question> <solution>Yes</solution> <choice>Yes</choice> <choice>No</choice> </MCproblem> </hintGroup> </hint> </FIBproblem>

Evaluaci n Global con Problemas y Secciones o A continuaci n se presenta el chero XML que muestra la estructura en evaluaci n gloo o bal y secciones junto con las pistas de secciones y la evaluaci n global, pero se ha omitido o el c digo XML concreto de los problemas. o

<hints:assessment> <hints:assessmentname>This is an assessment about different topics </hints:assessmentname> <hints:hint id="qegEFjmd" color="#bbbbbbbb"> <hints:hintSeq> <hints:hintText> <hints:question>You can visit Google to have some help</hints:question> </hints:hintText>

385 </hints:hintSeq> </hints:hint> <hints:section> <hints:sectionname> This is the first section: About rivers </hints:sectionname> <hints:hint id="qi9okjmd" color="#bbbbbbbb"> <hints:hintSeq> <hints:MCproblem id="qj3dbdad"> <hints:question>Is there some of the rivers of the list that is not from Spain?</hints:question> <hints:solution>Yes</hints:solution> <hints:choice>Yes</hints:choice> <hints:choice>No</hints:choice> </hints:MCproblem> <hints:FIBproblem id="qk" type="number"> <hints:question>Write the name of the river that is not from Spain</hints:question> <hints:solution>Lena</hints:solution> </hints:FIBproblem> </hints:hintSeq> </hints:hint> <hints:FIBproblem id="qa4fv6hy" numberfosolutions="5"> ----------------------------</hints:FIBproblem> <hints:MCproblem id="234566ql"> ----------------------------</hints:MCproblem> </hints:section> <hints:section> <hints:sectionname> This is the second section: About mountains </hints:sectionname> <hints:hint id="qifdsf11" color="#bbbbbbbb"> <hints:hintSeq> <hints:MCproblem id="qjAAAAAA"> <hints:question>Is the highest mountain of Spain one of the highest of the world?</hints:question> <hints:solution>No</hints:solution> <hints:choice>Yes</hints:choice> <hints:choice>No</hints:choice> </hints:MCproblem> </hints:hintSeq> </hints:hint> <hints:FIBproblem id="q1edf345">

386

Captulo B. Anexo II: Ejemplos XML de la Especicaci n de Pistas denida o

----------------------------</hints:FIBproblem> </hints:section> <hints:section> <hints:sectionname> This is the third section: About sums </hints:sectionname> <hints:FIBproblem id="q1VEGCGE" type="number"> ----------------------------</hints:FIBproblem> <hints:FIBproblem id="q1VEGCGE" type="number"> ----------------------------</hints:FIBproblem> </hints:section> </hints:assessment>

Problema de Combinatoria <hints:FIBproblem id="6064ae51cf2f" type="number"> <hints:solution>10000</hints:solution> <hints:feedback> <hints:syntaxError>Debe introducir un numero</hints:syntaxError> <hints:incorrect>Considere utilizar una pista</hints:incorrect> <hints:correct>Enhorabuena. Respuesta correcta</hints:correct> </hints:feedback> <hints:hint id="8e3769f1" color="#FFFF66"> <hints:hintGroup id="3a9e494f" maxtoselect="1"> <hints:hintSeq id="sdkrflsdeag"> <hints:MCproblem id="60d85662"> <hints:choice id="0ac12743">1</hints:choice> <hints:choice id="58bff19c689e">4</hints:choice> <hints:choice id="08ba2e989">5</hints:choice> <hints:choice id="8268a6a56695">6</hints:choice> <hints:choice id="4f71bf3179a2">8</hints:choice> <hints:choice id="98d4cc4ca44a">9</hints:choice> <hints:question>Cuantos resultados se pueden obtener al lanzar un dado una vez?</hints:question> <hints:solution>6</hints:solution> <hints:score> <hints:maxscore>100</hints:maxscore> <hints:correctscore>100</hints:correctscore>

387 <hints:normscore>10</hints:normscore> <hints:viewscore>Yes</hints:viewscore> <hints:viewpenalty>10</hints:viewpenalty> <hints:upcoeficient>0.4</hints:upcoeficient> </hints:score> </hints:MCproblem> <hints:MCproblem id="2d2b2ac2"> <hints:choice id="11d6a62763d7">6</hints:choice> <hints:choice id="a72a1f375cc8">30</hints:choice> <hints:choice id="6518eeb4">36</hints:choice> <hints:choice id="35a881af">40</hints:choice> <hints:question>Si lanzamos el mismo dado dos veces, Cuantas posibilidades de resultados diferentes tenemos suponiendo que importa el orden?</hints:question> <hints:solution>36</hints:solution> <hints:score> <hints:maxscore>100</hints:maxscore> <hints:correctscore>100</hints:correctscore> <hints:normscore>10</hints:normscore> <hints:viewscore>Yes</hints:viewscore> <hints:viewpenalty>10</hints:viewpenalty> <hints:upcoeficient>0.3</hints:upcoeficient> </hints:score> </hints:MCproblem> <hints:FIBproblem id="9091dcc7" type="number"> <hints:solution>1296</hints:solution> <hints:question>Cuantas posibilidades distintas tenemos al lanzar 4 dados consecutivamente si importa el orden?</hints:question> <hints:score> <hints:maxscore>100</hints:maxscore> <hints:correctscore>100</hints:correctscore> <hints:normscore>10</hints:normscore> <hints:viewscore>Yes</hints:viewscore> <hints:attemptpenalty>10</hints:attemptpenalty> <hints:upcoeficient>0.3</hints:upcoeficient> </hints:score> </hints:FIBproblem> <hints:selectionposttext>Esta pista le proporcionara un problema analogo al que tiene que resolver, dividido en pasos. La puntuacion que perdera por visualizar esta pista es de 3 puntos.</hints:selectionposttext> </hints:hintSeq> <hints:SAproblem id="6f7069a4" rows="5" cols="10"> <hints:question>Para resolver este problema aplique

388

Captulo B. Anexo II: Ejemplos XML de la Especicaci n de Pistas denida o

variaciones con repeticion. Revise la formula para este problema.</hints:question> <hints:selectionposttext>Esta pista le proporcionara informacion sobre que tipo de modalidad combinatoria debe aplicar. La puntuacion que perdera por visualizar esta pista es de 5 puntos.</hints:selectionposttext> <hints:score> <hints:viewscore>No</hints:viewscore> <hints:viewpenalty>50</hints:viewpenalty> </hints:score> </hints:SAproblem> <hints:descriptiontext>Grupo de pistas:</hints:descriptiontext> <hints:selectionprevtext>A continuacion se le mostrara informacion sobre 2 pistas. Como maximo solo puede elegir una de ellas </hints:selectionprevtext> </hints:hintGroup> </hints:hint> <hints:question>En una bolera, se dispone de un total de 10 bolos que inicialmente estan de pie antes de cada tirada. Cada jugador dispone exactamente de cuatro tiradas y anota ordenadamente las cuatro puntuaciones obtenidas, poniendo en cada una el numero de bolos que ha conseguido tirar. Cuantas anotaciones diferentes importando el orden se pueden escribir?</hints:question> <hints:score> <hints:maxscore>100</hints:maxscore> <hints:correctscore>100</hints:correctscore> <hints:normscore>10</hints:normscore> <hints:viewscore>Yes</hints:viewscore> <hints:attemptpenalty>5</hints:attemptpenalty> <hints:maxattemptpenalty>15</hints:maxattemptpenalty> <hints:hintBonus>20</hints:hintBonus> <hints:hintPenalty>40</hints:hintPenalty> </hints:score> </hints:FIBproblem>