Proposition de sujet de mmoire M2 - Master 2 R sciences cognitives - Grenoble-I
Exprimentation avec Apex 2, un systme d'valuation automatique de rsums de cours
Contact : Philippe Dessus (Lab. sciences de l'ducation, UPMF, bureau 215, BSHM, Philippe.Dessus@upmf-grenoble.fr) Rsumer des cours pour valuer sa propre comprhension de ces derniers (et/ou favoriser leur apprentissage) est une activit que les tudiants ralisent frquemment, et qui est souvent demande en examen. Pour autant, valuer la qualit des rsums demande beaucoup de temps aux enseignants, qui, de ce fait, encouragent peu les tudiants la mettre en uvre. La possibilit de faire raliser cette valuation par des systmes informatiss est donc envisager. Apex 2 (Dessus & Lemaire, 2002) est un systme informatique permettant des tudiants de lire divers documents correspondant un cours (rcuprs par requte), de rdiger des rsums de ces documents et d'tre valus sur le contenu de ces derniers. De plus, ce systme compare l'avis de l'tudiant sur sa propre comprhension du cours et celui du systme, lui permettant ainsi d'engager un processus d'auto-rgulation (c'est--dire lamener comprendre ce qu'il a compris, par des indications de type : "Tu penses avoir compris le document d, mais ton rsum montre que ce n'est pas le cas"). Il est noter que l'tudiant passe librement de l'une l'autre de ces diffrentes activits (recherche, lecture, criture, jugement de comprhension). Le mcanisme de recherche de documents et de comparaison cours/rsums est assur par l'analyse de la smantique latente (Latent Semantic Analysis, Landauer & Dumais, 1997), une mthode de traitement statistique rendant compte de la proximit smantique entre mots ou textes. Cette mthode est, depuis 10 ans, classiquement utilise dans de nombreux systmes d'valuation automatique (voir Dessus & Lemaire, 2004, pour une revue). Une version prototype d'Apex 2 avait t programme en 2001; elle vient d'tre adapte aux systmes et ordinateurs plus rcents. Dans le cadre d'un projet europen (projet LTfLL, pour Language Technologies for LifeLong Learning, site : http://partners.ltfll-project.org/ partiellement accessible au public), notre travail sur trois ans est de partir d'un test de ce systme (ce test tant en partie le sujet de cette recherche) pour laborer terme un ensemble complet de services libres et gratuits pouvant tre utiliss dans les plates-formes d'enseignement distance, autorisant un ensemble d'activits varies (pour l'enseignant, dtection de plagiat, analyse de forums/chats ; pour l'tudiant, aide la recherche, l'valuation de dissertations). ce jour, Apex 2 fonctionne sous Linux et PHP. Un tudiant de Master 2 Pro IDL (options TALEP ou EIAL), Univ. Stendhal va se charger de l'ventuelle partie programmation lie au test. Le sujet de ce mmoire va tre de tester l'utilisation d'Apex 2 en contexte universitaire, avec un cours et une tche les plus proches possible du contexte rel. Il s'agira donc d'une passation d'exprimentation classique, avec les phases suivantes : aide au choix du corpus utilis pour le traitement des rsums ; choix de la tche, du contenu, et de la procdure de test et d'valuation (questionnaire d'utilisabilit et d'valuation de charge cognitive de type
NASA-TLX radapter d'un prcdent) ;
appel participants (une dizaine) ; passation des participants (1 h environ) ; analyse des donnes de traces (e.g., nombre de requtes, nombre de textes lus/rsums, etc.) et du questionnaire. prconisations de modifications, pouvant le cas chant tre aussi testes sur d'autres participants ; rdaction d'un mmoire-rapport (contenant galement un bref tat de l'art). Rfrences Dessus, P. & Lemaire, B. (2002). Using production to assess learning: an ILE that fosters Self-Regulated Learning. In S. A. Cerri, G. Gouardres, & F. Paraguau (Eds.), Intelligent Tutoring Systems (ITS 2002) (pp. 772-781). Berlin : Springer, LNCS 2363. Disponible http://webu2.upmf-grenoble.fr/sciedu/pdessus/its02.PDF Dessus, P. & Lemaire, B. (2004). Assistance informatique la correction de copies. In . Gentaz & P. Dessus (Eds.), Comprendre les apprentissages : sciences cognitives et ducation (pp. 205-220). Paris : Dunod. Disponible http://webu2.upmfgrenoble.fr/sciedu/pdessus/dunod04.pdf Landauer, T. K., & Dumais, S. T. (1997). A solution to Plato's problem : the Latent Semantic Analysis theory of acquisition, induction and representation of knowledge. Psychological Review, 104(2), 211-240. Disponible http://lsa.colorado.edu/papers/plato/plato.annote.html
Comment enseigner efficacement la grammaire du CP au CM2 pour mieux comprendre et écrire la langue française ?: Les cents ciels (l’essentiel) de la grand-mère (grammaire)