Nuevas Ideas en Informtica Educativa TISE 2014

Learning Analytics: um mapeamento sistemtico

Barbara Moissa

Isabela Gasparini

Avanilde Kemczinski

Programa de Ps Graduao em
Computao Aplicada (PPGCA)
Universidade do Estado de Santa
Catarina (UDESC)
Joinville, SC, Brasil

Universidade do Estado de Santa

Catarina (UDESC)
Joinville, SC, Brasil

Programa de Ps Graduao em
Computao Aplicada (PPGCA)
Universidade do Estado de Santa
Catarina (UDESC)
Joinville, SC, Brasil

isabela.gasparini@udesc.br

barbara.moissa@gmail.com
ABSTRACT
Learning Analytics (LA) is a new research field, related to the
collection and analysis of students data to enhance learning and
the environment on which it occurs. This paper presents a
systematic mapping of the literature on the field, seeking to
understand which are the data types, the techniques, the
stakeholders and the interventions; and their relation with the
analysis goals: Monitoring and Analysis; Prediction and
Intervention; Tutoring and Mentoring; Assessment and Feedback;
Adaptation; Personalization and Recommendation; and
Reflection. We also analyze LA in the Massive Open Online
Courses (MOOCs) context. The results show several types of data
(the main is navigational data) and techniques; the main
stakeholders as researchers; and little focus on interventions. It
also shows research opportunities in the MOOCs context.

RESUMO
Learning Analytics uma nova rea de pesquisa, relacionada
coleta de dados dos alunos para melhorar o aprendizado e o
ambiente em que este ocorre. Este artigo apresenta um
mapeamento sistemtico da literatura da rea, procurando
entender quais so os tipos de dados, as tcnicas, as pessoas
interessadas e as intervenes; e sua relao com os objetivos de
anlise: Monitoramento e Anlise; Predio e Interveno;
Tutoria e Mentoria; Avaliao e Feedback; Adaptao;
Personalizao e Recomendao; e Reflexo. Ns tambm
analisamos a rea no contexto dos Massive Open Online Courses
(MOOCs). Os resultados mostram diferentes tipos de dados (o
principal so os dados navegacionais) e tcnicas; as principais
pessoas interessadas so pesquisadores; e pouco foco nas
intervenes. Estes tambm mostram oportunidades de pesquisa
no contexto dos MOOCs.

avanilde.kemczinski@udesc.br
Palavras Chaves
Learning Analytics, anlise de dados educacionais, Massive Open
Online Courses, Informtica na Educao

1. INTRODUO
Nos Ambientes Virtuais de Aprendizagem (AVAs) uma grande
quantidade de dados de navegao pode ser coletada,
possibilitando que sejam feitas diversas anlises relacionadas ao
comportamento do aluno no ambiente, auxiliando na prtica
pedaggica e at mesmo na melhoria do ambiente (de forma
similar ao uso de tcnicas web analytics, adotadas no comrcio
eletrnico). Neste sentido, surgem as Learning Analytics (LA),
uma rea de pesquisa relativamente nova na qual so analisados
os dados produzidos por alunos dentro e fora dos AVAs com o
objetivo de melhorar o processo de ensino-aprendizagem.
Com o objetivo de entender melhor a rea, este artigo prope um
mapeamento sistemtico da literatura para identificar quais os
tipos de dados, quais tcnicas, quais as intervenes (aes
realizadas aps uma anlise para mudar o processo de ensinoaprendizagem) e quais os usurios aos quais os resultados so
destinados, bem como qual a relao destes elementos com os
objetivos de anlise. Em seguida, para identificar oportunidades
de estudo da rea com dados de Massive Open Online Courses
(MOOCs) fazemos uma anlise dos trabalhos inseridos neste
contexto.

H.5.m. Information interfaces and presentation (e.g., HCI):

Miscellaneous.

Para possibilitar um melhor entendimento das questes de

pesquisa e dos resultados, a Seo 2 contextualiza a rea de
Learning Analytics. Em seguida, a Seo 3 descreve a
metodologia adotada para realizar o mapeamento sistemtico
proposto. A Seo 4 mostra os resultados gerais obtidos e a Seo
5 mostra os resultado no contexto dos MOOCs. A Seo 6 discute
os resultados e, por fim, a Seo 7 apresenta as consideraes
finais, seguida das referncias bibliogrficas.

Termos Gerais

2. LEARNING ANALYTICS

Descritor de Categorias e Assuntos

Human Factors

Learning Analytics so a medida, coleta, anlise e relato dos

dados de estudantes e seus contextos com o propsito de entender
e otimizar o aprendizado e o ambiente em que este ocorre [1].
Aplicado a disciplinas, cursos e departamentos, este processo
fornece informaes valiosas sobre o que est realmente
acontecendo e sugere maneiras atravs das quais os educadores
podem melhorar o processo de ensino-aprendizagem, alm de
indicar quais alunos podem desistir do curso ou aqueles que
precisam de ajuda adicional para melhorar seu desempenho [2].

283

Nuevas Ideas en Informtica Educativa TISE 2014

O u?

Po

Quais dados?

u?

Qua o o jetivo?
Qual

o Academic Analytic
ytics: uma categoria ampla de
nologias para coletar, armazenar,
aplicaes e tecno
analisar e fornecerr acesso
a
a dados para ajudar usurios
de companhias a tomar
t
decises melhores [5]. Na
balhos desta rea geralmente so
literatura, os traba
tificao de estudantes em risco
relativos a identif
stas anlises so aplicadas a nvel
(predio) [3]. Est
institucional, regi
gional (i.e., cidade, estado) e
nacional/internacion
onal [2].

Lea i g A alyti
ti s
Co o?

Que ?

Quais t ni as?

Quais
uais os envolvidos?

Figura 1. Modelo de referncia de Learrning Analytics [3]

o Minerao de Dados
D
Educacionais (do ingls
Educational Data Mining EDM): uma rea
emergente, cujo objetivo
o
definir mtodos para
explorar
dados
provenientes
de
ambientes
educacionais e utiliz
iliz-los para compreender melhor os
alunos e seu contex
texto de aprendizagem [6]. Por mais
que a definio des
esta rea seja similar a definio de
LA, ambas emprega
gam tcnicas diferentes. Enquanto a
Minerao de Dado
ados Educacionais emprega tcnicas
comuns de minera
rao de dados (e.g, clusterizao,
classificao, miner
erao de regras de associao) as
LA podem empreg
regar, alm destas, outras tcnicas
(e.g., Anlise das
da Redes Sociais, Estatsticas,
Visualizao da Inf
nformao). Outras diferenas entre
as reas podem serr encontradas
e
em [7].

ra 1, foi proposto com

O modelo de referncia ilustrado na Figura
itar a classificao da
base na evoluo da rea para possibilita
[3]. Este
literatura e tambm para facilitar o seu entendimento
en
modelo possui as mesmas dimenses adotada
adas por Atif et al. [4] e
baseado em quatro dimenses:

O qu? Esta dimenso refere-se aos tip

tipos de dados de dados
coletados. Esses dados podem ser prov
ovenientes do ambiente
in
de redes
de aprendizagem utilizado, de fontes institucionais,
sociais como o Facebook e o Twitter,, etc.
e

Quem? Esta dimenso refere-se a quem

qu
os resultados da
endo ser a alunos,
anlise sero direcionados, poden
ais (administradores),
professores, instituies educacionai
as, etc. Cada um dos
pesquisadores, projetistas de sistemas
spectivas, objetivos e
envolvidos tem suas prprias persp
os.
expectativas em relao aos resultados.

Por qu? Esta dimenso est relacionada

r
com os
ada. Conforme Chatti et
resultados/objetivos da anlise realizad
al. [3] e Atif et al. [4] estes objetivos so:
s
o Monitoramento e Anlise: como
o o nome diz tem como
objetivo monitorar as aes do al
aluno e gerar relatrios
com os resultados das anlises.
o Predio e Interveno: desenvo
volver um modelo que
tente prever o desempenho do aaluno no futuro com
es atuais, fornecendo
base em suas aes e realizae
precisam de ateno
indicativos de alunos que pr
especial para ento intervir.
o Tutoria e Mentoria: ajudar o aluno em mdulos
u durante todo o curso
especficos do curso (tutoria) ou
(mentoria).
o Avaliao e Feedback: procuraa auxiliar na avaliao
edback adequado.
do aprendizado fornecendo o feed
o Adaptao: busca dizer ao aluno
no o que fazer atravs
da reorganizao dos recursos de aprendizagem e das
as necessidades.
atividades de acordo com as suas
o Personalizao e Recomendao:: busca permitir que o
aluno defina como vai aprender
er (personalizao)
onhecimento , mas
enfatizando a busca pelo con
fornecendo mecanismos (recomeendao) para auxililo nesta busca de modo a evi
evitar a sobrecarga de
informaes.

Como? Esta dimenso re

refere-se s diferentes tcnicas que
podem ser empregadas para
p
detectar padres contidos nos
dados e atingir os objetivo
ivos contidos na dimenso Por qu?.
De acordo com Chatti ett al. [3] a rea emprega uma grande
variedade de mtodos dee outras
o
reas como, por exemplo:

Cada uma das dimenses do mo

odelo de referncia est relacionada
com uma das etapas do ciclo proposto
p
por Clow [8], ilustrado na
uatro etapas: (1) Alunos, (2) Dados,
Figura 2. Este ciclo possui qua
(3) Anlise e (4) Intervenes.
A primeira etapa deste ciclo so os alunos que iro gerar os dados
coletados na segunda etapa.. Com estes dados, so realizadas
ero conhecimento sobre o processo
diferentes anlises que fornecer
de aprendizagem. No entanto,, o ciclo no se encerra enquanto os
resultados destas anlises no
o forem utilizados para direcionar
est que tornam as ferramentas LA
intervenes, visto que so estas
eficientes no aprimoramentoo ddo processo ensino-aprendizagem
[8].
d
categorias de intervenes: as
Brown [9] afirma que existem duas
automticas e as semiautomti
ticas. As intervenes automticas
ema realiza aes pr-determinadas
so aquelas em que o sistem
ca ou nenhuma participao do
automaticamente, com pouca
ser simples indicadores nas
professor. Estas intervenes podem
p
cores verde (bom desempenho)
ho), amarelo (desempenho regular) e
vermelho (mau desempenho) aalertando o aluno; ou ainda agentes
inteligentes que oferecem ajuda
da e guiam o aluno diretamente nos
assuntos em que encontram-see aas deficincias de aprendizado. Por
sua vez as intervenes semi
miautomticas so alertas e outros
de aprendizagem enviados
indicadores relevantes dos padres
pa
para os envolvidos no proces
esso de ensino-aprendizagem (i.e.,
educadores e alunos). Estess padres podem ser considerados
como sintomas e os envolvido
dos podem decidir o que ser feito
para corrigir esta falha.

o Reflexo: permite que as informaes sejam

comparadas entre alunos, turmass e cursos permitindo a
rticas de ensino e/ou
verificao da eficcia das prt
aprendizagem.

284

Nuevas Ideas en Informtica Educativa TISE 2014

Alu os

I te e es

Quais so os tipos de dados? Qual a relao destes com o

objetivo da anlise?

Quais os mtodos utilizados? Qual a relao entre os

mtodos e os objetivos?

Quais os usurios para os quais os resultados foram

destinados? Qual a relao do pblico alvo com o objetivo
da anlise?

Quais as intervenes tomadas? Elas so automticas,

semiautomticas, ou manuais? Qual a relao destas com o
objetivo da anlise?

Dados

3.2. Conduo da Busca

A lises

Figura 2. Ciclo de Learning Analytics [8]

Neste artigo adota-se uma verso adaptada da classificao de
Brown (2012) com o intuito de obter uma viso mais detalhada
sobre como os educadores precisam se envolver para realizar as
intervenes , com as seguintes categorias: automticas,
semiautomticas e manuais. A categoria automtica refere-se s
intervenes que no necessitam de participao do professor; a
categoria semiautomtica refere-se s intervenes com pouca
participao do professor, ou seja, o professor apenas solicita que
o sistema realize alguma tarefa; e a categoria manual refere-se s
intervenes em que os envolvidos no processo de aprendizagem
precisam tomar decises individualmente ou em grupo e agir para
alterar o processo.
Apesar de este trabalho possuir uma proposta similar ao trabalho
de Atif et al. (2013) que classifica quatro ferramentas Learning
Analytics de acordo com as quatro dimenses definidas no modelo
de Chatti et al. (2012), este trabalho abrange e classifica uma
quantidade maior de artigos; analisa, alm das dimenses do
modelo de referncias, as intervenes adotadas para melhorar o
processo de ensino-aprendizagem; e faz a anlise da relao entre
dados, tcnicas, pblico-alvo e intervenes versus objetivos.

3. METODOLOGIA
Esta seo detalha a metodologia da busca pelos trabalhos
mapeados neste artigo. Na Seo 3.1 so descritas as questes de
pesquisa, na Seo 3.2 detalhado o processo de conduo da
busca pelos artigos e na Seo 3.3 descrito como os artigos
foram selecionados dentre os resultados da busca e como estes
foram filtrados.

A busca foi realizada nos Mecanismos de Busca Acadmica

(MBAs) IEEE Xplore, ACM, Scopus e Science Direct. Os MBAs
Scopus e Science Direct foram escolhidos, pois esto entre os 10
mais bem avaliados em uma anlise quantitativa de 40 MBAs
[10]. J os MBAs IEEE Xplore e ACM so escolhas justificveis
devido a sua relevncia na rea de Cincia da Computao. Para
realizar a busca, foi utilizada a expresso booleana ilustrada na
Figura 3, onde o asterisco (*) um caractere coringa, ou seja, um
caractere que pode ser substitudo por outros N caracteres (onde N
0).
"e-lea i g a al ti s" OR "elea i g a al ti s" OR "lea i g
a al ti s" AND p edi t* OR i te e tio OR tuto i g OR
e to i g OR assess e t OR feed a k OR adaptatio OR
pe so alizatio OR e o
e datio OR "data i i g" OR "so ial
et o k a al sis" OR "so ial a al sis" OR "dis ou se a al ti s"
OR "dis ou se a al sis" OR "le i al a al sis" OR dash oa d* OR
isuali*
Figura 3. Expresso booleana utilizada na busca dos artigos

3.3. Critrios de Incluso e Excluso

Para facilitar a seleo de artigos, foram definidos alguns critrios
de incluso e excluso. Os seguintes critrios de incluso foram
adotados:

Artigos disponveis na ntegra para download;

Artigos de conferncias ou peridicos;

Artigos completos (quatro ou mais pginas);

Aps realizar a busca nos mecanismos de busca definidos na

Seo 3.2, foram pr-selecionados todos os artigos que
satisfizessem os critrios de incluso citados acima. Dos artigos
pr-selecionados, foram excludos todos aqueles que satisfizessem
um ou mais dos critrios de excluso a seguir:

3.1. Questes de Pesquisa

Com base nas dimenses do modelo de referncia de Chatti et al.
(2012), no ciclo de Clow (2012) e na classificao de intervenes
adaptada de Brown (2012), o mapeamento sistemtico proposto
neste artigo pretende responder s seguintes questes de pesquisa:

285

No conter learning analytics, elearning analytics ou elearning analytics no ttulo, resumo, termos gerais ou
palavras-chave;

Artigos duplicados;

Artigos que no mostram como realizar ou aplicar uma

anlise em uma ferramenta (artigos que no so primrios),
ou seja, artigos tericos e de mapeamentos sistemticos so
desconsiderados.

Nuevas Ideas en Informtica Educativa TISE 2014

Mo ito a e to
e A lise

P edio e
I te e o

Tuto ia e
Me to ia

A aliao e
Feed a k

Adaptao

Pe so alizao e
Re o e dao

Refle o

Figura 4. Distribuio dos trabalhos por objetivo

Aps filtrar os artigos de interesse para este mapeamento,
importante ressaltar que foram considerados os trabalhos e no os
artigos, assim caso um trabalho tenha sido descrito em mais de um
artigo, os artigos foram considerados apenas como um. Desta
forma, caso um trabalho ou partes dele tenham sido descritos em
mais de um artigo, possvel obter informaes mais detalhadas a
respeito deste.

histrico escolar (13%) aparecem em uma quantidade

significativa quando comparados aos demais tipos de dados (entre
1% e 7%). Dos demais tipos de dados, aqueles nos quais h certo
interesse so os dados demogrficos e os dados provenientes de
mdias sociais.
O jetivos

A Figura 5 apresenta a relao entre os tipos de dados

(representados nas linhas) e objetivos (representados nas colunas).
A intensidade da cor da clula indica a quantidade de trabalhos
encontrados (i.e. quanto maior a intensidade, mais trabalhos
encontrados). Conforme a Figura 5, o tipo de dados
predominantemente utilizado nas anlises so os de navegao do
aluno (50%). Os dados provenientes do AVA (12%) e os dados do

Total

Refle o

Pe so alizao e Re o e dao

Adaptao

A aliao e Feed a k

Tuto ia e Me to ia

A otaes
udio

Tipos dos dados

Para alcanar os objetivos, os trabalhos utilizaram diferentes tipos

de dados: anotaes, udio; dados demogrficos (idade, gnero,
classe social, etc.); dados contidos no ambiente de aprendizagem
(metadados dos objetos de aprendizagem, publicaes nos fruns
de discusso, etc.); dados coletados em entrevistas; dados do
histrico escolar (notas, disciplinas cursadas, crditos obtidos,
total de reprovaes, etc.); dados de navegao dos alunos
(pginas acessadas, tempo online, frequncia de acesso, etc.)
coletados nos ambientes de aprendizagem utilizados (Moodle,
Blackboard, mquinas virtuais configuradas para monitorar as
aes do aluno dentro e fora da plataforma do curso ,
plataformas para desenvolvimento de cdigo, jogos srios, etc.);
dados coletados de mdias sociais (informaes do perfil,
comentrios realizados, etc.) como YouTube, Fruns de
Discusso, etc.; dados coletados atravs de questionrios; e dados
obtidos atravs de vdeos.

Mo ito a e to e A lise

Aps realizar a busca conforme definido na Seo 3.2, foram prselecionados de acordo com os critrios de incluso 642 artigos.
Em seguida, foram aplicados os critrios de excluso, eliminando
515 deles. Assim, foram selecionados 127 artigos, resultando em
116 trabalhos analisados (o mais antigo de 2011 e o mais novo
de 2014). A Figura 4 mostra a distribuio destes trabalhos
conforme as categorias da dimenso Por qu?, considerando que
alguns destes possuem mais de um objetivo. Grande parte dos
trabalhos est concentrada na categoria Monitoramento e Anlise,
ou seja, trabalhos em que so coletados os dados dos alunos para
realizar anlises. Os trabalhos das categorias Avaliao e
Feedback e Predio e Interveno tambm so foco de grande
interesse na rea.

P edio e I te e o

4. Resultados e Anlises

Dados
de og fi os
Dados do
a ie te
E t e istas
Hist i o es ola
Mdias so iais
Dados
Na ega io ais
Questio ios
Vdeos

Figura 5. Relao entre tipos de dados e objetivos

As anlises da categoria Monitoramento e Anlise por serem
mais exploratrias , utilizam diversos tipos de dados, sendo o
principal deles os navegacionais. Em anlises de Predio e

286

Nuevas Ideas en Informtica Educativa TISE 2014

Mo ito a e to P edio e
e A lise
I te e o

Tuto ia e
Me to ia

A aliao e
Feed a k

Pe so alizao e
Adaptao Re o e dao Refle o

Ap e dizage
de M ui a

Estatsti as

Mi e ao
de dados

A lise das
Redes So iais

A lises de Te to

Visualizao
da I fo ao

Out as

Figura 6. Relao entre tcnicas e objetivos

Alu os
Co selhei os
Dese ol edo es
P ofesso es
Pes uisado es

Figura 7. Relao entre pblico alvo e objetivos

287

Total

Refle o

Pe so alizao e Re o e dao

Adaptao

Tuto ia e Me to ia

P edio e I te e o

Ad i ist ado es

P li o alvo

Os resultados obtidos com estes trabalhos foram destinados a

diferentes pessoas como administradores, alunos, conselheiros,
desenvolvedores, professores e pesquisadores; podendo ser
destinados a um grupo (por exemplo, uma ferramenta poderia
possibilitar a reflexo tanto do aluno quanto do professor ao
mesmo tempo). Conforme pode ser observado na Figura 7, grande
parte dos trabalhos destinam-se aos pesquisadores, especialmente
os da categoria Monitoramento e Anlise. Como pblico final de
uma ferramenta, esto em destaque os professores e os alunos.

Mo ito a e to e A lise

Os dados so analisados atravs de tcnicas de Aprendizagem de

Mquina, Estatsticas, Minerao de Dados, Anlise das Redes
Sociais, Anlises de Texto, Visualizao da Informao, etc. No
entanto, conforme pode ser observado na Figura 6, h a
predominncia de tcnicas como Estatsticas e Visualizao da
Informao, aparecendo em grande quantidade e em grande parte
das categorias. Tcnicas de Minerao de Dados foram utilizadas
para atingir todos os objetivos, exceto os da categoria Tutoria e
Mentoria e aparecem em grande quantidade, juntamente com as
tcnicas de Anlise de Redes Sociais, nos trabalhos da categoria
Monitoramento e Anlise.

A aliao e Feed a k

O jetivos

Interveno, os trabalhos focam principalmente nos dados

demogrficos, dados do histrico escolar e tambm nos dados de
navegao do aluno. As anlises de Avaliao e Feedback podem
utilizar uma grande variedade de dados, prevalecendo os de
navegao do aluno e os dados do ambiente.

Nuevas Ideas en Informtica Educativa TISE 2014

Aps verificar os resultados das anlises, conforme o ciclo de

Clow (2012), necessrio realizar intervenes para melhorar o
processo de ensino-aprendizagem. Nos trabalhos selecionados, as
intervenes tomadas so adaptao no modo como o contedo
mostrado ao aluno, alteraes pedaggicas, feedback ao aluno,
orientaes aos alunos, envio de notificaes (SMS, e-mails, no
AVA, etc.), recomendaes de recursos e/ou colegas de trabalho;
sendo que foram mapeados os trabalhos que identificavam
claramente qual a interveno que pode ser adotada e aqueles em
que o trabalho claramente no possibilitava intervenes por
explorarem indicadores, modelos, etc.

Interveno. H uma grande variedade de tipos de dados que so

utilizados (predominando os de navegao) e tambm uma grande
variedade de tcnicas que podem ser aplicadas para analisar estes
dados. Os resultados desta anlise so direcionados para os alunos
ou para os professores, possibilitando intervenes para melhorar
o processo de ensino-aprendizagem. No entanto, os trabalhos
quase no mencionam as intervenes, conforme observado na
Figura 8.

5. MASSIVE OPEN ONLINE COURSES

Ao contrrio dos AVAs (que servem para dar suporte disciplinas
presenciais ou a cursos online), os Massive Open Online Courses
(MOOCs) surgem com o objetivo de massificar estes cursos [11].
Assim, os MOOCs so abertos ao grande nmero de usurios que
desejam realizar um curso.
Os MOOCs criaram grandes oportunidades para pesquisadores e
educadores interessados em LA. Devido ao grande nmero de
alunos que participam deste tipo de curso, tem-se acesso a grandes
conjuntos de dados das interaes de alunos, possibilitando a
compreenso das experincias, processos e resultados de
aprendizagem [2]. Com o objetivo de melhor entender a rea de
LA para aplicar suas tcnicas em um MOOC, a partir do
mapeamento sistemtico realizado, analisamos separadamente os
trabalhos que analisam dados coletados durante um MOOC. Dos
116 trabalhos analisados, apenas 5 utilizam dados de MOOCs.

Total

Refle o

Pe so alizao e Re o e dao

Adaptao

A aliao e Feed a k

Tuto ia e Me to ia

P edio e I te e o

Mo ito a e to e A lise

O jetivos

Utilizando dados provenientes da interao dos alunos em dois

MOOCs distintos, Coffrin et al. [12] procuraram desenvolver
tcnicas de LA que podem ser utilizadas com dados provenientes
de MOOCs e projetaram visualizaes significativas para os
usurios finais (instrutores, pesquisadores, estudantes e
administradores) para descrever as interaes dos alunos e os
padres de dedicao e sucesso. Tambm utilizando dados
provenientes de MOOCs, Ferguson et al. [13] utilizam tcnicas de
lingustica computacional (uma rea interdisciplinar que utiliza
estatsticas e modelagem da linguagem natural) para desenvolver
e testar um framework que identifique o dilogo exploratrio em
discusses textuais para dar suporte a alunos e professores.
Kizilcec et al. [14] utilizam dados de MOOCs para caracterizar a
dedicao dos alunos em quatro grupos de acordo com suas
caractersticas e comportamento. Atravs desses elementos eles
identificam padres de comprometimento e tambm os padres da
falta de comprometimento. Santos et al. [15] utilizam os dados
para analisar como as atividades evoluem, se todas so relevantes
e se o uso de um determinado idioma nos fruns de discusso
influenciam os resultados.

Adaptao

I te ve o

Alte ao
pedaggi a
Feed a k
O ie taes
Notifi aes
Re o e daes
Se

i te e o

Figura 8. Relao entre intervenes e objetivos

As intervenes de adaptao, feedback e recomendao so
automticas; a alterao pedaggica e as orientaes so manuais;
e, por fim, o envio de notificaes pode ser feito das trs maneiras
(automtica, semiautomtica e manual), dependendo do modo
como os resultados so calculados, exibidos para o usurio final e
do modo como o sistema foi desenvolvido/configurado.

Tambm h trabalhos que j apresentam algum tipo de

ferramenta. Ruiprez et al. [16] propem uma ferramenta que
permite a reflexo dos professores e alunos, alm de
recomendaes de horrios de estudo para os alunos (e.g.,
recomendar ao aluno o estudo pela manh pois seu desempenho
maior) e recomendaes para os professores de alunos que
precisam de ateno especial (e.g. alunos que no acessaram mais
o curso).

H poucos trabalhos que mencionaram a interveno realizada e,

no entanto, h uma grande quantidade de trabalhos no
possibilitam alguma interveno. Conforme a Figura 8, os
trabalhos das categorias Adaptao e Personalizao e
Recomendao esto diretamente relacionados s intervenes
Adaptao e Recomendaes. Os trabalhos da categoria Tutoria e
Mentoria esto relacionados categoria Sem interveno,
sugerindo que este pode ser um aspecto a ser abordado na rea de
Learning Analytics.

Em uma pesquisa bibliogrfica tradicional conduzida sobre LA e

MOOCs, outros trs trabalhos se destacaram. O trabalho de
Blanco et al. [17] prope uma metodologia para criar um cMOOC
(MOOC conectivista e baseado em redes sociais) adaptativo.
Tambm foram propostas ferramentas que possibilitam a
identificao de estudantes que podem vir a reprovar (predio)
atravs de estatsticas [18] ou ainda com o uso de Cadeias de
Ocultas de Markov [19].

A partir do mapeamento realizado nesta seo com artigos dos

ltimos 4 anos (2011-2014), nota-se um grande nmero de
trabalhos da categoria Monitoramento e Anlise (Figura 4),
seguido pelo interesse em Avaliao e Feedback e Predio e

288

Nuevas Ideas en Informtica Educativa TISE 2014

Mo ito a e to P edio e
e A lise
I te e o

Tuto ia e
Me to ia

A aliao e
Feed a k

Adaptao

Pe so alizao
e
Re o e dao

Refle o

Figura 9. Distribuio dos trabalhos de Learning Analytics em Massive Open Online Courses por objetivo
Os oito trabalhos de LA em MOOCs foram distribudos de acordo
com seus objetivos na Figura 9 (assim como o grfico da Figura 4,
alguns trabalhos possuem mais de um objetivo). Conforme pode
ser observado, no foram encontrados trabalhos que tratem da
tutoria/mentoria e nem da Avaliao e Feedback. Em conjunto
com a anlise qualitativa, percebe-se que por mais que tenham
sido encontrados trabalhos nas categorias Adaptao;
Personalizao e Recomendao; e Reflexo estes objetivos ainda
possuem muitos ngulos a serem explorados.

6. DISCUSSO
Atravs do mapeamento sistemtico realizado, pode-se verificar
que a grande maioria dos trabalhos de LA est relacionado a
categoria Monitoramento e Anlise. No entanto, 56% dos
trabalhos assim classificados continham anlises exploratrias
com propsitos diversos como, por exemplo, descobrir quais
interaes realizadas no ambiente de aprendizagem refletem
positiva ou negativamente no aprendizado. De acordo com Duval
e Verbert [20], este um dos desafios da rea devido ao pouco
consenso sobre quais so os indicadores relevantes. Outros
objetivos que a LA pode ajudar a atingir, mas ainda pouco
explorados, so a tutoria, mentoria e recomendao.
Outro ponto a ser explorado a diferena entre as ferramentas de
avaliao; de feedback; de reflexo; e de monitoramento e anlise.
Salvo a ferramenta Live Interest Meter [21] que claramente possui
caractersticas de feedback devido ao seu contexto de aplicao
(i.e., o pblico avalia a apresentao e o apresentador recebe estes
resultados em tempo real), as ferramentas inseridas nestas
categorias coletam dados, calculam mtricas/indicadores e os
exibem para o que usurio final analise os resultados e obtenha
suas concluses. Alguns pontos a serem analisados so: Nestas
ferramentas o que muda so as mtricas/indicadores calculados?
Estas ferramentas possibilitam que todos estes objetivos sejam
alcanados de acordo com as necessidades dos usurios? H
alguma funcionalidade adicional, no relacionada diretamente a
LA, que as diferencie?
Em relao a categoria Personalizao e Recomendao, no h
trabalhos que tratem especificamente da personalizao. Por este
motivo e pela definio do termo (i.e. configurar o ambiente de
acordo com as preferncias pessoais), acreditamos que este no
um objetivo de LA, mas um possvel pr-requisito para a
recomendao.
Em relao aos dados, os navegacionais so os que predominam.
No entanto, a utilizao desses dados nos trabalhos encontrados
so basicamente em cursos tradicionais (para poucos alunos) e
no em MOOCs (para muitos alunos). Dos trabalhos de LA que
utilizam dados de MOOCs, alguns so exploratrios, outros
apresentam propostas de ferramentas e apenas dois trabalhos
apresentam ferramentas desenvolvidas. Neste contexto so

abordadas a predio, a reflexo, a adaptao e a recomendao.

Devido a pouca explorao de LA em MOOCs e da grande
quantidade de dados que podem ser coletados, confirmam-se as
oportunidades de pesquisa.
A anlise de dados como anotaes, udios e vdeos comea a ser
explorada e pode permitir que a LA seja aplicada em salas de aula
presenciais, visto que dados navegacionais, por exemplo, no
podem ser coletados neste contexto e que apenas dados
demogrficos e de mdias sociais podem no ajudar a detectar o
que ocorre neste ambiente. Alm disso, dados coletados de mdias
sociais tambm podem auxiliar na melhor compreenso do
comportamento dos alunos e auxiliar no gerenciamento da
aprendizagem colaborativa.
Tcnicas de anlise de texto comeam a ser empregadas para
investigar as atitudes dos alunos (e.g., se ele procura sanar uma
dvida ou ajudar outros alunos); tcnicas de anlise de redes
sociais tambm so utilizadas para analisar a relao entre os
alunos e seus colegas e recursos de aprendizagem. Ambas as
tcnicas podem fornecer novas informaes sobre o contexto de
aprendizagem.
A maioria dos trabalhos (47%) so de interesse de pesquisadores e
no mostram ferramentas (onde o pblico-alvo so educadores e
alunos). Considerando que quando a pesquisa mostra uma
ferramenta o pblico-alvo no so os pesquisadores, nota-se na
Figura 7 que possvel explorar ferramentas de tutoria e mentoria.
H poucas intervenes sendo realizadas. Em parte porque 47%
dos trabalhos analisados so destinados a pesquisadores e no a
educadores e alunos; e em outra parte pois este elemento no foi
abordado pelos autores. Assim, h um indcio de que a
interveno algo a ser melhor explorado no contexto das
Learning Analytics.

7. CONSIDERAES FINAIS
As Learning Analytics so uma nova rea de pesquisa na
Informtica na Educao que tem como objetivo melhorar o
processo de ensino-aprendizagem atravs da anlise de dados
gerados pelos alunos. Estas anlises podem ser feitas com
diferentes tipos de dados (e.g., navegao do usurio, dados do
AVA, dados demogrficos, etc.) utilizando diversas tcnicas (e.g.,
minerao de dados, estatsticas, visualizao da informao, etc.)
para atingir diferentes objetivos (e.g., predio, tutoria, adaptao,
personalizao, recomendao, etc.).
Os resultados destas anlises podem ser mostrados para diferentes
pessoas (e.g., alunos, professores, conselheiros, administradores,
etc.) e podem acarretar em alguma alterao do processo de
ensino-aprendizagem (e.g., modificao do silabo e/ou materiais,
orientaes aos alunos, etc.). Estas alteraes no processo ensinoaprendizagem so chamadas de interveno e, conforme

289

Nuevas Ideas en Informtica Educativa TISE 2014

mencionado por Clow (2012), so fundamentais para a efetividade

de uma aplicao Learning Analytics. No entanto, nos resultados
obtidos nesta pesquisa, poucos foram os trabalhos que
mencionaram quais poderiam ser as intervenes aplicadas.

[8]

Esta uma rea nova e em expanso, com diversas pesquisas

exploratrias sendo desenvolvidas com o objetivo de identificar
quais so os dados relevantes (e.g., dados demogrficos, dados
navegacionais, dados acadmicos, etc.) ou os modelos preditivos
com a maior taxa de acertos, dentre outros.

[9]

Este trabalho apresentou um mapeamento sistemtico sobre a rea

de Learning Analytics com intuito de entender seu conceito e
como suas dimenses esto inter-relacionadas, bem como a rea
tem atuado e possveis caminhamentos. O objetivo foi descobrir
quais so os principais objetivos ao trabalhar na rea, bem como
analisar quais tipos de dados esto sendo utilizados, que tcnicas
so abordadas para cada objetivo, quais so as pessoas envolvidas
bem como as intervenes realizadas. Tambm buscamos
verificar o que est sendo feito na rea em relao aos Massive
Open Online Courses.

[11]

Acreditamos que a medida que a rea evolui, outros objetivos

sero propostos, bem como novas tcnicas e intervenes sero
elaboradas. Tambm acreditamos que h uma grande
oportunidade para pesquisas na rea em MOOCs, visto que h
poucos trabalhos que abordem dados coletados nesta modalidade
de Ensino a Distncia.

[13]

[10]

[12]

[14]

8. AGRADECIMENTOS
Agradecemos Coordenao de Aperfeioamento de Pessoal de
Nvel Superior (CAPES), ao Conselho Nacional de
Desenvolvimento Cientfico e Tecnolgico (CNPq) e Fundao
de Amparo Pesquisa e Inovao do Estado de Santa Catarina
(FAPESC) pelo apoio durante a realizao deste trabalho.

[15]

9. REFERNCIAS
[1]

[2]
[3]

[4]
[5]

[6]
[7]

LAK 1st International Conference on Learning Analytics

and Knowledge, Banff, Alberta, 27 fev-01 mar, 2011.
Disponvel em <https://tekri.athabascau.ca/analytics/>.
Acesso em 06 mai 2014.
Siemens, G; Long, P. Penetrating the fog: Analytics in
learning and education. Educause Review, v. 46, n. 5, p. 3032, 2011.
Chatti, M. A.; Dyckhoff, A. L.; Schroeder, U.; Ths, H. A
reference model for learning analytics. International Journal
of Technology Enhanced Learning, v. 4, n. 5, p. 318-331,
2012.
Atif, A.; Richards, D.; Bilgin, A.; Marrone, M. Learning
Analytics in Higher Education: A Summary of Tools and
Approaches.
Goldstein, P.J. & Katz, R.N. (2005). Academic Analytics:
The Uses of Management Information and Technology in
Higher Education. ECAR Research Study, Vol. 8. Retrieved
September
05,
2014,
from
http://www.educause.edu/ECAR/AcademicAnalyticsTheUs
esofMana/158588.
International Educational Data Mining Society. Retrieved
September
01,
2014,
from
http://www.educationaldatamining.org/.
Siemens, G., & d Baker, R. S. (2012, April). Learning
analytics and educational data mining: towards
communication and collaboration. In Proceedings of the 2nd
international conference on learning analytics and
knowledge (pp. 252-254). ACM.

[16]

[17]

[18]

[19]
[20]

[21]

290

Clow, D. The learning analytics cycle: closing the loop

effectively. In: Proceedings of the 2nd International
Conference on Learning Analytics and Knowledge. ACM,
2012. p. 134-138.
Brown, M. Learning analytics: moving from concept to
practice. Educause Learning Initiative, 2012.
Buchinger, D., Cavalcanti, G. A. d. S., and Hounsell, M. d.
S. (2014). Mecanismos de busca acadmica: uma anlise
quantitativa. Revista Brasileira de Computao Aplicada, v.
6, n. 1, p. 108120, 2014.
de Souza, M. V., Simon, R. M., Blanck, H. L., Ogliari, C. &
de Matos, R. (2013). Mdias Sociais, AVAs e MOOCs:
Reflexes Sobre Educao em Rede. International
Conference on Interactive Computer Aided Blended
Learning (pp. 183-190).
Coffrin, C., Corrin, L., de Barba, P., & Kennedy, G. (2014,
March). Visualizing patterns of student engagement and
performance in MOOCs. In Proceedings of the Fourth
International Conference on Learning Analytics And
Knowledge(pp. 83-92). ACM.
Ferguson, R., Wei, Z., He, Y., & Buckingham Shum, S.
(2013, April). An evaluation of learning analytics to identify
exploratory dialogue in online discussions. In Proceedings
of the Third International Conference on Learning Analytics
and Knowledge (pp. 85-93). ACM.
Kizilcec, R. F., Piech, C., & Schneider, E. (2013, April).
Deconstructing
disengagement:
analyzing
learner
subpopulations in massive open online courses.
In Proceedings of the third international conference on
learning analytics and knowledge (pp. 170-179). ACM.
Santos, J. L., Klerkx, J., Duval, E., Gago, D., & Rodrguez,
L. (2014, March). Success, activity and drop-outs in
MOOCs an exploratory study on the UNED COMA
courses. In Proceedings of the Fourth International
Conference on Learning Analytics And Knowledge (pp. 98102). ACM.
Ruiprez-Valiente, J. A., Muoz-Merino, P. J., & Kloos, C.
D. (2013, November). An architecture for extending the
learning analytics support in the Khan Academy framework.
In Proceedings of the First International Conference on
Technological
Ecosystem
for
Enhancing
Multiculturality (pp. 277-284). ACM.
Blanco, . F., Garca-Pealvo, F. J., & Sein-Echaluce, M.
(2013, November). A methodology proposal for developing
adaptive cMOOC. In Proceedings of the First International
Conference on Technological Ecosystem for Enhancing
Multiculturality (pp. 553-558). ACM.
Tabaa, Y., & Medouri, A. (2013). LASyM: A Learning
Analytics System for MOOCs. International Journal of
Advanced Computer Science and Applications, 4(5), 113119.
Balakrishnan, G., & Coetzee, D. (2013). Predicting student
retention in massive open online courses using hidden
markov models.
Duval, E; Verbert, K. Learning analytics. E-Learning and
Education, v. 1, n. 8, 2012. Disponvel em
<https://eleed.campussource.de/archive/8/3336>. Acesso em
09 jun 2014.
Rivera-Pelayo, V., Munk, J., Zacharias, V., & Braun, S.
(2013). Live interest meter: learning from quantified
feedback in mass lectures. In Proceedings of the Third
International Conference on Learning Analytics and
Knowledge (pp. 23-27). ACM.