Realidade Aumentada como Incentivo a` Interaca o Social e ao

Raciocnio Simbolico em Criancas Autistas

Pedro Victor Vieira de Paiva1 , Diego dos Santos Lima1 ,
Fabiane Queiroz1 , Thiago Sales1
1

Curso Ciencia da Computaca o Universidade Federal de Alagoas

Arapiraca Alagoas Brasil
{pedro.paiva,fabiane.queiroz}@arapiraca.ufal.br
{diegolima.ufal,thiagobrunoms}@gmail.com

Abstract. According recent research, children diagnosed with Autism Spectrum

Disorder (ASD) have deficit in the development of social interaction, as well as
the ability of imagine scenarios or situations, and solve logical everyday problems. Augmented reality (AR) with markers is a tool to simulate the immersion
of virtual objects in real environments by rendering virtual elements using QR
Codes (Quick Response Codes). In this work, we propose an AR application
where autists can play a serie of assotiation games used to stimulate the symbolic reasoning and the social relationship as part of the treatment of children
with autism.
Resumo. Pesquisas indicam que criancas diagnosticadas com Transtorno do
Espectro Autista (TEA) possuem um profundo deficit no desenvolvimento da
interaca o social, na habilidade de imaginar cenarios ou situaco es e resolver
problemas logicos do cotidiano. A realidade aumentada e capaz de simular
a imersao de objetos virtuais em ambientes reais alem de propiciar atividades
em grupo atraves da renderizaca o de elementos utilizando QR Codes (Quick
Response Codes). Neste artigo propomos o desenvolvimento de uma aplicaca o
contendo uma serie de jogos de realidade aumentada capaz de estimular a
imaginaca o e o relacionamento social como parte do tratamento de criancas
com autismo.

1. Introduca o
De acordo com o National Institute of Mental Health (NIMH) [DNI 2013], uma crianca
autista e aquela que desenvolve desordem mental chamada coletivamente de Transtorno
do Espectro Autista (TEA). Pacientes diagnosticados com TEA sao acometidos por problemas de comunicaca o e interaca o social de multiplo contexto, esses fatos prejudicam
o desenvolvimento destas criancas uma vez que durante a construca o do intelecto de um
indivduo e fundamental que o mesmo seja estimulado a raciocinar de forma simbolica
e manter relacionamentos com os demais [Piaget 1951] fazendo com que seja possvel
compreender situaco es vividas por outras pessoas, o que influencia de forma profunda a
vida adulta [Baron-Cohen et al. 1985].
Estudos indicam que atividades em grupo realizadas entre criancas com TEA resultam em aumento na a rea da comunicaca o e diminuica o de problemas comportamentais

[Kok et al. 2002]. Gonzalez et al. [Gonzalez-Lopez and Kamps 1997] constataram que
durante estas atividades a frequencia media das interaco es aumentou quando foi introduzido o treinamento das habilidades sociais e do reforco positivo das interaco es.
A realidade aumentada (RA) e um conceito inovador, que combina a captura de imagens com a projeca o de figuras em 3D. O efeito dessa combinaca o
de elementos graficos e uma maior interatividade entre o usuario e o computador
[Prass 2011] e um enriquecimento de cenarios reais atraves da adica o de informaca o virtual [Vullamparthi et al. 2013]. No contexto de realidade aumentada com marcadores,
que sao especies de codigos de barra bidimensionais no qual estao associados valores ou
informaco es especficas, torna-se possvel inserir entradas o pticas reconhecveis por sistemas de RA que, por sua vez, ao identificarem tais entradas no cenario real, renderizam
os objetos virtuais desejados.
Este artigo propoe uma ferramenta de realidade aumentada com marcadores para
ser utilizado durante a terapia de criancas com autismo. Tal ferramenta propoe estimular
nas criancas tanto a capacidade de desenvolver um raciocnio simbolico, quanto a capacidade de desenvolver atividades em grupo. Para tanto foi feito o uso de jogos de associaca o
de formas e cores, formaca o de palavras e resoluca o de pequenas expressoes numericas,
onde os jogadores (criancas com diferentes graus de autismo) terao que se comunicar e
interagir a fim de se posicionarem da forma correta em frente a uma camera e um monitor
e, por fim, concluir a atividade, ordenando-se de forma a reproduzir uma sequencia de
referencia.
1.1. Trabalhos Relacionados
Criancas neurotpicas (ou seja, criancas que nao apresentam disturbios significativos
no funcionamento psquico), costumam brincar com objetos diversos e associar a eles
representaco es ludicas como, por exemplo, induzir que um bloco de madeira qualquer e um carro de brinquedo ou uma nave espacial, isso e chamado de Pretend
Play [Piaget 1951]. Autistas apresentam dificuldade em brincadeiras simbolicas, muitas
vezes apenas imitando o comportamento de terceiros perdendo assim a espontaneidade
caracterstica desta atividade [Jarrold et al. 1993]. As implicaco es dessa comprovaca o
corroboram o fato de criancas diagnosticadas com TEA possurem dificuldade em jogos
imaginativos.
Em pesquisas recentes desenvolvidas pela Universidade de Cambridge
[Baldwin 2013], observou-se que criancas autistas tem uma enorme dificuldade de imaginar por muito tempo objetos e situaco es em geral. E para que elas possam desenvolver
esse tipo de habilidade, a sugestao para ir de encontro ao problema e que, elas devem
incorporar, de alguma forma, os objetos virtuais em seu mundo real, assim aprendendo
a manter uma relaca o de interseca o entre esses dois mundos. Em trabalho recente, Bai
et al. [Bai et al. 2015] partiram da hipotese de que, uma vez que a realidade aumentada
consegue imergir em um ambiente real objetos virtuais, atividades com essa tecnologia
aumentariam o grau de raciocnio simbolico em atividades de Pretend Play, onde objetos
reais e imaginarios fazem parte da terapia. Neste trabalho, foi proposto um ambiente fsico
fixo para que a terapia fosse executada utilizando recursos de RA a fim de se desenvolver
atividades individuais com as criancas. Como resultado deste trabalho, apesar de algumas
criancas apresentarem dificuldade em interagirem com os objetos virtuais, foi identificado

na amostra testada que houve um aumento significativo na frequencia, duraca o, engajamento e satisfaca o na realizaca o das atividades. No entanto, tambem foram apresentadas
limitaco es como:
O primeiro contato com a realidade aumentada e um fato pouco estimulante para
as criancas;
Nenhum estmulo social foi gerado ja que a atividade era individual.
Escobedo et al. [Escobedo et al. 2014] atacam a dificuldade de criancas autistas
prestarem atenca o em um fato isolado e manterem-se focadas em suas atividades durante
um perodo prolongado de tempo. Metodos terapeuticos tradicionais enfrentam muitos
problemas em manter o foco das criancas, o uso de RA busca aumentar o tempo de
atenca o das criancas alem de provocar boas emoco es durante a terapia. Foi entao elaborado um sistema que utiliza objetos identificaveis espalhados por um determinado espaco
fsico e estes, ao serem observados atraves de um visor de dispositivo movel, recompensa a crianca com estmulos auditivos e visuais. Smartphones foram usados como visor, permitindo que a crianca explore o ambiente sem a necessidade de uma sala especial.
Foi observado que ao se comparar o sistema desenvolvido com as tecnicas terapeuticas
ja utilizadas com as criancas testadas houve descoberta do ambiente e de objetos alem
da identificaca o dos mesmos; aumento na atenca o seletiva de modo duradouro, mesmo
havendo distraca o; aumento de interaca o com pessoas e objetos; aumento de emoco es
positivas; relaxamento e paciencia; tolerancia com outros e diminuica o do estresse. Tal
qual o trabalho desenvolvido por Bai et al. [Bai et al. 2015], foi possvel verificar neste
trabalho, que mesmo alcancando seus objetivos de estudo, nao e possvel inferir algum
tipo melhora no convvio social, uma vez que as atividades sao desenvolvidas de maneira
individual.
Como foi possvel observar, numerosos recursos voltados para o acompanhamento individual das criancas com autismo, utilizando realidade aumentada tanto em dispositivos moveis quanto em ambientes fsicos pre-preparados com recursos fixos, tem
se mostrado poderosas ferramentas de auxlio a` educaca o/tratamento dessas criancas.
Porem pouco se fala sobre ferramentas desenvolvidas com o objetivo de realizar acompanhamentos de criancas, incentivando-as a participarem de atividades em grupo. Como
ja foi levantado, uma caracterstica marcante dos autistas e a inabilidade para interagir socialmente com outras pessoas, eles acabam isolando-se do mundo exterior e
camuflando-se, recusando-se do contato com os outros, inclusive no nvel da voz e do
olhar ([Drummond 2010]). O trabalho aqui proposto apresenta uma forma de se utilizar recursos de RA para desenvolver tanto o raciocnio simbolico como a capacidade das
criancas em interagirem para realizarem atividades em grupo.

2. Desenvolvimento da Ferramenta
A ideia principal deste trabalho e criar um ambiente fsico em uma sala multimdia, que
possua recursos audiovisuais fixos que sejam dedicados a atividades vinculadas ao tratamento de criancas autistas. Assim, os recursos dispostos na sala, auxiliados por um
software que utiliza a realidade aumentada compoe uma u nica ferramenta proposta para
auxiliar na terapia de criancas autistas com foco nos problemas apresentados: Desenvolvimento tanto do raciocnio simbolico quanto da capacidade de participar de atividades
em grupo.

Pra alcancar os objetivos propostos, foi desenvolvido um sistema utilizando, inicialmente, bibliotecas existentes para rastreamento de marcador o ptico para renderizar
os objetos virtuais em tempo real no vdeo. Dentro de um cenario ludico enriquecido
com informaco es virtuais, as criancas terao que desenvolver atividades em grupo interagindo com o software. Inicialmente, essas atividades irao se tratar de simples jogos de
associaca o de cores, formas, identificaca o de objetos, entre outros.
Sendo assim, o sistema foi desenvolvido utilizando a biblioteca Aruco
[ARU 2014] para rastreamento dos marcadores o pticos e aliadas a ela outras bibliotecas como OpenGL [GL 2015] e OpenCV [CV 2015], para renderizar objetos virtuais e
para tratar imagens, respectivamente.
A hipotese inicial e a de que as criancas autistas poderao fazer uso de marcadores
para realizar as atividades dispostas. Assim, os marcadores para a biblioteca poderao ser
impressos em folhas de diversos tamanhos (frente e verso) e distribudos entre as criancas,
que serao orientadas a executar a sequencia que e mostrada no vdeo e, dessa forma, elas
terao que se comunicar entre si para conseguir o resultado desejado.
O desenvolvimento da ferramenta seguiu um fluxo iterativo incremental de forma
que requisitos funcionais foram adicionados gradativamente de acordo com as necessidades especficas do publico-alvo, dessa forma as necessidades das criancas nortearam
a implementaca o da ferramenta aqui proposta. A abordagem inicial foi de se utilizar
marcadores simples comumente citados na literatura (ver Figura 2(a)). Para realizar a
identificaca o dos marcadores, foram utilizadas cameras de resoluco es de 1.0M P e de
1.3M P , foi realizado tambem um estudo sobre a relaca o entre tamanho do marcador e
distancias limites para ambas as cameras, bem como as limitaco es do hardware usado.
Com o intuito de possuir uma base de informaco es sobre as relaco es entre equipamentos, tamanho de impressao dos marcadores e os tipos dos mesmos, foi elaborada
a Tabela 1 contendo os valores obtidos nos testes anteriores a` escolha da configuraca o
que melhor se adaptou as necessidades deste estudo. O primeiro aspecto a ser levado
em consideraca o foi a resoluca o da camera que capturaria os marcadores, bem como a
influencia desse atributo nas distancias maximas e mnimas de detecca o dos marcadores
ao se comparar comprimentos e a reas iguais em cameras de resoluco es diferentes; outro
fator que gera a oclusao dos marcadores e o a ngulo de rotaca o do mesmo em relaca o a
um eixo paralelo a sua vertical, sendo assim, foi preciso obter o dado sobre o intervalo de
rotaca o maxima dos identificadores sem obstruca o; por fim, nos era exigido o dado sobre
a quantidade de marcadores que poderiam ser dispostos em uma a rea maxima, predefinida como limite ergonomico para os usuarios segurarem entre as maos, em formato de
tabuleiro (board), podendo ser descritas como matrizes bidimensionais contendo linhas
e colunas.
A partir dos dados coletados foi suposta entao, que uma distancia entre 2.5 e 3.0
metros entre marcador e camera seria suficiente para a aplicaca o, para essa conclusao foram adotados marcadores com a rea de 100cm2 . A partir desse ponto tornou-se possvel
simular a usabilidade da versao e atraves de testes ficou evidente que marcadores simples
nao se adequariam ao cenario real de uso visto que a menor obstruca o dos mesmos ocasiona a perda de rastreamento, fazendo com que nao seja possvel renderizar os objetos
virtuais na posica o. Com essa constataca o foram procuradas soluco es para o problema,

dentre elas foram implementados:

Uso do Filtro de Kalman [Sorenson 1960] a fim de prever as possveis posico es
do marcador obstrudo;
Utilizaca o de multimarcadores, tolerantes a obstruca o parcial.
Com a finalidade de suavizar o problema da perda da renderizaca o dos objetos, o
filtro de Kalman foi utilizado para prever possveis posico es do marcador, tentando melhorar a qualidade da persistencia do objeto sendo renderizado. Tal filtro trata-se de um
metodo estatstico criado por Rudolf Kalman cujo objetivo e utilizar observaco es de grandezas realizadas ao longo do tempo (contaminadas com rudo e outros erros de origem
aleatoria) e produzir resultados que tendem a se aproximar dos valores reais de tais grandezas. O filtro de Kalman cria estimativas dos valores reais das observaco es predizendo
um valor, estimando o erro do valor predito e calculando uma media ponderada entre o
valor predito e o valor da observaca o. A Figura 1 ilustra um exemplo de como funciona o
filtro de Kalman, com base nas observaco es representadas pelos pontos em azul.

do filtro de Kalman - Exemplo.

Figura 1. Predicao

Alem da implementaca o do Filtro de Kalman, foi feito o uso de multimarcadores (ver Figura 2(b)) que fazem parte da biblioteca ArUco, fazendo assim com
que uma oclusao em nveis menores a 85% sejam irrelevantes para o rastreamento
[Garrido-Jurado et al. 2014]. Essa preocupaca o com a obstruca o do marcador e a persistencia da renderizaca o dos objetos virtuais no cenario real se deu pelo fato da ferramenta ser voltada para criancas que apresentam naturalmente a caracterstica de perderem
o interesse na atividade muito rapidamente. Com um grande numero de falhas sucessivas
na renderizaca o dos objetos a atividade teria uma maior chance de se tornar desinteressante.
O desenvolvimento de todas as etapas do sistema esta tendo acompanhamento
de psicologos do TRATE [TRA 2011], que e um espaco de acolhimento a criancas com

autismo e atende, exclusivamente, pelo Sistema Unico

de Saude (SUS), inaugurado, recentemente, em 2011, e esta localizado na cidade de Arapiraca, em Alagoas. A pretensao
e que o desempenho das criancas apos a interaca o com as atividades previstas no sistema

venha a ser avaliado por especialistas e profissionais da a rea, validando assim a ferramenta
desenvolvida nesse trabalho.
A Figura 3 ilustra algumas telas do sistema, com diversos jogos associativos relacionados a formas, cores e sequencia de caracteres (que podem incluir formaca o de curtas
palavras). Os jogos sao basicamente atividades de associaca o de cores (ver Figura 3(a)),
formas (ver Figura 3(b)) e letras (ver Figura 3(c)) onde o objetivo e ordenar os elementos
renderizados nos marcadores segundo o exemplo mostrado. Para isso os jogadores devem
interagir entre si com a finalidade de se colocarem nas posico es corretas, quando isso
ocorre, uma mensagem de parabenizaca o e mostrada (ver Figura 3(d)).
Devido a esta pesquisa ser realizada em parceria com a clnica TRATE, foi
possvel identificar caractersticas que podem ser importantes para avaliaca o do desempenho das criancas autistas durante as atividades com o sistema proposto, como quantidade
de acertos e erros ocorridos nos jogos; o numero de desistencias (que pode ser identificado atraves da perda de rastreamento de um ou mais marcadores por perodos de tempo
acima de um limiar pre-definido); alem do tempo gasto na realizaca o da atividade. Tais
caractersticas podem ser levantadas automaticamente pelo sistema de modo a gerar para
o profissional que acompanha os pacientes na atividade algumas estatsticas u teis sobre
a evoluca o do tratamento. Apos liberaca o do comite de e tica em pesquisa, as atividades
serao apresentadas aos pacientes do TRATE.

(a)

(b)

Figura 2. (a) Marcador unico,

comumente utilizado em RA e sujeito a problemas

e perda de rastreamento. (b) Marcador formado por multimarcadode obstrucao
res. Esse tipo de marcador assegura que para que haja perda de rastreamento,
mais de 80% do mesmo precisa estar obstrudo.

3. Conclusoes e Trabalhos Futuros

Este trabalho apresentou uma proposta de uma ferramenta computacional que utiliza recursos de Realidade Aumentada (RA) para auxiliar no tratamento de criancas autistas.
Diferentemente das propostas do estado da arte (cujo foco principal e utilizar recursos computacionais para auxiliar no tratamento individual de criancas autistas), este
trabalho propoe uma ferramenta de RA cujo foco se atem ao desenvolvimento do raciocnio simbolico e ao estmulo para a realizaca o de atividades em grupo.
Tal sistema tem por objetivo funcionar em uma sala multimdia dedicada que
atenda as necessidades reais de criancas autistas durante suas terapias para que estas desenvolvam as habilidades que geralmente possuem dificuldade em adquirir. As atividades

(a)

(b)

(c)

(d)

de cores, utilizando cubos de mesmo forFigura 3. (a) Exemplo de associacao

de formas, utilizando objetos virtuais com
mato. (b) Exemplo de associacao
alfabetica.

formas diferentes e cores iguais. (c) Exemplo de associacao

Tal jogo
para realizar a formacao
de pequenas palavras. (d)
pode ser utilizado tambem
a realizacao
de uma atividade com sucesso.
Feedback do sistema, apos

principais desenvolvidas neste sistema incluem jogos de associaca o de cores e formas,

letras, expressoes numericas e cenarios, utilizando-se objetos virtuais 3D.
Como trabalhos futuros, tem-se a indicaca o da criaca o de uma interface grafica
mais amigavel para que a ferramenta possa vir a ser usada, posteriormente, pelos profissionais do TRATE. Intenciona-se tambem a inserca o de estatsticas geradas automaticamente pelo sistema, de forma a ajudar o profissional a acompanhar mais precisamente
a evoluca o das criancas nas atividades. Ademais, tem-se o objetivo de adicionar aos
cenarios renderizaco es nao-fotorealsticas em estilos de cartoon e aquarela a fim de deixar o ambiente mais ludico.

Referencias
(2011).
Arapiraca tem o primeiro espaco publico para autistas do brasil.
http://www.arapiraca.al.gov.br/v3/noticia.php?notid=3958. Acessado dez. 2014.
(2013). National institute of mental health. http://www.nimh.nih.gov/index.shtml. Acessado fev. 2015.
(2014). Aruco: a minimal library for augmented reality applications based on opencv.
http://www.uco.es/investiga/grupos/ava/node/26. Acessado fev. 2015.
(2015). Opencv: Open source computer vision. http://opencv.org/. Acessado fev. 2015.

 de tamanhos de marcadores e
Tabela 1. Testes realizados na avaliacao

distancias
da camera,
de modo a definir distancias
mnimas e maximas
no qual
ficar da camera.

as criancas poderao
Resoluca o

Tamanho Lateral
do Marcador

Area
do Marc.

Distancia Min.

Distancia Max.

Angulo
de Rotaca o

Board (linha x coluna)

1.0 MP
1.0 MP
1.0 MP
1.0 MP
1.0 MP
1.0 MP
1.3 MP
1.3 MP
1.3 MP
1.3 MP
1.3 MP
1.3 MP

3.5cm
6cm
8cm
10cm
17.5cm
25.2cm
3.5cm
6cm
8cm
10cm
17.5cm
25.2cm

12.25cm2
36cm2
64cm2
100cm2
306.25cm2
640.09cm2
12.25cm2
36cm2
64cm2
100cm2
306.25cm2
640.09cm2

0.06 metros

0.35 metros
0.35 metros
0.13 metros

0.49 metros
0.70 M

0.74 metros
1.85 metros
2.33 metros
3.21 metros
3.86 metros
Acima de 20 metros
1.01 metros
1.11 metros
1.62 metros
2.40 metros
5.70 metros
Acima de 20 metros

90
90
90
90
90
90
90
90
90
90
90
90

5 x 5 = 25 marcadores
4 x 5 = 20 marcaodres
3 x 4 = 12 marcadores
2 x 3 = 6 marcadores

5 x 5 = 25 marcadores
4 x 5 = 20 marcadores
3 x 4 = 12 marcadores
2 x 3 = 6 marcadores

(2015).
Opengl: The industrys foundation for high performance graphics.
https://www.opengl.org/. Acessado fev. 2015.
Bai, Z., Blackwell, A., and Coulouris, G. (2015). Using augmented reality to elicit pretend
play for children with autism. Visualization and Computer Graphics, IEEE Transactions on, PP(99):11.
Baldwin, M. (2013).
Augmented reality helps children with autism.
http://augmentedrealitynews.org/games/augmented-reality-helps-children-withautism/. Acessado dez. 2014.
Baron-Cohen, S., Leslie, A. M., and Frith, U. (1985). Does the autistic child have a
theory of mind? Cognition, 21(1):3746.
Drummond, C. (2010). Os autismos. http://autismos.net/o-que-e-o-autismo.html. Acessado dez. 2014.
Escobedo, L., Tentori, M., Quintana, E., Favela, J., and Garcia-Rosas, D. (2014). Using
augmented reality to help children with autism stay focused. Pervasive Computing,
IEEE, 13(1):3846.
Garrido-Jurado, S., Munoz-Salinas, R., Madrid-Cuevas, F. J., and Marn-Jimenez, M. J.
(2014). Automatic generation and detection of highly reliable fiducial markers under
occlusion. Pattern Recognition, 47(6):22802292.
Gonzalez-Lopez, A. and Kamps, D. M. (1997). Social skills training to increase social
interactions between children with autism and their typical peers. Focus on autism and
other developmental disabilities, 12(1):214.
Jarrold, C., Boucher, J., and Smith, P. (1993). Symbolic play in autism: A review. Journal
of autism and developmental disorders, 23(2):281307.
Kok, A. J., Kong, T. Y., and Bernard-Opitz, V. (2002). A comparison of the effects
of structured play and facilitated play approaches on preschoolers with autism a case
study. Autism, 6(2):181196.
Piaget, J. (1951). Play, Dreams and Imitation in Childhood. Heinemann education series.
W. Heinemann.

Prass, R. (2011).
Entenda como funciona a realidade aumentada.
http://g1.globo.com/tecnologia/noticia/2011/08/entenda-como-funciona-realidadeaumentada.html. Acessado dez. 2014.
Sorenson, H. (1960). Kalman Filtering: Theory and Application. IEEE Press selected
reprint series. IEEE Press.
Vullamparthi, A. J., Nelaturu, S. C. B., Mallaya, D. D., and Chandrasekhar, S. (2013).
Assistive learning for children with autism using augmented reality. In Technology for
Education (T4E), 2013 IEEE Fifth International Conference on, pages 4346. IEEE.