ChemCAVE3D: Sistema de Visualizao Imersivo e Interativo de Molculas 3D

Diego Roberto Colombo Dias1, Jos Remo Ferreira Brega1, Anthony Ferreira Lamarca1, Mrio Popolin Neto1, Daniel Jun Suguimoto1, Isabele Agostinho1, Amanda Fernandes Gouveia2
LSTR Laboratrio de Sistemas de Tempo Real LAMAC Laboratrio de Analtica, Materiais Avanados e Cromatografia Universidade Estadual Paulista Bauru, Brasil diegocolombo@fc.unesp.br, remo@fc.unesp.br, lamarca@fc.unesp.br, mariopopolin@fc.unesp.br, suguimoto@fc.unesp.br, isabele@fc.unesp.br, gouveia@fc.unesp.br
2 1

ResumoA Realidade Virtual tem sido utilizada no desenvolvimento de aplicaes de simulao em geral. Da mesma forma, aplicaes de visualizao tambm so beneficiadas pelo seu uso. Este artigo apresenta um sistema de visualizao imersivo e interativo de molculas 3D. O sistema baseado em uma estrutura de multiprojeo, a MiniCAVE, a qual baseada em aglomerados grficos e, como interface de interao com o ambiente virtual utiliza um controle no convencional, o Kinect. O artigo est estruturado de modo a apresentar alguns trabalhos correlatos, a estrutura utilizada e o sistema desenvolvido. Realidade Virtual; Modelagem Qumica; Aglomerados Grficos

Deste modo, a RV por prover uma experincia de interface diferente do habitual, tem sido explorada por aplicaes com ns educacionais e de treinamentos. Sua utilizao em sistemas de visualizao, se utilizada de maneira correta, pode auxiliar a aquisio de informaes existentes em AV. A modelagem Qumica tem sido utilizada com freqncia no desenvolvimento de aplicaes voltadas ao ensino de conceitos. Por utilizar modelos 3D para representar informaes, a utilizao de tcnicas de RV pode auxiliar na aquisio de conhecimento pertinente a esses modelos. II. OBJETIVOS

I.

INTRODUO

A Realidade Virtual (RV) a forma mais avanada de interface do usurio com o computador em um ambiente sinttico tridimensional gerado por computador [1]. Kirner e Siscoutto [2] tambm denem a RV como a forma mais avanada de interao do usurio com aplicaes executadas por computador. No entanto, eles denem caractersticas bsicas que devem coexistir: imerso, interao e navegao em elementos de um Ambiente Virtual (AV) gerado por computador. Os sistemas de multiprojeo podem proporcionar alto grau de imerso ao usurio, podendo ser implementados em sistemas tradicionais ou Aglomerados Grficos (AG). O CAVE [3] proporciona alto grau de imerso. A estrutura de multiprojeo utilizada neste artigo foi baseada em sua estrutura. A interao com o ambiente tridimensional permite ao usurio visualizar o ambiente sobre qualquer ponto de vista, movimentar-se dentro dele e interagir com seus objetos virtuais. Ao interagir com um AV, o computador detecta e reage s aes do usurio respondendo a estas aes com modicaes no ambiente mais prximas possveis daquelas esperadas no mundo real. Esta interao pode ser alcanada utilizando-se dispositivos de interface, sendo eles convencionais ou no convencionais.

Este artigo tem como objetivo utilizar a RV no auxlio pesquisas na rea Qumica, bem como no aprendizado desta disciplina to abstrata para muitos alunos. O ChemCAVE3D possibilita ao usurio uma experincia de visualizao diferente do habitual, provendo um ambiente imersivo e interativo. A imerso pode ser alcanada por meio da estrutura utilizada, que permite uma imerso fsica ao usurio, porm, somente a estrutura fsica no prove meios para que um alto nvel de imerso seja possvel, sendo necessrio o desenvolvimento de aplicaes que sejam renderizadas neste tipo de estrutura. A interao com o AV na qual est inserida a molcula de estudo feita por meio de um controle no convencional, o Kinect. III. TRABALHOS CORRELATOS

No trabalho de Cardoso e outros [4], a RV foi utilizada para auxiliar os alunos na escolha da quantidade correta de carbonos na construo de modelos de hidrocarbonetos. Assim, os autores desenvolveram um software o qual possibilita ao aluno a criao de novos modelos e a verificao da geometria molecular nesta nova molcula. Marins e outros [5] apresentam uma anlise sobre o uso de RV na educao. Eles utilizaram modelos no formato VRML e o conceito de Objetos de Aprendizagem. Para validar a proposta, os autores apresentaram um prottipo.

Dias [6] props o desenvolvimento de um modelo de RV para a aprendizagem das seces do cubo. O modelo foi apresentado a turmas do ensino profissional. O aplicativo disponibilizado pela internet, sendo visualizado em navegadores web. Silva [7] desenvolveu um aplicativo denominado Constructor, o qual permite que estudantes de Ensino Mdio possam construir molculas 3D a partir da frmula estrutural condensada de espcies Qumicas. Cardoso [8] desenvolveu um ambiente computacional para auxiliar o ensino de Qumica no ensino mdio. Os elementos Qumicos da tabela peridica so utilizados na formao de molculas 3D que so visualizadas em um AV. A linguagem de modelagem VRML foi utilizada. Da mesma forma que os trabalhos correlatos apresentados, este trabalho apresenta um sistema de visualizao de molculas, porm, possibilitando aos alunos e professores um ambiente de visualizao e interao no convencional IV. MODELAGEM QUMICA E REALIDADE VIRTUAL

que podemos usar a RV de uma forma diferente em cada estilo, como uma ferramenta de visualizao colocando o usurio (aprendiz) como um super-observador e permitindo a ele uma viso geral do ambiente em estudo. Assim, no processo de ensino de isomeria espacial, uma das matrias da Qumica que exige do aluno uma percepo tridimensional, a RV utilizada como uma poderosa ferramenta no auxlio da aprendizagem. Outro exemplo de aplicao da RV no ensino de Qumica na visualizao no processo de aprendizagem sobre slidos cristalinos, observando a maneira como os tomos se arranjam no espao para formarem o seu retculo cristalino. Um cristal de xido de titnio, de frmula molecular TiO2, por exemplo, no possui uma geometria planar, com um tomo de titnio no centro e um oxignio de cada lado. No entanto, pode apresentar trs estruturas estveis diferentes (rutilo, anatase e brookita) na qual cada tomo de titnio rodeado octaedricamente por seis tomos de oxignio, sendo esta estrutura distorcida na forma anatase e bookita. Deste modo, a RV aparece como um fator muito importante no processo de aprendizagem. Sendo neste contexto utilizada no desenvolvimento do ChemCAVE3D. V. ARQUITETURA UTILIZADA NO SISTEMA

A dificuldade no ensino e aprendizagem de Qumica est associada abstrao dessa cincia [9]. Assim, a visualizao aparece como o meio facilitador do entendimento e de representao de fenmenos [10]. De acordo com Raupp e outros [11], a Qumica computacional vem sendo desenvolvida nas universidades como uma alternativa para a pesquisa em Qumica. Meleiro e Giordan [10] afirmam que a visualizao vem sendo utilizada desde o surgimento da cincia, sendo utilizadas gravuras, grficos e ilustraes. Os autores ainda dizem que, mais recentemente, a visualizao foi incrementada com o uso de recursos eletrnicos e digitais, como a televiso e o computador. A Figura 1 apresenta a visualizao de molculas no modo convencional, esttico.

Figura 1. Estrutura cristalina do TiO2 na fase anatase [12]

No processo de aprendizagem, cada aluno aprende de uma maneira diferente, alguns so visuais, outras verbais, algumas preferem explorar, outras deduzir. Pinho [13] afirma

O sistema utiliza uma estrutura de multiprojeo baseada em AG. Deste modo, modelos 3D com alta complexidade podem ser visualizados, devido ao alto poder de processamento disponibilizado. Os AG so caracterizados por um conjunto de computadores interligados por uma rede SAN(System Area Network) para processar aplicaes grficas de grande porte, dentre essas, a RV. Os computadores so sincronizados de modo a iludir o usurio de que as aplicaes estejam sendo executadas em um nico sistema. Existem 3 tipos de ns em um AG, estes so: de entrada, de processamento e de sada. Os ns de entrada so responsveis por tratar os estmulos gerados pelo usurio do sistema; os ns de processamento so responsveis por processar os dados grficos gerados pelas aplicaes grficas; e os ns de sada geram os sinais de vdeo aos projetores utilizados no sistema. Um AG contendo 6 PCs foi utilizado visando fornecer um alto poder de processamento para a realizao das renderizaes necessrias s visualizaes. A Figura 2 apresenta a estrutura do AG utilizado neste artigo, denominada MiniCAVE [14]. Para a gerao de imagens do AG, foram utilizados 6 projetores de alta denio. O MiniCAVE possibilita que as visualizaes utilizem estereoscopia passiva, dessa maneira, torna-se necessrio o uso de 2 projetores para cada tela do sistema, um gerando imagem para o olho direito e o outro para o olho esquerdo. As duas imagens so sobrepostas. Com as duas imagens sendo geradas sobrepostas, surge a necessidade de se ltrar os sinais gerados pelos projetores. Portanto, lentes polarizadoras so posicionadas nas sadas dos projetores, havendo assim, uma diferenciao nos sinais emitidos.

Foram utilizadas algumas bibliotecas no desenvolvimento do mdulo de controle do Kinect. A OpenNI [16] uma plataforma para o desenvolvimento de aplicaes que necessitem de interaes naturais, permitindo o uso de dispositivos de udio e vdeo para o rastreamento. A UInput permite que os estmulos gerados pelo usurio possam ser convertidos a movimentos de mouse e teclado, sendo possvel tambm o uso desses dispositivos. A Figura 3 apresenta o funcionamento do Kinect em um n de entrada do AG. VI. CHEMCAVE3D

Figura 2. MiniCAVE estrutura de multiprojeo

As lentes polarizadoras geram o sinal filtrado. Porm, as telas so to importantes quanto s lentes, pois elas possuem um revestimento de alto brilho que reete as projees. A interao do usurio para com o sistema efetuada por meio de um controle no convencional, o Kinect [15]. Este possibilita ao usurio uma maneira intuitiva para controlar o AV, pois utiliza os movimentos do prprio corpo para tal interao. O Kinect um controle que permite ao usurio uma forma diferente do habitual para se comunicar com ambientes virtuais. Este composto por: uma cmera RGB, que permite ao usurio seu reconhecimento facial; um sensor de profundidade que possibilita o mapeamento do ambiente em 3D; possui microfones embutidos, que captam os comandos de voz enviados pelo usurio, sendo capaz de remover os rudos do ambiente; e possui um processador interno. O dispositivo capaz de detectar at 48 pontos de articulao do corpo humano, possuindo uma preciso sem precedentes.

O ChemCAVE3D um sistema de visualizao imersivo e interativo de molculas representadas por modelos 3D, o qual utiliza uma estrutura de multiprojeo baseada em AG. O sistema possuiu dois mdulos, sendo um responsvel por realizar a visualizao por um AG e outro por prover o contedo que ser visualizado. A linguagem Java foi utilizada no desenvolvimento de todo sistema. Para a renderizao do AV foi utilizada a API Java3D [17]. A soluo para sistemas de multiprojeo baseados em Java 3D foi proposta por Dias [18]. A interface utilizada para prover os modelos 3D ao sistema de visualizao permite que modelos X3D e VRML sejam visualizados. Estes tipos de arquivo so, na maioria das vezes, opes de sada em sistemas de modelagem Qumica. A tela inicial permite que o modelo virtual seja escolhido, podendo ser visualizado previamente antes de ser submetido a estrutura de multiprojeo. A Figura 4 apresenta a interface do mdulo que prove contedo ao sistema.

Figura 4. Interface do sistema de pr-visualizao da molcula

TiO2 na fase anatase Ainda no mdulo relacionado ao contedo, o usurio possui uma interface de controle do AG, de modo que suas principais configuraes estejam ao alcance do usurio com apenas alguns cliques. As configuraes possveis esto relacionadas : quantidade de telas que sero utilizadas, o uso de estereoscopia, configurao dos projetores, o dispositivo de interao que ser utilizado (Kinect) e o incio e fechamento das visualizaes. Um terminal de sada do AG apresentado ao usurio de modo que seja possvel controlar

Figura 3. Funcionamento do Kinect no n de entrada do AG

o que est sendo executado no momento da visualizao. A Figura 5 apresenta a interface de controle do AG.

do MiniCAVE. Por meio da interface do usurio, a visualizao pode ser interrompida e iniciada novamente com outra molcula em tempo de execuo. O fluxo de execuo do sistema apresentado na Figura 6.

Figura 6. Fluxo de Execuo do ChemCAVE3D

A Figura 7 apresenta a execuo do sistema no MiniCAVE. A molcula de TiO2 visualizada utilizando as 3 telas com estereoscopia passiva e a interao efetuada pelo Kinect.
Figura 5. Interface de controle do AG

Ao usurio permitida a visualizao prvia da molcula 3D e posteriormente so necessrios os atributos de entrada

Figura 7. ChemCAVE3D com estereoscopia passiva

VII. CONCLUSES E IMPLEMENTAES FUTURAS Ainda que no apresentado a alunos, o sistema foi pravaliado por educadores, os quais acreditam que o sistema possa ser utilizado como apoio ao ensino de Qumica. O

sistema prove ao usurio a sensao de imerso esperada, muito devido a estrutura e o uso de estereoscopia. Com relao a interao, o uso do Kinect possibilitou que fosse feita de uma forma intuitiva

A estrutura do MiniCAVE proposta, por ser baseada em AG, pode ser construda com baixo custo utilizando apenas computadores pessoais e projetores comuns. O posicionamento das telas permite que a estrutura seja implantada em uma sala de aula, possuindo um ngulo de viso o qual vrias pessoas possam visualizar ao mesmo tempo. A linguagem Java e a API Java 3D permitiram um desenvolvimento rpido e prtico. Dessa maneira, espera-se que outros mdulos sejam desenvolvidos e agregados ao sistema. Como implementao futura, ser desenvolvido um mdulo de criao e edio, de modo que o usurio possa criar suas molculas 3D em tempo de execuo, para que estas sejam visualizadas no ChemCAVE3D. REFERNCIAS
[1] [2] HANCOCK, D. Viewpoint: virtual reality in search of middle ground. IEEE Spectrum, 1995. KIRNER, C.; SISCOUTTO, R. Realidade Virtual e Aumentada: Conceitos, Projeto e Aplicao. Petrpolis: SBC, 2007. (1, ISBN 857669-108-6). CRUZ-NEIRA, C. et al. The cave: audio visual experience automatic virtual environment.Commun. ACM, ACM, New York, NY, USA, v. 35, p. 6472, June 1992. ISSN 0001-0782. Disponvel em: <http://doi.acm.org/10.1145/129888.129892>. CARDOSO, A.; MOURA, J. A. S.; LAMOUNIER Jnior, E. A. A Realidade Virtual como uma ferramenta para o ensino da Geometria Molecular. Universidade de Santa Ceclia: 6 Workshop de Realidade Virtual e Aumenta WRVA. 2009. MARINS, V.; HAGUENAUER, C.; CUNHA, G. Realidade Virtual em Educao Criando Objetos de Aprendizagem com VRML. Colabor@ - Revista Digital da CVA - Ricesu, ISSN 15198529.Volume 4, Nmero 15, Setembro de 2007

[6]

[7]

[8]

[9] [10]

[11]

[12]

[13]

[14]

[3]

[15] [16] [17] [18]

[4]

[5]

DIAS, V. M. P. Realidade virtual na aprendizagem de conceitos matemticos : aplicaes 3D na geometria. Dissertao de Mestrado. Universidade Aberta. 2009. SILVA, J. G. Desenvolvimento de um ambiente virtual para estudo sobre representao estrutural em Qumica. Dissertao de Mestrado. Faculdade de Educao. USP. 2007. CARDOSO, A.; MOURA, J. A. S. A realidade virtual como uma ferramenta para o ensino da geometria molecular. Revista Ceciliana, ISSN 1517-6363, N. 29, 2008 , pgs. 115-122. FERREIRA, P. F. M.; JUSTI, R. S. Modelagem e o Fazer Cincia. Qumica Nova na Escola, n. 28, maio, 2008. MELEIRO, A.; GIORDAN, M. Hipermdia no ensino de modelos atmicos. Universidade de So Paulo Faculdade de Educao: Laboratrio de Pesquisa em Ensino de Qumica e Telemtica Educacional. Texto LAPEQ n:09, julho, 2003. RAUPP, D.; SERRANO, A.; MARTINS, T. L; C. A evoluo da qumica computacional e sua contribuio para a educao em Qumica. Revista Liberato, Novo Hamburgo, v. 9, n. 12, p. 13-22, jul./dez. 2008. BRANDO, F. D. Identificao, quantificao e controle de defeitos em monocristais e nanopartculas de TiO2. Dissertao de Mestrado. Instituto de Cincias Exatas. UFMG. 2008. PINHO, M. S. Realidade Virtual como ferramenta de Informtica na Educao. Tutorial apresentado no SBIE'96 -VII Simpsio Brasileiro de Informtica na Educao. Belo Horizonte, MG. 1996. DIAS, D. R. C. ; BREGA, J. R. F. ; GUIMARAES, M. P. ; GNECCO, B. B. ; LAURIS, J. R. P. 3D semantic models for odontology education. HCist 2011. Communications in Computer and Information Science (Print), 2011. Kinect Xbox.com. Disponvel em: http://www.xbox.com/ptbr/kinect. Acesso em: setembro de 2011. OpenNI. Disponvel em: http://www.openni.org/. Acesso em: setembro de 2011. SUN (Ed.). Sun Microsystem. The Java 3D API Specication. [S.l.: s.n.], 2000. DIAS, D. R. C. ; MARCA, A. F. L. ; NETO, M. P. ; BREGA, J. R. F. ; GUIMARAES, M. P. ; LAURIS, J. R. P. Java 3D para Sistemas de Multiprojeo utilizando Aglomerados Grficos. In: WRVA 2010, 2010, So Paulo. Anais do WRVA 2010, 2010. v. 1.