Universidad Aut onoma Metropolitana

Unidad Azcapotzalco
Divisi on de Ciencias Basicas e Ingeniera
Ingeniera en Computaci on
Propuesta de Proyecto Terminal
Libro con realidad aumentada
Alumno:
Lezama Garca Bernardo - 205302132
Fecha de entrega:
12 / Noviembre / 2010
Trimestre Lectivo:
10-O
Asesora:
Dra. Gonzalez Brambila Silvia Beatriz - 17204

Indice
1. Objetivo General 3
2. Objetivos particulares 3
3. Antecedentes 4
4. Justicaci on 5
5. Descripci on Tecnica 6
6. Especicaciones Tecnicas 7
7. Calendario de Trabajo 9
8. Recursos 9
9. Bibliografa 10
2
1. Objetivo General
Dise nar e implementar una aplicacion para poder leer un libro que contenga elementos de
realidad aumentada.
2. Objetivos particulares
Crear el contenido virtual del libro
Dise nar m odulo de identicacion de marcadores
Implementar m odulo de identicaci on de marcadores
Dise nar m odulo de renderizacion
Implementar m odulo de renderizaci on
Dise nar m odulo de interaccion
Implementar m odulo de interacci on
Integrar todos los m odulos
3
3. Antecedentes
Una de las formas m as comunes de aprendizaje es a traves de la lectura, por cientos de a nos
los libros han sido un instrumento ideal para compartir conocimiento; sin embargo la din amica
lector-libro no ha cambiado mucho al paso del tiempo.
Actualmente se puede mejorar la experiencia de la lectura a nadiendo nuevos elementos a los
ya utilizados tradicionalmente. Con la realidad aumentada, un lector puede abrir un libro, pasar
las paginas, leer el texto y mirar las imagenes, pero si ademas el lector utiliza un dispositivo de
realidad aumentada, este puede ver modelos en 3D o videos que aparecen sobre las p aginas del
libro. Todo el contenido virtual puede ser visto desde diferentes perspectivas o a distintos tama nos
seg un los desee el lector[1].
Los libros de realidad aumentada no son nuevos, varios centros de investigacion han trabajado
en proyectos como Jack The Time Traveller[2] del HITLabNZ
1
donde se pretende mostrar los
alcances que a futuro pueden tener este tipo de libros.
En el plano comercial, existen libros que incorporan la realidad aumentada como un peque no
extra pero no como un elemento central del libro, un ejemplo de esto es The Search for WondLa[3]
en donde en una de las paginas se puede ver mediante la computadora un mapa en 3D del mundo
del que habla el libro.
En la UAM Azcapotzalco no se encontraron proyectos relacionados a libros de realidad aumen-
tada, por lo que este sera el primero.
Sin embargo, con diferencia de los trabajos mencionados, donde se utiliza la realidad aumen-
tada en libros, en ninguno de ellos se permite interactuar con ella como lo propone este proyecto
terminal.
1
Human-Interface Technology Laboratory New Zealand http://www.hitlabnz.org
4
4. Justicaci on
Por mas de dos decadas investigadores han trabajado para crear interfaces computacionales
en donde se pueda mezclar realidad con realidad virtual. El objetivo principal es que la gente
pueda interactuar con el contenido virtual tan f acilmente como en el mundo real. En la realidad
aumentada se logra este objetivo interponiendo contenidos multimedia entre el mundo real y el
observador[4].
La realidad aumentada tiene una gran potencial en los campos de la docencia y el aprendizaje
ya que esta permite tener experiencias in situ abriendo las puertas al aprendizaje basado en el
descubrimiento[5].
En un libro con realidad aumentada se busca que el lector tenga elementos para poder aden-
trarse de una forma m as profunda en el tema del libro. Para que esto se logre se debe de crear una
interfaz que permita desplegar contenidos virtuales entre la realidad y los ojos del lector.
El enfoque que se tiene en un libro de realidad aumentada no vara en mucho del libro tradi-
cional, el lector se sienta, abre el libro y comienza a consumir el contenido del libro, lo que propone
este proyecto es romper la barrera que existe entre el libro y el lector a nadiendo interactividad.
Con esto, el lector puede denir la forma en que quiere ver la informaci on multimedia del libro.
En el caso especco de este proyecto, se propone utilizar las herramientas de la realidad
aumentada para crear un libro aumentado de arqueologa, en donde se presente el palacio de
Quetzalpap alotl
2
ubicado en las ruinas arqueol ogicas de Teotihucan. En sus paginas el usuario
podra adem as de leer el texto, ver un modelo tridimensional del palacio, hacer un paseo virtual
por el y ver un video, todos estos contenidos adicionales podran ser controlados por el usuario.
El dise no e implementaci on de esta aplicaci on requiere de conocimientos adquiridos a lo largo
de la carrera de Ing. En Computaci on como lo son:
Ingeniera de Software
Programaci on
Gracaci on
El proyecto se puede continuar de muchas formas, posiblemente la m as interesante y de mayor
utilidad sera portar la aplicaci on a un telefono inteligente
3
ya que estos telefonos tienen integrado
todos los dispositivos que se utilizan en este proyecto (video camara, una pantalla t actil y una
computadora) en muy poco espacio.
2
http://es.wikipedia.org/wiki/Teotihuacan#Palacio_de_Quetzalpapalotl
3
Telefonos que permiten la instalacion de programas para incrementar el procesamiento de datos y la conectivi-
dad, ej. IPhone, Nexus One, Motodroid etc.
5
5. Descripcion Tecnica
La aplicacion necesita de 5 componentes:
Head-Mounted Display(HMD): Este display se monta en la cabeza de una persona. Con
el el lector podr a observar la realidad aumentada.
Video camara:

Esta se monta en el HMD para capturar el video de lo que se enfoca y lo
manda a la computadora.
Computadora: Procesa la informaci on recibida para generar el contenido aumentado.
Libro: En este se encuentra la informaci on fsica como el texto y las marcas duciales en donde
se debe desplegar la informacion aumentada.
Guante de Realidad Virtual: Se coloca en la mano y mediante sensores infrarrojos manda
la informacion de los movimientos a la computadora.
La camara capta el video de lo que se est a enfocando y lo enva en tiempo real a la computado-
ra, esta extrae im agenes del video y busca marcadores duciales, cuando encuentra uno, despliega
el contenido aumentado sobre el marcador, lo mezcla con el video de entrada y lo enva al HDM.
Paralelamente al proceso anterior, la computadora recibe los datos del guante en busca de
movimientos que indiquen una orden, en el caso de los modelos en 3D se puede agrandar o dis-
minuir el modelo y en el caso del video se puede reproducir, pausar y parar. Si se detecta una
orden, se manda a modicar el contenido virtual.
6
6. Especicaciones Tecnicas
Para la realizacion de la aplicacion se utilizara el framework
4
ARToolkit el cual es especial
para desarrollar aplicaciones de realidad aumentada. ARToolkit provee de funciones para procesar
video, buscar marcadores en el y desplegar modelos tridimensionales VRML en la posicion del
marcador. El trabajo que este proyecto propone es utilizar las funciones antes descritas ademas de
dise nar e implementar funcionalidades extra, m as precisamente, la de desplegar videos MPEG-2
en la posici on de los marcadores y la de interacci on con los contenidos virtuales con el n de poder
controlar su desplegado.
El guante de realidad virtual trabaja con 6 grados de libertad
5
permitiendo al programador
detectar cualquier movimiento de la mano que use el guante, con esto, se pueden dise nar ordenes
con base en los cambios de posici on del guante.
El objetivo nal es utilizar distintas herramientas existentes, integrarlas e implementarlas para
obtener un nuevo producto como lo es un libro con realidad aumentada.
La aplicacion contar a con 3 m odulos
Modulo de identicacion de marcadores
Recibe el stream de video en tiempo real, busca en cada fotograma del video marcadores du-
ciales
6
, identica el contenido, la posici on y orientaci on en que se deben desplegar y enva la
informaci on al m odulo de renderizaci on correspondiente.
Modulo de interaccion
Recibe los datos de la posici on del guante, se interpreta el movimiento del guante y se compara
con las ordenes existentes, si coincide con alguna se enva al m odulo de renderizacion correspondi-
ente para desplegar el contenido derivado de la orden.
Modulo de renderizacion
Recibe los datos del modulo de interacci on y del de identicaci on de marcadores, renderiza el
contenido en cada fotograma del video y lo enva al HMD.
Para la realizaci on de la aplicacion se utilizar a la librera ARToolkit la cual es especial para
desarrollar aplicaciones de realidad aumentada. La plataforma de trabajo ser a Windows XP, el
4
Es una estructura de soporte dise nado con la intencion de facilitar el desarrollo de software.
5
Se reere al movimiento en un espacio tridimensional. Para describir el movimiento se utilizan las tres coorde-
nadas en el espacio (x, y ,z) y la rotacion sobre cada uno de estos ejes(pitch,yaw,roll).
6
Es un objeto utilizado en un campo de vista que sirve como punto de referencia o medida.
7
Figura 1: Entradas y salidas de los m odulos
lenguaje de programacion que se utilizara es C++, tambien se utilizar an los SDK
7
del HMD y del
guante de realidad virtual.
El contenido virtual del libro se har a con el siguiente software:
Blender 2.49 (Modelos 3D)
OpenShot (Video)
La aplicaci on se dar a por concluida cuando se cumpla con todos los objetivos citados previa-
mente.
Al nalizar el proyecto, se entregar a un reporte nal, el libro impreso y un CD el cu al contendra:
Manual de usuario
Manual del programador
Gua r apida del producto
C odigo fuente
Instalador de la aplicaci on
7
Kit de desarrollo de software.- Un conjunto de herramientas de desarrollo que le permite a un programador
crear aplicaciones para un sistema concreto.
8
7. Calendario de Trabajo
Proyecto terminal I - 11I - 9 creditos
Semana Actividad Entregable
1,2,3,4 Crear el contenido virtual del libro Libro impreso y archivos de
los modelos en 3D
5,6,7 Dise nar m odulo de renderizacion Documentaci on del dise no
8,9,10 Implementar m odulo de renderizaci on C odigo fuente documentado
11 Probar modulo de renderizaci on Reporte
Proyecto Terminal II - 11P - 18 creditos
Semana Actividad Entregable
1,2 Dise nar m odulo de identicacion de marcadores Documentaci on del dise no
3,4 Implementar m odulo de identicaci on de marcadores C odigo fuente documentado
5,6 Dise nar m odulo de interaccion Documentaci on del dise no
7,8 Implementar m odulo de interacci on C odigo fuente documentado
9,10 Integrar y Probar todos los m odulos Reporte
11 Documentaci on del reporte Reporte
8. Recursos
Para la realizacion del proyecto se cuenta con los siguientes recursos:
Propios
Computadora de escritorio
AMD Phenom II X4 3.4 Ghz
4 GB RAM
Disco Duro 500 GB
Ati HD 5400 (1 Gb)
P5 Glove VR data glove
Escuela
Vuzix iWear VR920
Vuzix iWear CamAR
9
9. Bibliografa
Referencias
[1] Garca, I. Pe na-L opez, I; Johnson, L., Smith, R., Levine, A., & Haywood, K. Informe Horizon:
Edici on Iberoamericana 2010. Austin, Texas: The New Media Consortium, 2010. Visitado 8
Noviembre, 2010 http://www.nmc.org/pdf/2010-Horizon-Report-ib.pdf
[2] Jack The Time Traveller, ultima actualizaci on 19 Abril, 2010. http://www.hitlabnz.org/
index.php?title=Jack_the_Time_Traveller
[3] DiTerlizzi, Tony,The Search for WondLa, Simon & Schuster Childrens Publishing, 2010
[4] Billinghurst, M., Kato, H., Poupyrev, I., The MagicBook: A Transitional AR Interface,
Computers and Graphics, (2001), 745-9. Visitado 2 Noviembre, 2010, http://www.hitl.
washington.edu/artoolkit/Papers/cgaMay2001.pdf
[5] Johnson, L., Levine, A., Smith, R., & Stone, S. The 2010 Horizon Report. Austin, Texas:
The New Media Consortium, 2010. Visitado 8 Noviembre, 2010 http://www.nmc.org/pdf/
2010-Horizon-Report.pdf
[6] H ohl, Wolfgang.Interactive Environments with Open-Source Software: 3D Walkthroughs and
Augmented Reality for Architects with Blender 2.43, DART 3.0 and ARToolKit 2.72, Springer,
2008
10