Proyecto Fabio - AR-Sandbox - 9 de Agosto

IMPLEMENTACIÓN DE PROTOTIPO DE CAJA DE ARENA DE REALIDAD
AUMENTADA PARA USO DIDÁCTICO
FABIO ANDRES MARTINEZ REDONDO

FABIO DAVID CASTRILLO COTES
Director:
JHON ANAYA
MSc. Ingeniería Electrónica
UNIVERSIDAD POPULAR DEL CESAR

FACULTAD DE INGENIERÍAS Y TECNOLÓGIAS
DEPARTAMENTO DE INGENIERIA ELECTRÓNICA
VALLEDUPAR – CESAR
2019
IMPLEMENTACIÓN DE PROTOTIPO DE CAJA DE ARENA DE REALIDAD
AUMENTADA PARA USO DIDÁCTICO
FABIO ANDRES MARTINEZ REDONDO

FABIO DAVID CASTRILLO COTES
Proyecto presentado al comité evaluador de proyectos de grado para optar al título

de Ingenieros Electrónicos
Director:
JHON ANAYA
MSc. Ingeniería Electrónica
UNIVERSIDAD POPULAR DEL CESAR

FACULTAD DE INGENIERÍAS Y TECNOLÓGIAS
DEPARTAMENTO DE INGENIERIA ELECTRÓNICA
VALLEDUPAR – CESAR
2019
DEDICATORIA
DEDICATORIA
AGRADECIMIENTOS
TABLA DE CONTENIDO
Pág.
RESUMEN.................................................................................................................9
ABSTRACT..............................................................................................................10
INTRODUCCIÓN.....................................................................................................11
OBJETIVOS.............................................................................................................13
OBJETIVO GENERAL..........................................................................................13
OBJETIVOS ESPECIFICOS................................................................................13
ESTADO DEL ARTE...............................................................................................14
MARCO TEÓRICO..................................................................................................18
MICROSOFT KINECT..........................................................................................18
ARQUITECTURA DEL KINECT.......................................................................19
CÁMARA RGB..................................................................................................21
CÁMARA DE PROFUNDIDAD.........................................................................21
RECONSTRUCCIÓN DE OBJETOS................................................................22
TRIANGULACIÓN.............................................................................................22
IMÁGENES DE PROFUNDIDAD......................................................................23
ESPECIFICACIONES DEL SENSOR KINECT................................................24
REALIDAD AUMENTADA....................................................................................25
MAPA TOPOGRÁFICO INTERACTIVO...........................................................26
CAJA DE ARENA DE REALIDAD AUMENTADA................................................27
METODOLOGIA DEL TRABAJO............................................................................30
ALCANCES Y LIMITACIONES................................................................................33
CRONOGRAMA DE ACTIVIDADES.......................................................................34
PRESUPUESTO DEL PROYECTO........................................................................35
DISEÑO...................................................................................................................37
RESULTADOS.........................................................................................................42
CONCLUSIONES....................................................................................................60
RECOMENDACIONES............................................................................................61
BIBLIOGRAFÍA........................................................................................................62
ANEXOS..................................................................................................................65
LISTA DE TABLAS
Pág.
Tabla 1 – Características de un Kinect....................................................................24

Tabla 2 – Metodología del trabajo...........................................................................30
Tabla 3 – Cronograma de actividades.....................................................................34
Tabla 4 –Recursos humanos...................................................................................35
Tabla 5 – Equipo y materiales.................................................................................35
Tabla 6 – Presupuesto total.....................................................................................36
LISTA DE FIGURAS
Pág.
Figura 1 – Kinect......................................................................................................18
Figura 2 – Partes del Kinect....................................................................................20
Figura 3 – Componentes del hardware de un Kinect..............................................20
Figura 4 – Caja de arena de realidad aumentada...................................................28
Figura 5 - Kinect Xbox 360......................................................................................37
Figura 6 - Adaptador de cable para Sensor Kinect Xbox 360 FAT.........................38
Figura 7 - Epson PowerLite x41+............................................................................39
Figura 8 – Diseño de la caja de arena.....................................................................40
Figura 9 - Determinación de alturas del Kinect y proyector....................................42
Figura 10 - Determinación de alturas del Kinect y proyector (2).............................43
Figura 15 – Ejecución del Software.........................................................................53
RESUMEN
En este proyecto se presenta la implementación de un prototipo de caja de arena

de realidad aumentada para uso didáctico en el área de ciencias de Geología y
Topografía, como la caja de arena de realidad aumentada (de ahora en adelante
“AR Sandbox” por sus siglas en inglés). Se describen con detalle las nuevas
posibilidades de su interfaz novedosa y su implementación técnica. Se detalla
también la propuesta didáctica y se reflexiona acerca de la importancia de
establecer una ruta de implementación accesible. Finalmente, discutimos acerca
de la importancia de la implementación de un prototipo para generar proyecciones
de imágenes sobre una caja de arena.
Palabras claves: Ciencias y tecnología, Educación, Interdisciplinariedad, Interfaz,

Medios de enseñanza.
ABSTRACT
Keywords:
INTRODUCCIÓN
La educación al igual que la tecnología, permanece en constante cambio y debido

a esto, son necesarias herramientas que ayuden de forma interactiva en el área
pedagógica. El uso de las nuevas tecnologías en la educación abre un sin fin de
posibilidades para crear nuevas experiencias educativas y oportunidades para
establecer un aprendizaje efectivo.
En el caso de los programas de educación en Geología y Topografía, existen

temas que requieren didácticas para una fácil interpretación, como los cambios del
relieve, líneas de nivel, y diversos conceptos en los que se hace difícil un
aprendizaje rápido en un aula de clases. Lo que dificulta a los estudiantes al
momento de realizar un diseño a escala del relieve, para visualizar los cambios en
los procesos de la tierra que puedan realizarse.
En la actualidad se implementan herramientas de realidad aumentada para el uso

didáctico en el área de ciencias de Geología y Topografía, como la caja de arena
de realidad aumentada (de ahora en adelante “AR Sandbox” por sus siglas en
inglés).
En Colombia son pocas las instituciones educativas y universidades que se

encuentran en el desarrollo o implementación de este tipo de herramientas.
Por todo lo anterior en el presente proyecto se plantea la implementación de un

prototipo que consiste en generar proyecciones de imágenes sobre una caja de
arena, la cual incluirá contenido topográfico de acuerdo a las interacciones que se
realicen en la arena, creando así modelos de realidad aumentada de los distintos
cambios que hay en el relieve y caudal, lo cual ayudaría a impulsar proyectos
12
dirigidos a creación de nuevos productos que sirvan como herramientas
pedagógicas en los distintos programas. Lo cual es un aporte novedoso al
programa de ingeniería electrónica.
13
OBJETIVOS
OBJETIVO GENERAL
Implementar un sistema de realidad aumentada integrado para crear visualmente

modelos topográficos, como herramienta de aprendizaje en programas de ciencias
de la tierra.
OBJETIVOS ESPECIFICOS
 Implementar un software de procesamiento para la generación de imágenes

con contenidos topográficos.
 Implementar un procesador de video 3D sobre una caja de arena.
 Implementar un entorno moldeable para la simulación de relieves.
14
ESTADO DEL ARTE
En el presente proyecto acerca la Implementación de Prototipo de Caja de Arena

de Realidad Aumentada Para Uso Didáctico, surge como respuesta a la necesidad
de crear un prototipo capaz de emular las características del relieve, y ser utilizado
como herramienta didáctica.
En la Universidad de Salamanca (España), Sergio Álvarez Sánchez, Laura

Delgado Martín Miguel Ángel Gimeno González, Teresa Martín García, Fernando
Almaraz Menéndez y Camilo Ruiz Méndez, realizaron un proyecto el cual se titula
“La Realidad Aumentada un Nuevo Recurso Educativo para la Enseñanza” en
donde en su primera parte hace mención al uso de las nuevas tecnologías en la
educación, donde esta abre un sin fin de posibilidades para crear nuevas
experiencias educativas y oportunidades para establecer un aprendizaje efectivo.
Lo cual sirve como un recurso para la enseñanza de las matemáticas y las
ciencias naturales para enseñar conceptos complejos que requieren un
considerable grado de abstracción a los alumnos, tanto del currículo de ciencias y
matemáticas en bachillerato y educación secundaria, como de geología en un
grado universitario[ CITATION Álv16 \l 9226 ].
Ling Lung y María Zabaleta en su tesis “Herramienta didáctica para la enseñanza

de accidentes geográficos basada en objetos virtuales de aprendizaje y realidad
aumentada” se centraron en el desarrollo de una herramienta informática basada
en realidad aumentada y ejecutable en dispositivos móviles con sistema operativo
Android, esto último debido a la migración masiva que se presenta en la actualidad
hacia estos artefactos tecnológicos. De esta manera, a través del desarrollo de
objetos virtuales de aprendizaje y de modelos en 3D de cada uno de los
accidentes geográficos inmersos en los currículos académicos, se permite la
interacción de los estudiantes con la temática de una manera didáctica y
15
alternativa a las tradicionales ya que este tipo de herramientas no se han venido
utilizando en las instituciones educativas nacionales con anterioridad[ CITATION
Kre16 \l 9226 ].
Matt Dunleavy de Radford University, Radford (USA), Chris Dede y Rebecca

Mitchell de Harvard University, Cambridge (USA), realizaron un estudio donde
documentaron cómo los profesores y los estudiantes describen y comprenden las
formas en que la participación de una simulación de realidad aumentada ayuda o
dificulta la enseñanza y el aprendizaje. Los investigadores recopilaron datos a
través de entrevistas formales e informales, observaciones directas y
publicaciones en sitios. Los profesores y los estudiantes informaron que la
narrativa mediada por la tecnología y las soluciones interactivas, situadas y
colaborativas de resolución de problemas de la simulación de Realidad
Aumentada AR eran muy atractivas, especialmente entre los estudiantes que
previamente habían presentado desafíos de conducta y académicos para los
profesores. Sin embargo, mientras que la simulación de AR proporcionaba un
valor añadido potencialmente transformador, presentaba simultáneamente
desafíos tecnológicos, gerenciales y cognitivos únicos para la enseñanza y el
aprendizaje [CITATION Dun09 \l 9226 ].
Otra aplicación de la realidad aumentada la encontramos en una aplicación que se

está utilizando en los grandes almacenes Neoyorquinos Bloomingdale´s, han
creado probadores virtuales con espejos mágicos, en los que el cliente puede
comprobar cómo les queda la ropa y pueden tener una referencia visual, sin
necesidad de cambiarse. Existe un maniquí en 3D se le dan las medidas de la
persona, edad, color de piel, estilo de pelo y hasta se puede subir fotos de la
persona para lograr un mayor realismo. Es una herramienta que por medio de la
realidad aumentada y Kinect Microsoft facilita las compras en Internet, se pueden
elegir prendas, crear combinaciones, y escoger el producto con más
seguridad[ CITATION Joh11 \l 9226 ].
16
Investigadores de la Universidad Icesi, desarrollaron una suite de aplicaciones
para enfermedades neurológicas como el Parkinson, y utilizaron el sensor Kinect
para el e-Motion, un prototipo de software de escritorio-web, diseñado para ser
utilizado por personal clínico especializado. Captura el movimiento del paciente, a
través de un Kinect para obtener la ubicación en 3D de las articulaciones de
interés para calcular las variables específicas[ CITATION JDA16 \l 9226 ].
Se realizó una investigación que se centró en el desarrollo de una metodología

para usar la técnica de realidad aumentada, con el fin de crear material didáctico
musical que permita la promoción de la autonomía en el aprendizaje del
estudiante. Partiendo de esta idea, se analizaron y determinaron las herramientas
tecnológicas con realidad aumentada que facilitaran la creación del material
didáctico multimedia (audio, video, imágenes y modelos 3D) para el aprendizaje y
montaje de repertorio musical. A continuación, se creó material didáctico con
realidad aumentada y se aplicó a un grupo experimental, con el propósito de
determinar si existe alguna diferencia entre la implementación de realidad
aumentada en la clase de música y el uso del método de enseñanza tradicional.
Final- mente, se evaluó el efecto a partir de una rúbrica a los dos grupos: control y
experimental, además de un cuestionario de satisfacción para el grupo
experimental, que llegó a determinar las contribuciones del material didáctico en la
realidad aumentada en el aprendizaje autónomo[ CITATION Lil17 \l 9226 ].
Luisa Fernanda Cuta Hernández, José Joaquín Uribe Parra, Rudy Jimena
Montoya Galvis, Jessica Paola Morales Santos y Gian Carlos Niño Pérez de la
Fundación Universitaria de San Gil trabajaron en el diseño e implementación de un
módulo AR Sandbox como herramienta terapéutica para niños con síndrome de
Down, siendo comprobado una vez más como herramienta educativa, en los
distintos niveles de educación. Se encontró en la AR Sandbox una gran utilidad
para los niños con síndrome de Down. Su interés por la actividad a veces está
17
ausente o se sostiene por poco tiempo, por esto implementaron una manera más
didáctica para su enseñanza, ya que al no lograr captar la atención de ellos su
aprendizaje se realiza a ritmo lento, con este proyecto se busca de una manera
más creativa enseñarles la realidad [ CITATION Lui17 \l 9226 ].
Según la página oficial de AR Sandbox, gran parte del continente Americano y

Europeo se han sumado a este proyecto. Universidades y museos como
University of Costa Rica, Universidad de San Carlos de Guatemala, East Carolina
University, Idaho State University, College of Technology, Civil Engineering
Technology Program, Children's Creativity Museum, College Integral – Salvador,
Sir Thomas Malory School, Universidad Politécnica de Cartagena, entre otras, han
implementado un AR Sandbox en sus instalaciones como una herramienta
didáctica[ CITATION OKr16 \l 9226 ].
El desarrollador original de la idea es Oliver Kreylos, un investigador de

visualización científica y geológica que trabaja en la Universidad de Davis,
California. Se dedica al desarrollo de software científico y educativo en el área de
Realidad Virtual (VR) y de Realidad Aumentada (AR), Se inspiró en un prototipo
de un arenero interactivo hecho en la República Checa llamado Sandy Station
[ CITATION OKr16 \l 9226 ], aunque lo decidió elaborar desde cero y con licencia
GPL de manera que se puede reproducir y modificar siempre que las mejoras
realizadas sean igualmente libres. Contiene el diseño base de un prototipo de caja
de arena de realidad aumentada, que consta de un proyector, una cámara Kinect y
un equipo de cómputo con buenas características en gráficos, y sistema operativo
en base Linux. Todas las características del hardware requerido, y el software, así
como instrucciones de calibración, están a disposición en el sitio web del autor.
Se realiza un análisis de las partes constitutivas del prototipo, y se calcula el costo

del mismo para luego realizar los planos constructivos en base a las
18
características de los dispositivos. Lo cual nos servirá como material de apoyo
para la realización de este trabajo de grado[ CITATION OKr16 \l 9226 ].
19
MARCO TEÓRICO
MICROSOFT KINECT
Fue anunciado por primera vez en junio de 2009 como “Project Natal”. El 13 de
junio de 2010 se reveló su nombre que sería Kinect y el 4 de noviembre de 2010
salió a la venta en Estados Unidos y México. Como un presupuestó para la
promoción de 500 millones una suma mayor para la promoción del Xbox y sus
principales promociones serian la página YouTube, anuncios en Disney,
Nickelodeon y anuncios impresos se publicaron en la Revista People e InStyle,
mientras que marcas como Pepsi, Kellogg's y Burger King también llevarán
anuncios de Kinect. Un caso de publicidad de Kinect se organizó también en
Times Square, donde Kinect fue publicitado a través de muchos
carteles[ CITATION RBI14 \l 9226 ].
Figura 1 – Kinect.
Fuente: Microsoft Kinect Xbox 360
20
Desde su introducción al mercado es evidente que no sólo ha estado
transformando la industria de los videos juegos, sino también muchas otras áreas
como robóticas y realidad virtual. En la figura 8 se muestran los componentes que
integran el dispositivo Kinect: una cámara RBG, un sensor de profundidad, un
proyector láser de luz infrarroja, múltiples micrófonos y un motor sobre la base que
permite modificar la inclinación del dispositivo[ CITATION OOs15 \l 9226 ].
Como se puede ver en la figura 2, son cuatro los elementos principales que
componen el dispositivo: una cámara RGB con resoluciones de 640x480 y
1280x1024 pixeles, un sensor de profundidad basado en una cámara IR y un
proyector IR con resoluciones de 640x480, 320x240 y 80x60 pixeles; un motor
para controlar la inclinación del dispositivo y por último un arreglo de 4 micrófonos
distribuidos a lo largo del sensor.
La implementación del dispositivo Kinect en el proyecto es de suma importancia

debido a que es el encargado de suministrar la información referente a los niveles
de altura en tiempo real de una caja llena de arena, para luego generar curvas de
nivel u otras imágenes.
A continuación, se describen los que resultan de interés para este proyecto.
ARQUITECTURA DEL KINECT
21
La arquitectura del Kinect es semejante a una cámara web. Posee en su interior
una cámara de profundidad, una cámara RGB y una matriz de 4 micrófonos, que
aíslan las voces del ruido ambiental permitiendo utilizar al Kinect como un
dispositivo para charlas y comandos de voz. Se encuentra sobre una base
motorizada, controlada por un acelerómetro de 3 ejes, que le permite rotar
horizontalmente para ajustar el campo de vista de las cámaras para ver el cuerpo
completo del usuario[ CITATION OOs15 \l 9226 ].
Figura 2 – Partes del Kinect
Fuente: support.xbox.com/es-PE/xbox-360/kinect/kinect-sensor-components
22
En la figura 3 muestra un diagrama de los componentes de hardware del
procesador de imagen de Kinect. Este es operado por el sistema en chip PS1080,
desarrollado por PrimeSense, que se encarga de la generación y sincronización
de las imágenes de profundidad e imágenes de color. El chip ejecuta todos los
algoritmos de adquisición de imágenes de profundidad de la escena a partir del
sistema de proyección de un patrón de puntos infrarrojos llamado LightCoding.
Figura 3 – Componentes del hardware de un Kinect
Fuente: www.compartolid.es/microsoft-kinect/
El sensor Kinect posee un rango limite recomendado de 1.2 a 3.5 metros utilizado
con el software del XBOX. Sin embargo, el sensor puede mantener seguimiento
en un rango de aproximadamente 0.7 a 6 metros. Posee un campo angular de
visión de 57º horizontalmente y 43º verticalmente, mientras que el motor puede
girar verticalmente 27º en ambas direcciones[ CITATION RBI14 \l 9226 ].
CÁMARA RGB
23
Dependiendo del SDK (software Development kit) utilizado, esta cámara es capaz
de operar con dos formatos de imagines: formato RGB y YUV. En formato RGB
hasta 30 fotogramas por segundo (30fps). En formato YUV solo está disponible en
resolución 640x480 pixeles a 15 fotogramas por segundo (15fps)[ CITATION
Jua141 \l 9226 ].
CÁMARA DE PROFUNDIDAD
La cámara de profundidad utiliza una tecnología de codificación por luz llamada

LightCoding desarrollada por PrimeSense que actúa como un escáner 3D para
realizar una reconstrucción tridimensional de la escena. LightCoding es similar a
los escáneres de luz estructurada, pero en lugar de desplazar una línea de luz, se
proyecta un patrón de puntos infrarrojos en la escena.
El patrón de puntos se localiza en un difusor (rejilla) frente al proyector infrarrojo.

Al emitir la luz infrarroja, el patrón se dispersa por la escena, proyectándose sobre
las personas y objetos presentes en ésta. Como se describe en la patente del
sistema de PrimeSense, el patrón se mantiene constante a través del eje Z
(“constante” se refiere a que la forma del patrón no cambia si se proyecta en una
superficie perpendicular al eje focal de la cámara dentro del rango de
especificación de 1.2 a 3.5 m), sin embargo, al existir objetos en la escena el
patrón se proyecta o adapta a la forma de éstos, con lo que se obtiene un
desplazamiento del patrón en el plano XY de la imagen infrarroja en relación al
patrón. Este desplazamiento es el que permite realizar una triangulación entre los
puntos del patrón y los puntos del patrón proyectados en la imagen, para realizar
la reconstrucción tridimensional de la escena y obtener la imagen de profundidad.
24
RECONSTRUCCIÓN DE OBJETOS
Kinect reconstruye la escena visualizada en 3D para obtener las imágenes de

profundidad. La reconstrucción de objetos es un área especial de visión por
computador. Se encarga del desarrollo e investigación de técnicas para reconstruir
objetos tridimensionales y el cálculo de la distancia entre el sensor y los objetos de
la escena. Es utilizada para identificar y conocer la distancia hacia objetos en la
escena y detección de obstáculos (robótica y sistemas de control vehicular),
inspección de superficies en sistemas de control de calidad y navegación de
vehículos autónomos. También es utilizada en la estimación de objetos
tridimensionales (sistemas de ensamblado automático). La reconstrucción de
objetos involucra otras áreas como el procesamiento de imágenes (filtrado,
restauración y mejora de imágenes, entre otras) y reconocimiento de patrones
(segmentación, detección de bordes y extracción de características, entre otras)
[ CITATION Jav12 \l 9226 ].
TRIANGULACIÓN
Se refiere a el proceso para determinar la distancia de un punto en un espacio 3D

a partir de la visión de dos o más imágenes. La figura 4 muestra la geometría
epipolar de un par de cámaras de visión estéreo.
Un punto “P” es proyectado en un espacio tridimensional, que pasa por el punto

focal de cada cámara, lo que resulta en dos puntos correspondientes de imagen,
si estos puntos son conocidos y la geometría de la imagen es conocida, la
25
proyección de esas dos líneas puede ser determinadas. Usando algebra lineal se
puede determinar la distancia de ese punto. Esta técnica es empleada por el
sensor Kinect para calcular la profundidad de los objetos y obtener una
reconstrucción 3D, la triangulación es realizada por cada punto entre la imagen
virtual y el patrón de observación[ CITATION OOs15 \l 9226 ].
IMÁGENES DE PROFUNDIDAD
El sensor Kinect entrega imágenes de profundidad con una resolución de 640*480

píxeles. Los datos de profundidad son representados en un espacio de color RGB
o YUV (dependiendo de la configuración), en 16 bits. Para el caso 22 del espacio
RGB se utilizan 16 bits para establecer los datos de profundidad, los cuales
corresponden al canal R (rojo) y al canal G (verde), el canal B (azul) se utiliza para
establecer datos de usuario.
El sensor está compuesto de dos partes principales: un proyector y una cámara de

infrarrojos VGA. La profundidad de los objetos es captada por la cámara gracias al
rebote de los haces laser por el campo de juego, creando así un “campo de
profundidad” que permite al sensor diferenciar entre los objetos estáticos de la
sala y las personas utilizándolo. Este “campo de profundidad” consiste,
básicamente, en que Kinect recibe este haz de luz como infrarrojos que varían en
mayor o menor grado de color dependiendo de la distancia a la que se encuentran
del sistema. De este modo, los cuerpos aparecen como rojo, verde, etc.; y los
objetos más alejados aparecen en gris. Con los datos obtenidos en esta imagen,
el software aplica una serie de filtros para que Kinect pueda saber qué es una
persona y qué no, basándose en una serie de directrices como “una persona tiene
dos brazos y dos piernas”. Una vez tenemos la información ordenada, se
26
identifican las partes del cuerpo y crea un esqueleto en movimiento. Kinect tienes
unas 200 posturas precargadas, de manera que se puedan llenar los espacios en
blanco en caso de que se realicen movimientos que obstruyan la visión de su
esqueleto. El principal inconveniente que podemos encontrar, es que los dedos no
se asignan de forma individual en el esqueleto, impidiendo con ello una serie de
movimientos[ CITATION Est121 \l 9226 ].
ESPECIFICACIONES DEL SENSOR KINECT
A continuación, presentaremos las características más relevantes de un

dispositivo Kinect.
Tabla 1 – Características de un Kinect.
27
Fuente: Trabajo Fin de Grado
REALIDAD AUMENTADA
La Realidad Aumentada (RA) adquiere presencia en el mundo científico a

principios de los años 1990 cuando la tecnología basada en a) ordenadores de
procesamiento rápido, b) técnicas de renderizado de gráficos en tiempo real, y c)
sistemas de seguimiento de precisión portables, permiten implementar la
combinación de imágenes generadas por el ordenador sobre la visión del mundo
real que tiene el usuario. En muchas aplicaciones industriales y domésticas se
disponen de una gran cantidad de información que están asociadas a objetos del
mundo real, y la realidad aumentada se presenta como el medio que une y
combina dicha información con los objetos del mundo real. Así, muchos de los
diseños que realizan los arquitectos, ingenieros, diseñadores pueden ser
visualizados en el mismo lugar físico del mundo real para donde han sido
diseñados[ CITATION OOs15 \l 9226 ].
En los últimos años la Realidad Amentada está consiguiendo un protagonismo

cada vez más importante en diversas áreas de conocimiento, mostrando la
28
versatilidad y posibilidades que presenta esta nueva tecnología derivada de la
Realidad Virtual.
La capacidad de insertar objetos virtuales en el espacio real y el desarrollo de

interfaces de gran sencillez, la han convertido en una herramienta muy útil para
presentar determinados contenidos bajo las premisas de entretenimiento y
educación, en lo que se conoce como “edutainment”.
La Realidad Aumentada también ha demostrado su función pedagógica en otro

tipo de escenarios como son los museos y centros de interpretación, donde
constituye uno de los recursos museográficos más vanguardistas gracias a que
favorece la interacción entre los visitantes y el objeto cultural de una forma
atractiva a la vez que didáctica [ CITATION Dav11 \l 9226 ].
La Realidad Aumentada representa actualmente una potente herramienta que ha

mostrado su versatilidad en un amplio abanico de aplicaciones en diferentes áreas
de conocimiento. Una de ellas ha sido el campo educativo donde ha encontrado
grandes posibilidades para la difusión y conocimiento de contenidos que se
presenta de una forma atractiva y pedagógica al mismo tiempo.
MAPA TOPOGRÁFICO INTERACTIVO
29
El AR Sandbox (o Mapa topográfico interactivo como a veces se le llama) es un
dispositivo que permite recrear un paisaje en tiempo real, moldeándolo con las
manos o una herramienta. Además de representar fácilmente cualquier accidente
geográfico con su escala de colores hipsométrica y sus líneas de nivel permite
crear lluvia de forma virtual que se desplaza en el mapa siguiendo las pendientes
y asentando en el punto más bajo del terreno.
Esto permite simular de forma fácil múltiples fenómenos de la naturaleza, desde

inundaciones a sequías, pasando por ríos, mares, islas, pantanos, etc. Con una
modificación del software se puede cambiar el aspecto del agua y hacer que
parezca lava, por lo que también se puede usar para simular erupciones
volcánicas. Como se puede ver, es una herramienta muy interesante en el campo
de la educación. En mi caso me interesó para poder representar los conceptos de
la “cosecha de agua y tierra” y la línea clave. Estos conceptos se utilizan en el
diseño permacultural y de agricultura regenerativa para el diseño de espacios
productivos, haciéndolos más resistentes a sequías, por ejemplo. Pero hay
infinidad de aplicaciones, como la planificación de una operación sobre el terreno
para extinguir un incendio, determinados tipos de obras de gran magnitud, etc.
Incluso puede servir como jardín zen con fines de relajación o
artísticos[ CITATION Ego15 \l 9226 ].
CAJA DE ARENA DE REALIDAD AUMENTADA
30
UC Davis 'W.M. El Centro de Keck para la Visualización Activa en las Ciencias de
la Tierra (KeckCAVES), junto con el Centro de Investigación Ambiental UC Davis
Tahoe, el Lawrence Hall of Science y ECHO Lake Aquarium and Science Center,
participan en un proyecto financiado por la NSF sobre educación científica informal
para agua dulce lago y la ciencia de la cuenca. Como parte de este proyecto,
desarrollamos principalmente aplicaciones de visualización 3D para enseñar
conceptos de ciencias de la tierra, pero también construimos una exposición
práctica que combina una caja de arena real y una topografía virtual y agua creada
usando un bucle cerrado de una cámara 3D de Microsoft Kinect, potente software
de simulación y visualización, y un proyector de datos. La caja de arena de
realidad aumentada (RA) resultante permite a los usuarios crear modelos de
topografía formando arena real, que luego se aumenta en tiempo real mediante un
mapa de color de elevación, líneas de contorno topográfico y agua simulada. El
sistema enseña conceptos geográficos, geológicos e hidrológicos tales como
cómo leer un mapa topográfico, el significado de líneas de contorno, cuencas
hidrográficas, áreas de captación, diques, etc.
Este proyecto fue inspirado en un video creado por un grupo de investigadores

checos que demuestran un prototipo temprano de una caja de arena AR con
mapeo de color de elevación y alguna forma limitada de flujo de fluido. Hay un
proyecto aún más temprano, Proyecto Mimicry, del que sólo aprendimos más
tarde; también parece estar sólo en fase de prueba temprana[ CITATION OKr16 \l
9226 ].
31
Figura 4 – Caja de arena de realidad aumentada
Fuente: www.compartolid.es/microsoft-kinect/
Los fotogramas de profundidad bruta llegan desde la cámara Kinect a 30

fotogramas por segundo y se introducen en un filtro de evaluación estadística con
un tamaño de búfer configurable fijo por píxel, que cumple el triple propósito de
filtrando objetos en movimiento tales como manos o herramientas, reduciendo el
ruido inherente al flujo de datos de profundidad de Kinect y rellenando los datos
que faltan en el flujo de profundidad.
32
La superficie topográfica resultante se procesa desde el punto de vista del
proyector de datos suspendido por encima de la caja de arena, con el efecto de
que la topografía proyectada coincide exactamente con la topografía de arena
real. El software utiliza una combinación de varios shaders GLSL para colorear la
superficie por elevación usando mapas de color personalizables (el mapa de
colores por defecto utilizado en este momento fue proporcionado por M. Burak
Yikilmaz, post-doc. en el Departamento de Geología de la Universidad de
California en Davis) añadir líneas de contorno topográfico en tiempo real.
Al mismo tiempo, se ejecuta en segundo plano una simulación de flujo de agua

basada en el conjunto de ecuaciones de aguas poco profundas de Saint-Venant,
que son una versión integrada en profundidad del conjunto de ecuaciones de
Navier-Stokes que rigen el flujo de fluido, utilizando otro conjunto de GLSL
shaders La simulación es una evolución explícita del tiempo exacto de segundo
orden del sistema hiperbólico de ecuaciones diferenciales parciales, utilizando la
superficie de arena virtual como condiciones de contorno. La implementación de
este método sigue el trabajo de A. Kurganov y G. Petrova, utilizando un término de
viscosidad simple, condiciones de borde abiertas en los bordes de la rejilla, y un
paso de integración temporal de Runge-Kutta de gran estabilidad de segundo
orden. La simulación se ejecuta de tal manera que el agua fluye exactamente a la
velocidad real suponiendo un factor de escala 1: 100, a menos que la turbulencia
en el flujo obligue a demasiados pasos de integración para la tarjeta gráfica de
manejo (actualmente una Nvidia Geforce 780)[ CITATION OKr16 \l 9226 ].
33
METODOLOGIA DEL TRABAJO
Para la implementación de un prototipo de caja de arena de realidad aumentada

para uso didáctico se tendrán en cuenta las siguientes fases:
Tabla 2 – Metodología del trabajo.
Fases Actividades Entregables

1. Investigación y
I. Fundamentación Estado del arte y
fundamentación
teórica. marco Teórico.
teórica.
1. Selección de los
elementos Diseño de la estructura
II. Diseño del
adecuados para la con los elementos
prototipo
elaboración del necesarios.
proyecto.
34
1. Cotización de los
elementos a nivel Adquisición de
III. Cotización y
local, nacional o elementos necesarios
compra de
internacional. para la elaboración del
elementos
2. Compra de los proyecto.
elementos.
1. Construcción del
prototipo y puesta
IV. Pruebas e Caja de arena de
en marcha.
implementación realidad aumentada.
2. Pruebas y
calibración inicial.
1. Elaboración de
instrucciones Documento con
V. Validación del
detalladas para el instrucciones de
prototipo
correcto manejo calibración y
(Experimentación)
del prototipo. funcionamiento.
1. Correcciones y
análisis de los
VI. Optimización e resultados
Informe final.
informe final obtenidos
2. Elaboración del
informe final.
Fuente: Autor
I. Fase: Fundamentación Teórica:
Actividades
1. Investigación y fundamentación teórica
Identificar y comprender los conceptos claves y fundamentales
necesarios para la realización y ejecución del proyecto de grado.
II. Fase: Diseño del prototipo:
Actividades
1. Selección de elementos adecuados para la realización del
proyecto
35
Se diseñará un prototipo del proyecto con el fin de identificar qué
elementos son los adecuados teniendo en cuenta rendimiento, costo
y durabilidad para su posible implementación.
III. Fase: Cotización y compra de elementos:
Actividades
1. Cotización de los elementos a nivel local, nacional o
internacional
De acuerdo al diseño del prototipo y para su posible implementación
es necesario adquirir los elementos que conforman el prototipo, es un
proceso de búsqueda y adquisición de dichos elementos.
2. Compra de los elementos

Proceso de compra a nivel local, nacional e internacional si así lo
requiere.
IV. Fase: Pruebas e implementación:
Actividades
1. Construcción del prototipo y puesta en marcha
En esta fase se procede a implementar el prototipo del proyecto,
utilizando los elementos necesarios.
2. Pruebas y calibración inicial

Se realizarán pruebas de funcionamiento del prototipo.
V. Fase: Validación del prototipo (Experimentación):
Actividades
36
1. Elaboración de instrucciones detalladas para el correcto manejo
del prototipo
Con el prototipo se realizará la prueba de funcionamiento del
sistema. Se desarrollará un informe que describa el procedimiento
detallado para el correcto manejo y funcionamiento del prototipo, así
como los diferentes resultados, inconvenientes, daños, que se
produzcan durante las pruebas.
VI. Fase: Optimización e informe final:
Actividades
1. Correcciones y análisis de los resultados obtenidos
Se realizan posibles correcciones del prototipo con el fin de
garantizar un óptimo funcionamiento y cumplimiento de los objetivos
del mismo y se proceder a implementar el producto final.
2. Elaboración del informe final

Se elabora el informe final teniendo en cuenta cada uno de los
resultados obtenidos en las fases del proyecto.
37
ALCANCES Y LIMITACIONES
El presente trabajo de grado plantea la implementación de un prototipo de

caja de arena de realidad aumentada para uso didáctico, pero no pretende
ser la única herramienta de aprendizaje en el área de ciencias de la tierra.
Realizaremos una estructura de 1x0.75 metros de ancho y 1 metro de alto

aproximadamente para el montaje del sensor Kinect y el proyector,
contando con el espacio necesario para la interacción con la arena y
visibilidad de las proyecciones.
Esta herramienta ayudara en algunas áreas de los programas como el

relieve y líneas de nivel, en otras áreas serán necesarias otras
herramientas pedagógicas.
38
CRONOGRAMA DE ACTIVIDADES
Tabla 3 – Cronograma de actividades.

DURACION
MESES 1 2 3 4 5
FASES ETAPAS SEMANAS 1 2 3 4 1 2 3 4 1 2 3 4 1 2 3 4 1 2 3 4
1. Investigación
I. fundamentación y
teórica. fundamentación
teórica.
1. Selección de
los elementos
II. Diseño del
adecuados para
prototipo
la elaboración
del proyecto.
1. Cotización de
III. Cotización y los elementos.
compra de elementos 2. Compra de
los elementos.
1. Construcción
del prototipo y
puesta en
IV. Pruebas e
marcha.
implementación
2. Pruebas y
calibración
inicial.
1. Elaboración
de instrucciones
V. Validación del detalladas para
prototipo el correcto
manejo del
prototipo.
1. Correcciones
y análisis de los
resultados
VI. Optimización e
obtenidos
informe final
2. Elaboración
del informe
final.
Fuente: Autor
39
PRESUPUESTO DEL PROYECTO
Tabla 4 –Recursos humanos
Recursos Humanos Cargo Tiempo Total

Director del
Ing. Jhon Anaya 50 horas $ 30.000 $ 1.500.000
proyecto
Fabio Andrés
Investigador 6 meses $ 200.000 $ 1.200.000
Martínez Redondo
Fabio David
Investigador 6 meses $ 200.000 $ 1.200.000
Castrillo Cotes
Fuente: Autor
Tabla 5 – Equipo y materiales
Valor Valor
Equipos y materiales Cantidad
Unitario Total
Internet 140 (horas) $ 1.000 $ 140.000
Fotocopias 200 $ 100 $ 20.000
Transportes $ 45.000 $ 45.000
$
Video beam 3500 lumens 1 $ 1.900.000
1.900.000
Microsoft Kinect 3D 1 $ 300.000 $ 300.000
$
PC con tarjeta 1 $ 2.000.000
2.000.000
Caja en madera con estructura para
1 $ 300.000 $ 300.000
montaje de Video Beam, Kinect y Pc
Otros 6 $100.000 $ 600.000
Fuente: Autor
40
Tabla 6 – Presupuesto total
Concepto Total
Recurso Humano $ 3.900.000
Equipos y materiales $ 5.305.000
Subtotal $ 1.200.000
Imprevistos $ 500.000
Total $ 10.905.000
Fuente: Autor
41
DISEÑO
A continuación, presentamos el proceso de elaboración e implementación del

prototipo de caja de arena de realidad aumentada para uso didáctico, el cual se
realizó mediante las fases planteadas en la metodología del trabajo.
Fase II y III
Diseño del prototipo y compra de elementos para el desarrollo del prototipo
Hardware
Sensor Kinect
El sensor Kinect usado es el Microsoft Kinect Xbox 360 y se conecta al ordenador

mediante un Adaptador de cable para Sensor Kinect Xbox 360 FAT
Figura 5 - Kinect Xbox 360
Fuente: Microsoft Kinect Xbox 360
42
Figura 6 - Adaptador de cable para Sensor Kinect Xbox 360 FAT
Fuente: support.xbox.com/es-PE/xbox-360/kinect/kinect-sensor-components
PC
Se utilizó un ordenador marca HP con las siguientes especificaciones:
 Procesador Intel Core i5 de 3.7Ghz

 4Gb Memoria RAM
 250Gb Disco duro
 2Gb Memoria grafica
 Sistema Operativo Linux Ubuntu 18.04 LTS
 Teclado y Mouse
Cabe resaltar que se usó el sistema operativo Linux debido a que la plataforma de
trabajo de AR Sandbox funciona con sistema Linux y sistema Mac, pero por los
costos de fabricación del proyecto, fue más viable un sistema Linux
43
Proyector
El proyector usado en el diseño de UC Davis es un proyector de corto alcance,

pero en el caso de nosotros por no contar con ese tipo de proyector, usamos uno
convencional, con la misma relación de aspecto 4:3. Marca Epson PowerLite x41+
Caja de arena
Figura 7 - Epson PowerLite x41+
Fuente: www.epson.com/proyector-epson
El diseño de la caja de arena utilizado fue basado en las especificaciones de UC

Davis en su página web. Donde se tiene una caja de madera de 40x30” con una
profundidad aproximada de 20cm, una base para el proyector a 40cm, el sensor
Kinect a la misma distancia, y una mesa para ubicar todos los componentes del
sistema.
44
Figura 8 – Diseño de la caja de arena
Fuente: https://arsandbox.ucdavis.edu/instructions/hardware-2/
Arena
La arena usada para moldear es arena convencional filtrada con una malla con
orificios de 3mm y se utilizó la cantidad suficiente para lograr una altura de 10 Cm
sobre la superficie basado en el diseño de UC Davis
Software
El software utilizado en la implementación del prototipo es el proporcionado por

UC Davis en su página web, donde están disponibles las instrucciones de
instalación y compilación de los paquetes y librerías utilizadas para AR Sandbox
en el sistema Linux. El sistema recomendado para la instalación de los paquetes y
librerías es el Linux Mint, en nuestro caso usamos Linux Ubuntu. Los paquetes y
45
librerías en su última versión usados en la implementación del prototipo fueron los
siguientes:
 Vrui Toolkit 4.6-005

 Kinect 3.7
 SARndbox 2.6 (compatible con Kinect 3.7 y Vrui-4.6-005)
Los paquetes y librerías utilizados para la implementación del prototipo son

OpenSource para uso didáctico.
46
RESULTADOS
Fase IV
Pruebas e Implementación
Determinación de alturas del Kinect y proyector.

Para determinar la altura del proyector para modo de pruebas situamos la caja en
la pared y el proyector apuntando hacia la caja, todo ubicado de forma horizontal
para tomar medidas desde el suelo. El proyector por no ser de corto alcance la
distancia de 40” que establece el diseño de UC Davis no es suficiente ya que la
imagen se desenfoca a esa distancia, por lo que se incrementó a una distancia
aproximada de 60”, donde se pudo observar claridad de la imagen en la caja con
una relación de aspecto de 4:3 a una resolución de 1024x768 que es la deseada
para la AR Sandbox según el prototipo de UC Davis.
Figura 9 - Determinación de alturas del Kinect y proyector.
Fuente: Autores
Figura 10 - Determinación de alturas del Kinect y proyector (2)
47
Fuente: Autores
Fuente: Autores
48
Para determinar la altura del Kinect nos basamos en el diseño de UC Davis donde
este se encuentra a una distancia aproximada de 40” desde la parte superior de la
caja. El Kinect fue ubicado sobre una superficie apuntando al centro de la caja sin
causar interferencia en la línea de vista del proyector.
Fuente: Autores
49
Fuente: Autores
Para determinar el ancho del haz de luz del proyector, tomamos las medidas de
las cajas que usamos como soporte para el Kinect temporalmente. Se estableció
un ancho de 50cm.
Fuente: Autores
50
Fabricación estructura
Teniendo en cuenta las medidas obtenidas en la primera fase de la

implementación, se determinó la altura necesaria para el proyector y la ubicación
del sensor Kinect, por lo que se implementó una estructura en madera con una
base en la parte superior para el proyector con una distancia desde el lente de 60”
sobre la caja de arena.
Figura 15 – Estructura del proyector
Fuente: Autores
51
Figura 16 - Base del proyector
Fuente: Autores
Figura 17 - Estructura AR Sandbox
Fuente: Autores
52
El Kinect fue sujeto con una base removible, para facilitar el proceso de
calibración, a una distancia aproximada de 40” sobre la caja de arena, ubicando el
Kinect en el centro de la caja sin causar interferencia en la línea de vista del
proyector.
Para iniciar el proceso de instalación y calibración usamos una lámina de cartón

para trabajar con la altura límite de la caja y para facilitar la visualización de los
caracteres.
53
Instalación de paquetes y librerías en el ordenador
Para la instalación del sistema seguimos el proceso establecido por UC Davis

teniendo en cuenta que el sistema operativo instalado en el ordenador es Linux
Ubuntu y la instalación de los paquetes es mediante comandos en el terminal de
Ubuntu, cabe resaltar que para esta instalación fue necesario establecer una
conexión a internet. Para la instalación de algunos pasos es necesaria la
contraseña, que es “sandbox”.
Instalación drivers Nvidia y Xed Editor

Abrimos el centro de control y seleccionamos “Driver Manager” y seleccionamos
“Nvidia binary driver” y guardamos los cambios mientras que finalizó el proceso y
reiniciamos el ordenador.
Para verificar que el controlador está funcionando correctamente abrimos el
terminal y escribimos:
glxinfo | grep vendor
54
Al estar correctamente instalado, el terminal respondio:
server glx vendor string: NVIDIA Corporation

client glx vendor string: NVIDIA Corporation
OpenGL vendor string: NVIDIA Corporation
Para instalar Xed text editor escribimos las siguientes líneas:
sudo add-apt-repository ppa:embrosyn/xapps

sudo apt update
sudo apt install xed
Instalación Vrui Toolkit 4.6-005
Se ejecutó el siguiente comando en la ventana de terminal:
cd ~
wget http://idav.ucdavis.edu/~okreylos/ResDev/Vrui/Build-Ubuntu.sh
bash Build-Ubuntu.sh
Al finalizar la instalación nos muestra una ventana con un globo giratorio que
podemos girar con el mouse pulsando clic, con esto verificamos que la instalación
fue exitosa
55
Ajustando tamaño de la pantalla
En la aplicación del globo giratorio abrimos el menú principal pulsando el botón

derecho del Mouse y verificamos que el tamaño de texto de los elementos del
menú fuera legible.
Cerramos la ventana y ejecutamos el siguiente comando para eliminar el script de
instalación:
rm ~/Build-Ubuntu.sh
Un problema potencial es que el Vrui Toolkit intenta crear una pantalla calibrada,
lo que significa que, si una aplicación dibuja una línea de 5", esa línea debería
aparecer en la pantalla con una longitud de 5". Esta función se basa en una
pantalla conectada que informa su tamaño correcto al sistema operativo. Si bien
esto funciona para la mayoría de los monitores de computadora, no funciona para
los proyectores: un proyector no conoce el tamaño de su pantalla, ya que depende
de la distancia de alcance y del factor de zoom. Como resultado, los proyectores a
menudo informan tamaños de pantalla inexistentes o imprecisos, y Vrui los
confunde al tomarlos como valor nominal. En resumen, la función de tamaño de
56
pantalla automática de Vrui podría tener que estar deshabilitada para funcionar en
un contexto de AR Sandbox [8].
La mejor forma de desactivar esta opción para todas las funciones de Vrui es
editar el archivo de configuración central de Vrui con el siguiente comando:
sudo xed /usr/local/etc/Vrui-4.6/Vrui.cfg
buscamos en la línea 154 “autoScreenSize” y cambiamos el valor de “true” a

“false”.
Con esta configuración, Vrui vuelve al tamaño de pantalla configurado en la
“section Screen”, en las líneas 105-112 en el mismo archivo de configuración. Los
valores predeterminados allí, que definen un monitor de relación de aspecto 4:3 de
20".
Instalación del paquete de video Kinect 3D
57
Para la instalación del paquete usamos los comandos:
cd ~/src
wget http://idav.ucdavis.edu/~okreylos/ResDev/Kinect/Kinect-3.7.tar.gz
tar xfz Kinect-3.7.tar.gz
cd Kinect-3.7
make
sudo make install
sudo make installudevrules
ls /usr/local/bin
Se verifica que al instalar se encuentren las líneas “KinectUtil” y

“RawKinectViewer”.
Instalación de software AR Sandbox

Para la instalación del software usamos los comandos:
cd ~/src
58
wget http://idav.ucdavis.edu/~okreylos/ResDev/SARndbox/SARndbox-
2.6.tar.gz
tar xfz SARndbox-2.6.tar.gz
cd SARndbox-2.6
make
ls ./bin
Se verifica que al instalar se encuentren las líneas “CalibrateProjector” y

“SARndbox”.
Con esto finalizamos la instalación de los paquetes para realizar las pruebas
iniciales de calibración.
Calibración inicial
En esta etapa ponemos a prueba el sistema sin estructura para establecer las
distancias aproximadas en la implementación.
59
Conectamos el Kinect al ordenador y con su fuente de poder y en el terminal
ejecutamos el siguiente comando para cargar los parámetros de calibración por
defecto del Kinect:
sudo /usr/local/bin/KinectUtil getCalib 0
Calculando corrección de profundidad por pixel
Las cámaras Kinect de primera generación (Kinect para Xbox-360) tienen una
cierta cantidad de distorsión de profundidad no lineal. Si apunta dicha cámara a
una superficie plana, la reconstrucción 3D no será plana, sino ligeramente en
forma de cuenco. Esta distorsión puede evitar una buena alineación entre la
superficie física de la arena y la proyección del mapa topográfico.
“RawKinectViewer” tiene una utilidad de calibración incorporada para corregir esta

distorsión. Este paso no es necesario para el funcionamiento de la caja de arena
AR, pero generalmente mejora la calidad de la alineación.
60
Es más fácil realizar este paso de calibración con la cámara Kinect fuera del
montaje AR Sandbox, por esta razón se realiza en esta etapa y no en el montaje
completo.
Para iniciar la calibración ejecutamos el comando:
sudo /usr/local/bin/RawKinectViewer -compress 0
ahora movemos el Kinect hacia la superficie hasta que aparezcan unas manchas
negras en el lado izquierdo de la ventana de visualización y retrocedemos hasta
que solo haya pequeños puntos negros. Es mejor que la cámara esté de frente a
la superficie plana; giramos la cámara hacia la izquierda/derecha y hacia
arriba/abajo hasta que el color de profundidad mostrado sea uniforme entre los
bordes izquierdo, derecho, superior e inferior.
Asignamos una herramienta de calibración a dos teclas arbitrarias. Presionamos la

primera tecla, "A" y movemos el mouse para resaltar "Calibrate Depth Lens" en el
menú de selección de herramientas mostrado, luego soltamos la tecla. Esto cierra
el menú de selección de herramientas y abre el cuadro de diálogo "Creating
Calibrate Depth Lens Tool..." que indica presionar otra tecla para la función de
herramienta "Calibrate". Presionamos la tecla "S" la soltamos. Esto cierra el
cuadro de diálogo y termina la asignación de la herramienta.
61
Capturamos un punto de calibración, manteniendo la cámara inmóvil y
presionamos la tecla "A" una vez. Aparece un mensaje "Capturing average depth
frame..." no se puede mover la cámara mientras aparece ese mensaje debido a
que está haciendo el proceso de captura. Cuando la imagen vuelve en movimiento
alejamos la cámara un poco de la superficie plana y presionamos nuevamente "A"
para capturar el siguiente punto.
Repetimos este proceso unas cuantas veces para recolectar entre cinco y diez
puntos de enlace, desde distancias entre aproximadamente 10 y 30cm. Una vez
hecho esto, presionamos la tecla "S". Esto calcula los factores de corrección de
profundidad por píxel y los escribe en un archivo de calibración en el directorio
/usr/local/etc/Vrui-4.6/Kinect-3.7. RawKinectViewer imprime "Writing depth
correction file /usr/local/etc/Vrui-4.6/Kinect-3.7/DepthCorrection-<camera serial
number>.dat" cuando finaliza donde <camera serial number> es el serial del
sensor kinect.
62
63
Ahora se ubica la cámara en el punto marcado inicialmente.
Alineación de cámara 3D
64
Alineamos la cámara para que el campo de visión cubra el interior de la caja de
arena. Utilizamos “RawKinectViewer” para guiarnos durante la alineación
utilizando el siguiente comando en la ventana de terminal:
cd ~/src/SARndbox-2.6
RawKinectViewer -compress 0
Nos concentramos solo en el flujo de imagen en profundidad en el lado izquierdo

(el AR Sandbox no usa el flujo de video en color). Ubicamos la cámara hasta ver
todo el interior de la caja de arena.
Alineación del proyector
Se ubica el proyector de tal forma que la imagen cubra el cuadro interno de la caja
de arena, para esto usamos utilizamos la cuadricula de calibración generada por la
utilidad XBackground de Vrui como guía escribiendo en terminal:
65
XBackground
Luego que aparece la cuadricula, presionamos F11 para entrar en modo pantalla
completa y movemos el proyector hasta cubrir la parte interna de la caja. Este
paso es de vital importancia en la calibración. Luego presionamos ESC para salir.
Calibración del Proyector/Cámara
Para calibrar el proyector y la cámara entre sí, usamos el siguiente comando en la

ventana terminal:
./bin/CalibrateProjector -s 1024 768
Teniendo en cuenta que la resolución del proyector es exactamente 1024x768.
66
El proceso de calibración es similar al cálculo de corrección de profundidad, ya
que es necesaria la configuración de dos teclas libres. Se tomaron las teclas “1” y
“2”. Se vinculó una herramienta de captura del menú de herramientas presionando
la tecla “1” y seleccionando la opción “Capture” para capturar puntos de enlace y
67
al aparecer el mensaje “Creating Capture Tool...” presionamos la tecla “2” que
funciona para capturar el fondo nuevamente.
Para capturar los puntos de enlace de calibración es necesario un disco de 12cm
forrado con papel, marcado con una cruz que se encuentre en el centro del disco,
y sujeto a una pequeña varilla o extensor.
Verificamos que, al ubicar el disco en la cobertura de la caja, este sea detectado

tornándose de color verde. Para esta calibración no es necesario tener en cuenta
donde se encuentra proyectada la imagen del disco, solo el color que da aviso
para tomar el punto de enlace de calibración.
68
Se ubicó el disco de calibración a diferentes alturas, coincidiendo la cruz
proyectada en la caja con la del disco, y tomando los puntos de calibración
presionando la tecla “1”. Para los puntos más bajos, o de profundidad, fue
necesario hacer huecos en la arena, y capturar nuevamente el fondo presionando
la tecla “2”, para que el disco sea detectado por el sensor en los puntos más bajos,
y la calibración se realice desde los puntos superiores e inferiores. El proceso fue
repetido hasta que la cruz marcara el punto inicial.
69
70
71
Al finalizar el procedimiento verificamos que la calibración se realizara
correctamente, ubicando el disco de calibración en el plano de la caja, a diferentes
alturas, y cuando es detectado tornándose de color verde, se grafica una cruz roja
en el centro del disco en cualquier punto que escojamos dentro de la cobertura de
la caja. Cerramos la configuración presionando la tecla “ESC”.
72
73
Ejecutamos el software AR Sandbox
Para ejecutar la aplicación principal usamos el comando en el terminal:
./bin/SARndbox -uhm -fpv
Y presionamos F11 para pantalla completa, para empezar a probar que todo
estuviera en correcto funcionamiento.
74
75
Fuente: Autores
Creación de accesos directos, e inicio automático

Como la idea es usar la menor cantidad de periféricos posibles, se establecen
accesos directos del software en el escritorio, al igual que scripts de calibración y
se configura el script en el arranque al inicio para ejecutar el software. Con esto el
software inicia de manera automática, al iniciar el sistema.
Primero Creamos el directorio de “Aplications” donde se almacena el script de

calibración del proyector, y configuración del software AR Sandbox con el
siguiente comando en el terminal:
mkdir -p ~/.config/Vrui-4.6/Applications
Luego creamos el script de calibración del proyecto
xed ~/.config/Vrui-4.6/Applications/CalibrateProjector.cfg
76
En el editor de texto usamos estas líneas de código y guardamos los cambios del
archivo.
section Vrui
section Desktop
section Window
# Force the application's window to full-screen mode:
windowFullscreen true
endsection
section Tools
section DefaultTools
# Bind a tie point capture tool to the "1" and "2" keys:
section CalibrationTool
toolClass CaptureTool
bindings ((Mouse, 1, 2))
endsection
endsection
endsection
endsection
endsection
Cuando se inicia “CalibrateProjector”, la ventana cubre toda la pantalla, sin barras

de título ni paneles restantes. Si se presiona la tecla "1", el programa captura un
punto de enlace de calibración, y si presiona la tecla "2", vuelve a capturar el
fondo, lo que se indica cuando la pantalla se vuelve roja durante dos segundos. Se
pone a prueba en el montaje final.
Creamos el archivo de configuración del software:
77
xed ~/.config/Vrui-4.6/Applications/SARndbox.cfg
y en el editor de texto usamos estas líneas de código y guardamos los cambios del
archivo:
section Vrui
section Desktop
# Disable the screen saver:
inhibitScreenSaver true
section MouseAdapter
# Hide the mouse cursor after 5 seconds of inactivity:
mouseIdleTimeout 5.0
endsection
section Window
# Force the application's window to full-screen mode:
windowFullscreen true
endsection
section Tools
section DefaultTools
# Bind a global rain/dry tool to the "1" and "2" keys:
section WaterTool
toolClass GlobalWaterTool
bindings ((Mouse, 1, 2))
endsection
endsection
endsection
endsection
78
endsection
Al igual que en el script anterior, esto obliga a SARndbox a comenzar en modo de

pantalla completa, asegurando que la calibración creada con CalibrateProjector
coincida exactamente con la utilizada en el AR Sandbox real. Además, la
configuración "inhibitScreenSaver" evita que la pantalla se quede en blanco si no
se presiona ninguna tecla (en espera), y la configuración "mouseIdleTimeout 5.0"
ocultará el cursor del mouse después de cinco segundos de inactividad. Para
recuperar el cursor (para interacciones de menú, etc.), simplemente se mueve el
mouse.
Desde el terminal creamos el script para ejecutar el software:
xed ~/src/SARndbox-2.6/RunSARndbox.sh
y usamos exactamente estas líneas en el editor de texto y guardamos los

cambios:
#!/bin/bash
# Enter SARndbox directory:

# Run SARndbox with proper command line arguments:

./bin/SARndbox -uhm -fpv
Esta línea en el terminal indica al sistema operativo que puede ejecutar el script:
chmod a+x ~/src/SARndbox-2.6/RunSARndbox.sh
79
Creamos el icono de acceso directo desde el terminal:
xed ~/Escritorio/RunSARndbox.desktop
y usamos estas líneas para indicar el directorio del script a ejecutar, guardamos
los cambios:
#!/usr/bin/env xdg-open
[Desktop Entry]
Version=1.0
Type=Application
Terminal=false
Icon=mate-panel-launcher
Icon[en_US]=
Name[en_US]=
Exec=/home/sandbox/src/SARndbox-2.6/RunSARndbox.sh
Comment[en_US]=
Name=Start the AR Sandbox
Comment=
Desde el terminal indicamos al sistema que puede ejecutar el script:
chmod a+x ~/Escritorio/RunSARndbox.desktop
Para ejecutar el software al iniciar el sistema de forma automática, en la utilidad de

aplicaciones de inicio de Ubuntu, seleccionamos añadir, establecimos el nombre
“AR Sandbox” y en origen seleccionamos la ruta del script seguido del símbolo
“%U” para que lo ejecute al inicio como una aplicación, de la siguiente manera:
80
/home/sandbox/src/SARndbox-2.6/RunSARndbox.sh %U
Con esto al encender el equipo, con todo correctamente conectado, inicia

automáticamente en la aplicación AR Sandbox. Para salir de la aplicación basta
con presionar la tecla ESC.
CONCLUSIONES
La innovación en el entorno educativo es uno de los principales objetivos de este

proyecto, la cual, en el contexto actual, de constante aparición de tecnologías
digitales con un fuerte potencial para la transformación de los procesos de
enseñanza/aprendizaje, la innovación no puede ser considerada como un evento
aislado.
De acuerdo a lo anterior, en este proyecto se describió la implementación de un
prototipo de caja de arena de realidad aumentada para uso didáctico en el área de
ciencias de la tierra, en una instalación de la realidad aumentada diseñada para
81
usarse en un entorno educativo. También se describió su implementación técnica
y las ventajas que proporciona su novedosa interfaz. Así mismo la importancia de
establecer una ruta de implementación que permita su uso en un entorno
educativo usando materiales accesibles y software libre. Finalmente se habló de la
propuesta educativa a desarrollar y discutido la importancia del proyecto para
impulsar este tipo de iniciativas.
En el futuro se espera hacer de este proyecto una plataforma sobre la cual añadir
nuevas prestaciones a la experiencia educativa.
82
RECOMENDACIONES
Dispositivo no apto para menores de 7 años.
Por motivos de calibración, es recomendable establecer un solo lugar para el

sistema.
La base del proyector puede estar estática mientras que proyecte el área correcta
de la caja, pero la del sensor Kinect es recomendable que tenga movilidad, por su
tipo de calibración.
BIBLIOGRAFÍA
[1] S. Álvarez Sánchez, L. Delgado Martín, M. Á. Gimeno Gonzáles, T. Martín

Garcia, F. Almaráz Meléndez y C. Ruiz Méndez, «La Realidad Aumentada un
nuevo recurso para la enseñanza,» Revista de Educación Mediática y TIC,
pp. 105 - 123, 2016.
[2] L. L. Zuñiga y M. Zabaleta, «Herramienta Didáctica Para La Enseñanza ee
Accidentes Geográficos Basada en Objetos Virtuales de Aprendizaje Y
Realidad Aumentada,» 2015. [En línea]. Available:
http://repositorio.unicartagena.edu.co:8080/jspui/handle/11227/2929.
[3] M. Dunleavy, C. Dede y R. Mitchell, «Affordances and Limitations of
Immersive Participatory Augmented Reality Simulations for Teaching and
Learning,» Journal of Science Education and Technology, 2009. [En línea].
Available:
https://www.researchgate.net/publication/225781499_Affordances_and_Limita
tions_of_Immersive_Participatory_Augmented_Reality_Simulations_for_Teac
hing_and_Learning.
[4] J. Uribe y A. Torres, « Pontificia Universidad Javeriana,» Modelo de realidad
83
virtual adecuado para la comercialización de los productos en los grandes
almacenes de cadena por medio de sus tiendas virtuales, 2011. [En línea].
Available: https://repository.javeriana.edu.co/handle/10554/9515?show=full.
[5] J. D. Arango, A. Navarro, B. Muñoz, Y. Ariza y J. L. O. Velez, «Universidad
ICESI,» Investigadores colombianos desarrollan aplicaciones móviles para el
diagnóstico del Parkinson, 2016. [En línea]. Available:
https://www.icesi.edu.co/unicesi/todas-las-noticias/2383-investigadores-
colombianos-desarrollan-aplicaciones-moviles-para-el-diagnostico-del-
parkinson.
[6] L. Amaya y J. Santoyo, «Cuadernos de Musica, Artes Visuales y Artes
Escenicas,» Evaluación del uso de la realidad aumentada en la educación
musical, 2017. [En línea]. Available:
https://revistas.javeriana.edu.co/index.php/cma/article/view/15917.
[7] L. Cuta, J. Uribe, R. Montoya, J. Morales y G. Niño, «Fundacion Universitaria
de San Gil,» Diseño e implementación de un módulo AR Sandbox como
herramienta terapéutica para niños con sindrome de Down, 2017. [En línea].
Available: http://floridafork-lift.com/download/diseo-e-implementacion-de-un-
modulo-ar-sandbox-como-herramienta-terapeutica-para_pdf.
[8] O. Kreylos, Augmented Reality Sandbox, 2016. [En línea]. Available:
http://idav.ucdavis.edu/~okreylos/ResDev/SARndbox/.
[9] R. B. I. Taday, «Escuela Superior Politécnica de Chimborazo,» Sistema de
educación para niños de 3 a 5 años, mediante un robot controlado por el
sensor Kinect, 2014. [En línea]. Available:
http://dspace.espoch.edu.ec/handle/123456789/3276.
[10] O. Osorio y F. Peña, «Universidad Tecnológica de Pereira,» Captura De
Movimiento Utilizando El Kinect Para El Control De Una Plataforma Robotica
Controlada De Forma Remota Por Medio De Seguimiento De Los Puntos De
Articulación Del Cuerpo, 2015. [En línea]. Available:
http://repositorio.utp.edu.co/dspace/handle/11059/5136.
[11] J. Salvatore, J. Osio y M. Morales, Detección de objetos utilizando el sensor
Kinect, 2014. [En línea]. Available: http://www.laccei.org/LACCEI2014-
Guayaquil/RefereedPapers/RP178.pdf.
[12] J. Nuño, «Universidad Carlos III de Madrid,» Reconocimiento de Objetos
Mediante Sensor 3D KINECT, 2012. [En línea]. Available:
https://core.ac.uk/download/pdf/30046798.pdf.
[13] E. Fernández, «Universidad Carlos III de Madrid,» Control de Software
84
Educativo Mediante Kinect de Microsoft, 2012. [En línea]. Available: https://e-
archivo.uc3m.es/bitstream/handle/10016/16846/TFG_Estefania_Fernandez_S
anchez.pdf?sequence=1&isAllowed=y.
[14] D. Ruiz, «Revista ICONO14,» Realidad aumentada, educación y museos,
2011. [En línea]. Available:
https://icono14.net/ojs/index.php/icono14/article/view/24.
[15] Egokitek, «Egokitek,» AR Sandbox, Mapa topográfico interactivo, 2015. [En
línea]. Available: https://www.egokitek.com/productos/ar-sandbox/.
[16] O. P. Osorio y F. L. Peña, «Captura de movimiento utilizando el kinect para el
control de una plataforma robótica controlada de forma remota por medio de
seguimiemto de los puntos de articulación del cuerpo,» Pereira, Colombia,
2015.
[17] J. E. Salvatore, J. Osio y M. Martín, «Detección de objetos utilizando el
sensor Kinect,» de 12th Latin American and Caribbean Conference for
Engineering and Technology, Guayaquil, Ecuador, 2014.
[18] R. B. Ivay Taday, «Sistema de educación para niños de 3 a 5 años, mediante
un robot controlado por el sensor Kinect,» Riobamba, Ecuador, 2014.
85
ANEXOS
Manual
Para poner en marcha el sistema, se verifica que todos los dispositivos periféricos
estén correctamente conectados (mouse, teclado, proyector, sensor kinect), luego
encendemos el ordenador, el proyector y esperar a que inicie el software AR
Sandbox.
En caso de no iniciar automáticamente en el escritorio está un icono de acceso al

software.
Para apagar el sistema, pulsar la tecla ESC, luego en la esquina superior derecha
el botón de configuración, luego apagar el sistema y confirmar. Es necesario
apagar el proyector de forma independiente.
86

Proyecto Fabio - AR-Sandbox - 9 de Agosto

Cargado por

Información del documento

Derechos de autor

Formatos disponibles

Compartir este documento

Compartir o incrustar documentos

Opciones para compartir

¿Le pareció útil este documento?

¿Este contenido es inapropiado?

Copyright:

Formatos disponibles

Proyecto Fabio - AR-Sandbox - 9 de Agosto

Cargado por

Copyright:

Formatos disponibles

IMPLEMENTACIÓN DE PROTOTIPO DE CAJA DE ARENA DE REALIDAD

AUMENTADA PARA USO DIDÁCTICO

FABIO ANDRES MARTINEZ REDONDO

UNIVERSIDAD POPULAR DEL CESAR

FABIO ANDRES MARTINEZ REDONDO

Proyecto presentado al comité evaluador de proyectos de grado para optar al título

UNIVERSIDAD POPULAR DEL CESAR

Tabla 1 – Características de un Kinect....................................................................24

En este proyecto se presenta la implementación de un prototipo de caja de arena

Palabras claves: Ciencias y tecnología, Educación, Interdisciplinariedad, Interfaz,

La educación al igual que la tecnología, permanece en constante cambio y debido

En el caso de los programas de educación en Geología y Topografía, existen

En la actualidad se implementan herramientas de realidad aumentada para el uso

En Colombia son pocas las instituciones educativas y universidades que se

Por todo lo anterior en el presente proyecto se plantea la implementación de un

Implementar un sistema de realidad aumentada integrado para crear visualmente

 Implementar un software de procesamiento para la generación de imágenes

En el presente proyecto acerca la Implementación de Prototipo de Caja de Arena

En la Universidad de Salamanca (España), Sergio Álvarez Sánchez, Laura

Ling Lung y María Zabaleta en su tesis “Herramienta didáctica para la enseñanza

Matt Dunleavy de Radford University, Radford (USA), Chris Dede y Rebecca

Otra aplicación de la realidad aumentada la encontramos en una aplicación que se

Se realizó una investigación que se centró en el desarrollo de una metodología

Según la página oficial de AR Sandbox, gran parte del continente Americano y

El desarrollador original de la idea es Oliver Kreylos, un investigador de

Se realiza un análisis de las partes constitutivas del prototipo, y se calcula el costo

Fuente: Microsoft Kinect Xbox 360

La implementación del dispositivo Kinect en el proyecto es de suma importancia

A continuación, se describen los que resultan de interés para este proyecto.

ARQUITECTURA DEL KINECT

Figura 2 – Partes del Kinect

Figura 3 – Componentes del hardware de un Kinect

La cámara de profundidad utiliza una tecnología de codificación por luz llamada

El patrón de puntos se localiza en un difusor (rejilla) frente al proyector infrarrojo.

Kinect reconstruye la escena visualizada en 3D para obtener las imágenes de

Se refiere a el proceso para determinar la distancia de un punto en un espacio 3D

Un punto “P” es proyectado en un espacio tridimensional, que pasa por el punto

El sensor Kinect entrega imágenes de profundidad con una resolución de 640*480

El sensor está compuesto de dos partes principales: un proyector y una cámara de

ESPECIFICACIONES DEL SENSOR KINECT

A continuación, presentaremos las características más relevantes de un

Tabla 1 – Características de un Kinect.

La Realidad Aumentada (RA) adquiere presencia en el mundo científico a

En los últimos años la Realidad Amentada está consiguiendo un protagonismo

La capacidad de insertar objetos virtuales en el espacio real y el desarrollo de

La Realidad Aumentada también ha demostrado su función pedagógica en otro

La Realidad Aumentada representa actualmente una potente herramienta que ha

MAPA TOPOGRÁFICO INTERACTIVO

Esto permite simular de forma fácil múltiples fenómenos de la naturaleza, desde

CAJA DE ARENA DE REALIDAD AUMENTADA

Este proyecto fue inspirado en un video creado por un grupo de investigadores

Los fotogramas de profundidad bruta llegan desde la cámara Kinect a 30

Al mismo tiempo, se ejecuta en segundo plano una simulación de flujo de agua

Para la implementación de un prototipo de caja de arena de realidad aumentada

Tabla 2 – Metodología del trabajo.

Fases Actividades Entregables

I. Fase: Fundamentación Teórica:

II. Fase: Diseño del prototipo:

III. Fase: Cotización y compra de elementos:

2. Compra de los elementos

IV. Fase: Pruebas e implementación:

2. Pruebas y calibración inicial

V. Fase: Validación del prototipo (Experimentación):

VI. Fase: Optimización e informe final: