REALIDAD AUMENTADA APLICADA

A HERRAMIENTAS DIDÁCTICAS
MUSICALES
J. M. Peula (1), J. A. Zumaquero (1), C. Urdiales(1), A. M. Barbancho(2) y F. Sandoval (1).
peula@uma.es, zumakero@ieee.org, cristina@dte.uma.es, abp@uma.es, sandoval@dte.uma.es
(1)
Grupo Isis, Dpto. de Tecnologia Electrónica, Universidad de Málaga, ETSI Telecomunicación,
Campus de Teatinos s/n, 29071 – Málaga (España)
(2)
Dpto. de Ingeniería de Comunicaciones, Universidad de Málaga, ETSI Telecomunicación,
Campus de Teatinos s/n, 29071 – Málaga (España)

Abstract- This paper presents two educational applications
based on Augmented Reality to introduce young people to
music in an easy and intuitive way: a virtual piano and a virtual
score. The main novelty of this paper is how new technologies
like Augmented Reality can be used in educational
environments using simple low cost tools. The proposed tools
have been used during La Semana de la Ciencia 2006
(Andalucía) and results have been quite satisfactory from the
user point of view.
virtual, empezando por la librería de realidad aumentada que
utiliza, ARToolkit. A continuación, en este apartado se
explican los principios de funcionamiento de la partitura
virtual, la librería de sonidos que utiliza, OpenAL y la
utilización de la partitura virtual. En el apartado 4 se
muestran las pruebas realizadas a ambas aplicaciones.
Finalmente, en el apartado 5, se presentan las conclusiones
obtenidas de la realización de este trabajo.

I. INTRODUCCIÓN II. PIANO VIRTUAL

La Realidad Aumentada, a pesar de ser menos conocida
que la Realidad Virtual por el público en general, presenta la
ventaja de insertarse en el mundo real, permitiendo al usuario
interactuar con éste y con elementos generados por
ordenador al mismo tiempo. Dada su flexibilidad, ya existen
interesantes aplicaciones basadas en Realidad Aumentada en
ámbitos tales como la arquitectura [1], la educación [2] o la
reconstrucción de piezas en museos [3].
En la actualidad existen muchos programas de ordenador
que sirven de ayuda en la educación musical, pero muy
pocos utilizan la Realidad Aumentada para conseguir un
acercamiento a la música, de niños y jóvenes de forma
rigurosa y amena. En general, la didáctica musical está
centrada en los sistemas tradicionales de enseñanza, lo que
hace que se encuentre muy alejada de las nuevas tecnologías.
Disponer de herramientas didácticas musicales basadas en
Realidad Aumentada, permitiría una gran evolución en estos
sistemas de enseñanza, haciendo que se adapten a los nuevos
tiempos. De esta forma, se podría conseguir un mejor
aprendizaje y una mayor difusión de los conocimientos
musicales en todos los niveles de educación sin pérdida de
rigor ni seriedad.
Por ello, resultan interesantes las dos aplicaciones
presentadas en esta comunicación: el piano virtual y la
partitura virtual. Estas dos aplicaciones basan su
funcionamiento en sistemas de realidad aumentada de bajo
coste, lo que hace que, además de introducir al usuario en el
mundo de la música de forma amena, sean accesibles al
público en general.
La estructura de esta comunicación es la siguiente: en el
apartado 2 se realiza una descripción del piano virtual
explicando, por un lado el sistema de detección de
movimiento utilizado y, por otro, el montaje y utilización del
piano virtual. En el apartado 3 se describe la partitura
El piano virtual es una herramienta que simula el teclado
de un piano y su sonido mediante un PC conectado a unos
altavoces y una cámara web (que permite la detección de las
teclas pulsadas).
Esta herramienta tiene la ventaja de poder ser utilizada
por niños, sin miedo a que se hagan daño o lo rompan, como
ocurriría en el caso de utilizar un teclado electrónico, pues el
piano no existe físicamente y el equipo no necesita ser
accesible por el usuario. Es necesario, sin embargo, resaltar
que esta herramienta no pretende en ningún momento
sustituir a un piano tradicional, sino simplemente ofrecer un
primer acceso sencillo a éstos.
En este apartado se expone, en primer lugar el sistema de
detección de movimiento para reconocimiento de la tecla
pulsada, el funcionamiento y el montaje del sistema y
finalmente utilización del piano desarrollado.
A. Detección de Movimiento
Para simular el comportamiento de un piano en primer
lugar es importante saber que tecla se ha pulsado, para así
reproducir el sonido oportuno. Sin embargo, dada la gran
cantidad de técnicas para detección de movimiento, hay que
saber cual es la más oportuna para esta aplicación.
En la aplicación presentada, la estructura del sistema
(Fig. 1) es la más simple y más estudiada comúnmente: una
cámara fija sobre la zona de detección de movimiento donde
esta virtualmente el piano (proyectado o impreso) y el objeto
en movimiento (una mano).
En este tipo de situación con cámara estática, se pueden
aplicar técnicas basadas en estructuras biológicas como la de
visión foveal [4], técnicas basadas en estimación paramétrica
[5], etc. Sin embargo, dado que para la aplicación realizada
no era necesaria una gran precisión en la detección de los
objetos, ni predicción de posición futura, se optó por un
esquema de detección de movimiento rápido y sencillo
(Fig.2), basado en la sustracción de fotogramas consecutivos
en escala de grises, umbralización, detección de bordes y
finalmente detección de los objetos y determinación de la
región del piano sobre la que se encuentra el objeto mayor
para reproducir la nota oportuna, si corresponde.
Fig. 1. Montaje ideal del piano virtual.
En la versión actual no se permite la reproducción de
sonidos simultáneos, dado que lo que se quiere es un primer
acercamiento al funcionamiento de un piano. Por ello, el
sonido de las distintas teclas se almacena en ficheros y se
reproduce utilizando la librería API de Windows.
Fig. 2. Diagrama de bloques del sistema.
B. Principio de funcionamiento del programa
Al mover la mano sobre el teclado virtual se reconoce si
ésta está sobre alguna tecla del piano. Si es así, se reproduce
el sonido correspondiente. Si se están ocluyendo varias
teclas, se determinará cual tiene una mayor área oculta por el
objeto y ésta será la que sea reproducida.
C. Montaje y Uso del Piano Virtual
Este sistema ha sido probado sobre un ordenador Pentium
III a 1GHz con 500 MB de RAM conectado a una cámara
web estándar y unos altavoces convencionales funcionando
sin ningún problema.
Como se ha comentado antes, el montaje ideal del
sistema (Fig.1) sería con una cámara que tenga una vista
axial de la zona sensible al movimiento. La zona sensible al
movimiento se configura mediante el programa configurador
(Fig. 3). Éste configura de forma estática las zonas que
determinan las teclas del piano. Es deseable que el usuario
sepa donde está “físicamente” el teclado virtual mediante un
proyector que proyecte un piano o una hoja impresa, como se
hizo en el laboratorio por comodidad. De esta forma el
usuario no necesita mirar al monitor, se abstrae de la
aplicación y se siente más inmerso en el sistema.
Fig. 3. Configurador de la zona de detección de movimiento.
Concretamente, la configuración de la zona sensible se
hace mediante el ratón, pinchando y arrastrando para marcar
la región que, automáticamente, se dividirá en tantas
regiones como teclas se hayan indicado en el fichero de
configuración.
Tras montar el sistema y configurar la región del teclado
se ejecuta la aplicación principal (Fig. 4) en la que se detecta
el movimiento de los objetos y se reproducen los sonidos
apropiados del teclado. Esta aplicación consta de dos
ventanas:
i) La ventana principal (Fig. 4a): Muestra un piano
que puede utilizarse para ser proyectado en caso de
utilizar proyector.
ii) La ventana de captura de la cámara (Fig. 4b):
Muestra la imagen capturada por la cámara, y ayuda
al usuario ajeno a la materia a poder entender un
poco el funcionamiento del programa.
La configuración de los parámetros del sistema (número
de teclas del piano, los sonidos a reproducir en cada zona,
etc.) se configuran mediante los ficheros de configuración.
Fig. 4. Panel de la aplicación principal.
 III. PARTITURA VIRTUAL
La partitura virtual es una herramienta que permite la
creación sencilla de melodías utilizando como base la
notación musical basada en pentagramas y figuras de notas.
El pentagrama incluye la clave de sol y las notas que se
pueden escribir en él mediante marcas pueden ser tanto
blancas como negras e incluir bemoles o sostenidos.
La partitura musical podría realizarse utilizando
complicados algoritmos de visión que reconociesen una
partitura escrita y posteriormente la reprodujese, pero seria
demasiado complejo, costoso y poco didáctico. En su lugar,
y haciendo uso de la Realidad Aumentada, es posible la
realización de partituras en tiempo real y de forma divertida.
En este apartado se expone, en primer lugar, la librería de
Realidad Aumentada que se utiliza, ARToolkit. A
continuación, se explican los principios de funcionamiento
de la partitura virtual, la librería de sonidos que se utiliza,
OpenAL y, por último, la utilización de la partitura virtual.
A. ARToolkit
ARToolkit [6][7] es un conjunto de librerías en ANSI-C
utilizadas para el desarrollo de aplicaciones de Realidad
Aumentada como pueden ser los juegos [8][9]. Para ello
provee de una serie de funciones para la captura de imágenes
de video en las que se buscan patrones conocidos aplicando
técnicas de visión por computador.
Para conseguir su función, ARToolkit usa marcas planas
impresas formadas por un marco de color negro que contiene
en su interior un patrón (Fig.5) previamente aprendido. Para
que los datos de posición e inclinación relativa que se
calculen sean los correctos, las dimensiones de la marca
(ancho y alto) serán establecidas a priori.
Fig. 5. Tipo de marcas usadas por ARTOOLKIT.
El funcionamiento de cualquier programa de Realidad
Aumentada basado en ARToolkit es el siguiente:
i) Se captura un fotograma de la fuente de video.
ii) La imagen se transforma en binaria a partir de un
umbral predeterminado. Todos los píxeles cuya
intensidad supere el umbral pasan a ser negros, el
resto pasan a ser blancos, dando una imagen en
blanco y negro donde las zonas oscuras pasan a ser
blancas y viceversa
iii) En la imagen binaria, se buscan todos los marcos
blancos que pudiesen ser candidatos de contener
marcas conocidas
iv) Una vez obtenidos los candidatos se comprueba que
contienen un patrón conocido de entre los
almacenados en memoria, de modo que se eliminan
falsos positivos en la detección.
v) Para aquellas marcas donde se encuentren patrones
conocidos se obtienen los datos de posición e
inclinación relativa a la cámara, que se guardarán en
una matriz de transformación geométrica
homogénea.
vi) A partir de dicha matriz de transformación se
aplican las transformaciones geométricas a los
elementos 3D que se van a pintar con OpenGL.
vii) Por último, se superponen los objetos 3D generados
en OpenGL a la imagen de video capturada.
B. Principios de funcionamiento de la partitura virtual
La partitura virtual aprovecha las características de
ARToolkit para realizar la detección y posicionamiento
relativo de las marcas. Esto permite obtener la posición y
orientación relativa de la partitura respecto a la cámara, y a
partir de ésta se detecta la posición de las notas respecto a la
marca que referencia a la partitura, conociendo a que tono
corresponde la nota.
Una vez detectada la ubicación de las notas en la partitura
presentada, se almacena en memoria la lista de notas que
habrá que reproducir. Para escuchar la partitura cuando se
realice la indicación de ello, se carga en memoria los ficheros
de audio que contienen las notas en el orden indicado por la
lista, y se reproducen posteriormente.
C. OpenAL
Para cargar y reproducir sonidos se ha usado la librería de
C/C++ OpenAL [10] que permite manejar archivos de sonido
con gran facilidad, así como la creación de entornos sonoros
donde se pueden configurar tanto la posición del oyente
como las posibles fuentes sonoras, entre otras ventajas que
hacen que sea ampliamente usada en programación de
entornos virtuales [11].
D. Uso de la partitura virtual
Para usar la partitura virtual se necesitan realizar una
serie de tareas que van a permitir visualizar la partitura con
un tamaño deseado y detectar las notas colocadas en ella. Los
pasos son los siguientes:
i) Usar la marca de referencia que dará la posición y
orientación de la partitura en cualquier momento de
la aplicación (Fig.6).
ii) Usar la marca auxiliar de tamaño que permitirá
redimensionar la partitura, de manera que la zona
donde se puede escribir en la partitura irá desde la
marca de referencia a la marca auxiliar de tamaño
(Fig. 7).
iii) Una vez colocada la partitura donde se quiere y con
el tamaño que se desea, se pueden colocar nuevas
marcas que corresponden a notas blancas o negras
(Fig. 8).
iv) Se colocan las notas en el tono deseado. Para
cambiar de un tono natural a bemol o sostenido
basta con girar la marca sobre si misma (Fig. 8).
v) Una vez colocadas todas la notas y compuesta la
partitura se puede escuchar bien pulsando una tecla,
bien usando una marca auxiliar de reproducción
(Fig. 9).
vi) Para cambiar la partitura, basta con mover de
posición las marcas de las notas.

Fig. 6. Desplazamiento de la partitura usando la marca de referencia.
Fig. 7. Redimensionamiento de la partitura usando las marcas de referencia
y auxiliar de tamaño.
Fig. 8. Colocación las notas en una partitura.
Fig. 9. Reproducción de la partitura usando la marca auxiliar de
reproducción.
IV. PRUEBAS DE LAS HERRAMIENTAS DISEÑADAS
El testeo de la herramienta piano virtual se realizó en el
laboratorio de investigación con personal técnico
conocedores de este tipo de aplicaciones con comentarios
favorables.
Las pruebas de la partitura virtual, se realizaron en el
laboratorio usando un conjunto de marcas impresas de 40
mm. de lado para las marcas de referencia, auxiliar de
tamaño y auxiliar de reproducción, y de 25mm para las
marcas de notas blancas y negras, obteniéndose resultados
satisfactorios.
Ambas aplicaciones fueron presentadas en la VII Semana
de la Ciencia y la Tecnología celebrada en Málaga,
utilizando un proyector en lugar de un monitor. Los usuarios
técnicos y no técnicos que probaron las aplicaciones
quedaron muy asombrados y satisfechos del resultado.
V. CONCLUSIONES
Se han presentado dos aplicaciones simples pero a la vez
amenas, educativas y divertidas, con las cuales poder ayudar
a los más jóvenes, e incluso a los no tan jóvenes, a
introducirse en el mundo de la música mediante el uso de
nuevas tecnologías: el piano virtual y la partitura virtual.
Se ha mostrado la conveniencia de la técnica de
procesamiento de vídeo más o menos avanzada según la
aplicación. En el caso del piano virtual, una simple detección
de movimiento por sustracción de fotogramas consecutivos,
pues no es necesaria más información; y en el caso de la
partitura virtual la potencia de ARToolKit para determinar la
posición de las marcas y poder diferenciar unas de otras.
Además estas aplicaciones permiten una gran
versatilidad, pues con pequeñas variaciones podrían crearse
otras aplicaciones como una batería virtual o juegos como el
conocido Simón. Y todo esto con un equipo básico y
prácticamente al alcance de cualquier usuario e institución,
como pueden ser un PC compatible y una cámara web.
Su funcionamiento y aceptación por parte de personas no
versadas en la materia ha quedado patente tras las
demostraciones en la VII Semana de la Ciencia y la
Tecnología realizada.
AGRADECIMIENTOS
Este trabajo ha sido parcialmente subvencionado por el
Ministerio de Educación y Ciencia (MEC), Proyectos nº
TIN2005-01359 y TEC2006 11689 y por la Junta de
Andalucía, Proyecto TIC 249.
REFERENCIAS
[1] A. Aguilar, C. Urdiales, J.A. Fernández-Ruiz, F. Sandoval, “Sistema
CAD avanzado mediante realidad aumentada”, XIV Jornadas Telecom
I+D 2004, Madrid, Noviembre 2004.
[2] H. Kaufmann., “Collaborative Augmented Reality in Education”..
Keynote Speech at Imagina Conference, 2003.
[3] M. Abad, L. Arretxea, A. Alzua-Sorzabal, “Evaluación del impacto de
las Nuevas Tecnologías en el visitante del museo: el caso de la Virtual
Showcase”, I International Workshop on ICTs, Arts and Cultural
Heritage, 2003.
[4] J. A. Rodríguez, C. Urdiales, P. Camacho y F. Sandoval, "Detección
jerárquica de móviles sobre geometrías de fóvea adaptativa. Revista
Electrónica de Visión por Computador (REVC), Nº. 3, Julio 2000.
[5] S. M. Smith, J. M. Brady, "SUSAN-A New Approach to Low Level
Image Processing", in Proceedings of the International Journal of
Computer Vision, 23:1, pp. 45-78, 1997.
[6] H. Kato et. al., “Augmented Reality Toolkit”.
http://artoolkit.sourceforge.net, Nov 2004. Última consulta 20 de
Febrero del 2.007.
[7] D. Wagner and D. Schmalstieg, “First step towards Handled
Augmented Reality”. In Proceedings of the 7th International
Conference of Wearable Computers White Plains, NY, USA, Oct 21-
23, 2003.
[8] B. H. Thomas, “Challenges of Making Outdoor Augmented Reality
Games Playable”. The university of South Australia, 2001
[9] T. Nilsen, S. Linton and J. Looser, “Motivations for AR Gamming”. In
Proceeding of the First International Workshop on Foundation of
Unanticipated Software Evolution, New Zealand Game Developers
Conference, Dunedin, New Zealand, 26-29 June 2004, 86-93.
[10] Loki Entertainment Software, “Open Audio Library”,
http://www.openal.org/ 2003. Última consulta 20 de Febrero del 2.007.
[11] N. Raghuvanshi and M. C. Lin, “Interactive Sound Synthesis for Large
Scale Environments”. In SI3D ’06: Proceedings of the 2006 symposium
on Interactive 3D graphics and games, ACM Press, New York, NY,
USA, 101–108, 2006 .