AUDIOGAMES: un proyecto de ARSGAMES

Vdeo de la instalacin (http://vimeo.com/40665809)*1

Resumen
AudioGames es una instalacin sonora interactiva que, a modo de juego, permite a los usuarios experimentar y tratar de desenvolverse en un entorno sonoro tridimensional interactuando con l y con los objetos que lo pueblan mediante los movimientos de su cuerpo en el espacio. La principal idea de esta instalacin es experimentar con otro tipo de interfaces tecnolgicas que trascienden las clsicas, orientadas a la visin. Encontramos aqu un interesante campo de experimentacin que puede llevarnos a una nueva relacin con el espacio y la tecnologa a travs del sonido.

Descripcin
AudioGames es una instalacin sonora interactiva que permite al usuario experimentar de un modo ldico en un espacio sonoro tridimensional, interactuando con l y con los objetos que lo pueblan, mediante los movimientos de su cuerpo en el espacio. Estos objetos son invisibles e intangibles, aunque en el universo virtual tienen una masa y peso especficos y su propio comportamiento fsico. Cuando el jugador choca con ellos, stos se mueven y pueden rebotar por el espacio de juego generando una composicin sonora a tiempo real. La posicin del usuario en el espacio es detectada por un software de tracking hecho a medida, creando una interaccin entre el mundo virtual y el real. Hemos creado un programa de sonido basado en los principios sinestsicos de asociacin visin/sonido generando sonidos para el mundo 3D en tiempo real dependiendo de la posicin del usuario y sus movimientos en el terreno de juego. El usuario, que puede ser invidente, se mueve en un entorno sonoro virtual
1

* Este vdeo es de una versin previa de la instalacin, la versin actual ha mejorado la visualizacin, sonificacin
e incluye mecnicas de juego y varios niveles de dificultad. Otro vdeo de la presentacin de la versin previa de la instalacin en el festival IN-SONORA puede verse en: http://blip.tv/arsgames/audiogames-in-sonora-6115749

(4x4m2) interactuando con un entorno sonoro aumentado tridimensional en tiempo real. Mientras el pblico puede ver la interaccin del usuario en el espacio real al mismo tiempo que tiene acceso a la visualizacin 3D de la interaccin del usuario con el espacio sonoro, en una pantalla fuera del marco de visin del usuario. Nos basamos en el gameplay del Comecocos para fijar las reglas bsicas del primer juego. Audiogames encuentra su inspiracin en los estudios sobre sinestesia, elaborando nuevos modos de investigacin -personal y colectiva- de las relaciones entre sonido y visin. El efecto sinestsico est centrado en el espectador, que traduce, de modo significativo, la visualizacin del juego en sonido. A travs de este proyecto experimentamos con otras interfaces tecnolgicas no orientadas a la visin, tratando de construir un espacio de juego comn para ciegos y videntes. Encontramos aqu un interesante campo de experimentacin que puede llevarnos a una nueva relacin con el espacio y la tecnologa a travs del sonido.

Base terica
AudioGames encuentra inspiracin en los estudios sobre la relacin sinestsica entre imagen y sonido, como los estudiados y descritos en los artculos que podis encontrar en http://audiogames.tk/investigacion/?lang=es. Entre las tecnologas existentes basadas en sinestesia nos interesa especialmente el caso de The vOICe, un programa de realidad aumentada para ciegos que utiliza tcnicas de sonificacin. Este programa fue la primera inspiracin de la que surge el proyecto AudioGames, en el que nos interesa sonificar, no espacios reales, sino espacios ficticios de un modo ldico. Crear un espacio sonoro nos permite romper la relacin unidireccional entre imagen y jugador, generando un espacio emersivo que rodea y envuelve completamente al jugador. En los patrones clsicos de percepcin de la imagen, un vector dirige constantemente la mirada del sujeto hacia la ubicacin espacial de la imagen, un punto concreto en el espacio. Cuando experimentamos con el sonido tridimensional, como en el caso de AudioGames, la percepcin del espacio se vuelve omnidireccional permitiendo al jugador una interaccin en 360 grados.

Historia y desarrollo actual

AudioGames comienza como uno de los proyectos seleccionados para ser desarrollados durante el PlayLab, un taller de creacin de videojuegos experimentales organizado por ARSGAMES y MediaLab-Prado, con el patrocinio de PlayStation, que se celebr del 21 al 24 de enero y del 4 al 7 de febrero de 2010 en MediaLab-Prado, Madrid. El primer prototipo de audiojuego que desarrollamos en PlayLab consiste en un espacio sonificado interactivo desarrollado por Euridice Cabaes Martinez, Luca Carrubba, scar Martn, Carlos Padial y Jaume Castells. Ese mismo ao, el primer prototipo de AudioGames obtiene la Mencin Especial en las ayudas para la investigacin y produccin de Telenoika 2010. Audiogames es ahora un proyecto de innovacin tecnolgica o industrial de ARSGAMES coordinado por Eurdice Cabaes, Luca Carrubba y Carlos Padial. En 2012 la versin actual de AudioGames:

Ha sido seleccionado de un total de 367 proyectos de 22 pases distintos para ser mostrada durante el festival IN-SONORA. Ha obtenido una residencia de produccin en Espacio Trapezio. Ha obtenido una residencia artstica en LABoral Centro de Arte y Creacin Industrial. PlayLab 3 AudioGames ha sido uno de los proyectos seleccionados en la convocatoria Stress Test organizada por Espacio Trapezio. Desde su inicio como instalacin interactiva, el proyecto ha evolucionado con la intencin de convertirlo en una nueva plataforma de experimentacin con videojuegos focalizados en el sonido. Estamos interesados en promover talleres en los que la interaccin con el sonido sea central en el juego.

Declaracin del artista

Nos gusta considerarnos a nosotros mismos como artesanos digitales. Nuestra prctica se expande desde la filosofa del DIY (Do It Yourself) a las ideas del DIT (Do it Together) y DIWO (Do It With Others). Creemos firmemente que el proceso creativo es tan importante como el resultado mismo, y que tambin forma parte de la obra de arte. Para ser consecuentes con este planteamiento, solo utilizamos software libre y licencias Creative Commons en nuestros trabajos artsticos. Tenemos muy en cuenta que tanto nuestras obras de arte, como el trabajo terico, nuestros escritos, etc. son posibles gracias a la inteligencia conectiva que procede de las redes: como creadores elaboramos nuestras estrategias a partir del conocimiento colectivo. El uso de licencias libres y tecnologas abiertas es nuestra manera de devolver conocimiento al procomn. Tratando de poner en prctica este ciclo produccinconsumo, siempre compartimos los cdigos, prcticas, estrategias y la documentacin que producimos en nuestra actividad. Nuestro objetivo es innovar, trabajando en el rea gris que el mercado de la tecnologa deja de lado. Consideramos que los juegos son una gran herramienta y lenguaje para la creacin: son capaces de conectar rpidamente a la gente y desencadenar zonas temporales de intimidad compartida. Una conexin temporal entre personas y culturas que puede tener resultados imprevisibles y cuyos reflejos pueden multiplicarse a travs del tiempo y el espacio. AudioGames es un proyecto de innovacin del colectivo ARSGAMES dirigido por Eurdice Cabaes, Luca Carrubba y Carlos Padial.

Quienes somos
ARSGAMES es una Asociacin Cultural compuesta por profesionales, artistas, investigadores, estudiantes que trabajan en torno a la investigacin del Videojuego en las siguientes lneas de trabajo:

1- GAME STUDIES. Seccin de Game Studies, investigacin sobre la teora de videojuegos. 2- GAME ART. Seccin sobre las relaciones entre el arte y los videojuegos (Game Art). 3- INNOVACIN. Innovacin tecnolgica o industrial. 4- COMISARIADO. Comisariado de exposiciones y organizacin de eventos sociales (Folklore Pixel). 5- FORMACIN. Formacin en Videojuegos. Educacin y divulgacin. Ms informacin sobre ARSGAMES en: www.arsgames.net Eurdice Cabaes: es filsofa especializada en Filosofa de la Tecnologa, escribe la tesis doctoral sobre Creatividad Computacional en el Posgrado oficial de Lgica y Filosofa de la Ciencia , motivo por el cual en 2010 fue miembro visitante del Imperial College of London. Ha organizado y participado como ponente en diversos congresos y seminarios relacionados con filosofa, tecnologa, videojuegos, arte y sinestesia, tanto a nivel nacional como internacional. Como miembro fundador y co-coordinadora de ARSGAMES en 2012 ha sido la presidenta del comit de organizacin de la 6th International Conference on the Philosophy of Computer Games. Desde hace algunos aos, su lnea de investigacin se centra especialmente en el estudio de los videojuegos desde una perspectiva filosfica, pedaggica y de gnero, tanto a nivel terico (con la generacin de ponencias, artculos y captulos para libros), como prctica (como con la participacin en el proyecto Gamestar(t) o el diseo de videojuegos que experimentan con la interfaz como Audiogames). Ms informacin en: http://euridicecabanes.es.tl/ Luca Carruba: es artista, artesano digital, investigador y educador independiente. Su produccin artstica se centra en la relacin entre audio y vdeo (siempre compartiendo las prcticas y el cdigo de ambas disciplinas) en relacin con la percepcin humana. Sus prcticas se guan por la filosofa DIY (Do It Yourself) , DOT (Do It Together), DIWO (Do It With Others), el intercambio de conocimiento, la accesibilidad, el reciclaje, los movimientos sociales y los videojuegos. Ha organizado y participado en diversos talleres sobre tecnologa, software y cultura libre en Italia, Espaa, Alemania, Francia, Inglaterra, Argentina, Brasil, Colombia y China. Graduado con honores en Sociologa de la Comunicacin en la Universidad de Roma- La Sapienza (Italia), sus proyectos recientes incluyen Qeve/gemQ (financiados por Telenoika y Hangar) centrados en los procesos creativos de la creacin de flujos de datos a tiempo real en performances audiovisuales en vivo. Carrubba es actualmente lecturer en New Media for Arts at LABA Brescia Academy of Fine Arts, y en la Carrara Academy of Fine Arts, Bergamo (Italia). Ms informacin en: www.estereotips.net

Carlos Padial: es un artesano visual que actualmente trabaja principalmente con herramientas de cdigo abierto. Es Tcnico en Artes Plsticas y Diseo, especializado en Fotografa Artstica en la Escuela de Arte de Oviedo, donde pasa tres aos trabajando como fotomecnico y donde aprende gran cantidad de trabajos artesanos ms all de la industria de la imprenta. Luego, estudio el Curso de Cmara e iluminacin Cinematogrfica de Ars Sptima, una escuela de cine tradicional en Madrid, y trabaj en una variedad de trabajos relacionados con lo visual durante diez aos. Tambin monta con unos cuantos colegas en Lavapis un taller-escuela-de-creadores-visuales de Madrid, Aventuras Visuales, donde descubre la profesin de educador, dedicndose desde

entonces a impartir cursos y talleres sobre fotografa, cine y software de cdigo abierto. Durante los ltimos dos aos ha trabajado como artista independiente 3d en anuncios de televisin, mappings arquitectnicos, e incluso, escenografa virtual para espectculos de pera. Ha estado usando y aprendiendo constantemente Blender desde 2009 y cree que es una excelente plataforma para casi cualquier tipo de creacin visual. En la actualidad lleva a cabo una investigacin independiente sobre cmaras de cdigo abierto y una posible integracin con Blender en un flujo de trabajo de cine abierto. Ms informacin en: www.surreal.asturnazari.es

Descripcin tcnica
El rea total de la instalacin es de alrededor de los 10x5m. El rea de juego es un rea exagonal de 5x5m (ver dibujo a continuacin).

Cuatro programas estn funcionando al mismo tiempo:

un software de tracking que registra los movimientos del usuario en el rea de juego un software de sonido que sonifica los objetos espacializndolos un software 3D que visualiza los objetos y calcula sus parmetros fsicos un software de orientacin para smartphones android que detecta la orientacin del jugador

El software de tracking ha sido realizado empleando Pure Data y dos kinects situadas en los extremos del rea de la instalacin. Los datos del tracking son enviados al Blender game engine mediante OpenSoundControl y son utilizados para mover el avatar del usuario en el mundo virtual. La orientacin del jugador se obtiene mediante OSC software para android 2.3 y enviada al motor de juego utilizando una red inalmbrica. Los clculos de los parmetros fsicos y las posiciones de los objetos son enviados a Pure Data para la espacializacin sonora. Finalmente de la salida de audio se enva a los auriculares inalmbricos a travs de frecuencias de radio. La

salida del vdeo final es proyectada en la pantalla.

Con la colaboracin de:

Ms informacin en: www.audiogames.tk