IV International Conference Synesthesia: Science and Art, Almeria, February 2012

AUDIOGAMES1: APLICACIONES TECNOLGICAS DE UN MODELO COGNITIVO BASADO EN SINESTESIA

Eurdice Cabaes Martnez ARSGAMES, euridice.cabanes@arsgames.net

Resumen: Actualmente podemos encontrar algunos audiogames orientados a usuarios ciegos, as como algunos videojuegos en los que se utiliza la sinestesia, seguimos esta lnea llevando a cabo una mezcla entre ambos tipos de juegos, pero yendo un paso ms all. Siguiendo los estudios cognitivos disponibles en el mbito de la sinestesia, creamos, en el PlayLab2 el primer prototipo de una instalacin interactiva que, a modo de juego, permite a los usuarios experimentar y tratar de desenvolverse en un entorno exclusivamente a travs del sentido del oido. La principal idea de esta istalacin es ir ms all del omnipresente marco de trabajo orientado principalmente a la visin de nuestra cultura, lo que nos permite experimentar con una interfaz intangible e invisible en un entorno muy diferente al que estamos acostumbrados. Consideramos muy importante experimentar con interfaces tecnolgicas que van ms all de las clsicas -orientadas a la visin- no slo para incluir invidentes entre los usuarios, sino tambin para permitir a otros usuarios vivir una nueva experiencia y desarrollar su percepcin a travs del sonido, as como su sinestesia visin-sonido. Encontramos aqu un interesante campo de experimentacin que puede llevarnos a una nueva relacin con el espacio y la tecnologa. Palabras clave: AudioGames, sinestesia, tecnologa, interfaz, sonido.

1. INTRODUCCIN El campo de studio sobre la sinestesia, es relativamente reciente, por lo que aun no existe un consenso unnime a cerca de cmo se prouce la sinestesia, pero si parece existir dicho consenso a la hora de evaluar sus resultados. Es decir, si bien hay dos teoras principales a cerca de cmo se produce la sinestesia:

presenta cuando la retroalimentacin que se desarrolla despus del nacimiento de reas corticales superiores, en reas corticales sensoriales inferiores no es lo suficientemente fuerte como para inihibir los efectos de las conexiones entre las reas corticales sensoriales primarias (GROSSENBACHER & LOVELACE, 2001). Ambas explicaciones implican que la sinestasia es un exageracin o aumento de los procesos comunes a todos los humanos (MARKS, 1975, 1982; MULVENNA & WALSH, 2006; RAMACHANDRAN & HUBBARD, 2001B; SAGIV & WARD, 2006; WARD ET AL., 2006), una exageracin que hace patente la presencia de estas conexiones en el cerebro humanos. La existencia de estas conexiones, al no ser causada por el

Una afirma que es producto de una activacin

cruzada, debido a que no se ha completado el proceso de poda entre reas contiguas del cerebro. (como por ejemplo, MAURER & MAURER, 1988; RAMACHANDRAN & HUBBARD, 2001a). La otra es la teora de la retroalimentacin deshinibida, que afirma que la sinestesia se

1 2

Un proyecto de ARSGAMES. Playlab es un proyecto desarrollado en Madrid por MediaLab-Prado y Arsgames, con el patrocinio de PlayStation, definido como un espacio para la experimentacin, creacin, aprendizaje y difusin de videojuegos, en el que un grupo de trabajo explora -de un modo colectivo, interdisciplinar y colaborativo- la utilizacin de herramientas de software y hardware, as como metodologas de creacin relacionadas con los videojuegos y sus aplicaciones en diferentes contextos (cultura, msica, arte, educacin, etc.).

Eurdice Cabaes Martnez

IV International Conference Synesthesia: Science and Art, Almeria, February 2012

aprendizaje, supone que, o bien es innata, o caso producto del desarrollo temprano y en cualquiera de los casos se confirmara que es comn a todos los humanos. (SPECTOR, F. & MAURER, D , 2009), es decir, los humanos habran nacido equipados con las conexiones corticales necesarias para comprender las correspondencias que podran esperar encontrar en el mundo. (SPECTOR, F. & MAURER, D , 2009) Esto se ve confirmado por la presencia de patrones de asociacin sinestsica, y justificara el hecho de que pese a que las percepciones sinestsicas pueden variar de uno a otro indivduo, existe una consistencia a travs de todos los individuos. De este modo podemos hallar patrones de asociacin sinestsica comunes y compartidos por gran parte de la poblacin, como la unin de emociones y sonidos (todos sabemos identificar cuando una cancin es triste o alegre) o la unin de vista y odo que se da en el lenguaje: por ejemplo, en la sinestesia grafema-color la letra A suele ser roja o de un color cercano en la escala cromtica, lo ms importante de estas asociaciones es que se dan de un modo independientemente al lenguaje de la persona que realiza la asociacin (SIMNER ET AL., 2005). Tambin hay trabajos que hablan de un patrn de asociacin de formas especficas con sonidos concretos como Taket y maluma (LINDAUER, 1990) o buba y kiki (RAMACHANDRAN & HUBBARD, 2001A), patrones de asociacin que tambin son independientes del lenguaje ya que ha sido constatada, por ejemplo, en hablantes Swahili y Bantu que no tenan conocimientos de ingls (HOLLAND & WERTHEIMER, 1964; RAMACHANDRAN & HUBBARD, 2001A). Pero los patrones de asociacin que ms nos interesan en el desarrollo de AudioGames son los patrones de asociacin de la sinestesia sonido-visin, tanto en los casos deasociacin de sonido-color, como los de sonido-dimensiones, sin olvidar el patrn de asociacin ms importante para nuestro proyecto, el de sonidoemociones. Por ejemplo, en sinestesia sonido-color, tanto en personas sinestsicas como no sinestsicas (MARKS, 1974; WARD ET AL., 2006) e incluso en nios de corta edad: 2 y 3 aos (MONDLOCH & MAURER, 2004) los colores ms brillantes son asociados a sonidos de tono ms alto y colores ms oscuros en respuesta a sonidos de tono bajo. Igualmente, tato en sinestsicos como no sinestsicos y nios se establece el patrn de asociar objetos de dimensiones menores a los tonos ms altos, y ms grandes para los tonos ms bajos (SMITH & SERA, 1992; MONDLOCH & MAURER, 2004; MARKS, 1974) y sonidos ms altos con una mayor luminosidad (MARKS, 1987). Tambin se ha demostrado una conexin entre el timbre y la saturacin de color, de modo que en

sinestsicos el timbre de un tono afecta la saturacin del color inducido (WARD ET AL., 2006). Estos patrones de asociacin son fcilmente reproducibles tecnolgicamente. Los estudios sobre la sinestesia han tenido desde sus orgenes un carcter interdisciplinar que integraba desde neurlogos o psiclogos hasta musiclogos o filsofos, pero actualmente se han convertido tambin en el foco de atencin de disciplinas tecnolgicas de modo que se estn generando una suerte de aplicaciones tecnolgicas basadas en principios sinestsicos que van desde la sonificacin hasta los videojuegos. Si adems tenemos en cuenta que son compartidos por todos los humanos, esto implica que pueden construirse, mediante la tecnologa, mtodos de tarduccin de sentidos como veremos en el caso de la sonificacin, que pueden suponer incluso una herramienta que permita la visin a personas invidentes, como veremos en el caso de the vOICe, pero pueden constituir tambin una herramienta para la generacin de universos virtuales que nos ayuden a desarrollar las percepciones sinestsicas, lo que supone un interesante campo de experimentacin que puede llevarnos a una nueva relacin con el espacio y la tecnologa a travs de los sentidos. En el proyecto AudioGames, hemos seguido estos patrones de asociacin visin/odo para generar una interfaz muy intuitiva que permite la interaccin con objetos sonoros, aunque nos hemos basado tambin en otros videojuegos que emplean la sinestesia como recurso del gameplay, as como de otro tipo de audiojuegos existentes, que veremos a continuacin.

2. BACKGROUND

2.1 Sinestesia y videojuegos. Dentro de los videojuegos actualmente existentes que basan su gameplay en asociaciones sinestsicas color-sonido podemos encontrar:

Shield the Beat3 Un videojuego independiente

del tipo shooter en el que las acciones del jugador, as como sus resultados estn marcados por ritmos, notas y colores de modo que jugarlo supone una experiencia sinestsica.

Ms informacin en http://shieldthebeat.com/

Eurdice Cabaes Martnez

IV International Conference Synesthesia: Science and Art, Almeria, February 2012

Un autor de videojuegos que ha experimentado mucho con la sinestesia es Tetsuya Mizuguchi con varios ttulos con esta temtica como:

posibilidad de sentir una vibracin a travs de los controles que se integra a los cambios sonoros y visuales. Estos videojuegos son de los pocos que podemos encontrar actualmente que experimenten con la sinestesia, y suponen una referencia a tener en cuenta en el desarrollo de AudioGames.

Rez4 es un videojuego tipo shooter que nos permite

vivir una experiencia sinestsica cuyo trasfondo argumental, totalmente existencialista, est enmarcado en un futuro ciberntico en el que la sociedad se desarrolla en torno a una red virtual de informacin dominada por una Inteligencia Artificial llamada Edn. La misin del jugador sera llegar a Edn (que cuestiona su propia existencia al haber obtenido un profundo conocimiento ontolgico) y restablecer su funcionamiento. El propsito del videojuegos es crear en el jugador una sensacin de sinestesia transitoria sumergiendo al jugador en un mundo de sensaciones visuales y auditivas. La percepcin sinestsica del videojuego va emergiendo a medida que se superan los diferentes niveles dado que se produce una inmersin en la msica que no es simplemente una cancin electrnica, sino que el jugador, con cada uno de sus disparos (sonidos que se funden a la perfeccin con la msica), est creando parte de la cancin-- y en los colores que aparecen que van en consonancia con la msica, con lo que prcticamente el jugador puede ver canciones y escuchar colores. Lumines5 es un videojuego tipo puzzle (similar al conocido Tetris) en el que debemos ubicar diferentes piezas de un modo determinado para poder eliminarlas, pero lo ms interesante del videojuego es que est basado en patrones de luces y sonidos, de modo que los cambios visuales y los cambios sonoros son provocados por los eventos del juego integrndose en una experiencia sinestsica coherente.

2.2 Audiojuegos. Como interfaz sonora, en AudioGames nos hemos interesado tambin en otros videojuegos cuyo gameplay se desarrolla nica y exclusivamente a travs del sonido. De este tipo de juegos podemos encontrar una mayor cantidad que de los anteriores, especialmente dentro del desarrollo independiente, por lo que no daremos una lista completa, pero nos gustara ofrecer algunos ejemplos de este tipo de juegos:

BBBeat7 es un juego de audio diseado

especficamente para invidentes por lo que carece de vdeo. En este audiojuego el jugador lleva un par de auriculares y utiliza el sonido para localizar a una abeja que despus deber aplastar. El jugador detecta si ha conseguido su objetivo a travs de sensores colocados en la mueca.

Soundvoyager8 ha sido diseado tambin para

ser jugado usando slo el sonido, sin mirar a la pantalla. El juego consiste en varios minijuegos diferentes. Uno de ellos, por ejemplo, consiste en tratar de centrar un punto en el escenario utilizando los altavoces izquierdo y derecho para guiarse, en otro de ellos, con la misma dinmica, el jugador deber esquivar los coches que se aproximan mientras conduce en sentido contrario por una carretera de tres carriles.

Child of Eden6 es un videojuego musical tipo

shooter que al igual que los anteriores supone un intento de experimentacin sobre la sinestesia, aunque en este caso adems a la integracin de sonido y la visin se suma el tacto. La trama argumental, como secuela de Rez, consiste en salvar el Proyecto Lumi del ataque de un virus, objetivo que, una vez logrado, reproducir una personalidad humana en Eden, la Inteligencia Artificial que apareca en Rez. El gameplay, muy similar al visto en Rez, integra adems la
4

Real Sound: Kaze no Regret9 Este audiojuego

se asemeja ms a un audiolibro interactivo, en el que el jugador pasa la mayor parte del tiempo escuchando como se desarrolla la historia. En los momentos en los que el jugador puede elegir el curso que seguir la trama suenan un conjunto de campanas y la
7

Desarrollado por el grupo UGA de Sega y en 2001 fue lanzado en Dreamcast y PlayStation2, en 2008 apareci una versin mejorada del juego en el Xbox Live Arcade con el nombre de Rez HD. 5 Desarrollado por el grupo Q Entretainment sali en el ao 2005 para la PlayStation Portable. 6 Desarrollado por Ubisoft y publicado por Q Entretaiment, se estreno en 2011 para la Xbox 360 con el compatible Kinect y para la Playstation 3 con el compatible psmove.

Desarrollado por Makato Ohuchi de Tohoku Fukushi University en Japn. 8 Harris, Craig (October 1, 2008). "IGN: Art Style's Bit Generation". En:http://wii.ign.com/articles/915/915341p1.html Retrieved 2009-09-12. 9 Desarrollado por WARP, para Sega Saturn en 1997.

Eurdice Cabaes Martnez

IV International Conference Synesthesia: Science and Art, Almeria, February 2012

opcin que se selecciona se confirma con el controlador. Como podemos observar, en estos casos la jugabilidad es muy reducida, por lo que si bien este tipo de juegos suponen una referencia en la que basamos AudioGames, hemos tratado de paliar estas deficiencias proponiendo un modo de juego ms inmersivo y atractivo para el jugador.

2.3 Sonificacin Una de las tcnicas actuales que suponen una aplicacin prctica de las relaciones sensoriales que se mostraban en la sinestesia (ya que basa su eficacia en la posibilidad de correspondencia entre informacin visual e informacin auditiva) que ms nos interesa es la sonificacin, una tcnica que consiste en el uso de sonido no hablado (nonspeech audio) para canalizar informacin o para tratarla (MADHYASTHA & REED, 1995). La sonificacin es un campo de investigacin bastante reciente que engloba en la actualidad una gran variedad de tcnicas multidisciplinares integrando stas, desde estudios de la percepcin humana, hasta la acstica, pasando por las artes y el diseo. (MONTEMAYOR, S. ET AL, 2003). Es una tcnica muy utilizada en el contexto cientfico como forma de presentacin de la dinmica de datos y est siendo aplicada a campos tan diversos como la meteorologa, la bolsa de valores, las partculas subatmicas, etc. Tambin se ha conformado recientemente como herramienta artstica, siendo empleada en varias obras artsticas como T_Visionarium, obra de Neil Brown, Denis del Flavero, Matt Mcginity, Jefrey Shaw y Peter Weibel que consiste en un entorno interactivo y estereoscpico de visualizacin y sonificacin en 360 grados, y constituye el primer trabajo de estas caractersticas concebido desde una perspectiva artstica. Sus recursos de tecnologa punta permiten desarrollar y estudiar aplicaciones en los campos de la visualizacin inmersiva, la sonificacin inmersiva y la interaccin entre el hombre y el ordenador. O en la obra teatral Alcazar el Unicornio, de Guillermo Schmidhuber, en la que se emple la sonificacin por primera vez en la historia del teatro. En este caso la sonificacin consista en transportar la voz de las estrellas, en concreto las emisiones de rayos gamma de stas, a instrumentos musicales. Los datos sonificados para esta produccin se obtuvieron de la base de datos HEASARCH (NASA High Energy Astrophysics Science Archive Research Center).

Pero dentro de todas los proyectos que emplean la sonificacin el que ms nos interesa y ha constituido la inspiracin inicial a la hora de empezar a idear el proyecto AudioGames, en el caso de the vOICe (PERSAUD, K. ET AL, 2005), un sistema de visin para ciegos consistente en una versin actualizada y modernizada de un programa que traduce las imgenes y las convierte en sonidos para que los ciegos puedan ver con sus odos permitiendo que ciegos (incluso ciegos de nacimiento que nunca han visto) perciban imgenes en el cerebro. Los ciegos familiarizados con la tecnologa hablan de 'escuchar un cuadro o de or un paisaje' ya que la computadora se encarga de traducir para ellos las ondas visuales en ondas de sonido. Un paisaje suena como una meloda, pero no una balada linda sino ms bien como alguna cancin moderna. Por varios aos hemos intentado que los ciegos utilicen estas ondas sonoras para escuchar los obstculos y evitarlos" (PERSAUD, K, 2000). Este sistema est obteniendo asombrosos resultados, a la par que muestra la gran capacidad que tiene el cerebro humano de adaptarse a los cambios, siendo capaz de emplear sus recursos de varias formas. Como ya han mostrado estudios sobre sinestesia como el de SPECTOR, F. & MAURER, D (2009), las reas de sentidos que no estn presentes, como en casos de ceguera, pueden activarse mediante otros estmulos perceptivos como tacto u odo, pudiendo llegar a funcionar perfectamente ya que la especializacin de las reas corticales sensoriales se sintoniza a travs de la experiencia desde la modalidad sensorial esperada, que puede ser favorecida debido a que su entrada es ms fuerte, ms rpida o ms coherente en el espacio y el tiempo que la entrada de otras modalidades sensoriales. En la ausencia del imput esperado, las conexiones del sentido deficitario permanecen e influyen en la percepcin (STEVEN, M.S. AND BLAKEMORE, C. 2004). Es decir, poco importa el modo en que los datos lleguen al cerebro (en este caso, el sonido), sino que lo realmente importante es el contenido de la informacin. Es lo que ha ocurrido con el vOICe, las personas comienzan escuchando sonidos y terminan percibiendo imgenes. Este sistema sigue obviamente principios sinestsicos, ya que pueden relacionarse en el cerebro humano, datos procedentes del sonido con imgenes, y supuso la inspiracin inicial para el proyacto AudioGames, que en un inicio pretenda utilizar este programa de forma ldica, creando la sonificacin de entornos ficticios para generar audiojuegos, incluso planteamos la idea de experimentar con la posibilidad de superponer la informacin visual recibida a travs del odo, a la

Eurdice Cabaes Martnez

IV International Conference Synesthesia: Science and Art, Almeria, February 2012

informacin visual recibida a travs de la visin, con lo que tendramos un novedoso sistema de realidad aumentada. Finalmente descartamos la idea de emplear el programa dado que su uso requiere de un proceso de entrenamiento previo de al menos dos semanas antes de obtener los resultados esperados, por lo que preferimos crear nuestra propia herramienta para que resultase mucho ms intuitiva y pudiese ser empleada sin ningn tipo de entrenamiento previo, adems incluimos el sonido cuadrafnico que permite ubicarse mejor en el espacio de juego,proporcionando una experiencia mucho ms inmersiva.

3. AUDIOGAMES: EL PROYECTO 3.1 Historia AudioGames fue uno de los proyectos seleccionados para PlayLab, un taller de creacin de videojuegos experimentales organizado por ARSGAMES y MediaLAb-Prado con el patrocinio de PlayStation que se celebr del 21 al 24 de enero y del 4 al 7 de febrero de 2010 en MediLab-Prado, Madrid. El primer prototipo de AudioGame que desarrollamos en PlayLab consiste en un espacio sonificado interactivo desarrollado por Euridice Cabaes Martinez, Luca Carrubba, Oscar Martin, Carlos Padial, Jaume Castells. Es un espacio de juego donde la el odo y la capacidad de escuchar tiene la mayor importancia. El jugador se mueve en un entorno de 3X3 metros interactuando en tiempo real con un espacio sonoro 3d. Una cuatrifona que lo proyecta dentro de un mundo virtual en el cual los objetos sonoros tienen un cuerpo y una posicin especfica. El jugador tendr que buscar estos objetos o escaparse de ellos, segn las reglas del nivel. Audiogames ha obtenido la Mencin Especial en las ayudas para investigacin y produccin Telenoika 2010. Desde su inicio como instalacin interactiva, el proyecto ha evolucionado hasta la intencin de convertirlo en una nueva plataforma de experimentacin con juegos focalizados en el sonido. Estamos interesados en promover talleres en los que la interaccin con el sonido en el videojuego sea central. En este sentido, el proyecto Audiogames ha pasado a convertirse en un proyecto del rea deInnovacin tecnolgica o industrial de ARSGAMES coordinado por Eurdice Cabaes y Luca Carrubba. 3.2 Descripcin de AudioGames

En nuestra vida cotidiana estamos acostumbrados a desenvolvernos utilizando principalmente el sentido de la vista para obtener informacin sobre el mundo, y a interactuar con el mundo mediante un contacto tangible con los objetos que lo pueblan. AudioGames propone un nuevo modo de relacionarse con el espacio, en el que la vista es irrelevante ya que el nico modo de extraer informacin a cerca del espacio de la instalacin es el sonido; y en el que los objetos con los que interactuamos son intangibles, dado que son objetos sonoros. De este modo, el usuario de AudioGames, experimentar la inmersin en un mundo sonoro a travs de una interfaz invisible e intangible. El usuario invidente (poco importa que sea invidente o tenga una vista perfecta, ya que no puede servirse del sentido de la visin en este entorno) tendr que aprender a a moverse en un espacio sonoro cuadrafnico y a interactuar con l y con los objetos que lo pueblan mediante los movimientos de su cuerpo en el espacio. De este modo el usuario puede desarrollar su percepcin sinestsica en un entornos de juego, mientras el pblico podr ver la interaccin del usuario en el espacio real y al mismo tiempo tendr acceso a la visualizacin 3D de la interaccin con el espacio sonoro, en una pantalla situada fuera del marco de visin del usuario.

Figura 2. Visualizacin del espacio 3D

3.3 Descripcin tcnica: AudioGames consiste en un espacio sonoro interactivo, para cuyo desarrollo trabajamos en tres niveles diferentes: En primer lugar tenemos el mundo real, un espacio vaco de dimensiones aproximadas de tres metros cuadrados, en el que se desplazar el usuario. Como herramienta de anlisis del movimiento del

Eurdice Cabaes Martnez

IV International Conference Synesthesia: Science and Art, Almeria, February 2012

usuario en el espacio de juego utilizamos un sensor microsoft kinect; este aparado, que suple a la cmara y consiguiente sistema de trakeo que usbamos anteriormente, nos simplifica el trabajo reduciendo en gran medida el tiempo de creacin. A travs de este

aparado ser posible hacer un seguimiento en tiempo real del movimiento del jugador.

Figura 2. Visualizacin del primer prototipo desarrollado. En segundo lugar tenemos, un mundo virtual en 3D generado en Blender10, que recoge la informacin de la posicin del usuario y la gestiona de modo que los movimientos del usuario en el espacio real se corresponden con movimientos de un objeto que representa al usuario en el mundo 3D. El objeto que representa al usuario interacta con otros objetos en el mundo 3D, bien desplazndolos al chocar con ellos a una velocidad determinada por la fuerza del impacto, bien hacindolos desaparecer, o bien transformndolos en otros objetos segn el gameplay del juego a que estemso jugando o a las reglas del nivel. De este modo el usuario estar interactuando con ese mundo 3D, pero sin verlo. En tercer lugar tenemos un mundo sonoro que consiste en la sonificacin 3D que de las posiciones de todos los objetos presentes en el espacio, a tiempo real. Cada
10

objeto en el mundo 3D tiene un sonido asignado (en base a los patrones de asociacin sinestsica descritos en la introduccin), que se desplazar en el espacio sonoro guiando al usuario en el mundo real. Esto se llevar a cabo tambin mediante Blender. Para que esto sea posible necesitamos unos cascos wireless que reciban el sonido 3D a tiempo real. El usuario, que puede ser invidente, se desplazar de este modo por un espacio sonoro, mientras que los espectadores, podrn ver en una pantalla (a la que el usuario no tiene acceso), la interaccin del usuario en el mundo 3D. 3.4 Futuro desarrollo de la plataforma: Una vez desarrollada la plataforma durante la primera fase del proyecto de modo que actualmente los tres niveles funcionan a la perfeccin, pretendemos desarrollar una interfaz que permita manipular los elementos del juego de forma rpida y eficaz de tal forma que crear un juego para esta plataforma no requiera de mucho tiempo para su realizacin. Nuestros modelos en este sentido son el paradigma de programacin por

Blender es un software libre y de cdigo abierto, como todos los que empleamos en el desarrollo del proyecto ya que defendemos el software libre, en tanto que parte de la idea de conocimiento generado colectivamente, por lo que en este proyecto todo el software empleado o creado estar bajo licencia libres G.P.L. En nuestra visin como creadores y artistas remarcamos la importancia de tal decisin en el contesto de la creacin artstico-digital y consideramos el uso de estas licencias como parte integrante de la obra misma.

Eurdice Cabaes Martnez

IV International Conference Synesthesia: Science and Art, Almeria, February 2012

objetos visuales y interfaces de creacin de vdeo juegos como la de Scratch11. En esta clase de interfaces permiten programar sin escribir una linea de cdigo simplemente a partir de la unin de algunos bloques grficos que identifican una parte de la programacin visualmente reconocible. Se empezar por crear 5 bloques, que componen los elementos bsicos de cada juego: avatar, escenario, bonus, enemigos, objetivo. Por cada uno de estos bloques se tendr la posibilidad de especificar diferentes opciones como tema musical, sonidos, gravedad, viento y otras. Otros bloques o posteriores mejoras pueden llevarse a cabo durante posteriores fases de desarrollo del proyecto. 4. CONCLUSIN Nuestro objetivo fue generar una instalacin sonora interactiva que permitiera al usuario experimentar y tratar de desenvolverse en un entorno nicamente mediante el sentido del odo, prescindiendo de la imagen omnipresente en en nuestra cultura, y tratando de experimentar con el sonido. Esto permite, no slo incluir como usuarios a personas invidentes, sino experimentar con una interfaz intangible e invisible, en un entorno diferente al que estamos acostumbrados y desarrollar nuestras percepciones sinestsicas. Consideramos importante experimentar con otro tipo de interfaces tecnolgicas que trasciendan las clsicas, orientadas a la visin, con el fin de poder incluir a personas invidentes y permitir al resto de usuarios vivir nuevas experiencias y desarrollar su percepcin sonora as como la sinestesia imagen/sonido. Consideramos muy interesante experimentar con este tipo de aplicaciones tecnolgicas basadas en la sinestesia que pueden, no solo servir para desarrollar nuestras percepciones sinestsicas, sino que tambin pueden dar lugar a una nueva forma de relacin con el espacio y la tecnologa.

Agradecimientos: El proyecto AudioGames es posible gracias a Luca Carubba, co-coordinador del proyecto en ARSGAMES, a Carlos Padial, compaero en el desarrollo del proyecto y a Oscar Martn que colabor en el desarrollo del primer prototipo. Sin olvidar a Flavio Escribano, responsable del proyecto PlayLab1: Alternativas de Juego (contexto en el que se desarroll el primer prototipo). REFERENCES GROSSENBACHER, P., & LOVELACE, G. (2001). Mechanisms of synesthesia: Cognitive and physiological constraints. Trends in Cognitive Sciences, 5, 36 41. HOLLAND, M., & WERTHEIMER, M. (1964). Some physiognomic aspects of naming, or maluma and takete revisited. Perceptual and Motor Skills, 19, 111117. LINDAUER, M. (1990). The effects of the physiognomic stimuli takete and maluma on the meanings of neutral stimuli. Bulletin of the Psychonomic Society, 28, 151154. MADHYASTHA, T. M., RAEED, D. A. (1995) Data Sonification: Do you See What I Hear?, IEEE Software, Vol 12(2), pp. 85-90. MARKS, L. E. (1974). On associations of light and sound: The mediation of brightness, pitch, and loudness. American Journal of Psychology, 87, 173188. MARKS, L. E. (1975). On colored hearing synesthesia: Cross-modal translations of sensory dimensions. Psychological Bulletin, 82, 303331. MARKS, L. E. (1982). Bright sneezes and dark coughs, loud sunlight and soft moonlight. Journal of Experimental Psychology: Human Perception and Performance, 8, 177193. MARKS, L. E. (1996). On perceptual metaphors. Metaphor and Symbolic Activity, 11, 39 66. MAURER, D., & MAURER, C. (1988). The world of the newborn. New York: Basic Books. MONTEMAYOR, S. ET AL, (2003) Sonificacin de Imgenes 2D, Dpto. Informtica, Estadstica y Telemtica, Univ. Rey Juan Carlos, Madrid. MONDLOCH, C., & MAURER, D. (2004). Do small white balls squeak? Pitchobject correspondences in young children. Cognitive, Affective, and Behavioral Neuroscience, 4, 133136. MULVENNA, C. M., & WALSH, V. (2006). Synesthesia: Supernormal integration? Trends in Cognitive Sciences, 10, 350 352. PERSAUD, K. (2000) A picture worth a thousand notes, Nature News, www.nature.com

Eurdice Cabaes. Es licenciada en Filosofa por la Universidad de Valencia (2007) y escribe su tesis doctoral sobre Creatividad Computacional en el Posgrado oficial de Lgica y Filosofa de la Ciencia, motivo por el cual en 2010 realiz una estancia en el Computational Creativity Group del Imperial College of London. Actualmente es vicepresidenta de ARSGAMES, forma parte del Equipo de Coordinacin del Observatorio para la Cibersociedad y pertenece al Consejo de Redaccin de la Revista TEXTOS del mismo OCS. Ha organizado y participado como ponente en diversos congresos y seminarios relacionados con Filosofa, sinestesia, arte y videojuegos. Ms informacin en: www.euridicecabanes.es.tl

11

Toda la informacin sobre este programa, proyectos y comunidad disponible en http://scratch.mit.edu/

Eurdice Cabaes Martnez

IV International Conference Synesthesia: Science and Art, Almeria, February 2012

PERSAUD, K. ET AL (2005). Method and device for visualizing images through sound. United States University of Manchester Institute of Science and Technology, Manchester. RAMACHANDRAN, V. S., AND HUBBARD, E. M. (2001A) Psychophysical Investigations intothe neural basis of synaesthesia. Procedings of the Royal Society of London, B (268): 979-983. RAMACHANDRAN, V. S., AND HUBBARD, E. M. (2001B) Synaesthesia- Awindow into perception thought and language. Journal of Consciousness Studies. SAGIV, N. & WARD, J. (2006). Crossmodal interactions: Lessons from synesthesia. Progressive Brain Research, 155, 259 271. SIMNER, J., WARD, J., LANZ, M., JANSARI, A., NOONAN, K., GLOVER, L., & OAKLEY, D. (2005). Nonrandom associations of graphemes to colors in the synaesthetic and non-synaesthetic populations. Cognitive Neuropsychology, 22, 117. SMITH, L. B., & SERA, M. D. (1992). A developmental analysis of the polar structure of dimensions. Cognitive Psychology, 24, 99 142. SPECTOR, F. & MAURER, D (2009), Synesthesia: A New Approach to Understanding the Development of Perception , Developmental Psychology 2009, Vol. 45, No. 1, 175189 STEVEN, M.S. AND BLAKEMORE, C. (2004) Visual Synaesthesia in the Blind. Perception 33 (7) 855868. WARD, J., HUCKSTEP, B., & TSAKANIKOS, E. (2006). Sound color synesthesia: To what extent does it use cross-modal mechanisms common to us all? Cortex, 42, 264 280.

Eurdice Cabaes Martnez