Tecnologa Musical VI Sistemas interactivos de musica en vivo Por Julian Manrique y Nicolas Oliverio Interactividad Para empezar a comprender

lo que es un sistema interactivo de msica en vivo debemos comprender en un principio el concepto de interactividad Interactividad hace referencia al dialogo, coordinacion, organizacion y comunicacion de dos partes dentro de un mismo sistema para su buen funcionamiento. El ejemplo mas primitivo de interactividad son las propias relaciones humanas, donde existe un emisor, un receptor, un medio de informacion y un mensaje, el cual es desifrado por el receptor. Bajo esta perspectiva, podemos apreciar que la interaccin esta dada en base a las actividades fsicas humanas, por ejemplo el movimiento(lenguaje corporal), el habla o el cambio en los estados psicolgicos, las cuales hace posible una correcta y coherente comunicacion entre los seres humanos. Basandonos en lo que nos compete, los sistemas electronicos, podemos decir que es la relacion entre un ordenador (sistema) y el usuario, en la cual transcurre a modo de mensajes un flujo de informacion constante. Por ejemplo, la interactividad de un reproductor de mp3 no reside en su forma fsica o color, su habilidad para reproducir msica, o su capacidad de almacenamiento: es en cambio el comportamiento de su interfaz de usuario tal como ste la experimenta. Esto incluye la forma en que debe moverse el dedo sobre el comando, la forma en que ste permite seleccionar una cancin para reproducirla, y la manera en que uno controla el volumen. Existen tres niveles de comunicacion en lo que refiere un sistema interactivo: No interactiva, cuando un mensaje no se relaciona con otro previo. Reactiva, cuando un mensaje se relaciona nicamente con el previo inmediato. Interactiva, cuando un mensaje se relaciona con una serie de elementos previos. En tanto, la interactividad en la computacin, hace referencia a los programas que aceptan y responden entradas en datos y comandos por parte de los humanos. La interactividad est muy relacionada a la interfaz de un programa.

En el ambito de la composicion musical, podemos ver que existieron sistemas referidos a la interactividad eventualmente. Los primeros indicios de los sistemas interactivos musicales se remontan a finales de los aos sesenta, con la aparicion de los primeros sintetizadores analogicos, los cuales eran controlados por un ordenador para uso en conciertos e instalaciones interactivas. Estos poseian ciertos parametros para realizar sonidos como lo eran la frecuencia de osciladores, tipo de onda, envolvente de onda, envolvente de filtros, banda de filtros, faders de volumen, potenciometros , etc. Aqui el ejemplo de interactividad que se puede notar consta de tres instancias: *Un operador que modifica los parametros del sintetizador para crear los sonidos *Un ordenador; quien envia las seales y ordenes al sintetizador *El sintetizador; quien decodifica el mensaje y emite los sonidos deseados en forma de respuesta. El crecimiento mas importante que se produce en esta rea se da a mediados de los aos ochenta, gracias a la estandarizacion que conlleva el sistema de mensajes MIDI y, poco despues, con lo llegada de los lenguajes de programacion graficos como Max, que facilitarian enormemente el diseo y la implementacion de sistemas musicales interactivos. Ricardo Dal Farra (Compositor, artista multimedia, educador, investigador, intrprete y curador) en base a sus experiencias con la interaccin musical utilizando tecnologa y sistemas de musica en vivo de tiempo real de todo tipo, a comienzos de la dcada del ochenta (epoca ya mensionada), realiz uno de los primeros registros (grabaciones y escritos) de interactividad con tecnologias para nuestra propia historia cultural y artstica, lo cual es importante de destacar, en un contexto en el cual lo nacional ya fuere hablando de Argentina en si o de Latinoamerica es eliminado o dejado de lado por las invaciones generadas por los materiales populares, llamativos y glovalizados venidos del exterior.

En lo que se refiere a la msica, podemos decir que esta siempre fue intera ctivaLos msicos dialogan con sus instrumentos, con la puesta en escena entre s y con el pblico. Esto fue asi hasta la llegada de la msica grabada. La grabacin abstrae un poco la interaccin con pblico ya que no ocurre de manera inmediata y en tiempo real, refiriendonos a los interpretes. La Incorporacion de la grabacin multipista reduce interaccin entre msicos, pero a su vez reduce el margen de error y la desproligidad

en la misma, ya que cada uno graba su parte individualmente, pudiendo retocar, arreglar y emprolijar esta misma sin perjudicar al resto de la banda. Relacionado con esto podemos decir que Rajmil Fischman analiza la interaccin ms all de la relacin hombre tecnologa, partiendo de la necesaria interaccin entre sonidos, por medio de la cual escuchamos msica, hasta llegar a la interaccin del creador con su tiempo. Otro interesado en la tematica, Jorge Sad indaga acerca de que tipo de interaccin surge a partir de la msica acusmtica, donde no se reconoce la fuente utilizada por el ejecutor, especialmente a nivel gestual, considerando la ausencia de aspectos visuales en este tipo de expresin. En la tematica a tratar, se hace referencia a que la interaccion de la persona o individuo con la maquina genera respuestas instantaneas, tanto a corto como a largo plazo. Es decir que existe una suerte de causa y efecto. En el ambito que nos referimos, el artista puede dar lugar a artefactos o instrumentos, que aplicandoles una determinada accion generen una respuesta la cual desemboca en un efecto, sonido o imagen visual, en tiempo real Sistemas de tiempo Real o Real Time Un sistema es un conjunto de partes o elementos organizadas y relacionadas que interactan entre s para lograr un objetivo. Los sistemas reciben (entrada) datos, energa o materia del ambiente y proveen (salida) informacin, energa o materia. Para poder comprender los sistemas interactivos y para avanzar en nuestro informe explayaremos la concepcin que denominamos real time o tiempo real. Un sistema de este estilo es un sistema informtico que Interacciona con su entorno fsico y responde a los estmulos del entorno dentro de un plazo de tiempo determinado. No basta con que las acciones del sistema sean correctas, sino que, adems, tienen que ejecutarse dentro de un intervalo de tiempo determinado. Clases de Sistemas en Tiempo Real: Crticos (hard real-time systems): los plazos de respuesta deben respetarse siempre estrictamente una sola respuesta tarda a un suceso externo puede tener consecuencias fatales. Acrticos (soft real-time systems): se pueden tolerar retrasos ocasionales en la respuesta a un suceso.

 Sistemas Interactivos (no de tiempo real): No tienen plazos de respuesta explcitos Caractersticas que todo sistema de tiempo real debe cumplir: Determinismo Temporal: Las Acciones que se produzcan en un STR deben estar planteadas en funcion de intervalos de tiempo determinados. A su vez es fundamental que el comportamiento temporal de los STR sea determinista, esto quiere decir que se produsca una relacion de causa-consecuencia, y por tanto, se obtenga un resultado en el futuro. no hay que confundirlo con la necesidad de que sea eficiente el sistema debe responder correctamente en todas las situaciones hay que prever el comportamiento en el peor caso posible Fiabilidad y seguridad: Un fallo en un sistema de control puede hacer que el sistema controlado se comporte de forma peligrosa o antieconmica. Es importante asegurar que si el sistema de control falla, lo haga de forma que el sistema controlado quede en un estado seguro. hay que tener en cuenta los posibles fallos o excepciones en el diseo del sistema adquirido Concurrencia: Los componentes del sistema controlado deben funcionar simultneamente mientras que el sistema de control debe atenderlo y generar las acciones de control simultneamente. Interaccin con dispositivos fsicos: Los sistemas empotrados interaccionan con su entorno mediante diversos tipos de dispositivos que normalmente no son convencionales (teclados, impresoras, ...): convertidores A/D y D/A, entradas y salidas digitales, ... (interfaces con sensores, actuadores, perifricos especiales, ...) Los componentes del software que controlan el funcionamiento de estos dispositivos (manejadores, "drivers") son, en general dependientes del sistema concreto. Los sistemas operativos convencionales no son adecuados para tiempo real: No tienen comportamiento determinista No permiten garantizar los tiempos de respuesta

Un sistema operativo de tiempo real debe soportar: concurrencia: procesos ligeros con memoria comn temporizacin: medida de tiempos y ejecucin peridica planificacin: expulsiva con prioridades, y acceso a recursos con herencia de prioridad manejo de dispositivos E/S: acceso a recursos de hardware e interrupciones Ejemplos: VxWorks, LynxOS

En los comienzos de la msica y el sonido, la escucha o apreciacin musical se daba en el acto, sin posibilidad de registrar o reproducir la obra de la manera que uno quisiera, en otras palabras, solo se apreciaba la musica en vivo (tiempo real). Con la aparicinn de las tecnologas de hoy en dia, se cambia el paradigma de apreciacin musical, ya que a travs de reproductores uno puede escuchar una obra en el momento que desee y reproducirla cuantas veces quiera (tiempo diferido) La msica no puede ser definida sin tener en cuenta tres aspectos existenciales, como objeto aislado(nivel neutro), como objeto producido(nivel poitico) y como objeto percibido(nivel esttico) que se relacionan en el tiempo de la siguiente manera: Con la aparicin de la escritura musical el tiempo de produccin se dividi en dos partes, composicin e interpretacin. Antes de las tecnologas de reproduccin sonora

Despues de las tecnologas de reproduccin sonora

Adems la incorporacin de sistemas de tiempo real, no slo influy en la apreciacin de la msica, sino en la creacin de tal, con la aparicin de nuevos instrumentos, la incorporacin del ordenador, y tambien la posibilidad de registrar mediante grabacion sonidos para poder generar otros, como pasa en la musica electroacustica. En el caso de la msica electroacstica en tiempo diferido,en el cual los momentos dela composicin y de la performance no estn separados el esquema podra ser representado as:

Sensores La gran mayoria de los sistemas de este tipo, utilizan elementos electronicos que decodifican un mensaje enviado por el usuario y asi establecer la comunicacion con el artefacto.Dicho mensaje puede ser de movimiento, de posicion, de calor, infrarojos, etc. Este tipo de componentes electronicos destinados a distintas tareas especficas se denominan sensores. Existen varios tipos de estos, en diferentes maneras, nos permiten obtener los mismos resultados o buscar algun efecto en particular en el sistema: Sensores de rotacin: se encarga realizar una medicin cuantitativa de la posicin de un objeto con respecto a otro. Algunos ejemplos de su uso son: Potencimetros: es el ms comn y econmico de los sensores, el ms simple de los sensores de rotacin. Podemos encontrarlos con ngulos de rotacin muy pequeos hasta ngulos de rotacin de 360. Tambin es posible de encontrarlos como sliders que tienen un mximo y un mnimo,como los faders en una mesa de mezcla.

Acelermetro: Mide el cambio de velocidad del movimiento o aceleracin, por lo regular, poseen de dos a 3 ejes de medicin (X,Y, Z). El sensor empieza a ganar bastante popularidad (con el iphone, ipod touch, ipad, control del wii y algunos otros dispositivos actuales) Cuentan con bastantes prestaciones para trabajos con coreografas, danza,performance, o instrumentistas.

Sensores de deteccin de presencia: detectan la presencia o ausencia de un objeto o del usuario del sistema interactivo: Interruptores de pie: La forma ms sencilla de detectar la presencia de una persona, especialmente dentro de un rea pequea, el tipo de funcionamiento ms comn son dos capas de metal separadas por una delgada capa de espuma. Cuando alguien camina sobre estos sensores la capa de espuma es comprimida y las dos capas de metal pueden tocarse entre s, el principio de cualquier otro interruptor. Una perfecta aplicacin es Corredores Interactivos en una instalacin, teclados en el piso para ser interpretados pisando, contador de personas a una instalacin, etc.

Interruptores fotoelctricos En un interruptor fotoelctrico, un rayo de luz es disparado constantemente a un sensor "objetivo". Cuando el rayo es interrumpido por el paso de un cuerpo entre el sensor y el rayo de luz, el interruptor se activa, esto es el "ojo elctrico",utilizado por dcadas en cosas como las puertas automticas.

Detectores de movimiento Son cajas ubicuas beige o negras con un LED que parpadea cuando alguien camina en cualquier parte de una habitacin. Estos sensores responden a los cambios en el espacio de luz infrarroja. Reaccionan slo al cambio, no podrn decirnos que hay alguien si se encuentra esttico en la habitacin, slo cuando haya movimiento. Estos sensores son comnmente utilizados en varios sistemas de alarma para casas. En un sistema interactivo multimedia pueden ser bien empleados en una performance que combine la estaticidad con el movimiento o que tenga cambios muy perceptibles de grados de movimiento.

Sensores de determinacin de posicin: pueden informarnos donde se encuentra un objeto o indicarnos posiciones de varios objetos en un determinado momento: Infrarrojos: Estos sensores envan un rayo infrarrojo y hacen una lectura de la reflexin del rayo en el objetivo, existen diferentes modelos que trabajan en diferentes grados de sensibilidad, distancia, etc.

Ultrasnicos para rangos amplios: Su funcionamiento es el mismo que el de los sonares. Estas unidades emiten ondas de sonido ultrasnico, y miden el tiempo que tardan en regresar, segn el tiempo de demora se calcula la distancia del objetivo y su localizacin. Aptos para lugares donde la actividad luminosa no es tan alta, ya que un sensor de infrarrojos podra arrojarnos bastantes datos intiles para nuestro sistema interactivo.

Video seguidores: Un recurso para sensar, que cuenta con muchas posibilidades. Bsicamente consiste en emplear la imagen capturada en tiempo real por una cmara de video y por medio de algoritmos en la programacin del software, enfocarse en algn detalle del video en especfico como podra ser la luminosidad, intensidad de algn color en especifico, deteccin de movimiento, texturas, etc.

Sensores de resistencia sensibles a la fuerza: Flexin: Se basan en que tanto pueden ser doblados. Vienen en forma de una tira de plstico plana que se puede doblar hasta 180 grados.

Presin: (no confundir con los sensores de presin baromtrica). Por lo regular son fabricados con materiales conductivos (aunque existen varios tipos) y sensan que tanto es comprimido el material entre dos conductores, pues al

haber un cambio de presin se ver reflejado en la resistencia elctrica entre los conductores.

Pantallas tctiles: Pueden ser una excelente interfaz de control y adems una interfaz grfica de usuario. Es muy comn encontrarlas en modalidad multitactil, lo cual nos permite hacer gestos con los dedos, "sujetar" cosas en la virtualidad de los dispositivos touch, etc.

Sensores biomtricos: Los sensores biomtricos an no estn del todo establecidos en la creacin artstica, debido a su alto costo y que su diseo originalmente no est pensado para cualidades preformativas (en trminos de la interfaz fsica suelen tener una unidad de datos rgida, de gran volumen y la mayor parte de las ocasiones, pesada). La compaa Icubex posee algunos sensores biomtricos rediseados para ser empleados en la actividad artstica, pero son costosos al igual que el sistema en general. Los hasta ahora ms empleados sensores biomtricos son: Cardiaco (puede sensar el pulso cardiaco), actividad cerebral (similar al cardiaco pero su medicin es con respecto a las ondas cerebrales), temperatura corporal, sensores de medicin de niveles de alcohol, propano, butano, monxido de carbono, etc. Esta clase de sensores son los que posiblemente a futuro puedan brindar una interactividad ms profunda y que concluiran el propsito del instrumento musical: convertirse en uno con el instrumentista para obtener el mayor dominio posible del sistema interactivo. Muchos de los sistemas de tiempo real, generadores de sonido, que se presentaran en el informe funciona mediante sensores de diferentes tipo. El primer caso a desarrollar se denomina Reactable, el cual utiliza dos tipos de sensores, de movimiento y de posicionamiento, los cuales estan integrados en su composicion.

Reactable:

La Reactable es un instrumento musical electrnico colaborativo dotado de una interfaz tangible basada en una mesa, e inspirado en los sintetizadores modulares de los aos sesenta. Fue desarrollado por el Grupo de Tecnologa Musical de la Universidad Pompeu Fabra de Barcelona, por un equipo de investigacin integrado por Sergi Jord, Marcos Alonso, Gnter Geiger y Martin Kaltenbrunner. Mltiples usuarios simultneos comparten el control total del instrumento moviendo y rotando objetos fsicos sobre la superficie de una mesa circular luminosa. Manipulando dichos objetos, los cuales representan los componentes clsicos de un sintetizador modular, los usuarios pueden crear tipologas sonoras complejas y dinmicas, mediante generadores, filtros y moduladores, en una clase de sintetizador modular tangible. Cmo funciona Reactable El Reactable consta de un tablero semi translcido iluminado directamente con dos cmaras situadas al otro lado del tablero que analiza de vez en cuando la superficie y sigue los movimientos, la naturaleza, la posicin y la orientacin de los diferentes objetos fsicos y lgicos que estn situados sobre el tablero por medio de visin artificial. Varios msicos simultneos comparten control completo sobre el instrumento moviendo y rotando los objetos en el redondo tablero luminoso. Al mover y relacionar los objetos por la superficie del tablero se modifica la estructura y los parmetros del sintetizador de sonido. Estos objetos conforman los tpicos mdulos de un sintetizador modular.

Simultneamente, el proyector muestra la actividad y las caractersticas principales del sonido producido, otorgndole de esta forma la necesaria retroalimentacin al ejecutante. De esta forma varios msicos pueden compartir el control desplazando y rotando fichas transparentes sobre la mesa luminosa. Cada uno de los usuarios puede crear una funcin sonora diferente.

Reactable funciona a base de modulos con forma de cubo, los cuales cumplen diferentes tipos de funciones:

Generadores: (cubos) Osciladores: Crean diferentes formas de onda, las convencionales, y otras que el usuario puede crear a su antojo, dibujando con el dedo sobre la pantalla. Cuenta con un seleccionador de frecuencia, una envolvente y la posibilidad de interactuar con los armonicos. Todas estas opciones son manipulables mediante ventanas que aparecen en la pantalla, como subpatrones de ese modulo. Loop player: Este es un cubo, donde 5 de sus caras cuentan con patrones ritmicos y bases diferentes, los cuales se repiten en forma ciclica, a modo de loop. Cada una de estas caras a su vez, se dividen en cuatro patrones modificables entre si. En la cara sobrante se encontraria un modulo de edicion, en el cual uno puede asignar diferentes patrones de las demas caras ( como sumarlos y editarlos), y ademas se puede cambiar el tempo de los mismos. Sampler: Este es un cubo achatado, con un funcionamiento similar al de los osciladores, con la diferencia que posee samples de instrumentos ya creados, junto con bancos de percucion. Audio input: Permite conectar instrumentos externos al reactable, como guitarras, bajos, entre otros, para ser parte del sistema y asi entrelazarlo entre los diferentes modulos mensionados.

Filtros y Efectos: procesan los sonidos (cubos con puntas redondeadas) Filtro: modifica la respuesta en frecuencias la cual es controlada girando el cubo sobre su propio eje y la resonancia de la seal en cuestion. Cuenta con dos parametros: un ecualizador grafico que funciona de manera tactil en la pantalla y un secuenciador para activar o desactivar el filtro en funcion del tiempo. Posee tres tipos de filtros por defecto: pasa altos (Hi pass), Pasa bajos (Low pass) y pasa banda (Band Pass). delay: repite en el tiempo la seal de entrada, posee un modificador del pitch de los retardos y un mix que controla la cantidad de seal procesada como sonido seco y/o humedo (dry/wet). Tiene trees tipos de retardos predefinidos: feedback delay que seria el delay convencional, ping pong delay que trabaja mediante paneos en los retrasos y reverb que funciona para generar un espacio acustico modulador: Consiste de generar retardos muy cortos en la seal y procesarlos de diferentes maneras dando lugar a los procesos temporales conocidos como Chorus, Flanger y Phaser. Waveshaper: modifica la forma de onda de la seal procesada por medio de procesos de resampler, compresion y distorcion.

Controladores: (modulos de forma circular) LFO: generan modulaciones en la seal afectada o un filtro utilizado en base a las diferentes formas de ondas, entre las que se pueden elegir: Sinusoide, Cuadrada, Triangular y Random/Aleatoria. Permite modificar la frecuencia de la modulacin y la cantidad de aplicacion de la misma. Secuencer: Permite crear secuencias, patrone y movimientos melodicoritmicos tanto tonales como percusivos, monofonicos y/o polifonicos, los cuales son generados escribiendolos en una tableta digital que aparece en la mesa, parecida a los piano roll de los programas secuenciadores de ordenador actualmente. Afecta al sonido en el pitch, en la velocity y en la direccion del mismo. Midi Input: Permite conectar un dispositivo midi externo y utilizarlo para generar mensajes de informacion midi. Es posible realizar sonidos mediante el dispositivo midi elegido o puede usarse la informacion midi del mismo conectandose con los generadores de sonidos propios del reacteable, para tocar dichos sonidos. Es compatible con ableton live y traktor de native instrument.

Controladores Globales: Song Settings: permite cambiar las configuraciones generales del sistema como los BPM o tempo de la composcion musical, el color del background de la interface, agregar imagenes y aspectos visuales al dispositivo entre otras cosas. OutPut: Controla la salida de audio global modificando el nivel de presion sonora de la misma. Ademas cuenta con parametros de reverberacion y compresion para adicionarle a la salida o mezcla final de audio.

 Tonality: este parametro da un centro tonal definido a la composicion realizada, permite trabajar con escalas eligiendo la nota fundamental de la compocion y con modos como el lidio, el blues, el jonico, el dorico, entre otras posibilidades. Afecta a toda la composicion realizada.

Estos bloques se pueden comunicar entre si, para formar distintos tipos de patrones ritmicos, efectos, imagenes sonoras, sonidos y timbres, depende de cada usuario o a lo que se quiera llegar artisticamente.

ReacTIVision El softwarte ReacTIVision, el software detrs de Reactable, es un sistema de computer-vision de cdigo abierto (no la parte de audio, s la de video) y multiplataforma pensado para un rastreo rpido y estable tanto de marcas asignadas a objetos fsicos como de acciones multi-tacto. Fue diseado principalmente como un conjunto de herramientas para el rpido desarrollo de interfaces tangibles basadas en mesas y superficies interactivas multi-tacto. Entre otras cosas, Reactable intenta ser: Colaborativo: manipulado por varios ejecutantes (en forma local o remota) Intuitivo: sin manual, sin instrucciones Poseedor de una sonoridad interesante y desafiante Enseable y aprendible (incluso por nios) Apto para novatos (instalaciones) y para msicos electrnicos avanzados (conciertos)

Problemas y futuro Jord tambin se refiri al futuro y los desafos que deber atravesar la revolucin del Reactable. No cuesta de hecho imaginar prototipos para nios y versiones ms cmodas para el hogar. Tal vez en un futuro todo el mundo ostente un Reactable en su casa, pero no por ahora."En este momento uno de nuestros principales problemas

es que esta tecnologa es cara, que somos un grupo pequeo y no podemos pretender fabricar 100 mil unidades para empezar. La progresin y hacer eso posible es algo complicado, pero esperamos que lograrla. Bob Moog, el inventor del sintetizador modular, vendi 15 aparatos y nosotros ya superamos esa cifra. Otro sistema interactivo para la creacion de musica elegido para este informe es el Miburi de de la empresa Yamaha, en el cual su funcionamiento principal se da a base de la utilizacion de diferentes tipos de sensores, tanto de movimiento y de lugar como de presion.

Miburi

Este dispositivo se lanz comercialmente en 1994 por la compania Yamaha, en homenaje a la aparicion de las camaras de video digitales y la grabacion cinematografica. El concepto del cual se vieron motivados para crear este artefacto, es el que se utilizaba en cine al grabar a una persona con sensores de movimiento en sus extremidades, para poder manipular y editar la toma facilmente desde el ordenador. Se conforma por un chaleco, el cual contiene sensores flexibles adheridos a si mismo, dos agarraderas para las manos, dos dispositivos similares a las suelas de los zapatos, con sensores de presion, y un cinturon. Las distintas partes se encuentran conectadas mediante cables finos, a una unidad de procesamiento de datos ubicado en la correa o cinturon del Miburi, encargado de resivir las seales provenientes de los sensores de movimiento y presion, dando como dato de salida mensajes midi con su respectiva velocity.

La unidad se puede programar en tres modos: Modo Cross-point: mide la velocidad de los gestos de cada sensor, cuando pasan del estado de reposo, es decir de su punto cero. Modo Stop: Envia solo los datos de las notas con la velocidad maxima percibida. Modo All: Permite interpretar los datos del sensor en ambos modos simultaneos

Los seis sensores flexibles envan 12 notas ya que interpretan el movimiento hacia adentro y hacia afuera de los brazos, como notas separadas. El mapeo de cada sensor es totalmente programable. Cada uno se puede asignar para cualquier nota o parmetro Midi, dentro de los 3 modos ya establecidos por Yamaha. Existen 32 presets establecidos por la compaa Yamaha para distintos ruteos o mapeos del sistema. Al trabajar con Midi, Miburi permite ser conectado a la Pc a travs de una interfaz midi, para poder trabajar tanto con secuenciadores, como con otros softwares, como MAX/MSP, por lo cual su abanico de posibilidades se abre enormemente. Ya no solo puede ser utilizado para temas musicales, sino que puede servir como disparador de imagenes en un proyector, para hacer distintos juegos de luces, segn la creatividad del usuario. El medio de comunicacion entre el sistema y el usuario, pueden ser un poco mas creativos, a travez de distintas maneras de accionar los sensores del aparato. En este caso se utilizan lasers como dispositivo que activa el funcionamiento o nota del instrumento

Arpa laser

El arpa laser fue inventada y creada por Bernard Szajner en 1981. Es un instrumento que consta de 8 haces de luz laser, las cuales cada una de ellas accionan una nota musical, ya que se encuentran conectadas a sensores para poder lansar estos sonidos en tiempo real . Una vez que el usuario interrumpa determinado haz de laser, el dispositivo generar una seal, la cual es interpretada por un fotodiodo (semiconductor sensible a la luz visible o infraroja) y esta a su vez envia la informacion a un dispositivo. Existen muchos modelos de este instrumento, en la actualidad estas seales se envian a una interfaz midi el cual la interpreta dichas seales como mensajes midi y los reproduce a travez de un sintetizador o una computadora, segun quiera el usuario, y este a su vez reproducir el sonido de la nota tocada. Ya que el dispositivo trabaja con general Midi, el usuario podr personalizar los sonidos que se genera al tocar las notas, a gusto. As el arpa lser podr sonar como piano, una guitarra o bateria. Al conectar el dispositivo con la computadora se puede ejecutar y grabar desde cualquier secuenciador o software multipista, como fl studio, ableton, reason, etc.Para la seguridad del usuario, es preferible que utilice guantes y gafas, ya que para producir lasers visibles en el aire convencional, se requiere de uno relativamente poderoso, de al menos 20 mW de alimentacion. Dependiendo del modelo puede alcanzar hasta 500 mW, lo cual introduce un significante riesgo o dao tanto en los ojos como en la piel

Circuit bending Una de las formas de realizar sistemas interactivos de musica en vivo es mediante la intervencion de artefactos ajenos a la musica, como por ejemplo juguetes, electrodomesticos, etc. Este proceso de alteracion de artefactos, se denomina circuit bending.

El circuit bending o bent es la manera creativa de hacer corto circuitos en aparatos elctricos de bajo voltaje, para crear nuevos instrumentos musicales o generadores de sonido. Enfatizando la espontaneidad y la aleatoriedad el circuit bending ha sido asociado comunmente con la musica NOISE, aunque esta tecnica se ha usado en contextos diversos. Bsicamente esta tecnica consiste en conectar los diferentes componentes elctrnicos de un aparato entre si de formas que no fueron pensadas en su diseo original, de modo que resulten en comportamientos extraos que puedan llegar a ser interesantes sonoramente. La manera mas fcil de hacer esto es con la ayuda de caimnes" , que son pares de pinzas sujetadoras unidas por un cable. Fijando uno de los extremos del caiman a un componente se pueden buscar diferentes puntos de contacto con el otro extremo del caimn observando los resultados. Utilizando el sistema de circuit bending, sumado a lo que ya vimos de tiempo real, podemos incorporar ambos conceptos en una interfaz conocida como makey makey, el cual utiliza como comunicador entre la persona y el aparato, los tan utilizados cables con pinzas caiman, vistos anteriormente. Makey makey Es una propuesta creada por los investigadores Jay Silver y Eric Rosenbaum, la cual permite hacer que cualquier elemento sea transformado en teclas, joystick, touchpad y

controlador mediante el uso de una placa electronica y pinzas de cocodrilos, conectada por USB al ordenador. Esta interfaz es amigable, ya que no requiere de conocimientos de programacin y a su vez es accesible economicamente.

La placa esta dividida en sectores o campos que cumplen diferentes funciones: Parte frontal: Flechas de direccionalidad: teclas relacionadas al campo de los videojuegos, que generalmente se usan para moverse Barra espaciadora y click: siguiendo con la tematica juego, uno se usa para saltar y el otro seria el boton de accion. A su vez se pueden utilizar con la tecla space bar y click izquierdo. Tierra (earth): Este parametro permite que la placa y el objeto que se utilize funcione mediante el contacto humano, ya que este actuaria como conductor electrico. Parte posterior: Teclado y mouse: Ademas de las funciones ya mensionadas existe la posibilidad de conectarlo al teclado del ordenador para ejecutar teclas especificas y asi mismo esto ocurre con el mouse. Por defecto las teclas asignadas a la placa son: w, a, s, d, f, g, h, j, a su vez tambien son asignables a gusto del usuario. Arduino: Este parametro permite sincronizar makey makey con el sistema arduino lo cual permite, sin necesidad de tener conocimientos de programacion, prender motores, activar leds, entre otras cosas compatibles con este entonrno. Conector USB: Es el medio de alimentacion y comunicacion entre makey makey y el ordenador.

Sensible: Es una instalacin interactiva, que posee una pantalla sensible al tacto, la cual permite a las personas manipular un ecosistema virtual y, a partir de esta accin, producir msica en tiempo real. Funciona a base de algoritmos que estan programados para crear organismos de vida artificial, que se desarrollan en un ecosistema virtual que produce, que cuenta con diferentes ambientes musicales.

Esta instalacion esta conformada por tres elementos:

1. Una pantalla de tela, la cual muestra por medio de un proyector conectado a una PC reflejado en un espejo lo que sucede en los ecosistemas virtuales, y capta los movimientos tactiles generados por los usuarios, por medio de una camara infrarroja, que toma como referencia la sombra generada por los dedos y las manos para activar la interacion del publico con el sistema en cuestion. Las pulsaciones que realicen los

usuarios sobre la tela deberan ser de un promedio de 5 cm de profundidad, para que la camara las capte y ponga en funcionamiento el mecanismo del artefacto. Como Funcina?

El sistema ptico utiliza una cmara infrarroja e iluminacin infrarroja. La cmara, al ser infrarroja, es incapaz de ver la luz emitida por el proyector de video, pero requiere una fuente de iluminacin propia. La cmara puede ver la sombra que los dedos producen al presionar la tela sin interferencia de la imagen del proyector de video. A su vez, la iluminacin infrarroja no es visible por los humanos y por ende no interfiere a la proyeccin de video. Un algoritmo desarrollado en Processing es el encargado de interpretar la posicin de los dedos en funcin de la sombra que estos producen sobre la tela. Este anlisis consiste de 4 pasos: - Anlisis de niveles de contraste para encontrar las puntas de los dedos - Anlisis de sombras inconexas para determinar ubicacin (segn la cmara) -Anlisis de los movimientos para comprender el comportamiento en el tiempo -Transformacin del sistema de coordenadas de la cmara al de la proyeccin Para el primer paso del anlisis, se buscan los pxeles que poseen el mayor contraste (diferencia de brillo) respecto de sus pxeles vecinos, dado que este fenmeno se produce en la punta de los dedos (mejor dicho, en la sombra generada en la punta de los dedos). Luego de determinados los niveles de contraste, se aplica un umbral para discriminar las regiones de mayor contraste respecto de las de menor contraste. La imagen tomada por la camara debe pasar por un proceso que analiza las regiones inconexas (independientes entre s) para determinar la posicin exacta, segn el centro de cada una de estas regiones. Posteriormente se analiza el comportamiento en el tiempo para poder discriminar las identidades y los eventos de los punteros. Es decir, cada dedo es

visto como un puntero que posee una serie de eventos: down, up, drag. Por ltimo, se transforman las coordenadas desde la cmara hasta la proyeccin. Todo este proceso permite que los dedos sean vistos como punteros (muchos Mouse) y entonces se puede determinar que comportamiento ejecutar en funcin de cada evento de cada puntero. 2. Un sistema de vida arficial a base de algoritmos que se conforma de tres tipos diferentes de organismos virtuales: Los vegetales (crculos) son incapaces de moverse odevorar a otros organismos. Para crear a estos individuos se debe presionar la pantalla estaticamente, sin hacer ningun movimiento Los herbvoros (tringulos) pueden desplazarse y necesitan comer vegetales para permanecer vivos. En este caso debemos presionar la pantalla y hacer un desplazamiento corto para su creacion Los carnvoros (rectngulos) pueden desplazarse y necesitan comer herbvoros. Estos organismos se crean mediante la pulsacion de la pantalla, desplazando rapida y extensamente sobre la tela. Cada individuo es capas de moverce libremente dentro del sistema Sensible, puede desplazarse a su antojo por toda la superficie de la tela, pero a su vez posee ciertas restricciones en su movimiento: como por ejemplo el hambre. De alguna manera esta restriccion le impone al individuo hacia dnde debe dirigirse (en direccin al alimento) sino este muere. Son este tipo de restricciones las que fueron necesarias integrar en el sistema para que se desarrolle plenamente, es decir: el hambre, el consumo de energa, las posibilidades de moverse y/o reproducirse en funcin de la energa disponible,y la muerte. El ecosistema es un sistema cerrado, dado que no existen elementos externos con los cuales vincularse, la nica excepcin es la intervencin del pblico, en la pantalla sensible al tacto, que ingresa nuevos individuos al sistema. Cualquier sistema cerrado tiende al desequilibro y en Sensible esto se evidencia constantemente, dado que oscila entre dos estados: la proliferacin explosiva de la vida, o la extincin de todo.

3. Un sistema de composicion musical en tiempo real: Comformado por algoritmos de composicion, los cuales para poder funcionar deben estar conectados mutuamente para poder desembocar en un producto final. Estos sistemas de composicion funcionan por medio de la interactividad de los organimos, la densidad de poblacion que estos mismos crean, la cantidad de energia que implementen, y la velocidad con la que transcurre todo el proceso. La musica creada por los usuarios que interacuan con los organismo se reproduden en el exterior por medio de parlantes de audio incorporados dentro de la instalacion. Este tipo de organismos, estan planificados para consumir energa , los vegetales se autoabastecen de ella, mientras que los herbvoros y carnvoros deben recpuperarla ya que, al desplazarce por todo el ecosistema generan un desgaste. Debido a esto cada organismo se ve obligado tomar decisiones a la hora de moverse, reproducirse y abastecerse de su alimento. Los sistemas de composicin de esta instalacin se encargan de construir la trama musical en funcin de las decisiones que se toman en cada uno de sus niveles, por ejemplo, una vez decidido el tempo de la msica, un mdulo en cuestin genera los pulsos, y as cada uno requiere de una determinada toma de decisiones: el ritmo, el tipo de textura, las escalas que conforman la armona, etc. Entonces, observamos cules son las analogas posibles entre los estados y cambios de la imagen (producto de la evolucin del ecosistema) y los de la msica. De esta manera, por ejemplo, un aumento en la cantidad de individuos de una especie resulta en una ampliacin del registro hacia los extremos grave y agudo del instrumento; o un crecimiento de la energa provoca un crecimiento de la densidad cronomtrica. Una caracterstica muy importante para reforzar la unin entre imagen y msica se encuentra en la relacin entre el nivel actividad del ecosistema y la tensin musical. Cuando el ecosistema entra en mayor actividad la msica se acelera y los cambios, en todos los parmetros, se suceden a mayor velocidad.

En conclusion podemos decir que el sistema interactivo sensible esta diseado para unificar los mundos de la imagen y el sonido: por un lado, se crea un ecosistema virtual producto de la interaccin libre de individuos con comportamientos propios, y por el otro lado, un sistema de composicin musical conformado por mdulos que aaden informacin por capas; y que por ltimo, se observan ambos sistemas desde un punto de vista perceptivo para establecer y comprender conexiones entre sus respectivas evoluciones simultaneamente.

Conclusin: Interactividad es el echo o accion de generar relaciones de dependencia o no, entre dos o mas entes, ya sea con un objeto, un individuo, una maquina o un sistema, generando una respuesta a suerte de causa y efecto. Se trata de el envio de un mensaje por parte de un emisor hacia un receptor el cual lo decodifica y crea una respuesta en el tiempo ya fuera en momento inmediato o en un instante a futuro, esta respuesta puede ser a modo constante, lineal y repetitivo en forma de loop o sino puede darse solo en un instante alineal, unico es inusual. Mediante esta investigacin hemos desembocado en que la accin de interactividad estuvo presente a lo largo de la historia del hombre y siendo ms detallistas, en la historia del arte puntualmente dicho. En un principio la interaccin se dio de persona a persona y ms adelante con otros seres y un entorno. Con la llegada de tecnologia el hombre se vio obligado a interactuar con maquinas para poder satisfacer sus necesidades y subsistir modificando la naturaleza que lo rodeaba, mientras que en el plano artistico empesaban a aparecer los primeros niveles de interaccion musical con con la realizacion de presentaciones en vivo las cuales eran la unica forma de apreciar la musica ya que existia un emisor y ejecutor de un mensaje y un receptor en tiempo real. Con el avance tecnolgico en la musica y en el arte esto cambi haciendo posible escuchar musica infinitas veces y repitiendola a nuestro antojo gracias a la aparicion de los reproductores de musica en un principio, y mas adelante las computadoras. La musica pas a tener tres estadios: la composicion, la ejecucion y la reproduccion las cuales terminaron variando en tiempo y forma al antojo y alcance del usuario. Otras posibilidades de los avances tecnolgicos en la musica y el arte fue la realizacion de musica y performances mediantes sistemas no convencionales hasta el momento: los sistemas de interaccion en tiempo real. Estos permiten al usuario, por medio de

acciones y ordenes captadas por dispositivos, generar y crear sonidos en el instante. Objetivamente estos sistemas fueron complejisandose con el tiempo y con la capasidad de desarrollo de las personas, creandoce desde estructuras inmensas de composicion musical, hasta artefactos diminutos que caben en la palma de la mano y crean sonidos muy complejos. Muchos de ellos pueden funcionar de manera independie con el usuario mientras que otros se complementan con la utilizacion del ordenador.

Blibliografia http://www.alegsa.com.ar/Dic/interactividad.php http://es.wikipedia.org/wiki/Interactividad http://www.random-magazine.net/2010/12/project-guitars/ http://www.medienkunstnetz.de/mediaartnet/ http://www.biopus.com.ar/txt/textos/Sensible_interactividad_vida_artificial_y_musica_en _tiempo_real.pdf http://mediatecalibre.cl/wpcontent/files_flutter/1299612186Vinculacion_entre_imagen_y_sonido.pdf http://es.wikipedia.org/wiki/Reactable http://edant.revistaenie.clarin.com/notas/2009/09/18/_-02000910.htm http://tecniarts.com/reactable-musica-digital-colaborativa/ http://webdiis.unizar.es/~joseluis/STR.pdf http://www.dtic.upf.edu/~sergi/SMI/SMI01-Intro.pdf http://www.joanbages.com/arxius-web/articles/NuevasTecnologias.pdf http://www.ufjf.br/anais_eimas/files/2012/02/Sistemas-Multimedia-Interactivosaplicados-a-la-m%C3%BAsica-por-computadora-Sergio-Olim%C3%A1n.pdf http://www.makeymakey.com/ http://www.academia.edu/1628612/Tiempo_diferido_Tiempo_Real_en_la_musica_elect roacustica_o_la_continuacion_del_Combate_de_Cronos_y_Orfeo_por_otros_medios_ http://www.lindsayvickery.com/uploads/1/7/0/8/17081762/2002vicmiburi.pdf http://www.unla.edu.ar/index.php/enellimite-introduccion http://repository.eafit.edu.co/bitstream/10784/408/2/ManualUsuario_ArpaLaserMIDI.pdf

Tecnologa Musical VI Sistemas Interactivos de Musica en Vivo

Alumnos: Julian Manrique Nicols Oliverio Profesores: Titular: Ral Minsburg Adjunto: Bernardo Piero

Licenciatura en Artes Electronicas con Orientacion en Sonido y Musica Fecha: 31/05/2013

Indice:
Interactividad................................................................................................pag. 01 Sistemas de tiempo real Real time...........................................................pag. 03 Sensores......................................................................................................pag. 06 Reactable.....................................................................................................pag. 10 Miburi...........................................................................................................pag. 16 Arpa Laser...................................................................................................pag. 18 Circuit Bending/Bent....................................................................................pag. 19 Makey Makey...............................................................................................pag. 19 Sensible.......................................................................................................pag. 21 Conclusin...................................................................................................pag. 25 Bibliografa...................................................................................................pag. 26