Mecatrónica del Gesto

Dr. Dr. Lino García Morales, Dra. Martina Eckert

“El gesto tiene la suerte de poseer la abstracción de la poesía y el ritmo de la música”

El gesto y su lenguaje en la pintura abstracta, María Mira-Perceval Graells

La mecatrónica es una disciplina heterotópica, en la intersección de áreas como la mecánica, electrónica e

informática, cuyo objetivo es proporcionar mejores productos, procesos y sistemas; un concepto recientemente
desarrollado que enfatiza la necesidad de integración y de una interacción intensiva entre diferentes áreas de la
ingeniería. Sin embargo, más allá de su causa final, en la confluencia con el arte, la mecatrónica proporciona valiosas
herramientas para la comprensión (análisis) y simulación (síntesis) del movimiento, del gesto; especialmente de los
mensajes del cuerpo. El gesto es un vehículo de expresión, consciente e inconsciente, meditado e improvisado,
liberado de las exigencias de la representación. La mecatrónica proporciona un vehículo multimedia: autor (gesto-
trazo), de control (gesto-marioneta, gesto-compositor), de inmersión (gesto-avatar), una extensión del hombre hacia
la subjetividad, la creatividad, la ficción.

1. Mecatrónica 1.1. Captura del Gesto 2. Conexiones 3. Ejercicio 4. Conclusiones

1. Mecatrónica

La mecanotrónica1 resulta autosuficiente para su enseñanza. Sin embargo la introducción de

herramientas libres, simples y potentes como Arduino, Processing, Pure Data, etc.,
(connaturales a la mecanotrónica), en el mundo del arte, permite replantear la interrogante de si
¿serían útiles para enseñar arte? No ya arte tecnológico 2 sino simplemente: arte. Téngase en
cuenta la importancia del gesto, como vehículo expresivo: en el dibujo, la pintura, la escultura,
etc., y su intrincada relación con el movimiento. Cuestionada de otra manera: ¿podría la
mecanotrónica ayudar al estudiante en la comprensión de elementos propios del arte? ¿podría
aportar una visión atípica, eficaz, lúdica, superior? ¿podría ser el propio cuerpo humano no
objeto pasivo–medio de expresión, sino sujeto activo–medio de comprensión?
El paradigma de la complejidad, superado el enfoque mecanicista de la realidad, proporciona
una visión holística relacionada directamente con una actitud transdisciplinar. El arte, liberado
de las exigencias de la representación, se dilata a otras disciplinas, las absorbe, las redibuja, en
un proceso irreversible de auto-transformación. Este contexto resulta un terreno fértil para la
investigación y conexión de procesos aparentemente dispares en aras de la excelencia
pedagógica.
Según W. Bolton: “Un sistema mecatrónico es más que solo una unión entre los sistemas
eléctricos y mecánicos, y más que sólo un sistema de control; es una integración completa de
todos ellos”3 (Bolton, 2001, p. 1). La mecatrónica es transdisciplinar, adopta un enfoque
concurrente y participativo entre las ingenierías mecánica, eléctrica, electrónica y de control,
aprovecha la porosidad de sus límites, fusiona e integra. Una de las aplicaciones más comunes

1
La existencia de ésta palabra se atribuye a Tetsura Mori, un ingeniero Senior que trabajaba para Yaskawa Electric Corp.,
en 1969. Mori la empleó para referirse a la combinación de sistemas eléctricos y mecánicos. También se conoce por
mecanotrónica.
2
Las prácticas artísticas relacionadas con la tecnología se producen en la intersección, ya sea parcial o total, de los
ingredientes de la era de la información: computación, comunicación, contenidos e, indirectamente, con las disciplinas
ingenieriles relacionadas: robótica, electrónica, informática, redes, programación, vida e inteligencia artificial, mecánica,
multimedia, etc. Esta particularidad le otorgan precisamente las características más importantes de la mecanotrónica: la
progresividad y la reactividad. La primera está relacionada con la acción procesual y activa de las obras (auténticos
sistemas de ingeniería) y la segunda con su capacidad de interacción.
3
Traducción de los autores.

1
de la mecatrónica es la robótica y, consecuentemente, la visión e inteligencia artificial, los
sensores y actuadores, los sistemas de control, etc.
1.1. Captura del Gesto

La captura del movimiento (conocida en inglés como motion capture, motion tracking o mocap)
describe el proceso de grabación de movimiento, de la cualidad expresiva del gesto, y lo
traslada a un modelo digital. En el contexto de la animación, se refiere a la técnica de almacenar
las acciones de actores, y usar esa información para animar modelos digitales de personajes ya
sea en 2D ó 3D. Se basa tradicionalmente en las técnicas de fotogrametría 4, medidas sobre fotos,
sin embargo, es el propio concepto de fotografía el que ha revolucionado. La fotografía permite
obtener imágenes duraderas, atrapar el movimiento, debidas a la acción de la luz; sin embargo la
extensión de la radiación luminosa por debajo y por encima del espectro visible (luz infrarroja,
IR y ultravioleta, UV; respectivamente) permiten “ver” más allá de lo que el ojo ve.
Kinect es una tecnología que supone “una revolución en la tecnología similar a las que dio
forma a la mayoría de avances fundamentales del siglo XX. Al igual que el estreno del
ordenador personal o Internet, la publicación de la Kinect fue otro momento en que la fruta, de
miles de millones de dólares y décadas de investigación que anteriormente sólo había estado
disponible para los militares y la comunidad intelectual, cayó en manos de la gente común”
(Borenstein, 2012, p. v).
Kinect es, básicamente, una cámara de profundidad (depth camera) de bajo coste que no sólo
convierte en imagen la luz que devuelven los objetos sino que registra la distancia de los
objetos. Por cada píxel5, Kinect devuelve información de color y profundidad.

Figura 1. Kinect sin la carcasa. De izquierda a derecha: proyector IR, cámara RGB, cámara IR. Además incorpora
un arreglo lineal de micrófonos, control motorizado de la inclinación de los sensores y conexión USB.

Kinect es un producto de Microsoft para su consola de juegos Xbox 360 desarrollado por
PrimeSense. Sin embargo su masificación se debió a una recompensa de 2.000 dólares que
ofreció Adafruit (empresa distribuidora de kits para proyectos de código abierto de hardware,

4
La fotogrametría es una técnica que determina las propiedades geométricas de los objetos y las situaciones espaciales a
partir de imágenes fotográficas.
5
El píxel es la mínima unidad de información de la imagen digital. Es resultado de un doble proceso de cuantificación
espacial y del color; determinado por la resolución de la imagen 2D y del color, respectivamente. La codificación de la
información del color más habitual es la RGB que corresponde a la suma aditiva de los tres colores primarios: rojo, verde
y azul. La inclusión de la coordenada profundidad permite generar imágenes 3D.

2
muchos de ellos basado en el microcontrolador Arduino 6), a la primera persona que produjera
controladores de código abierto, mediante procesos de ingeniería inversa, que permitieran a
cualquiera acceder a los datos del Kinect.

Figura 2. Ejemplos de información generada por Kinect a partir de imagen de profundidad. Arriba. Modelo 3D .
Abajo. Esqueleto con puntos de control (joint) indicados y etiquetados en rojo y huesos (bones) trazados en negro.

6
Arduino. http://www.arduino.cc/es/. Consultado el 28 de junio , 2012. Arduino es una plataforma de hardware libre,
basada en una placa con un microcontrolador y un entorno de desarrollo, diseñada para facilitar el uso de la electrónica en
proyectos multidisciplinares.

3
 Esta iniciativa puso en marcha el proyecto Open Kinect, un esfuerzo de colaboración de
código abierto, para construir recursos gratuitos de explotación y desarrollo del Kinect que,
paradójicamente, terminaron por consolidar el producto de Microsoft mediante una política de
liberalización de las herramientas de desarrollo para PC de PrimeSense y de realimentación de
la creatividad de la comunidad. Posteriormente PrimeSense incluyó software más sofisticado
para procesar la imagen bruta (raw) de profundidad, detectar usuarios y localizar la posición de
las articulaciones (skeleton), en tres dimensiones, en un sistema que denominó OpenNI, por
"Interacción Natural" (Natural Interaction). Afortunadamente, hay una cosa que tanto OpenNI y
Open Kinect tienen en común: una biblioteca para Processing. Dan Shiffman y Max Rheiner,
desarrollaron bibliotecas para Processing7: Open Kinect y OpenNI (SimpleOpenNI),
respectivamente8, que permiten acceder a prácticamente la totalidad de las funcionalidad del
Kinect. La conexión Kinect–Processing produce un beneficio recíproco que resulta un salto
cualitativo para la captura gestual. La extraordinaria capacidad interactiva del Kinect en
conjunción con la potencia de Processing (soportada en la amplia y potente biblioteca de
contribuciones) y la interacción con Arduino, permiten construir complejos sistemas
mecatrónicos de manera relativamente sencilla y barata.
La parte inferior de la Figura 2 muestra una captura de la posición de las quince uniones o
puntos de control del esqueleto, que, en el tiempo, forman trayectorias. De arriba hacia abajo:
lHand, rHand, lElbow, rElbow, lShoulder, rShoulder (parejas izquierda–derecha de mano, codo
y hombro), head, neck y torso, lHip, rHip, lKnee, rKnee, lFoot y rFoot (parejas izquierda–
derecha de cadera, rodilla y pie).

1.2. Animata

La mecatrónica proporciona un vehículo de control gesto–marioneta. Una práctica artística del

arte contemporáneo en la intersección con la tecnología es la animación digital.
“La animación es un proceso utilizado para dar la sensación de movimiento a imágenes o dibujos.
Existen numerosas técnicas para realizar animación que van más allá de los familiares dibujos
animados. Los cuadros se pueden generar dibujando, pintando, o fotografiando los minúsculos
cambios hechos repetidamente a un modelo de la realidad o a un modelo tridimensional virtual;
también es posible animar objetos de la realidad y actores”9.
La rotoscopía, por ejemplo, se basa en dibujar directamente sobre la referencia, que pueden
ser los cuadros de la filmación de una persona real. La captura de movimiento (motion capture)
infográfica puede considerarse su análoga. Pero en la animación digital, donde el objeto no es
una imagen sino un modelo (2D ó 3D) de esa imagen, la rotoscopía pasa por controlar el
movimiento del modelo (referencia) con la información obtenida del modelo real (persona).
Animata10 es un programa de código abierto en tiempo real, diseñado para crear animaciones
interactivas, proyecciones de fondo para conciertos, teatro y danza, etc. Animata se basa en una
técnica, conocida en inglés como cutout animation, que utiliza figuras recortadas digitales (ya
sea de dibujos, impresiones, fotografías, etc.). Los cuerpos de los personajes se construyen con
los recortes de sus partes. Los personajes cobran vida a través del movimiento y reemplazo de
7
Processing. http://www.processing.org/. Consultado el 16 de Junio, 2012. Processing es un lenguaje de programación y
entorno de desarrollo integrado de código abierto basado en Java (lenguaje de programación orientado a objetos
multiplataforma), de fácil utilización, y que sirve como medio para la enseñanza y producción de proyectos multimedia e
interactivos de diseño digital. Fue iniciado por Ben Fry y Casey Reas a partir de reflexiones en el Aesthetics and
Computation Group del MIT Media Lab dirigido por John Maeda. Processing es desarrollado por artistas y diseñadores
como una herramienta alternativa al software propietario. Puede ser utilizado tanto para aplicaciones locales así como
aplicaciones para la web (applets). Se distribuye bajo la licencia GNU GPL.
8
Véase: http://www.shiffman.net/p5/kinect/ y http://code.google.com/p/simple-openni/, Consultado el 28 de Junio, 2012.
9
Animación. http://es.wikipedia.org/wiki/Animación. Consultado el 28 de Junio, 2012.
10
Animata. http://animata.kibu.hu/. Consultado el 28 de Junio, 2012.

4
las partes, que configuran las diversas poses. La peculiaridad de este sencillo entorno es que
permite la interactividad y el control del movimiento de las marionetas desde otros programas
en tiempo real a través de un protocolo de comunicación heredado de la música: OSC (Open
Sound Control).
“La particularidad de este software es que la animación –el movimiento de las marionetas, los
cambios de fondo– se genera en tiempo real, lo que hace posible la interacción continua. Esta
capacidad también permite conectar sensores físicos, cámaras u otras variables ambientales a la
animación de personajes, creando una caricatura que puede reaccionar a su entorno. Por ejemplo,
es muy simple crear una banda virtual de títeres que reaccione en directo a una entrada de audio, o
una escena de personajes dibujados controlados por el movimiento de bailarines” (Véase:
http://animata.kibu.hu/).
Animata constituye un recurso muy útil, no sólo para el aprendizaje de determinadas técnicas
de animación, o de la dinámica del movimiento, sino también para la introducción de prácticas
procesuales.

lHand

lShoulder rHand

lElbow rShoulder
rElbow

Figura 3. Ejemplos de títeres marionetas. Arriba izquierda. Imagen fragmentada inicial . Arriba derecha. Modelo
Animata. Abajo izquierda. Captura de la animación. Abajo derecha. Ejemplo de animación de marioneta mediante el
cuerpo humano. Obsérvese la correspondencia entre seis puntos de control o uniones del esqueleto de la marioneta y
del Kinect (Figura 2 abajo), respectivamente.

Existen otros entornos de animación más potentes y de libre distribución como Blender 11.
Blender ofrece un amplio espectro de modelado, texturizado, iluminación, animación y post-
procesado de vídeo en un solo paquete. A través de su arquitectura abierta, Blender proporciona
interoperabilidad entre plataformas, extensibilidad, un tamaño increíblemente pequeño, y un
flujo de trabajo totalmente integrado. Blender es una de las más populares aplicaciones de
11
Blender. http://www.blender.org/. Consultado el 28 de Junio, 2012.

5
código abierto de gráficos 3D, no sólo por su calidad y potencia sino también por su naturaleza
abierta. Blender incorpora un intérprete de Python12 totalmente funcional que permite a
cualquier usuario añadir funcionalidades mediante un simple script. A través de un enchufable
(plugin), escrito en Python, Blender se puede convertir en un cliente de mensajes OSC y
conectar de esta manera la animación con un controlador externo; como puede ser Kinect–
Processing.

Figura 4. Ejemplo de títere en Blender.

2. Conexiones

La arquitectura cliente–servidor es un modelo de aplicación distribuida en el que las tareas se

reparten entre los servidores (proveedores de recursos o servicios) y los clientes (demandantes).
Un cliente realiza peticiones al servidor. El servidor procesa y responde tales peticiones. Esta
idea también se puede aplicar a programas que “corren” sobre una único ordenador, aunque es
más ventajosa en un sistema operativo multiusuario distribuido a través de una red de
ordenadores. El protocolo OSC que conecta el tándem Kinect–Processing con Animata o
Blender comunica múltiples aplicaciones entre sí, ya sea en un mismo ordenador o en distintos
ordenadores. Lo que permite incluso controlar una animación desde diversos Kinects, en
diferentes localizaciones geográficas.
OSC es un formato de contenido para mensajes entre ordenadores, sintetizadores de sonido y
otros dispositivos multimedia que están optimizados para trabajar en red con sus ventajas y
conveniencias: interoperabilidad, precisión, flexibilidad y una mejor organización y
documentación. OSC surgió como alternativa al estándar MIDI (Musical Instrument Digital
Interface) de 1983, con mejores prestaciones, mayor resolución y un espacio de parámetros
musicales más amplio. Los mensajes OSC “viajan” a través de Internet y en subredes
domésticas y de estudios mediante: UDP/IP, Ethernet, etc. Los mensajes OSC entre
12
Python es un lenguaje de programación interpretado, interactivo, y orientado a objetos. Incorpora módulos, excepciones,
y tipos de datos dinámicos de muy alto nivel y clases. Está expresamente diseñado como una extensión de aplicaciones
que necesiten una interfaz programable; razón por la que Blender lo utiliza. Python combina un gran poder con una
sintaxis muy sencilla.

6
controladores gestuales se transmiten normalmente en conexiones USB punto a punto
encapsulados en el protocolo serie SLIP (Serial Line Internet Protocol). OSC hereda de su
antecesor, MIDI, su facilidad de evolución y mejora en relación al tipo de datos, influido por
protocolos abiertos como XML, JSON y WDDX; lo que permite generalizar su alcance y
trascender su utilizad específica en la música.
Tanto Animata como Blender tienen la capacidad de reaccionar a mensajes OSC, lo que
permite controlar el movimiento de las marionetas con mensajes musicales, por ejemplo, y
sincronizarlo, a su vez, con cualquier otra aplicación que procese estos mensajes. Esta
capacidad de interconexión “universal” permite expandir el uso del Kinect a muchas otras
prácticas artísticas intermediales, o incluso transmediales, y por lo tanto enriquecer las
actividades educativas y generar metodologías pedagógicas avanzadas. Si se tiene en cuenta la
conexión natural Arduino–Processing, Arduino podría servir como una pasarela de mensajes
entre diferentes entornos de trabajo; por ejemplo, el protocolo de control de iluminación DMX
(Digital MultipleX), etc.

3. Conclusiones

Vivimos en la era de la información y a las puertas de la inteligencia ambiental o computación

ubicua, donde la mecatrónica promete su integración en el entorno personal. Lo dispositivos
inteligentes no se percibirán como objetos diferenciados sino como sistemas integrados en
escenarios y espacios habitables con los que el ser humano interactuará de manera natural y
realizará cualquier tarea diaria de manera completamente trasparente con respecto a sus
ordenadores. A las puertas de esta hiperrealidad no sólo es necesario formar a los alumnos para
que puedan desenvolverse congénitamente en ella sino que es casi imprescindible el uso de
estas tecnologías como medio de aprendizaje. Parafraseando a McLuhan: el medio es la
didáctica.

Bibliografía

Bolton, W. (2001). Mecatrónica. Sistemas de Control Electrónico en Ingeniería Mecánica y

Eléctrica. Barcelona: Marcombo.
Borenstein, G. (2012). Making Things See. 3D vision with Kinect, Processing, Arduino, and
MakerBot. Make: Book. O’Reilly.