Explora Libros electrónicos
Categorías
Explora Audiolibros
Categorías
Explora Revistas
Categorías
Explora Documentos
Categorías
3. Proceso creativo………………………………………………………………….……………
…………………..6
3.1. Elección del tema…………………………………………………………………………
………….……….6
3.2. Investigación previa………………………………………………………………………
……………….…6
3.2.1. Investigación sobre los métodos de captación del movimiento a
través de
Eyesweb................................................................................................................
.....7
3.2.2. Investigación fisioterapéutica……………………………………………………
………………11
3.2.2.1. Ejercicios de rehabilitación del hombro…………………………………
……………13
4. Proceso de producción………………………………………………………………………
…………….…..16
4.1. Softwares utilizados………………………………………………………………………
………………..17
4.1.1. EyesWeb………………………………………………………………………………
………………….17
4.1.1.1. El patch de la Terapia Sonificada…………………………………………
……………..18
4.1.1.2. Resultados después del ejercicio…………………………………………
……………..21
1
4.1.2. PureData………………………………………………………………………………
…………………23
4.1.2.1. El patch de la Terapia Sonificada…………………………………………
……..……..23
4.1.2.2. Resultados después del ejercicio…………………………………………
………….….27
5. Autocrítica final…………………………………………………………………………………
………….…….29
6. Fuentes…………………………………………………………………………………………
…………………..32
7. Agradecimientos………………………………………………………………………………
……………..….35
2
Ficha del proyecto
¿Cómo funciona?
3
La parte de sonido es muy básica y se compone de unas notas MIDI producidas
a través de PureData que acompañan la parte visual y involucran de forma
definitiva al paciente. Para ello EyesWeb manda datos numéricos a PureData a
través del protocolo OSC (Open Sound Control). El sistema está programado de
modo que como más arriba llegue el usuario con el brazo al realizar los
ejercicios, más agudas son las notas que se reproducen. Por tanto, una vez
informado de ello, el paciente se esforzará para que el sonido sea el indicado y
podrá ir corrigiendo, a tiempo real, el movimiento de su brazo, cosa que le dará
también cierto nivel de independencia. En este sentido el proceso podría
entroncar con la tan conocida músico-terapia.
4
Objetivos del trabajo
Otro de los objetivos era conseguir una terapia favorecida por la incorporación
de sonido y de la visualización subjetiva del paciente. Numerosos estudios (que
después veremos con detenimiento) han demostrado que cuando el paciente
se ve involucrado visual y sonoramente en un proceso ya sea artístico o
terapéutico, el nivel de involucración aumenta y los resultados son muy
positivos. En este caso encontramos el trabajo con pacientes autistas o con
discapacidades neurológicas como el alzeheimer.
Por otra parte, he buscado que el tipo de ejercicios fueran lo más ‘visuales’
posibles, que los movimientos a realizar dentro de una sesión pudieran ser
captados por una webcam y producir algún resultado. Eso exigía que en ellos
interviniera el movimiento de, almenos, un miembro superior o inferior del
cuerpo de los ‘pacientes’. Finalmente he escogido las extremidades superiores
y dos ejercicios que se incluyen en la terapia para rehabilitar el hombro.
5
Por otra parte, después de consultar a diversos fisioterapeutas, uno de los
puntos de partida más importantes ha variado. Se trata de la voluntad de que
sea el paciente el que pueda realizar la rehabilitación de forma individual o a
distancia partiendo de unas directices, desde casa o de forma más o menos
libre. Los especialistas consultados me han aconsejado que no es positivo que
el paciente disponga de las directrices de la terapia y las aplique libremente
porque se crean malos vicios en los movimientos y muchas incorrecciones
posicionales en los ejercicios. Aún así, la aplicación de una terapia visual y
sonora en los centros de rehabilitación les ha parecido muy positiva y factible.
6
Proceso creativo:
- Investigación previa
7
Investigación sobre la captación de movimiento a través de EyesWeb
En primer lugar cabe destacar los estudios realizados por parte del InfoMus
Lab, establecido desde 1984 en la Facultad de Ingeniería de la Universidad de
Genova (DIST). Este laboratorio está liderado por Antonio Camurri, profesor
de Ingeniería de software y de Sistemas Multimedia y creador del software
EyesWeb, utilizado en este proyecto. Su tarea de investigación en cuanto a
reconocimiento, parametrización y codificación del gesto y de la expresión del
movimiento corporal en relación con el sonido y la música a tiempo real, ha
sido de gran inspiración y ayuda. Camurri tiene también gran interés en la
interacción humano-máquina, sobretodo a tiempo real y a través de un
ordenador, el cual permite que esta interacción tenga un resultado audiovisual
a través de la programación y del software concreto. Este concepto es parte
importante del proyecto que yo he realizado. Como a mí, a Camurri y a su
equipo le interesa que esta codificación del movimiento permita anticiparse a
él, analizarlo y que todo ello pueda tener un resultado emocional en el sujeto
que interviene en la interacción, sea del tipo que sea esta respuesta.
El punto de vista de Camurri está, tal vez, más enfocado a las artes escénicas
tales como la danza y la música en directo, por sí mismas y en relación con el
espectador. Esto se plasma en uno de sus estudios que me ha sido muy útil en
la investigación previa; ‘Análisis de la expresividad en el movimiento y en la
danza’. En él se insiste en el hecho de que un gesto o ‘una secuencia de
gestos’ puede hacerse de tantas maneras como emociones quieras transmitir.
Camurri estudia a través de qué parámetros se puede expresar este contenido
emocional. Su idea es establecer un canal más de comunicación entre el
humano y la máquina, al cual llama ‘expresividad’ y, para ello, usa cámaras,
aceleradores o sistemas de sensores. Quiere captar el gesto expresivo y
aprovecharlo para sacar conclusiones matemáticas, ¿acabarán los números
expresando algo que no se ve a simple vista? Por lo que parece sí; a cada
frame que capta la videocámara se le asocia una medida (posición, área
ocupada, etc.), y se estudia como éstas varían en el tiempo. Así, se puede
extraer por ejemplo valores como la ‘estabilidad’ de un cuerpo en movimiento,
8
el índice de contracción y de expansión de un cuerpo (básandose en la Teoría
del esfuerzo1 de Rudolf Laban), etc.
1
Rudolf Laban (Austria 1879-1958), coreógrafo, filósofo y arquitecto, planteó una serie de teorías sobre el
análisis de los patrones del movimiento en todos los aspectos de la vida, desde las artes marciales hasta
en personas discapacitadas mental o físicamente. En las artes escénicas sus estudios permiten una
observación más exhaustiva de los movimientos, lo cual permite, a su vez, describir cambios ‘cualitativos’
en el movimiento. Esto se consigue observando como un cuerpo se mueve en un espacio y las formas que
este dibuja al hacerlo, en relación con su peso y con las variaciones del movimiento y como éstas se
producen en el tiempo (su duración).
9
Otra de las investigaciones más reveladoras en mi investigación previa ha sido
la realizada dentro de la European Information Society Technologies (EU IST),
una comunidad europea que promueve la investigación en distintas áreas
(socioeconomia, administración, tecnologías aplicadas, etc.). El estudio
significativo en este caso es el de CARE HERE2 (Creating Aesthetically
Resonant Enviroments for the Handicapped, Elderly and Rehabilitation),
realizado por Tony Brooks (Cultural Center of Scania, Suecia), Stefan Hasselblad
(Emaljskolan Special Needs School in Landskrona, Suecia), Antonio Camurri
(otra vez) y Nishan Canagarajah (University of Bristol Department of Electrical
and Electronic Engineering). En él buscan que los ‘esfuerzos’ de los pacientes,
sea cual sea su discapacidad, tengan una respuesta visual y/o sonora
immediata que sea muy placentera para ellos. Así, esa resonancia estética
produce también una clara respuesta en los usuarios, como se demostró
sobretodo con niños con deficiencias mentales severas. En caso de pacientes
con discapacidades auditivas, se trabajó también con la transmisión de
vibraciones o movimientos como respuesta a su interacción con la ‘máquina’.
La inmersión en la experiencia estético-sensorial era completa en la mayoría
de casos y los pacientes desarrollaban pautas de comportamiento y aprendían
cuáles debían ser sus comportamientos para conseguir unos resultados
determinados. Se comprobó que la mejora sensitiva y de immediatez de
respuesta en los que intervinieron en el estudio, fue muy considerable y que su
percepción del espacio era mucho más concreta que antes.
2
http://www.bristol.ac.uk/carehere/
10
Dapelo. El estudio lleva por título ‘Un modelo computacional de las emociones
artificiales’. Éste parte del usuario colocado en un entorno mapeado en el que
se mueve. Según la posición del usuario en el espacio, la intensidad, rapidez,
lentitud o fluidez, por ejemplo, el sonido que se cree a través del software
concreto será uno u otro (más agudo, más grave, etc.) o sonarán unos u otros
instrumentos (de percusión, de viento, de cuerda, etc.). Por tanto, es el mismo
cuerpo del sujeto (coreógrafo, músico tocando su instrumento, actores, etc.) el
que construye su propia hiper-melodía. Por tanto, el sujeto será capaz de
aprender cuales tienen que ser sus movimientos para que se produzcan unos
sonidos u otros, cosa que resultará en unas u otras emociones en el receptor y
en el mismo actor, bailarín o músico. De esta forma se están creando
emociones ‘artificiales’ a través del movimiento del cuerpo el cual se mueve, a
su vez, según unas emociones individuales determinadas que construirán todo
el proceso de interacción.
11
valores artificiales. En cambio, si trabajamos con humanos, que es mi caso, las
respuestas respecto a la experiencia vivida pueden ser concretas y mejorar el
proceso de interacción.
12
Investigación fisioterapéutica
13
produjese su captación a través de la cámara web para la recogida de los datos
numéricos.
El proyecto está pensado para lesiones parciales del manguito rotador, en caso
de ser una rotura completa o masiva el tratamiento más adecuado es un
proceso quirúrgico o más agresivo. Aun así, la rehabilitación posterior a una
operación sí que podría incluir los ejercicios
escogidos para el proyecto.
14
la parte superior del hombro y su tendón se desplaza debajo del hueso en la
parte externa del hombro (este tendón es uno de los que se lesiona con mayor
frencuencia por su posición entre los huesos), el músculo infraespinoso, el cual
ayuda a rotar el brazo lateralmente, el músculo redondo menor, que también
rota el brazo lateralmente y el músculo subescapular, que realiza los primeros
20 grados de separación del brazo del tronco cuando lo separamos
lateralmente (no se muestra en el dibujo, se encuentra en la parte anterior
justo por detrás del infraespinoso).
1- El péndulo circular
15
La mano del brazo con el hombro afectado se coloca detrás de la espalda y se
mueve hacia el lado opuesto. Se tienen que hacer repeticiones de 10 tandas.
Colocándose con la espalda contra la pared y los brazos rectos hacia los
costados, manteniendo los codos derechos, hay que empujar con los
brazos contra la pared durante 5 segundos y luego relajar (10 veces).
16
Resiste un movimiento lateral hacia arriba empujando el brazo contra el
respaldo de una silla, manteniendo esta posición durante 5 segundos para
luego relajar. Hay que repetir esto 10 veces.
17
En este esquema, el fondo detrás del usuario/paciente debe ser de un tono que
el software no pueda confundir con el azul de la mano en movimiento para
evitar interferencias. El ordenador, por otro lado, debe tener una salida de
audio para que el paciente oiga las notas que sus movimientos producen. Lo
que el usuario estará viendo en la pantalla es lo que se ve en la pantalla del
ordenador y se proyecta (su propio cuerpo en movimiento, las gráficas que va
generando, etc.).
18
Softwares utilizados:
-EyesWeb:
3
http://opensoundcontrol.org/
19
20
El patch de la Terapia Sonificada:
Para la captación del color de la forma adecuada tenemos que aplicar las
transformaciones correctas con los blocks determinados; primero
transformamos el color RGB en YUV, aplicamos un chroma para que capte sólo
el azul que lo ‘transformará’ en píxeles blancos después de aplicarle un filtro
gauss para minimizar las interferencias de color.
21
División en 3 franjas
De esos datos de color extraemos el área del color (la cantidad de color)
porque nos puede interesar saberlo para algún tipo de ejercicio (en caso, por
ejemplo, de que el paciente tuviera que acercarse y alejarse de la cámara), y la
posición (x,y) de la mancha de color convertida en píxeles blancos. Esas
coordenadas del color son las que generan los datos numéricos que se envían
a PureData a través del protocolo OSC y que se envían a las propias gráficas a
tiempo real del EyesWeb (coordenada ‘y’ en el tiempo –altura de la mano- y
coordenada ‘x’ versus ‘y’).
22
Los datos numéricos de ésta primera franja son plasmados en las cuadrículas correspondientes (X mano
Dcha, Y mano Dcha), una vez activado el patch. Estos datos son enviados a las gráficas y a PureData a
través del block OSC.
Hay también en el patch una serie de controles del treshold, y de los niveles de
U y de V.
23
Resultados después del ejercicio:
Las dos gráficas resultantes de una realización correcta del ejercicio tendrían
aproximadamente este aspecto:
24
con el cuerpo y desaparece de la primera franja se dibujará una línea recta en
el tiempo, indicando la ausencia de valores. Si el dibujo de la gráfica indica que
el valor de la ‘y’ es bajo durante la realización del ejercicio (no se llega a un
valor dentro del rango antes indicado), querrá decir que el brazo del paciente
no alcanza el objetivo final del ejercicio. Eso no indica que sea incorrecta la
realización, sinó que el proceso de rehabilitación aun está en las primeras fases
y que el paciente no es capaz de llegar al ángulo recto. Puede también suceder
que por las características de la lesión el objetivo final no sea llegar con el
brazo a formar un ángulo recto respecto al cuerpo. Dependiendo de cada
paciente y del tipo de lesión, el terapeuta tiene que fijar los objetivos de cada
ejercicio y comunicarlos al usuario.
En la segunda
gráfica
observamos
que el trazado
es fruto de ‘x’
respecto a ‘y’
durante la
realización del
ejercicio. Si el
Estas gráficas serían las resultantes de que el paciente no llega a formar con el brazo
dibujo de las un ángulo recto respecto el cuerpo, que no llega al un valor dentro del rango óptimo
(ya sea por la mala realización del ejercicio o por indicación expresa del terapeuta).
coordenadas en
esta tabla no se asemeja al de la imagen, si está desviado o bien es más corto
que en la gráfica, el ejercicio no se estará realizando correctamente. Esto,
como en la primera gráfica, es relativo, ya que dependerá de los objetivos
marcados por el terapeuta especialista para cada paciente y cada caso o
lesión.
Los errores cometidos tendrán que ser indicados al paciente por parte del
terapeuta. Si la curba de la primera gráfica no es similar a la que observamos
(su rango mínimo y máximo varia mucho respecto al de la imagen), el ejercicio
no estará bien realizado y los objetivos de la realización no se habrán
25
conseguido. El terapeuta será, también, el que se ocupará de indicárselo al
paciente para optimizar sus movimientos.
26
- PureData:
27
mancha de color azul que provienen de EyesWeb y se transforman en las notas
de un piano MIDI. El dumpOSC 1 manda datos al OSCroute /XcentroAzul, el cual
manda valores numéricos y bangs
continuos. Como cada nota se
corresponde a un valor, suena como un
continuo fluir de notas. La idea es que el
paciente pueda relacionar su movimiento
con las notas, así, en la abducción lateral
del brazo, por ejemplo, las notas sean
cada vez más agudas a medida que vaya
ascendiendo y más graves al bajar. El
propio paciente puede ir mejorando la realización del ejercicio mientras lo
realiza si el sonido que efectua no es lo suficientemente agudo y puede
observar y escuchar su evolución a lo largo de las sesiones.
A través del protocolo OSC el PureData capta los datos enviados desde EyesWeb.
El valor que envia EyesWeb tiene que escalarse para que sea plasmado en la
gráfica de forma adecuada. Para ello hay que introducir el objeto scale y
mandar el valor escalado a la gráfica tal y como se muestra en la captura de
pantalla siguiente.
28
Si abrimos el subpatch en el que se encuentran los objetos que activarán y
dibujarán la gráfica durante la ejecución de los ejercicios, vemos que es el
objeto tabwrite el que hará que esto
suceda y que un contador será el que
marque el tiempo durante el cual la
gráfica estará activa y la curba se estará
dibujando con los datos numéricos ya
escalados.
29
Gráfica en su estado inicial, antes de poner en marcha el patch de EyesWeb
30
Resultados después del ejercicio
31
Una ‘incorrecta’ realización del ejercicio (siempre dependiendo de los objetivos
marcados, pero en su mayoría sucedería así) daría resultado gráficas con un
rango muy inferior de movimiento del brazo y, produciría, además, una
sensación auditiva menos placentera ya que las notas que escuchamos son
mucho más graves y casi inaudibles para el paciente. Para que se ‘oigan’ los
movimientos el paciente tendrá que esforzarse para elevar el brazo
lateralmente todo lo que pueda (siempre si hablamos de este ejercicio en
concreto, el de la abducción lateral del hombro).
32
Autocrítica final
Está claro que este proyecto tiene muchos handicaps a superar, que podría
evolucionar hacia muchas direcciones, incluso muy divergentes de la línea
principal del trabajo y que hay partes que se podrían y deberían desarrollar
mucho más.
Por otro lado, los ejercicios elegidos de la terapia de rehabilitación tienen unas
características muy determinadas. Si quisiéramos llevar a cabo una sesión
completa de rehabilitación a través de EyesWeb los problemas serían evidentes
y todo se volvería mucho más complejo. Cabe añadir aquí que las lesiones a
tratar no deben de ser graves o fruto de procesos quirúrgicos, ya que los
movimientos tienen que ser muy controlados. En ese sentido, como ya indiqué
en el texto del proyecto, muchos de los ejercicios tendrían que ser traducidos a
otro tipo de fuerza utilizando, por ejemplo, sensores con un alto grado de
sensibilidad y otro tipo de programación y softwares (Arduino, Firmata, etc.).
33
con este proyecto la terapia de rehabilitación mejoraba en algún sentido, si ello
aportaba algo nuevo. Después de observar varias sesiones en vivo de
rehabilitación, me dí cuenta de que este proyecto podría funcionar mejor en el
sentido artístico-experimental para pacientes con discapacidades, para
ayudarles a ser conscientes de su propio cuerpo y, por tanto, a controlar mejor
sus movimientos y a recuperar cierta funcionalidad de los miembros atrofiados.
También seria útil en pacientes con edad avanzada o con cierto nivel de
ceguera o problemas auditivos. A un nivel más práctico la Terapia Sonificada
resultaría un tanto incómoda para el paciente. Todo esto funciona muy bien a
nivel teórico, pero como ya he comentado se han hecho numerosos estudios
que demuestran que también se obtienen muy buenos resultados en la
práctica cuando en las terapias para pacientes con discapacidades de todo tipo
interviene el sonido y la imagen.
Para tener una salida real y factible hacia su utilización en los centros de
rehabilitación muchos de los aspectos más débiles técnicamente, sobretodo en
la programación, tendrían que mejorar. Por ejemplo, las gráficas podrían ser
mucho más detalladas y la parte visual ser independiente y más elaborada
para que el sistema no se sobrecargarse y, así, evitar riesgos de que todo se
‘colgase’ en cualquier momento. Ello exigiría un equipo potente de proyección
y de trabajo, cosa que no se da en todos los casos. Eso hace que este trabajo
tenga un nivel bajo de adaptabilidad por el momento. Aun así, si simplificamos
el patch, el sistema tiene muchas posibilidades de estar funcionando durante
un tiempo suficientemente largo; se cubre sin problemas el tiempo de
realización del ejercicio, pero exige un control del terapeuta o experto para que
las gráficas sean correctamente grabadas.
34
Si lo enfocamos positivamente, el proyecto presenta tantas salidas potenciales
como handicaps. En el diagnóstico de las lesiones y en el seguimiento de su
evolución puede resultar muy positivo disponer de datos numéricos concretos
o de gráficas que los plasmen de cara al terapeuta. Además, la visualización de
los datos y este seguimiento con cierto grado de profundización, influye
positivamente en la motivación del paciente. Es importante la predisposición
tanto del usuario como del terapeuta para utilizar sistemas de interacción con
máquinas, ya que a veces puede ser más un obstáculo que un instrumento
para mejorar la terapia.
En cuanto a los rangos en los que se trabajan los ejercicios, al ser datos
numéricos, se pueden generar modelos que sirvan para aplicar al mismo tipo
de lesiones o lesiones similares de hombros. En este sentido, también se
pueden crear pautas para otros tipos de lesiones o ejercicios y establecer
directrices del comportamiento de diversos tipos de pacientes. En
enfermedades de tipo mental o neuronal este tipo de ejercicios puede mejorar
y funcionar como apoyo de los procesos de rehabilitación. Ya que contamos con
datos numéricos del análisis del movimiento, sería también muy fructífero de
cara al proyecto, aplicar la ingeniería mecánica y el diseño industrial para la
construcción de prótesis o para mejorar la maquinaria ‘inteligente’ de la
práctica clínica en rehabilitación (como la terapia del biofeedback). Este
sistema también ayudaría a mejorar la relación activa entre el paciente y el
terapeuta, así como las técnicas de captación del movimiento del cuerpo
humano para animación o para videojuegos (a un nivel más rudimentario que
con otras técnicas avanzadas utilizadas actualmente con este fin).
35
también puede participar en la performance. El aspecto médico también es
destacable ya que se pueden extraer muchos datos del trabajo con los gestos
de la cara o del cuerpo para determinar y preveer conductas o enfermedades
futuras: reacciones exageradas (en personas excesivamente violentas, por
ejemplo), síntomas de una enfermedad mental futura en bebés, detectar
atrofias o faltas de mobilidad, etc. En cuanto a la sociología podemos, además,
estudiar y analizar gestos que indican un comportamiento determinado: que
estamos mintiendo, que tenemos miedo, que nos da vergüenza, que estamos
contentos, que algo nos entristece, etc.
Fuentes
36
- A.Camurri, R.Trocca
Analysis of Expressivity in Movement and Dance, in Proc. XIII Colloquium
on Musical Informatics, L'Aquila, Italy, September 2000.
- G.Castellano.
Experiments, Analysis, and Models of Motor Activation as a
Component of an Emotional Process, Master Thesis, DIST-University of
Genoa, InfoMus Lab, October 2004.
37
Communication in Human-Computer Interaction", LNAI 2915, Springer Verlag,
2004.
Páginas web
http://www.icdvrat.reading.ac.uk/2002/papers/2002_27.pdf
http://www.infomus.dist.unige.it/
http://www.iua.upf.es/~xamat/Thesis/html/node77.html
http://digitalmedia.oreilly.com/2005/04/27/pd.html
38
Biofeedback:
http://www.mayoclinic.com/health/biofeedback/SA00083
http://www.neurobitsystems.com/es/
http://en.wikipedia.org/wiki/Biofeedback
http://www.bioingenieria.edu.ar
Esferodinamia:
http://www.silviamamana.com.ar/bibliografia.htm
http://www.planetamama.com.ar
39
Agradecimientos
A todos los que me han apoyado de la forma que sea durante la realización de
este proyecto.
40