Ingeniera Multimedia 2 Curso

Videomapping
Interactivo
Proyeccin

Kevin Folgar Batista

Nima Ledgard Majidi

David Girn Jareo

Maria Jos Brotons Giner

Sandra Mara Garzn Hernndez

Gala M. Garca Snchez

Lorena Roxana Gallego de la Sacristana Gama

Francisco Guirao Cases

Isabel Terol Martnez

Ismael Perruca Jan

ndice
Francisco Guirao Cases
Gala Mara Garca Snchez
Kevin Folgar Batista
Mara Jos Brotons Giner
Nima Ledgard Majidi
Ismael Perruca Jan

Introduccin ... 3

Qu es un videomapping?.............. 4

Arquitectura... 6

Proceso de aprendizaje.... 11

Conclusin .. 16

Introduccin
Hoy en da gracias a las nuevas tecnologas es posible jugar videojuegos en
prcticamente cualquier parte. Entre consolas de sobremesa, consolas porttiles,
dispositivos mviles, tablets, etc... Pocas formas de jugar nos pueden sorprender ya,
pero Qu me diras si te propusiramos jugar utilizando como nivel la fachada de un
edificio? Y si adems te dijramos que puedes hacerlo utilizando tu propio cuerpo
para controlar el juego? Pues eso ni ms ni menos es nuestro proyecto. Vamos a
realizar un videojuego desde 0 y a proyectarlo sobre una estructura situada en el patio
interior del Museo de la universidad de Alicante.

Cmo vamos a hacerlo?

Utilizaremos para ello una tcnica novedosa que cada vez es ms conocida y utilizada
en grandes eventos, se trata del videomapping. El videomapping es una tcnica que
consiste en proyectar imgenes sobre superficies reales, generalmente inanimadas,
para conseguir efectos de movimiento o 3D dando lugar a un espectculo artstico
fuera de lo comn. Este tipo de espectculos suele ir acompaado de algn tipo de
efecto sonoro para hacerlo ms vistoso y llamativo, nosotros aadiremos este efecto
creando una banda sonora que acompaar al jugador durante la partida.
Es importante comentar que el videomapping est orientado a estructuras ms
complicadas siendo as posible una utilizacin mayor de los elementos arquitectnicos.
Ese iba a ser nuestro caso en un comienzo, cuando bamos a realizar la proyeccin
sobre la fachada del mercado central aprovechando su 80 aniversario pero finalmente
y tras tenerlo todo preparado para comenzar a trabajar sobre esa fachada, el
ayuntamiento deneg el presupuesto y finalmente tuvimos que depender de la
universidad para la realizacin del proyecto.

Qu pretendemos conseguir?
Nuestro objetivo principal es crear un espectculo que entretenga y llame la atencin
de la gente. Queremos que puedan probar en persona nuestro proyecto y que lo
disfruten. Para ello hemos utilizado un medio de entretenimiento como es un
videojuego y hemos incorporando controles que son ms intuitivos para la gente no
acostumbrada a jugar por medio del kinect. Con esta finalidad hemos tratado de
hacerlo lo ms vistoso posible tanto a la vista como al odo.
Por otra parte queremos utilizar esta experiencia para aprender en distintos mbitos
tiles en nuestra futura experiencia profesional.

Videomapping
La principal meta de este proyecto es realizar un videomapping sobre una superficie o
estructura al aire libre para el ocio pblico. Nos decidimos por realizar un espectculo
audiovisual interactivo; un videojuego en el que el usuario pudiera interactuar de
algn modo con los elementos de la fachada o estructura y en caso de ser posible,
aadir efectos especiales.

El lugar elegido en un principio era la fachada del mercado central de Alicante, con
motivo de su 90 aniversario. Es aqu donde inicialmente se iba a centrar la atencin del
proyecto. Comprobamos el lugar en varias ocasiones teniendo en cuenta las claves de
una proyeccin, para determinar el rea de trabajo. Pero ms adelante hubo que
trasladar el proyecto al museo de la universidad de Alicante. Ello no afect al plan y la
distribucin que ya tenamos previstos, tuvimos que trabajar con medidas nuevas y
redisear el juego.
En un principio necesitbamos de un programa que nos permitiera ajustar la imagen
del juego en tiempo real, adems de un proyector que cumpliera con las caractersticas
necesarias para llevar a cabo la proyeccin. Aunque las pruebas preliminares se
hicieran con un proyector normal, era necesario investigar para saber el tipo de
proyector que necesitbamos.
Llegamos a probar varios programas diferentes, todos de licencia gratuita o con
versiones de prueba, siendo estos los ms vistos:
- Arkaos
- Millumin
- VTP
- VVVV

De entre ellos nos decidimos por Millumin, capaz de trabajar con imgenes en tiempo
real, y que adems destaca por su simpleza y facilidad de aprendizaje. Por un lado era
un programa temporalmente exclusivo de mac, por lo que nos fue necesario conseguir
uno para trabajar con el programa y obtener as resultados.
Al mismo tiempo, la parte de logstica se encarg de ver las capacidades del proyector
que necesitbamos, consiguiendo informacin en internet o bien de gente
especializada en estos materiales. En este sentido Gorka, un tcnico del paraninfo de la
universidad, nos pudo proporcionar un proyector con las caractersticas requeridas:
alrededor de unos 7000 lmenes y un buen alcance de proyeccin a unos 20 metros.
Ya dispuestos todos los recursos necesarios, el videomapping poda comenzar su
correcto desarrollo.

Qu es un videomapping?
El videomapping es una tcnica consistente en proyectar imgenes sobre superficies reales,
generalmente inanimadas, para conseguir efectos de movimiento 3D dando lugar a un
espectculo artstico.

Caractersticas
Lo ms comn a la hora de hacer un videomapping es proyectar las imgenes sobre edificios,
acompaando los efectos visuales con efectos sonoros que aporten mayor espectacularidad a
la escena. El xito de un videomapping consiste en hacer una medicin precisa del espacio a
proyectar: cada ngulo, volumen, ventana o sillar, son fundamentales para crear efectos ms
realistas, confundiendo la vista de los espectadores.
A partir de esta medicin se realizan animaciones en 2 y 3 dimensiones, con un abanico muy
variado de efectos: transformaciones, destrucciones, bloques que se desplazan, ventanas que
se abren o la aparicin de personajes reales o imaginarios, nieve sobre los volmenes, fuego,
etc... Esta animacin es proyectada sobre la superficie real, convirtindose en una segunda piel
de luz y color, generando una percepcin nica del espacio.

Realizacin
La parte ms importante de todo son los contenidos. Si se trata de una fachada, u objeto, se
debe recrear el contenido visual a escala, para que no haya deformaciones. Lo ideal es obtener
los planos en CAD de la fachada y modelar en 3D o after effects sobre la plantilla que nos
ofrece el CAD. Otra alternativa, como en el caso de nuestro videomapping, es realizar un
mapeado de prueba sobre la superficie en cuestin, para as tener procesadas las siluetas en
las que se ha de proyectar en el ordenador, permitiendo trabajar con ellas.
5

Arquitectura del proyecto

A la hora de escoger los componentes que formaran parte de nuestro proyecto, tuvimos en
cuenta aquellos que cumplan los requerimientos necesarios para la elaboracin del
videomapping. La seleccin, finalmente estuvo acotada por nuestro presupuesto siendo el ms
barato posible con los componentes ms ptimos. Hubo muchas variaciones en los elementos
por el cambio de ubicacin que desde un inicio sera en una fachada del mercado para,
finalmente, ser en el museo de la Universidad de Alicante.

Perifricos
Para llegar a cabo la proyeccin sern necesarios dos ordenadores (uno con MAC OS y
otro con Windows OS), un kinect y un proyector.

Computadores
Como acabamos de indicar, haremos uso de dos. Esto se debe a que necesitaremos
durante la ejecucin dos sistemas operativos diferente, MAC OS y WINDOWS OS.
En un principio, solo necesitaramos de uno con el sistema operativo de Windows pero
los programas que nos permitan realizar el mapeado en este sistema operativo no nos
ofrecan la posibilidad de proyectar a tiempo real.
Al tratarse de un videojuego, y que el nico programa gratuito que ofreca dicho
servicio era para MAC OS, decidimos el usar los dos ordenadores a la vez. Tambin
barajamos la posibilidad de arrancarlo con mquina virtual pero el juego se ralentizaba
y no era posible que se ejecutase el juego sin cierto retraso temporal. De este modo,
utilizamos WINDOWS OS para tener ejecutado el juego y utilizando el kinect y el MAC
OS para realizar la proyeccin con el millumin.

Kinect
Kinect es un controlador de juego libre y entretenimiento de sptima generacin
fabricado por Microsoft para la videoconsola Xbox 360.

Permite a los usuarios controlar e interactuar con la consola por movimientos, sin
necesidad de mandos ni otros perifricos. Aprovechamos esta tecnologa para incluirla
en el videojuego de nuestro videomapping. As, el jugador, en lugar de usar cualquier
clase de controlador, dispone de una zona de juego (donde estar el kinect) y podr
jugar mediante el movimiento. Los movimientos con los que interactuar con el juego
son: saltar, agacharse y dar un puetazo al aire.

Proyectores
Este es el apartado donde encontramos todas las modificaciones resultado del cambio
de ubicacin. Como se ha mencionado, en un principio proyectaramos en el mercado.
Tras varias visitas evaluando qu zona sera la ms apropiada, concluimos que la
fachada trasera era la que ms posibilidades ofreca para interactuar con los elementos
y, adems, menos problemas presentaba. Esto es as, porque en la fachada principal, el
proyector deba encontrarse en la acera de enfrente y, dependiendo de la altura, se
vera interrumpido por el trfico e, inevitablemente, las palmeras.
Por otro lado, las fachadas laterales se encuentran en calles demasiado estrechas para
proyectar (adems que disponen de poca acera para que sea visible por todos). Por
estos motivos escogimos la trasera aunque, an as, tenamos que sortear una farola
que estaba en el centro de la fachada. Pensamos en sortearla acercando el proyector
por delante de dicha farola pero la superficie en la que proyectara sera demasiado
pequea debido a la cercana de este elemento urbano al edificio. Tras consultar a
profesionales, estuvimos de acuerdo con que utilizaramos dos proyectores desde
distintos ngulos (lo cual supona un autntico rompecabezas para el mapeado). Como
al final se decidi que no proyectaramos ah y en su lugar el evento sera en el museo
de la Universidad, se nos facilit mucho la tarea del mapeado.

Es entonces cuando entramos en contacto con Gorka, quien nos facilit el acceso a
unos proyectores disponibles en la universidad. En concreto utilizamos un proyector
Christie LX650. Se trata de un proyector de una potencia de 6500 lmenes (aunque
modificado con una lmpara de 7500) y 1,7 de lente. Este proyector, aunque no ofrece
unos resultados tan espectaculares en cuanto a luminosidad, fue suficiente para poder
realizar la proyeccin sin problemas.

Altavoces
El sonido del evento es tambin un punto clave. Hay que pensar en el evento del
videomapping como algo concurrido, donde habr mucho ruido ambiental y provocado
por los participantes all presentes. As que lo ideal es tener una potencia sonora
suficiente como para ahogar el ruido de fondo y que se oigan perfectamente los
efectos sonoros y la msica. Se nos facilitaron para esta tarea 2 altavoces Meyer Sound
autoamplificados. El tener 2 altavoces asegura que el sonido sea uniforme, y la
potencia de stos ayudar a que se oiga perfectamente todo. Se colocarn en la zona
donde el jugador interactuar con el kinect, a ambos lados, de forma que no se
interrumpa la trayectoria de los rayos del proyector.

Conexiones
En un sistema complejo como el que vamos a montar para poder proyectar el juego, es
importante tener claros las conexiones entre los dispositivos a utilizar, ya que
necesitamos
los
cables
pertinentes
para
cada
una
de
stas.
A la hora de conectar el PC a los altavoces, utilizamos una tarjeta de sonido con salidas
TRS (es decir, para cables Jack) que permite conectarlo de forma directa y rpida.
Para conectar el MAC al proyector, utilizamos la salida VGA estndar con su
correspondiente cable. Por ltimo, para conectar los dos ordenadores lo hacemos
mediante red. Usamos, por lo tanto, un cable de red que va del MAC al PC, para poder
conseguir la imagen del PC en el MAC.

Resultado
Finalmente, este sera el esquema de los componentes que necesitamos y como iran
conectados:

Millumin
Antes de escoger este software estuvimos probando otros, todos para WINDOWS OS.
El que ms llegamos a entender y practicar fue uno llamado VPT. Este programa nos
permita mapear una superficie y proyectar sobre un espacio concreto pero siempre
deba ser un vdeo grabado, es decir, no nos permita proyectar en vivo.
Este fue el nico motivo por el que tuvimos que cambiar de software y comenzar a
buscar algn otro que s nos permitiera. En nuestra bsqueda apareci Millumin que
era un software gratuito para MAC OS desarrollado por Anomes.
Millumin nos permite proyectar un vdeo e interactuar con l a tiempo real. Ha
resultado ser una herramienta muy eficiente. Aprender a emplear este software ha
sido muy cmodo y sencillo porque es totalmente intuitivo su uso, esto se debe quizs
a la interfaz tan simple que posee

10

Cmo usar Millumin

Como ya hemos explicado, su aprendizaje es intuitivo y, a continuacin, expondremos
una breve descripcin de su uso de la forma ms bsica y breve posible.

Mapeando
Una de las fases ms complicadas del videomapping , debido al perfeccionismo con el
que se ha de llevar a cabo, es el mapeado.
Mapear consiste en fijar nuestro espacio de proyeccin en una superficie irregular
haciendo que nuestra proyeccin quede en el interior del elemento.

Imagen A Imagen B
Como podemos observar en la Imagen A, nicamente se proyecta sobre la superficie
del edificio. Esto se ha conseguido con un previo mapeado, adems para algunos
elementos parezcan planos sin que sus estructuras estorben, se necesita otro tipo de
mapeado. Por ejemplo, si quisiramos hacer una imagen plana en un lugar de la
fachada donde hay una columna necesitaramos mapear y podramos causar este
efecto dando niveles a nuestra imagen. De este modo, se proyectara, por as decirlo,
en 3D en nuestra pantalla pero, realmente, sobre el plano del edificio quedara liso.
Para realizar este tipo de efectos necesitamos modificar la malla de nuestro
vdeo/imagen. Se puede observar como es la malla en la Imagen B. Tiene diferentes
nodos, podemos elegir la cantidad de nodos que aparecer, dependiendo de lo
complicado que sea la superficie en la que queremos mapear habr ms o menos.
Estos nodos podemos moverlos a nuestro gusto, de hecho, en la Imagen B ya se ha
comenzado con el mapeo ya que, inicialmente, la malla se nos muestran sobre la
imagen como un rectngulo perfecto y plano. Estas tcnicas las hemos usado para
mapear la parte en la que vamos a proyectar en el MUA. La zona escogida presenta una
fachada totalmente plana al final precedida por unos escalones. Hemos realizado el
mapeado en los escalones para que las imgenes de nuestro videojuego no se vean
interrumpidas y pueda mantener una apariencia de continuidad muy importante

11

Imagen C Imagen D

En la Imagen C se expone nuestra imagen real. Y as es como queremos que se

proyecte para que no tenga ningn tipo de deformacin, pero si la proyectamos sobre
un escaln sin ningn tipo de mapeado tendremos como resultado la Imagen D. En
cambio, si modificamos las mallas de tal forma que en nuestra pantalla se reproduzca
como esta ltima imagen, s se proyectara en el edifico como si fuera la Imagen C.

Panel de Control
Para incluir imgenes, sonidos o vdeos necesitamos hacer uso del panel de control. Ah
encontramos diversas capas (layers) que estarn reproducindose. Las capas activas son
aquellas que no tienen la transparencia activada, adems, todo se rige por una lnea de tiempo
donde podemos decidir en qu momento entra un determinado sonido o imagen/vdeo.
En nuestro proyecto nicamente tenemos que tener en cuenta que se reproduzca nuestro
vdeo en vivo as que no tenemos ningn tipo de problema a la hora de configurar las capas.

Proceso de aprendizaje
Buscando el software
A lo largo del proyecto surgieron momentos en los que, debido a la existencia de diferentes
alternativas de software que podan servirnos para realizar correctamente el mapeado,
tuvimos que probar varias de ellas para determinar cual era la ms conveniente. Esto supuso la
necesidad de aprender a utilizar ms de un programa destinado a la misma tarea, aunque
acabramos utilizando uno de ellos.

12

La primera opcin en la que nos adentramos fue la del VVVV. Se trata de un programa
multiusos que, entre sus aplicaciones, pareca contar con la posibilidad de proyectar una
fuente de vdeo en tiempo real mapendola. Aunque se trataba de una alternativa que a
primera vista se haca muy completa y verstil, result que no nos servira para esa tarea, o al
menos no de una forma lo suficientemente sencilla como para aprenderla por nosotros. As
que no llegamos a profundizar en ello y la descartamos.

VPT
El siguiente paso que dimos fue probar el programa VPT. Fue en l donde pasamos una mayor
cantidad de tiempo aprendiendo las tcnicas de mapeado, mientras comprendamos mejor los
fundamentos tericos de la proyeccin sobre estructuras tridimensionales.
Pero finalmente, de nuevo, result imposible usar el programa para mapear vdeo recibido de
otro terminal en tiempo real. Aunque s permita hacerlo con un vdeo guardado en memoria,
o incluso con vdeo grabado desde la cmara del propio terminal, no era eso lo que nos
permitira continuar el proyecto.

Syphon
En ese momento tuvimos que sopesar varias alternativas, de nuevo. Tras investigar un poco,
vimos que era necesario utilizar Syphon Virtual Screen, un framework que permite captar la
imagen completa de un monitor de un terminal y transferirlo en forma de fuente de vdeo a
otro ordenador. Syphon no es un programa independiente, si no que se encarga nicamente
de la citada tarea. Para poder utilizarlo era necesario un programa que sea compatible con
Syphon. Se propusieron opciones como IR Mapio, Modul 8 o Madmapper.

13

El problema fue que no podamos utilizar esos programas, ya que se trata de software de pago,
y si bien existan versiones de prueba, estas tenan una funcionalidad limitada u otros
inconvenientes (como el logo del programa proyectndose de forma permanente).
Las dos excepciones con las que dimos eran Arkaos y Millumin. Ambos garantizaban la
compatibilidad con Syphon, pero era el segundo el que ms se adaptaba a lo que buscbamos
realizar, y lo que es ms importante: era simple de utilizar y sencillo de aprender a manejar.
Otro problema que surgi es que si queramos aprender a manejarlo, necesitaramos un mac
en el que instalar el programa. Tras conseguir uno de forma temporal, pudimos comenzar a
utilizar el programa en profundidad.

Primeras pruebas
Comenzaron las pruebas de mapeado en la propia escuela politcnica. Probamos a realizar
proyecciones en plano, as como tambin a recortar la silueta de una persona sobre la pared
al proyectar sobre sta. La prueba ms consistente que realizamos se llev a cabo en el saln
de grados, donde proyectamos una imagen de lneas verticales sobre una pared cortada
horizontalmente por un delgado relieve a la mitad de su altura aproximadamente.
Decidimos intentar que en ese relieve las lneas no se vieran cortadas, y crear la ilusin de que
no exista relieve alguno al proyectar la imagen. Tras esta prctica ya sabamos lo necesario
para realizar un mapeado de una superficie mayor como la de una pared o fachada, tanto del
proceso como del uso de Millumin.

Cambio de ubicacin
Tras unos problemas de presupuesto y materiales, el lugar de realizacin del evento cambi
del mercado central al museo de la universidad.

14

Esto supuso cambios en los materiales que necesitbamos, pero el proceso tcnico de
videomapping segua siendo exactamente el mismo. Cambi entonces el tipo de mapeado que
debamos realizar: si en el mercado bamos a replicar toda la superficie del mercado central, en
el museo tenamos que mapear las escaleras, adems de parte del muro liso perpendicular a
stas. La idea era que, desde un determinado punto de la zona del evento, el espectador viera
la imagen proyectada sobre las escaleras de forma continua, no entrecortada (como realmente
se ve) por los distintos relieves de cada escaln.

Proyectando en el exterior
Llegado el da (o la noche) de la primera proyeccin en el lugar del evento, el trabaj de
mapeado fue rpido y segn lo planeado, en unas horas habamos acabado. En cuanto la luz
del da comenz a desvanecerse (es necesaria la menor presencia de luz posible para una
calidad de proyeccin aceptable) lo primero que hicimos fue, con ayuda de los tcnicos,
posicionar correctamente el proyector. Lo ubicamos en un punto donde se alcanzase a cubrir
el ancho total de la pared sin perder demasiada calidad de imagen y luminosidad.
Lo siguiente fue proyectar la imagen del ordenador en la pared, lo cual fue sencillo con
Millumin. Comenzamos el proceso de mapeado mientras resistamos como podamos el fro. El
manejo del software a la hora de realizar el mapeo es muy delicado y requiere de precisin
exacta, as que nos llev unas horas hasta que finalmente todo estaba correctamente
encuadrado. Al finalizar el mapeado, cualquier espectador que se colocase en la zona
designada para jugar percibira una imagen continua, cuando en realidad estaba cortada por
los diversos escalones.

15

Finalizacin y contratiempos
Realizado el mapeado, slo quedaba el ltimo paso. Debamos conseguir llevar la imagen
capturada del PC desde el MAC a Millumin. Como ya se ha mencionado, Syphon deba
servirnos para esta tarea. Sin embargo, imprevistos de ltima hora unidos a problemas de
tiempo y, sobretodo, a la carencia de un MAC propio en el que efectuar pruebas de ltima
hora, provocaron que esta parte del proyecto no pudiera ser probada a tiempo. La idea, no
obstante, sigue siendo la misma. Contamos con el contratiempo de que la versin de Syphon
para usuarios es tambin algo difcil de encontrar, y la documentacin es escasa, aunque
sabemos con certeza que es capaz de hacer lo que necesitamos para realizar la proyeccin
final.

Conclusin
Qu hemos conseguido?
Hemos logrado efectuar de forma precisa y efectiva el mapeado de una superficie irregular
como es la escalera del museo de la universidad, teniendo en cuenta tanto la separacin entre
los escalones como la diferencia entre la rectitud del posterior muro y los propios escalones.
Se ha conseguido por lo tanto que los espectadores que se coloquen en la zona designada para
el evento del videomapping perciban los elementos proyectados como una imagen continua, a
pesar de que realmente se encuentre entrecortada.
Tambin hemos sabido posicionar cada uno de los dispositivos del proyecto en la zona
adecuada. El proyector est lo suficientemente lejos de la pared como para abarcarla toda
pero sin perder demasiada definicin y luminosidad. Los altavoces sern colocados a ambos
lados de la zona donde el jugador usara el kinect, sin interrumpir los haces de luz proyectados,
as como un foco de luz que alumbre lo suficiente al usuario como para que el kinect reciba sus
movimientos (aunque sin llegar a alumbrar el rea proyectada).
Por ltimo, hemos conseguido preparar un ordenador MAC y un PC para que, desde el MAC,
recibamos sin problemas la pantalla del Windows en tiempo real, permitiendo proyectar
cualquier cosa que se ejecute en el PC a travs del MAC.

Qu esperbamos conseguir?
Bsicamente, esperbamos poder llevar a cabo la proyeccin completa del juego final. Si bien
hemos logrado realizar el mapeado, posicionar todos los elementos en la escena y conectar los
dos ordenadores, recibiendo uno la pantalla del otro, realmente ha faltado un punto
importante (y final): no hemos conseguido pasar esa imagen recibida al programa Millumin.
Contratiempos finales como la dificultad de conseguir una versin del Syphon para usuarios (el
16

cual antes s se poda conseguir), unido a la falta de un MAC propio que no preveamos ms
necesario, han provocado que este ltimo punto no se haya logrado a tiempo. A pesar de eso,
los dems objetivos del videomapping se han cumplido, y con una planificacin algo mejor
respecto al Syphon Framework, hubiramos realizado la proyeccin completa del juego.

Qu esperamos conseguir en el futuro?

El proyecto tendr, por supuesto, una continuidad en el futuro prximo. Para prximas
pruebas esperamos conseguir finalmente el Syphon (el cual todava podramos conseguir de
otra forma distinta a la de descargar un instalador con algo de tiempo) para as poder
proyectar el juego final. No se cierra la posibilidad de realizar un nuevo mapeado en el caso de
que se consiga un proyector ms potente, lo cul no variara el proceso del videomapping,
pero s que aumentara la calidad visual de la proyeccin. Todo esto se ir abarcando de aqu
en adelante, para finalmente proyectar en febrero el resultado definitivo.

17