1

ENCARANDO EL
FUTURO

soplan las cosas mientras estamos

en el medio de la calle. Es extrao, pero genial. Muy cool.
The House of Moves tiene
artistas que llevan marcas en sus
rostros y cuerpos, y captura a
ambos al mismo tiempo en los

sistemas pticos basados en el

marcador para capturar las actuaciones de todo el cuerpo con
sus propias cmaras, la compaa
ofrece ahora una plataforma de
cabeza con cuatro cmaras para
capturar msica de los marca-

Por Barbara Robertson

Si los ojos son la ventana del alma, entonces la cara

sin duda es la puerta de entrada.

urante muchos aos, los artistas CG y animadores creado en ILM para The Avengers ( 2012 ) result en nomihan tratado de reproducir los rostros humanos dig- naciones al Oscar a los mejores efectos visuales.
italmente y para producir criaturas con emociones
Entonces, qu hay de nuevo? Tres cosas: En el exhumanas que juegan en sus rostros. Los que tienen tremo superior, la captura de movimiento facial y retargeting
un buen ojo para el detalle han copiado laboriosamente expre- es cada vez ms realista y los estudios y compaas intentan
siones fotograma a fotograma de vdeo en caracteres digital- perfeccionar sus herramientas y los artistas se vuelven ms
es. Y durante muchos aos, los cientficos CG han ayudado a practicos. Los motores de juegos pueden jugar personajes
hacer esta tarea ms fcil y ms rpims realistas . Y en un nivel casi
do mediante la creacin de la cmara
consumidor, sensores 3D, tales como
y los sistemas basados en sensores
Kinect de Microsoft y los de Phasque captan, con diversos grados de
eSpace, combinado con la captura y
precisin y el arte, las caras humanas
el software de redireccionamiento,
en movimiento - por lo tanto, dando
se va democratizando la captura
a los artistas y animadores a partir
facial.
digitales punto basado en la realidad.
La oportunidad para que los
Hemos visto los resultados en
actores interpretan a s mismos a
el cine - desde el primer gran intento
cualquier edad , tamao , o la forma
de reproducir las caras de los actores
es cada vez ms atractivo y disponien Final Fantasy ( 2001 ) , a travs
ble como dopplegangers digitales
de Robert Zemeckis trabajo de The
y los caracteres se convierten cada
Polar Express ( 2004 ) a travs de
vez ms realistas y se disminuyen
Beowulf ( 2007 ) creado en Sony
los costes . En los juegos, figuras del
Pictures Imageworks, a Christmas
deporte se parecen ms a s mismos,
Carol ( 2009 ) de ImageMovers digiy los guerreros , los extranjeros,
tal.
y los avatares pueden transportar
Tambin en 2009, el desememociones crebles - especialmente
peo de Digital Domain de la versin
en las escenas de corte y cinemtidigital, el viejo Brad Pitt creado por
cas , sino cada vez ms en el juego
El curioso caso de Benjamin Button
. Pronto, los consumidores sern cacuatro cmaras ajustadas a la base de la ca(2008 ) ayud a que la pelcula re- Las
paces de crear avatares que pueden
beza en el sistema de Vicons Cara capturan los
cibi una nominacin al Oscar a la marcadores. El software CaraPost crea un punto 3D gastarse sus expresiones faciales y
mejor pelcula y trajo a casa un Os- representando la posicin del marcador.
ver versiones expresivas de s miscar a los mejores efectos visuales.
mos en los quioscos.
Del mismo modo, cuando se hace bien, los personajes
Es un momento emocionante para los productos y tcdigitales animados usando expresiones faciales capturados
nicas de captura facial. Como Brian Rausch, Director General
de los seres humanos traen Oscars y nominaciones a los
de la captura de movimiento, lo expresa as: Todos hemos
Oscar a los mejores efectos visuales y el xito de taquilla:
llegado realmente a algo bueno en la captura de cuerpo. Hace
Davy Jones creado en Industrial Light & Magic para Piratas
ahora 20 aos. La mayora de los equipos de perforacin del
del Caribe: El cofre del hombre muerto ( 2006) y los Navi
cuerpo tienden a ver ms o menos lo mismo. Las variaciones
creados en Weta digital en Avatar ( 2009 ) dio a los Oscars
en cmo las personas se aplican los datos son pequeos. Pero
estudios a los mejores efectos visuales. Csar Weta Digital
las caras... que sigue siendo el salvaje oeste. Cada uno tiene
en El origen del planeta de los simios ( 2011 ) y el Hulk
sus propias ideas. Es como un grupo de cientficos locos que

calidad posible: un sistema abierto y modular de la

que podemos extraer los datos 3D. Con una cmara,
que tiene que procesar y analizar los datos para inferir la profundidad. Con cuatro cmaras de Cara,
tenemos buena cobertura y podemos extraer puntos
3D basados en marcadores colocados en la cara, inmediatamente al palo. Tenemos la representacin en
3D y el movimiento.
Aunque los marcadores proporcionan una
precisin a travs del sistema de Cara, Vicon no
exige lealtad a su sistema patentado. El sistema
es abierto, no slo para nuestro software de fondo,
sino a cualquier otra canalizacin de procesamiento.
Usted puede capturar imgenes sin marcadores y el
proceso a travs de otro sistema. Hay mucho que
hacer en esta rea, por lo que hay muchos enfoques,
que no obligan a la gente ir hacia abajo en cualquier
camino. El mercado no es embrionario, pero est
evolucionando. Hay un montn de maneras de pelar
este gato.
Vicon construy la plataforma montada en
720p, 60 fps cmaras a partir de cero. Puede cap-

Los marcadores en la caras de los actores convierten a datos que pueden producir expresiones en un personaje digital, gracias al Sistema de
Vicons Cara.

volmenes de captura de movimiento con cientos de cmaras,

en otras ocasiones, los artistas
usan cmaras montados en la
cabeza. Cuesta mucho para rodear un actor con cmaras, dice
Rausch , y podemos obtener
informacin slida desde las cmaras montadas en la cabeza.
Cada solucin tcnica tiene un
lugar y uso.
Sera imposible para nosotros apuntar a todo lo que
ocurre con la captura facial en estos momentos, pero que comencemos con el color en la imagen,
hablamos con varios vendedores
y proveedores de servicios en este
espacio, con los estudios que se
siguen para impulsar el estado de
la tcnica, y con un desarrollador
de juegos que se mud a una solucin nica y de bajo costo para la
animacin rpidamente docenas
de rostros.

Vicons Cara

Sistema de marcadores basados

en estreo 3D
Basndose en la larga historia de Vicon de proporcionar

dores en los rostros. Las cmaras

se sientan en un aparato ortopdico que se extiende varias pulgadas de la cara, dos a cada lado.
Por lo general, el actor llevaba la
cabeza una plataforma que tendra marcadores pintados en su
rostro.
Cara naci originalmente
de trabajo que hicimos con ImageMovers Digital para A Christmas Carol, dice Phil Elderfield,
gerente de productos de entretenimiento en Vicon. Este predecesor tuvo menor resolucin y
velocidades de cuadro ms bajos
- que era ms cruda en todos los
aspectos, la verdad. Pero captur
la bendiness infinito de Jim Carrey. Qued claro que podramos
evolucionar en un producto que
se ajuste a una necesidad ms
amplia.
Cinco aos ms tarde, la
compaa introdujo Cara, que Elderfield llama el producto como
el ms complejo que la compaa
ha producido.
Ha habido una gran cantidad de sistemas de una sola cmara por un largo tiempo, dice
Elderfield. Fuimos a la mayor

El Sistema de Vicons Cara provee la captura de datos

faciales en un volumen ptico.

turar caras en un sistema del cuerpo, dice Elderfield. Eso es bien entendido y de uso comn. Sin
embargo, estas cmaras estn cerradas a la cara y
de cerca.
Por lo tanto, en lugar de utilizar el gran nmero de cmaras de muy alta resolucin necesarias
para capturar pequeos marcadores de la cara dentro
de un volumen diseado para la captura de cuerpo,
Cara proporciona una solucin menos costosa pero
precisa para la parte facial de captura de la captura
de la interpretacin. Cuando se captura el cuerpo
y la cara, al mismo tiempo sin necesidad de utilizar
la cabeza plataforma, puede tomar un montn de
limpieza y edicin en postproduccin, dice Elderfield. Tratamos de extraer el mismo tipo de datos
de calidad comparable a lo que se obtendra en un

Digitalizando los
rostros
humanos
como
nunca
antes.

volumen ptico - en una fraccin del tiempo.

Software CaraLive da un
operador imgenes de las cuatro cmaras y el control sobre
el sistema de adquisicin. CaraPost toma las imgenes de las
cuatro cmaras y crea una representacin de nubes de puntos
3D de las posiciones de marcador en la cara. Vicon ha fijado el
precio de un sistema completo
en aproximadamente $ 45.000.
Se trata de un caso, dice Elderfield. Usted podra tomar la
tapa y, posiblemente dentro de
una hora, la captura de puntos
3D en una cara. Incluso incorporamos un rotulador.

Glenn DerryTechnorops

De alta resolucin, alta fidelidad, capturadora de video

con soporte en la cabeza
El nombre de Glenn
Derry se hizo famoso cuando el
mundo se enter de que l era el
supervisor de produccin virtual de Avatar de James Cameron.
De hecho, Avatar es la piedra de
toque para cualquiera que haga
en el set de captura de movimiento facial. Aunque Derry
se encuentra trabajando en la
pelcula de Clint Eastwood
prxima pelcula de Jersey
Boys, en estos das la compaa
se encuentra la captura de los
actores para los desarrolladores
de juegos tanto o ms que por
los estudios de cine.
El ochenta por ciento de
nuestro trabajo ahora es para las
cinemticas de videojuegos,
dijo Derry, especialmente para
los nuevos juegos de la consola.
Alrededor de un ao y medio
atrs, las empresas realmente
comenzaron a comprar en el hecho de que podran obtener un
rendimiento ms coherente si
lo hacen el cuerpo y la captura
de la cara al mismo tiempo. Por
lo tanto, estamos aplicando muchas de las mismas tcnicas que
utilizamos para Avatar.

El grupo de Derry ofrece una plataforma de cabeza equipada con cmaras

que captan 720p, 60 fps,
1980x1080 de resolucin, el
cdigo de tiempo incrustado,
sin comprimir, vdeo a color.
Nuestros muchachos estn
en la planta de montaje, asegurndose de que estemos capturando datos de buena calidad, dice.
En conjunto, la compaa trabaja tpicamente mejilla a mejilla con Giant Studios. Ellos hacen la captura
corporal y facial real, as, dice
Derry. Y en algunos casos,
nosotros hacemos el trabajo de
referencia. Traemos nuestros
sistemas y enchufe a la de ellos. Podemos hacer lo mismo
con otras empresas, pero la
mayor parte de nuestro trabajo
es con el gigante.
Como parte de la captura facial en el set, el equipo de
Derry a veces ayuda a los artistas de maquillaje del estudio
a aplicar marcadores. Antes
de la sesin, el equipo escanea
el rostro del actor, crea un shell
Vacuform del anlisis, y los
agujeros de taladros para mostrar los artistas de maquillaje,
donde pintar los marcadores.
Sin embargo, los marcadores
no siempre se utilizan o se
es necesario. Debido a que
el vdeo es de alta resolucin
y sin comprimir, es til para
el seguimiento de patrn sin
marcadores.
Por lo general, un supervisor de captura de movimiento facial o de captura
para el proyecto ser el que
decide lo que funciona mejor
para su produccin. Cada empresa se acerca al problema de
manera diferente, y cada empresa tiene un patrn de marcador diferente, dice Derry.
No hay manera de fijar-en
- piedra para hacerlo. Con la

captura de cuerpo, la tcnica es ms o menos el mismo

sistema que se utiliza. Facial an est en el aire. Si te
vas a poner a un actor en el espectculo, una tcnica de
exploracin de superficie tiene sentido. Si usted tiene
un actor que interpreta un ogro u otro carcter, puede
pasar por el proceso de aplicacin de indicadores, el
seguimiento, la solucin de la fuente, y luego retargeting. Algunos grupos envan el vdeo a una oficina de
servicios, mientras que otros hacen un montn de trabajo en la empresa. Es todava un poco lejano oeste.
Derry cree que con la ayuda de la captacin del
movimiento, vamos a ver personajes que realizan con
caras fotoreales en los juegos en el futuro. Eso no
es tan lejos como la gente piensa, dice. El equipo de
animacin ha llegado a pasos agigantados en los ltimos aos. El gran truco ha sido la iluminacin, no de
animacin.

De izquierda a derecha: Datos de geometra y reflectancia de escaneo de mltiples statics son combinados en
USC/ICT con fotogramas de video dinamicos para recuperar la geometria de animacion de alta resolucin.

USC / TIC

Caras de alta resolucin con la captura de

rendimiento de vdeo
Estudios han convertido en Instituto de la USC
para Tecnologas Creativas (ICT) para el ao de capturar exploraciones expresin estticos en el sistema
LightStage, que rodea la cara de un actor con la luz.
Para los anlisis estticos, le pedimos a un actor mantener una expresin por dos segundos, mientras
que encendemos diferentes patrones de luz y tomar 16
fotos de la cara, explica Paul Debevec, director asociado de investigacin en la USC grficos TIC y profesor de investigacin en USC. Tenemos plana, iluminacin uniforme, y luego gradientes con la luz brillante
en la parte superior, en la parte inferior, de izquierda a
derecha y de derecha a izquierda. Tambin tenemos dos
estados de polarizacin de vertical a horizontal.
El objetivo es obtener mapas detallados de
textura por lo que la cara mostrada puede tener la misma iluminacin que las imgenes estticas. As que
analizamos las reflexiones especulares, el brillo, para
obtener alta resolucin detalle de la pie , dice Debevec

. Podemos separar, especular la dispersin del subsuelo, que son los dos principales componentes de la forma que
los rostros reflejan la luz - se difunde
bajo la superficie de la luz y la luz especular juega fuera de la superficie.
Las exploraciones de alta resolucin producen geometra que tiene una
precisin de una dcima de milmetro.
Tenemos la resolucin de la cara hasta
el nivel de los poros de la piel y arrugas
finas, afirma Debevec .
Recientemente,
el
grupo
comenz la grabacin de vdeo de alta
definicin desde varios puntos de vista con Canon EOS - 1 DX cmaras y
cre una tcnica de
captura de movimiento facial sin
marcadores.

expresiones que el actor puede hacer

con la cara y las exploraciones de informar el seguimiento, proporcionando
casi una biblioteca de lo que el rostro de
la persona que puede hacer.
El software de seguimiento y
reorientacin es propietario. Lo ms
importante que estamos tratando de
hacer es mejorar la forma en que los
caracteres digitales se mueven, sobre
todo el rostro, dice Fyffe. Queremos
que parezcan reales a travs de una amplia gama de expresiones. Esto no es
un problema resuelto. Tom un gran
esfuerzo artstico para lograr el tipo de
rendimiento que vimos en Benjamin
Button. Estamos tratando de construir

vdeo y seguir automticamente un

rendimiento sin intervencin del usuario, dice Peter Busch, vicepresidente
de desarrollo de negocios. Eso nos
diferencia. Hemos tomado los datos
de 12 aos de captura de movimientos
y la hemos convirtido en un modelo
de seguimiento global que funciona en
cualquier condicin de iluminacin.
Nuestra tecnologa busca de las caractersticas clave de un rostro, como los
ojos y la boca. Una vez que se reconoce
a aquellos, se sabe dnde est el resto
de la cara es y sigue el movimiento. As,
lo que antes de tomar una o dos horas
ahora toma dos minutos. Nadie disfruta
del seguimiento. El hecho de que hemos automatizado el proceso con un
solo clic de botn es
enorme.

Una vez rastreados y analizados

Lo que hacmediante el softemos es similar a
ware analizador de
lo que Mova estaba
Faceware, software
haciendo por el
ReTargeter de la
uso de maquillaje
compaa mueve los
fluorescente para
datos de seguimiento
seguir texturas faen el Analizador de
ciales, afirma Defaciales creadas en
bevec. En 2006,
una plataforma fala resolucin de las
cial creado en Maya
buenas, cmaras fode Autodesk 3ds
togrficas digitales
Max, MotionBuilder
no fue suficiente Faceware encuentra caracteristicas faciales y automaticamente captura el movo Softimage. Los
para ver la textura imiento durante el ejercicio.
animadores pueden
facial. Pero ahora,
perfeccionar la capodemos ver los golpes y chuletas, los algo que capta la actuacin de un ac- pacidad utilizando tcnicas estndar de
poros de la piel , pecas y otras imper- tor ms directamente con un menor es- fotogramas clave.
fecciones lo suficientemente bien como fuerzo por parte de los artistas. Estamos
para hacer un seguimiento de cuadro a tratando de empujar hacia delante la
Como el seguimiento es rpido y
cuadro y ver cmo la piel se est mov- calidad, y creemos que lo hemos hecho fcil, la compaa sugiere que los estuiendo.
mediante la combinacin de mltiples dios de insertar los datos resultantes en
exploraciones con vdeo de una manera retargeting y animacin sin juguetear
En SIGGRAPH, el grupo dem- que la gente no lo han hecho antes.
con ella primero. Si los animadores deostr su trabajo con un rendimiento en
ciden que los datos no se ajustan al pertiempo real de Ira digitales. Graham Faceware
sonaje digital bastante bien - es decir,
Fyffe, un cientfico de la computacin Seguimiento automtico 2D de vdeo
no ha reorientarse suficientemente
TIC, explica: Utilizamos LightStage
bien - pueden probar rpidamente el
para capturar las expresiones estticas
Con races que se remontan a seguimiento de nuevo. Los animaque utilizan cmaras digitales, y luego ImageMetrics, que proporciona captura dores pueden comprobar un desempeo
capturamos un video de Ira rendimiento. facial de propiedad y servicios de re- en algunas poses, reorientar, hit y lueHacemos un seguimiento de movimien- targeting, Faceware ahora ofrece pro- go alternar para ver cmo el retargeting
to de su rostro basado en el vdeo de alta ductos para el seguimiento automtico, influye en el rendimiento, dijo Busch.
definicin. La expresin proviene de los anlisis y reorientacin del movimiento Eso le da al animador un flujo de traanlisis de expresin en LightStage. La 2D en una plataforma 3D.
bajo intuitivo que se abrazan.
captura LightStage nos da la gama de
Podemos tomar cualquier

Precios de Analizador de auto

- rastreo comienza en $ 795, con las
versiones profesionales que incluyen
funciones diseadas para un mayor
volumen a partir de $ 6.995. ReTargeter
Lite cuesta $ 395, y ReTargeter Pro
tiene un precio de 1.995 dlares precio.
Adems, Faceware ofrece ahora
una plataforma de la cmara montada
en la cabeza y el software llamado
Faceware vivo para la captura de movimiento facial en tiempo real. El equipo
de perforacin es un casco con una cmara conectada a un boom que se extiende en frente de la cara.
Hemos construido un montaje
para la cmara GoPro, dice Busch.
Tenemos seis barras de montaje que
se deslizan dentro y fuera del casco,
tres tamaos de cascos en diferentes
grosores y dos lentes de las cmaras.
Hemos tenido que visitar a las etapas
de captura de movimiento durante dos o
tres das, por lo que hemos creado un kit
que es completamente porttil y flex-

ible. Una versin de nivel de entrada

del sistema diseado para las escuelas
y la produccin independiente se vende
por $ 400.
Nuestro Faceware Live hace
el trabajo de Analyzer y ReTargeter en
tiempo real, dice Busch. Tenemos un
tiempo de tres segundos de calibracin.
Faceware Live lleva en el video, un
seguimiento automtico de las actuaciones, y le dice al usuario la calidad del
movimiento extrado.
El objetivo del producto en la
produccin virtual y prototipado rpido,
a la vista previa de la calidad de la animacin en tiempo real.
Para demostrar un proceso de
produccin virtual, Faceware colabor
con el Tercer Piso Previs Estudio y
un estudio de captura de movimiento
KnightVision, tanto en Los Angeles,
para una demostracin en el Gremio
de Directores. La administracin en la

demostracin se podan mover una cmara virtual en un volumen de captura

de movimiento y las actuaciones del
marco de los actores en el escenario se
aplican a los personajes digitales.
Se poda ver la cara y el cuerpo
de la captura por completo y tener una
idea de los personajes digitales, dice
Busch. Ellos podran enmarcar, reproducir la escena de nuevo, y el marco de
nuevo hasta que la cmara estaba donde
quera. Hemos transmitido los disparos
en Final Cut, por lo que los directores
iramos a una estacin editorial, elegir
los ngulos de cmara, y en cuestin de
cinco minutos tener un archivo QuickTime que era el equivalente de un animatic. Y fue entonces cuando la bombilla se encendi. Es por eso que hemos
desarrollado Faceware Live. Aunque
slo sea viendo los eyelines ayuda a los
directores a tomar buenas decisiones de
posicin de la cmara.

EVOLUCIN EN
RENDIMIENTO FACIAL Y
MOTORES DE
VIDEOJUEGOS.

FACEWARE
7

Cubic Motion

Seguimiento, anlisis, reorientacin de vdeo

No somos una solucin de captura de alternativa. Nuestra especialidad

es la visin artificial.
- Gareth Ewards, director de Cubic Motion.

omos buenos en el
anlisis de los datos
de video de otras
fuentes y extraer
mediciones geomtricas en
un buen nivel de detalle.
Podemos rastrear exactamente donde esta la informacin, ayudar a la gente y
asignar los datos en caracteres digitales. Entregamos
curvas de animacin en la
plataforma de un cliente.
Los principales clientes de la compaa son los

desarrolladores de videojuegos. Su cliente ideal es aquel

que se pregunta qu tipo de
tcnica de captura quiere
usar. Tenemos puntos de
vista fuertes, dice Edwards.
La Animacin facial a menudo se hace al revs. Alguien
va a capturar 50 opiniones
de una cabeza. Puede ser
til en ciertas circunstancias,
pero puede no ser ptima
para lo que estn tratando
de conseguir en pantalla.
Nos preguntamos si ellos

estn tratando de reproducir

un actor o crear un personaje impulsado por un actor.
Slo entonces empezamos
a decir qu tipo de captura
se necesitan. Podemos mirar a un equipo, ver cmo
se comporta un personaje, y
luego determinar el conjunto
de medidas que el cliente
necesita.
Edwards da un ejemplo extremo de un personaje
que se parece a un cocodrilo
y tiene una mandbula con

un grado de libertad. El personaje podra ser fotoreal,

dice, pero el conjunto de
medidas que usted necesita
es pequeo. Saber lo que usted est tratando de producir
es importante en la industria de los videojuegos. En
el mundo interactivo, tienen
horas de animacin. No estn haciendo una pelcula. Y
el personaje de videojuegos
puede ser generado en el motor del juego.

LA MANERA MS RPIDA
PARA LOS MEJORES
RESULTADOS.
Servicio

completo de animacin facial.

Seguimiento

Denso para el cliente.

Manejo

en vivo del personaje.

A pesar de los animadores y los

ingenieros de la compaa a menudo
rastrean imgenes sin marcadores, tambin trabajan con los datos capturados
utilizando marcadores. Para la mayora de los personajes del juego, que
no tendra que hacer un seguimiento de
ms de unos pocos cientos de marcadores, dice Edwards.
Fundada en 2009, Cubic Motion ahora cuenta con un equipo de ingeniera central de siete aos y unos 20
animadores tcnicos. A veces podemos tomar parte en una sesin de captura,
pero por lo general trato de mantenerme
alejado de eso, dice Edwards. Y esa
es la forma en que sentimos la industria
debe trabajar. Nosotros no queremos
participar en la captura, y pensamos
que tal vez capturar estudios no deben
pasar tiempo a analizar si no es su especialidad.

Dimensional Imaging

Captacin del movimiento sin marcadores 3D

Fundada en 2003, Dimensional
Imaging fue un pionero en la fotogrametra estreo pasiva, es
decir, en la creacin de modelos 3D a partir de pares de
imgenes estreo. Entre sus
clientes se incluyen investigadores de ciruga facial.
Recientemente, la compaa
evolucion de esttica captura en 3D para la captacin del
movimiento, y se traslad a
entretenimiento, as como la
investigacin mdica. Nuestro proyecto en el entretenimiento era el trailer del juego Dead Island de animacin
Axis, el cual se volvi viral,
dice Colin Urquhart, CEO.
Ahora los sistemas de la compaa estn ayudando a mapear la actuacin de un actor en un personaje de
una pelcula.
En lugar de cmaras fotogrficas, estamos utilizando 60 fps de
vdeo y la adquisicin de pares estereoscpicos de imgenes, dice Urquhart.
Podemos realizar un seguimiento a
travs de una secuencia de fotogramas
para conseguir una topologa de malla
fija que se deforma. Eso es lo que hace

que nuestro sistema sea nico y til para

el entretenimiento. Usted podra pensar
en l como Mova sin maquillaje y con
un menor nmero de cmaras.
Un sistema tpico utiliza tres
pares de cmaras: dos conjuntos de
monocromo para forma y seguimiento
y un conjunto para la textura y color.
La diferencia fundamental entre nuestro sistema y otros es capturar datos
3D a velocidades de vdeo.Nuestro
seguimiento funciona a nivel de pxel
en lugar de funciones de seguimiento
en la cara. Utilizamos la textura natural
de la piel y los poros.
El proceso comienza con una
malla de plantilla que tiene la topologa
de que el cliente desea. Nos ajustamos eso a un fotograma de la secuencia
para obtener la asignacin inicial en el
actor individual, y luego hacemos un
seguimiento de todos los vrtices en la
malla Urquhart explica, todos y cada
uno de los vrtices de 2000. Otros sistemas de seguimiento de un conjunto escaso de datos que conduce un equipo de
perforacin que se deforma un carcter.
No deformamos la malla de la cara directamente. Nuestro enfoque es com-

ble para que los clientes capturen el cuerpo y la cara al mismo tiempo.
Actualmente, Dimensional Imaging vende sistemas de software, licencias de software, y hace el trabajo de
servicio. El mensaje para llevar a casa
de mi parte es que los mtodos tradicionales basados en conjuntos dispersos
de puntos no proporcionan suficiente
detalle , dice Urquhart, por lo que la
gente est buscando una alternativa, y
espero que ah es donde entramos nosotros.

Dynamixyz

Seguimiento sin Marcadores con sensor 3D

Gaspard Breton, CEO de Dynamixyz, ha estado trabajando en la
captura facial y el rendimiento desde
que era un estudiante de doctorado hace
15 aos. Ahora dirige un equipo de ex
alumnos de doctorado y una empresa
que vende un sistema de captura facial
sin marcadores basado en modelos y ofrece servicios de captura de movimiento facial.
Al igual que la mayora de estos sistemas faciales, tenemos
un [CG] modelo con expresiones del actor , dice Breton. Cuando la cmara enva
los datos del actor, el sistema
combina expresiones en el
modelo y trata de coincidir
con lo que ve la cmara. Esa
forma de producir las mismas
expresiones en el modelo
como las que el actor realiza.
Cuando ese es exitoso, cada
pxel de la cara es un marcador. Tambin construimos el
color as que usted puede ver
una vista, y si el actor tiene
arrugas, es la reconstruccin
de las arrugas. Realmente reconstruir la imagen.
Los primeros sistemas de la
compaa trabajaron con cmaras en
2D, pero en SIGGRAPH, Dynamixyz
dio a conocer un sistema de 4D - 3D
ms el tiempo de uso de un equipo de
perforacin montado en la cabeza.
Puede capturar 3D a partir de
un sistema de cmaras mltiples vistas,
como Cara de Vicon , o con un sensor
3D, como Kinect, cmaras de Soft-

A pesar de que la malla de destino puede tener decenas de miles

de vrtices, no es necesario hacer
un seguimiento de miles de puntos
debido a que en la mayora de los
casos en el lado del juego, el personaje no es el actor.
-Urquhart

10

pletamente en 3D.
Los terrenos de datos en un
equipo de animacin facial con el tiempo para animadores pueden refinar el
rendimiento y la imagen Dimensional
ayuda a sus clientes a construir sistemas
apropiados.
Recientemente, la compaa ha
estado trabajando con una compaa
de hardware en un sistema de captura
montado en la cabeza para que sea posi-

Dynamixyz ofrece capturas sin marcadores a travs de un sensor 3D.

Kinetic, o los de Leap Motion, dice
Breton. Utilizamos los de SoftKinetic.
La calidad no es tan buena como el Kinect, pero cuando se trata de un casco,
que es menos de un metro de los ojos,
y creemos que el Kinect no debe usarse tan cerca. Usted necesita tener la
cmara conectada a un casco porque el
movimiento global de la cabeza presenta una gran cantidad de ruido en el
seguimiento, la peor cosa para un algoritmo de seguimiento es la rotacin de
la cabeza. La mayora de las veces, si a
su vez la cabeza ms de 10 o 15 grados
de la cmara, el seguimiento de falla.
Por lo tanto, un sistema montado en la
cabeza es ms preciso.
Es, no es tan preciso, sin embargo, es un sistema basado en marcadores.
Los sistemas basados en marcadores
tienden a ser exacta, pero se necesita
una gran cantidad de marcadores para
capturar el movimiento facial, y en algunas regiones, como los ojos y los labios interiores, apenas pueden ser capturados, dice Breton. Los sistemas sin
marcadores tienden a tener ms xito en

la captura de expresiones enteras.

Entonces, imagina Breton que
algunos clientes van a utilizar el sistema marcador a base de Cara en combinacin con el sistema Dynamixyz. Nos
pueden enviar el canal de video de Cara,
y podemos trabajar en eso, dice. Estamos convencidos de que esto es la solucin ganadora. Consiguen la exactitud
de los marcadores y pueden trabajar de
la manera que se familiaricen con el uso
de un enfoque basado en el marcador, y
tambin tienen la informacin adicional
que se suma al capturar expresiones enteras y zonas como los labios internos
de nuestro sistema sin marcadores.
Adems de proporcionar la
captura facial para la industria del entretenimiento, los algoritmos de visin
por ordenador de la compaa ayudan a
los mdicos e investigadores mdicos.
Tenemos un proyecto de R&D con un
hospital francs para ayudar a los nios
con parlisis cerebral a aprender a reeducar el movimiento de la cara, dice
Breton. Los nios son prisioneros de
sus propios cuerpos. No quieren verse

a s mismos en el espejo porque es tan

emocionalmente] doloroso. Pero el uso
de un corrector visual, ven su propio
rostro moviendo la forma en que debe
moverse.
La compaa ofrece una evaluacin y licencia de produccin, y las
licencias anuales, y est considerando
cuotas de los proyectos en lugar de
licencias. La licencia de evaluacin
proporciona un sistema funcional, de
uso gratuito. La compaa tambin est
desarrollando una red de proveedores
de servicios de valor aadido que el
trabajo con los estudios de captura de
movimiento.
El mensaje que queremos
enviar es que estamos muy orientados
R&D, dice Breton. Si una empresa
nos selecciona y trabaja con nosotros,
tienen la seguridad de que siempre tendr la ltima tecnologa de vanguardia
en la visin por computador.

11

Faceshift

En tiempo real sin marcadores 3D seguimiento y

reorientacin

Faceware ofrece una camara con soporte en la cabeza y

un software para la captura de movimientos faciales en
tiempo real.

El vicepresidente de la compaia Doug Griffin

lleg a Starbucks para demostrar Faceshift junto con
su computadora porttil y un sensor 3D.
Griffin se uni a la empresa, tambin llamado
Faceshift, despus de liderar equipos de captura de
movimiento en Industrial Light & Magic, Electronic
Arts y ImageMovers Digital, y anteriormente fue vicepresidente de productos y estrategia de Vicon. Tiene
muchas ganas de demostrar la razn por la que se uni
Faceshift.
Queremos democratizar el seguimiento facial
, dice Griffin. Con nuestro sistema, puede tener resultados en directo con una configuracin de cinco
minutos y los resultados del juego - listas con un par
de minutos de post- procesamiento. Es tan barato que
podra equipar a todo un equipo con Faceshift. Usted
puede capturar rostros en una cabina de sonido.
Griffin tiene el sensor en s mismo, apunta a un
modelo 3D de una cara en la pantalla, y explica cmo
funciona el sistema. Usamos el sensor 3D PrimeSense, dice. Comenzamos con una cabeza de caracteres estndar que entrenamos. Tengo una actitud,
mirar hacia atrs y hacia adelante mientras las exploraciones del sensor, y entonces usted puede ver mientras
Faceshift deforma el carcter para que coincida con
los datos de la exploracin. Sugerimos hacer 18 formaciones, plantea. Ese es el proceso de cinco minutos.
Slo tienes que hacerlo una vez. Y, usted no necesita
maquillaje o marcadores.
Brian Amberg, co -fundador y CTO, explica:

12

Nos descomponemos los datos de entrenamiento en 48 expresiones asimtricas. Entonces, como un actor realiza y el
sistema se ejecuta en vivo, se
busca la combinacin de estas
expresiones que mejor coincide
con la expresin actual del actor.
Esto lo hace cuadro por cuadro
en tiempo real. Para obtener
mejores resultados, nuestro algoritmo de post- procesamiento
puede optimizar a travs de muchos cuadros. Tambin puede
retocar detecciones, y que va a
entrenar el algoritmo y mejorar
los resultados.
El sistema es, en efecto,
puppeteering, el modelo blendshape. Si el modelo es altamente
caracterizado en lugar de un
doble digital, 0-1 los valores
blendshapes podran, por ejemplo, elevar las cejas del personaje mucho cuando el actor levanta
un poco una ceja.
Un equipo de doctores
de universidades suizas cre
los algoritmos que hacen el
seguimiento en tiempo real y
retargeting. Hemos comenzado
a desarrollar nuestro propio sistema de seguimiento de rostro y
hardware antes de que el Kinect
sali, dice Amberg. De repente
hubo un escner de consumo
con datos 3D. As que cambi
de rumbo para centrarse en este
sensor. Las cmaras de grado de
consumo significaba que podamos hacer frente a capturar al
alcance de todos. Eso es lo que
me parece interesante. Artistas
independientes pueden darse el
lujo de hacer una pelcula. Y,
los animadores pueden tener la
captura facial en sus escritorios
y utilizarla como un espejo. Pensamos que mucha gente va a utilizarlo.
La gente puede comprar
y descargar Studio Faceshift y
Freelance Faceshift del sitio web
por $ 800 a $ 1,500, con varios
tipos de descuentos en las licencias y acadmicos disponibles.

Amberg y Griffin tienen

en cuenta que, adems de hacer
posible que ms artistas utilicen
la captura facial de personajes
animados, el tiempo real de nivel de precios y la baja captura
est permitiendo a otros mercados, tambin. Nuestro SDK
puede hacer seguimiento sin la
cara de configuracin , dice
Amberg. Las expresiones no
son tan precisas, pero es emocionante para aplicaciones de
consumo. Usted puede poner
sus expresiones faciales en
un avatar en un mundo virtual
como Second Life.
Oh, dice Griffin, imagine que acaba de despertar.
Tu pelo es un desastre. Usted
podra usar Skype con un avatar
y verse bien.
Los datos de captura facial tambin podran conducir
algo ms que otra cara. La compaa ha desarrollado plug- ins
de MotionBuilder, Maya, Unidad, y otras plataformas de software. Le damos 0-1 curvas ,
dice Griffin. Usted puede leerlos en una aplicacin 3D y desencadenar lo que quieras.
Por lo tanto, se podra
desencadenar msica digital y
otros sonidos. O imgenes. Un
artista, por ejemplo, ha creado
una pintura digital que los espectadores pueden interactuar
a travs de sus expresiones faciales. La exposicin itinerante
se encuentra actualmente en
Mosc.
Cuando la sonrisa de los
espectadores, el sol sale, dice
Amberg.
Lanzado en noviembre
de 2012, el producto ya es un
xito, de acuerdo con Griffin.
Tenemos clientes en 21 pases,
y una serie de grandes estudios
han comprado licencias, dice.
Estoy sorprendido por la cantidad de personas y dicen: Ya lo
tenemos.

Lo ms importante que he hecho es resolver el problema de la correspondencia entre dos exploraciones utilizando un mtodo llamado un algoritmo no registro basado en grafos , dice. La
idea es que si te dan dos mallas, dos superficies, la computadora calcula las correspondencias
automticamente. Si usted quiere hacer el seguimiento facial, usted puede lanzar 2.000 marcos en
el solucionador y encontrar la correspondencia.
Li planea mostrar su trabajo en SIGGRAPH Asia. Una vez que los dispositivos de consumo
del mercado de masas han incorporado sensores 3D en diferentes dispositivos mviles, como es
probable que suceda, la puerta para la captura facial estalla.