La presente divulgación está relacionada con un sistema para crear una experiencia de realidad

aumentada inmersiva mediante la manipulación del entorno alrededor de un usuario. El sistema

integra la visualización de una transmisión de video en tiempo real de los usuarios en un entorno
físico con contenido animado interactivo junto con retroalimentación auditiva y táctil para crear una
experiencia multisensorial atractiva. Por ejemplo, los usuarios pueden ver un video de sí mismos en
un entorno físico en una pantalla junto a uno o más personajes u objetos virtuales. El usuario puede
interactuar con los personajes u objetos virtuales a través de acciones en el entorno físico, como el
habla o el movimiento. En respuesta a las acciones del usuario, el sistema proporciona
retroalimentación visual, táctil y / o auditiva en tiempo real a través de la pantalla, los altavoces y
los actuadores táctiles.

Es una experiencia combinada de realidad aumentada y mixta, pero no del tipo que implica usar una
pantalla montada en la cabeza o usar un dispositivo portátil. En cambio, el entorno está
instrumentado en lugar del individuo, lo que permite a las personas compartir la experiencia mágica
en grupo.

Las personas sentadas en el Magic Bench pueden verse a sí mismas en una imagen reflejada en una
pantalla grande frente a ellas, creando un punto de vista en tercera persona. La escena se
reconstruye utilizando un sensor de profundidad, lo que permite a los participantes ocupar el mismo
espacio 3D que un personaje u objeto generado por computadora, en lugar de superponer una
transmisión de video a otra.

Los investigadores utilizaron una cámara a color y un sensor de profundidad para

crear una reconstrucción 3D en tiempo real, texturizada con video HD del banco,
los alrededores y los participantes. El algoritmo reconstruye la escena, alineando la
información de la cámara RGB con la información del sensor de profundidad.

Para eliminar las sombras de profundidad que ocurren en áreas donde el sensor de
profundidad no tiene una línea de visión correspondiente con la cámara a color, un
algoritmo modificado crea un fondo 2D. Las reconstrucciones 3D y 2D se colocan
en el espacio virtual y se completan con personajes y efectos 3D de tal manera que
el renderizado en tiempo real resultante es un compuesto continuo, totalmente
capaz de interactuar con la física virtual, la luz y las sombras.

"El banco en sí juega un papel crítico", dijo Mahler. “No solo contiene actuadores
hápticos, sino que nos limita varios problemas de una manera
elegante. Conocemos la ubicación y el número de participantes, y podemos inferir
su mirada. Crea un escenario con un primer plano y un fondo, con los participantes
sentados en el medio. Incluso sirve como controlador; la experiencia de realidad
mixta no comienza hasta que alguien se sienta y diferentes formaciones de
personas sentadas crean diferentes tipos de experiencias ".
Los investigadores utilizaron una cámara a color y un sensor de profundidad para crear una
reconstrucción 3D en tiempo real, texturizada con video HD del banco, los alrededores y los
participantes. El algoritmo reconstruye la escena, alineando la información de la cámara RGB con la
información del sensor de profundidad.

Para eliminar las sombras de profundidad que ocurren en áreas donde el sensor de profundidad no
tiene una línea de visión correspondiente con la cámara a color, un algoritmo modificado crea un
fondo 2D. Las reconstrucciones 3D y 2D se colocan en el espacio virtual y se completan con
personajes y efectos 3D de tal manera que el renderizado en tiempo real resultante es un
compuesto continuo, totalmente capaz de interactuar con la física virtual, la luz y las sombras.

"El banco en sí juega un papel crítico", dijo Mahler. “No solo contiene actuadores hápticos, sino que
nos limita varios problemas de una manera elegante. Conocemos la ubicación y el número de
participantes, y podemos inferir su mirada. Crea un escenario con un primer plano y un fondo, con
los participantes sentados en el medio. Incluso sirve como controlador; la experiencia de realidad
mixta no comienza hasta que alguien se sienta y diferentes formaciones de personas sentadas crean
diferentes tipos de experiencias ".

El Magic Bench fue obra de un gran equipo de científicos de Disney Research. Además de Mahler ,
incluye a Kyna McIntosh, John Mars, James Krahe, Jim McCann, Alexander Rivera, Jake Marsico, Ali
Israr y Shawn Lawson.

Combinando creatividad e innovación, esta investigación continúa el rico legado de Disney de

aprovechar la tecnología para mejorar las herramientas y los sistemas del mañana.

Para obtener más información sobre la realidad aumentada en Disney Research, vea el video a
continuación.