La Realidad Mediada

Hoy: Realidad Virtual de bajo costo con Head Mounted

displays y Cardboards

Una introducción a las tecnologías para

la modelización física y representación
espacial simultánea de información digital
Lic. Miguel Grassi
UNTREF – Laboratorio de Arte Electrónico e Inteligencia Artificial
La Realidad Intervenida

1) Realidad Virtual (RV - VR)

2) Realidad Aumentada (o
Expandida)

2-1) Realidad Expandida Móvil

2-2) Realidad Aumentada
Espacial (SAR)

2-3) Virtualidad aumentada (AV -
Augmented Virtuality)

3) Realidad Mixta (Mixed Reality)

4) Realidad Mediada (Computer-
mediated reality)

5) Virtualidad Embebida
(Emboded Virtuallity o Embedded
System)

6) Intervención Robótica (I-ROB)

7) Realidad Intervenida (R-INT)
 Realidad Virtual

Designa los sistemas donde

los estímulos sensoriales
reales pretenden
reemplazarse completamente
por los que genera el sistema.

Ejemplo: Oculus Rift, Samsung Gear

VR, HTC Vive, PlayStation VR, etc. :
 Realidad Aumentada o Expandida

Define aquellos sistemas en los

que la percepción -directa o
indirecta- del mundo real es
enriquecida mediante el
agregado de información digital,
sin reemplazar completamente la
percepción directa de los objetos
reales, sino complementándola
con información no evidente de
otro modo .

Ejemplo: Google Glass,

Microsoft HoloLens, etc. :
 Realidad Expandida Móvil
La percepción de la
realidad es indirecta,
mediante un
dispositivo móvil
(Tablet, Smart Phone
o similar) dotado de
cámara y pantalla.

CulTu-RA Plataforma de Realidad Aumentada para Cultura y

Turismo - Miguel Grassi - 2012
Virtualidad Aumentada (AV)

Consiste en la
integración de elementos
reales, (personas, el
propio usuario,
dispositivos...) dentro de
un entorno virtual mayor
(Wii Remote, Kinect) en
las que el usuario
comanda, mediante
actitudes corporales, un
avatar de si mismo
inmerso en el mundo
virtual de la aplicación
Realidad Aumentada Espacial (SAR)

El agregado de la
información se hace
directamente sobre los
objetos reales,
generalmente mediante
alguna técnica de
proyección. La
percepción del objeto en
esos casos suele ser
directa.
Realidad Mixta (Mixed Reality)

En 1994 Paul Milgram y Fumio Kishino definen la realidad mixta

como "cualquier lugar entre los extremos de un continuum que se
extiende entre los extremos del mundo real y la virtualidad
completa"[1].

El uso de esta denominación permite referirse al campo completo,

sin necesidad de precisar una determinada ubicación dentro de ese
continuum.

[1] Taxonomy of Mixed Reality Visual Displays, P. Milgram and A. F. Kishino, IEICE
Transactions on Information and Systems, E77-D(12), pp. 1321-1329, 1994.
Realidad Mediada (Computer-mediated reality)

Bajo esta denominación

podríamos englobar todos
los puntos anteriores, y se
aplicaría a aquellos sistemas
que aumentan, diminuyen o
de algún otro modo
MODIFICAN mediante la
intervención de
computadoras, la percepción
que se tiene del mundo real
Virtualidad Embebida (Emboded
Virtuallity o Embedded Systems)

El término hace referencia al concepto de la computación ubicua,
popularizado por Mark Weiser en su famosísimo artículo de la revista
Scientific America[1] en 1991. Consiste en la incorporación de la capacidad
de procesamiento electrónico de la información en la mayoría de los
objetos cotidianos, con el objeto de multiplicar sus prestaciones.

Esto incluye, especialmente,

dotar a esos objetos de
capacidades de comunicación
integrándolos en grandes redes
inteligentes

La Internet de las Cosas (IoT)

alcanzará 75 mil millones de
dispositivos para el 2020

[1] The Computer for the 21st Century. Mark Weiser- 09-91 Scientific American Ubicomp
Context Aware Systems

Se basa en dispositivos –generalmente móviles- capaces de
sensar su entorno y adaptar su comportamiento al contexto.
 Si bien es un desprendimiento de la
computación ubicua o pervasiva
profetizada por Weiser, se potencia
ahora gracias al GPS, Bluetooth y BTLE,
redes NFC, iBeacons, etc.
La Internet de las Cosas (IoT)
Intervención Robótica (I-ROB)
 Es el concepto que proponemos para designar al conjunto de recursos mecatrónicos
y robóticos que se integran en los objetos de diseño para darles la habilidad de
desplazarse, modificar su forma y, en general, reaccionar física y mecánicamente a
la interacción con otros objetos, con el usuario y con el entorno en general.
https://youtu.be/lX6JcybgDFo
Intervención Robótica (I-ROB)

https://goo.gl/photos/6bssmsfZdhF4LeXg8

https://youtu.be/5yG-eGKREWo
Intervención Robótica (I-ROB)

https://goo.gl/photos/6bssmsfZdhF4LeXg8
Realidad Intervenida (R-INT)

Es la denominación que proponemos para
asignar al conjunto completo de tecnologías
que acabamos de enumerar.

En las tecnologías Realidad MEDiada

(indicadas con líneas punteada color rojo en
el diagrama) lo único que se altera es la
PERCEPCION que el usuario tiene de la
realidad; el mundo físico que el usuario
contempla permanece esencialmente
inalterado para, por ejemplo, un observador
externo

En la Realidad INTervenida (indicada con

línea continua y color azul), en cambio, se
modifican físicamente los objetos,
transitoria o permanentemente como
resultado de la relación con el usuario y el
entorno y esta modificación es apreciable
tanto para el usuario como para cualquier
eventual observador
Head Mounted Displays

VR de inmersión total con gafas y

auriculares montados en la cabeza
 Inmersión total (VR) con HM Displays

En la Realidad Virtual los estímulos sensoriales reales pretenden
reemplazarse completamente por los que genera el sistema.

La aislación del ambiente se logra mediante un dispositivo montado en
la cabeza (Head Mounted): Usualmente Gafas, con o sin auriculares.

Oculus Rift Samsung Gear VR HTC Vive PlayStation VR

Google
Cardboards: Original Modelos Enhaced Impresa 3D
Principios que intervienen

Esteroscopía (a cada ojo lo suyo)
Visor estereoscópico Anteojo polarizado actual
portátil J. Fleury
Hermagis, 1870

View-Master
Modelo E ,1950

Anteojo de Anaglifos actual Google Cardboard

Principios que intervienen
 Las experiencias a 360º requieren

Para visualizar

Head tracking

Sincronizar la imagen (estereoscópica y/o panorámica)
con el punto de vista del usuario en tiempo real

Para generar

Toma simultánea (video o foto)

Lentes o espejos

Cámaras múltiples sincronizadas

Combinación de ambas

Panorámica en secuencia

Mediante panning

Mediante stitching
 Principios que intervienen

Inmersión - Navegación

 Hands tracking

Leap Motion

Environment
recognition

VR Tracker: https://youtu.be/kt660Ca99bA
Lo que se viene de Google

Daydream
Otoño 2016 (?) Developer Tablet disponible por
u$s 512. Sólo en ciertos países
HMD con control
manual (BT?)
 Las dos clases principales de dispositivos

Dispositivos que se conectan a PC
o consolas de Video Juego

Pantallas propias

Precio elevado

Vinculados con cable

Alto rendimiento

SDK complejo

Ideales para juegos y aplicaciones
interactivas pesadas, diseñadas ad-
hoc, de precio elevado

Recursos de hardware adicionales
para positional tracking, comandos
inalámbricos, etc.

Dispositivos basados en teléfonos
móviles (mobile VR headsets)

Sin pantallas propias (usan la del
smartphone)

Bajo costo (sin considerar el precio
del teléfono)

Portátiles (sin cable)

Rendimiento mediano

SDK simple

Alta compatibilidad con muchas
aplicaciones generales

Ideales para experiencias visuales a
360º, muchas de ellas gratuitas
 Google Cardboard

Versiones comerciales

Van desde los 15 a los 70 dólares

Las oficiales se pueden comprar en: https://vr.google.com/cardboard/get-cardboard/

Versiones DIY (desde 0 a 20 dólares)

3d printed
Cartón

https://vr.google.com/cardboard/downloads/wwgc_manufacturers_kit.zip http://www.thingiverse.com/thing:729029
 Google Cardboard
https://vr.google.com/cardboard/

Manual de 20 páginas con recomendaciones para la fabricación del modelo
de cartón

Planos detallados

Cambios y mejoras permanentes (Ej. El botón)
Planos de las lentes
Google Cardboard
https://vr.google.com/cardboard/

NFC (Near Field Communication) tag – 4 cm

 Permite lanzar automáticamente la aplicación
por default (Cardboard App) al colocar el
teléfono en las gafas

Nuevo sistema de botón

 Permite a los usuarios interactuar con la
pantalla. Es compatible con todos los modelos
de teléfono, a diferencia del modelo magnético
Google Cardboard
 QR viewer profile
 Permite a los usuarios configurar correctamente las
aplicaciones para que trabajen bien con un modelo de
gafas en particular. Suele imprimirse al costado de las
gafas o en una etiqueta autoadhesiva

 Viewer Profile Generator

 Permite al creador/fabricante de un modelo de gafas
generar un perfil con la información de su propio
dispositivo para que el usuario configure sus
aplicaciones y pueda aparearlas con sus gafas
 Brinda herramientas para su ajuste y calibración
 Finalizada la carga y el ajuste, genera el QR especial
para ese perfil
Google Cardboard
 Uso del Viewer Profile Generator – Requiere las gafas a
calibrar, un Smartphone compatible, otra computadora e
Internet

 Se accede desde la computadora (NO desde el teléfono) a:

https://vr.google.com/cardboard/viewerprofilegenerator/

 Se cargan en el form que aparece allí los parámetros

geométricos básicos de las gafas

 Al enviar el form se generará una página que presenta una

imagen 360º de un ambiente 3D estereoscópico interactivo que
se usará para la calibración

 Se accede a ese ambiente virtual con el móvil usando el QR

que aparece en la página del formulario. Una vez abierto, se
coloca el smartphone en las gafas a calibrar

 Como el formulario de calibración está sincronizado con la

imagen de RV, cuando se modifican los valores en el formulario
usando el teclado de la computadora, se altera la imagen que se
ve en el teléfono

 Una vez que se logra la imagen correcta, se salva el perfil y se

genera el QR viewer profile específico para esas gafas
 Fuentes de Contenidos

Steam
VRTIFY
 Especialmente juegos  Conciertos y Videos
Musicales en RV

Youtube VR y 360º
 Videos

Grandes medios

Noticias. Acontecimientos Presentó trailers (Stranger

Locales. Música del Colón things) y preparan lanzamientos
Acontecim. Históricos
en Videos 360º
 Generación de Contenidos

Hardware para registros a 360º

GoPro Odyssey
16 cámaras HERO4 sincronizadas Samsung 360º
en toma simultánea, produce videos 3840 x 920 a 30 fps
estereoscópicos de 4 veces 4K
Generación de Contenidos

Soluciones basadas en Software

VideoStitch Studio

Google Cardboard Camera PTGui Panorama Tool

 Generación de Contenidos

Herramientas de desarrollo

 Google VR SDK for Android y iOS

 Lens distortion correction.
 Spatial audio.
 Head tracking.
 3D calibration.
 Side-by-side rendering.
 Stereo geometry configuration.
 User input event handling.

 Unity VR SDK for Android

“Oculus Rift” por menos de u$s100?
Permite aplicaciones de Realidad Virtual de PC (Steam) en VR Mobile Headsets

VRidge es un software de Rifcat

para PC que simula un VR
Headset conectado a la PC y
envía el contenido generado por la
aplicación de VR al Google
Cardboard. Usa un Leap motion
para el tracking posicional (manos)

u$s 69 para la Leap Motion

u$s 1 para un soporte 3D Printed

u$s 15 Google Cardboard viewer

u$s15 para la full version del VRidge (Hay una versión free
con restricciones de tiempo a 10 minutos por sesión)
 Consideraciones fisiológicas y ergonómicas

Fatiga visual y/o auditiva temprana

Enfermedad del Simulador (simulator sickness)

Aparición de nauseas cuando los ojos perciben movimiento
y el cuerpo no (diferencias entre el sistema vestibular y
visual)

Enfermedad del movimiento (carsickness)

Aparición de nauseas o mareos cuando hay disparidad
entre lo que se siente y lo que se espera sentir. Suele
aparecer cuando se lee en un auto en movimiento
Interesados en Participar en proyectos de
I+D en Realidad Virtual y Aumentada

Registrarse en:

miguelgrassi.com.ar/RegistroRV.htm
 Preguntas

Muchas gracias !!!

Material disponible para descarga en: https://untref.academia.edu/MiguelGrassi

Distribución libre bajo los téminos de la licencia Creative Commons:

Miguel Grassi
Attribution-NonCommercial
ShareAlike CC BY-NC-SA
https://creativecommons.org/licenses/by-nc-sa/4.0