La Realidad Mediada

Hoy: Realidad Virtual de bajo costo con Head Mounted
displays y Cardboards

Una introducción a las tecnologías para
la modelización física y representación
espacial simultánea de información digital
Lic. Miguel Grassi
UNTREF – Laboratorio de Arte Electrónico e Inteligencia Artificial
La Realidad Intervenida

 1) Realidad Virtual (RV - VR)
 2) Realidad Aumentada (o
Expandida)
 2-1) Realidad Expandida Móvil
 2-2) Realidad Aumentada
Espacial (SAR)
 2-3) Virtualidad aumentada (AV -
Augmented Virtuality)
 3) Realidad Mixta (Mixed Reality)
 4) Realidad Mediada (Computer-
mediated reality)
 5) Virtualidad Embebida
(Emboded Virtuallity o Embedded
System)
 6) Intervención Robótica (I-ROB)
 7) Realidad Intervenida (R-INT)
Realidad Virtual

 Designa los sistemas donde
los estímulos sensoriales
reales pretenden
reemplazarse completamente
por los que genera el sistema.

Ejemplo: Oculus Rift, Samsung Gear
VR, HTC Vive, PlayStation VR, etc. :
Realidad Aumentada o Expandida

 Define aquellos sistemas en los
que la percepción -directa o
indirecta- del mundo real es
enriquecida mediante el
agregado de información digital,
sin reemplazar completamente la
percepción directa de los objetos
reales, sino complementándola
con información no evidente de
otro modo .

Ejemplo: Google Glass,
Microsoft HoloLens, etc. :
Realidad Expandida Móvil
La percepción de la
realidad es indirecta,
mediante un
dispositivo móvil
(Tablet, Smart Phone
o similar) dotado de
cámara y pantalla.

CulTu-RA Plataforma de Realidad Aumentada para Cultura y
Turismo - Miguel Grassi - 2012
Virtualidad Aumentada (AV)

 Consiste en la
integración de elementos
reales, (personas, el
propio usuario,
dispositivos...) dentro de
un entorno virtual mayor
(Wii Remote, Kinect) en
las que el usuario
comanda, mediante
actitudes corporales, un
avatar de si mismo
inmerso en el mundo
virtual de la aplicación
Realidad Aumentada Espacial (SAR)

 El agregado de la
información se hace
directamente sobre los
objetos reales,
generalmente mediante
alguna técnica de
proyección. La
percepción del objeto en
esos casos suele ser
directa.
Realidad Mixta (Mixed Reality) 

En 1994 Paul Milgram y Fumio Kishino definen la realidad mixta
como "cualquier lugar entre los extremos de un continuum que se
extiende entre los extremos del mundo real y la virtualidad
completa"[1]. 

El uso de esta denominación permite referirse al campo completo,
sin necesidad de precisar una determinada ubicación dentro de ese
continuum.

[1] Taxonomy of Mixed Reality Visual Displays, P. Milgram and A. F. Kishino, IEICE
Transactions on Information and Systems, E77-D(12), pp. 1321-1329, 1994.
Realidad Mediada (Computer-mediated reality)

 Bajo esta denominación
podríamos englobar todos
los puntos anteriores, y se
aplicaría a aquellos sistemas
que aumentan, diminuyen o
de algún otro modo
MODIFICAN mediante la
intervención de
computadoras, la percepción
que se tiene del mundo real
Virtualidad Embebida (Emboded
Virtuallity o Embedded Systems) 
El término hace referencia al concepto de la computación ubicua,
popularizado por Mark Weiser en su famosísimo artículo de la revista
Scientific America[1] en 1991. Consiste en la incorporación de la capacidad
de procesamiento electrónico de la información en la mayoría de los
objetos cotidianos, con el objeto de multiplicar sus prestaciones.

 Esto incluye, especialmente,
dotar a esos objetos de
capacidades de comunicación
integrándolos en grandes redes
inteligentes

 La Internet de las Cosas (IoT)
alcanzará 75 mil millones de
dispositivos para el 2020

[1] The Computer for the 21st Century. Mark Weiser- 09-91 Scientific American Ubicomp
Context Aware Systems 
Se basa en dispositivos –generalmente móviles- capaces de
sensar su entorno y adaptar su comportamiento al contexto.
 Si bien es un desprendimiento de la
computación ubicua o pervasiva
profetizada por Weiser, se potencia
ahora gracias al GPS, Bluetooth y BTLE,
redes NFC, iBeacons, etc.
La Internet de las Cosas (IoT)
Intervención Robótica (I-ROB) 
Es el concepto que proponemos para designar al conjunto de recursos mecatrónicos
y robóticos que se integran en los objetos de diseño para darles la habilidad de
desplazarse, modificar su forma y, en general, reaccionar física y mecánicamente a
la interacción con otros objetos, con el usuario y con el entorno en general.
https://youtu.be/lX6JcybgDFo
Intervención Robótica (I-ROB)

https://goo.gl/photos/6bssmsfZdhF4LeXg8

https://youtu.be/5yG-eGKREWo
Intervención Robótica (I-ROB)

https://goo.gl/photos/6bssmsfZdhF4LeXg8
Realidad Intervenida (R-INT)
 Es la denominación que proponemos para
asignar al conjunto completo de tecnologías
que acabamos de enumerar.

 En las tecnologías Realidad MEDiada
(indicadas con líneas punteada color rojo en
el diagrama) lo único que se altera es la
PERCEPCION que el usuario tiene de la
realidad; el mundo físico que el usuario
contempla permanece esencialmente
inalterado para, por ejemplo, un observador
externo

 En la Realidad INTervenida (indicada con
línea continua y color azul), en cambio, se
modifican físicamente los objetos,
transitoria o permanentemente como
resultado de la relación con el usuario y el
entorno y esta modificación es apreciable
tanto para el usuario como para cualquier
eventual observador
Head Mounted Displays

VR de inmersión total con gafas y
auriculares montados en la cabeza
Inmersión total (VR) con HM Displays
 En la Realidad Virtual los estímulos sensoriales reales pretenden
reemplazarse completamente por los que genera el sistema.
 La aislación del ambiente se logra mediante un dispositivo montado en
la cabeza (Head Mounted): Usualmente Gafas, con o sin auriculares.

Oculus Rift Samsung Gear VR HTC Vive PlayStation VR

Google
Cardboards: Original Modelos Enhaced Impresa 3D
Principios que intervienen 
Esteroscopía (a cada ojo lo suyo)
Visor estereoscópico Anteojo polarizado actual
portátil J. Fleury
Hermagis, 1870

View-Master
Modelo E ,1950

Anteojo de Anaglifos actual Google Cardboard
Principios que intervienen 
Las experiencias a 360º requieren

 Para visualizar
 Head tracking
 Sincronizar la imagen (estereoscópica y/o panorámica)
con el punto de vista del usuario en tiempo real

 Para generar
 Toma simultánea (video o foto)
 Lentes o espejos
 Cámaras múltiples sincronizadas
 Combinación de ambas

 Panorámica en secuencia
 Mediante panning
 Mediante stitching
Principios que intervienen
 Inmersión - Navegación

 Hands tracking

Leap Motion

 Environment
recognition

VR Tracker: https://youtu.be/kt660Ca99bA
Lo que se viene de Google

Daydream
Otoño 2016 (?) Developer Tablet disponible por
u$s 512. Sólo en ciertos países
HMD con control
manual (BT?)
Las dos clases principales de dispositivos 

Dispositivos que se conectan a PC  Dispositivos basados en teléfonos
o consolas de Video Juego móviles (mobile VR headsets)
 Pantallas propias  Sin pantallas propias (usan la del
 Precio elevado smartphone)
 Vinculados con cable  Bajo costo (sin considerar el precio
 Alto rendimiento del teléfono)
 SDK complejo  Portátiles (sin cable)
 Ideales para juegos y aplicaciones  Rendimiento mediano
interactivas pesadas, diseñadas ad-  SDK simple
hoc, de precio elevado  Alta compatibilidad con muchas
 Recursos de hardware adicionales aplicaciones generales
para positional tracking, comandos  Ideales para experiencias visuales a
inalámbricos, etc. 360º, muchas de ellas gratuitas
Google Cardboard
 Versiones comerciales
 Van desde los 15 a los 70 dólares

Las oficiales se pueden comprar en: https://vr.google.com/cardboard/get-cardboard/

 Versiones DIY (desde 0 a 20 dólares)
3d printed
Cartón

https://vr.google.com/cardboard/downloads/wwgc_manufacturers_kit.zip http://www.thingiverse.com/thing:729029
Google Cardboard
https://vr.google.com/cardboard/ 
Manual de 20 páginas con recomendaciones para la fabricación del modelo
de cartón 
Planos detallados 
Cambios y mejoras permanentes (Ej. El botón)
Planos de las lentes
Google Cardboard
https://vr.google.com/cardboard/

 NFC (Near Field Communication) tag – 4 cm
 Permite lanzar automáticamente la aplicación
por default (Cardboard App) al colocar el
teléfono en las gafas

 Nuevo sistema de botón
 Permite a los usuarios interactuar con la
pantalla. Es compatible con todos los modelos
de teléfono, a diferencia del modelo magnético
Google Cardboard
 QR viewer profile
 Permite a los usuarios configurar correctamente las
aplicaciones para que trabajen bien con un modelo de
gafas en particular. Suele imprimirse al costado de las
gafas o en una etiqueta autoadhesiva

 Viewer Profile Generator
 Permite al creador/fabricante de un modelo de gafas
generar un perfil con la información de su propio
dispositivo para que el usuario configure sus
aplicaciones y pueda aparearlas con sus gafas
 Brinda herramientas para su ajuste y calibración
 Finalizada la carga y el ajuste, genera el QR especial
para ese perfil
Google Cardboard
 Uso del Viewer Profile Generator – Requiere las gafas a
calibrar, un Smartphone compatible, otra computadora e
Internet

 Se accede desde la computadora (NO desde el teléfono) a:
https://vr.google.com/cardboard/viewerprofilegenerator/

 Se cargan en el form que aparece allí los parámetros
geométricos básicos de las gafas

 Al enviar el form se generará una página que presenta una
imagen 360º de un ambiente 3D estereoscópico interactivo que
se usará para la calibración

 Se accede a ese ambiente virtual con el móvil usando el QR
que aparece en la página del formulario. Una vez abierto, se
coloca el smartphone en las gafas a calibrar

 Como el formulario de calibración está sincronizado con la
imagen de RV, cuando se modifican los valores en el formulario
usando el teclado de la computadora, se altera la imagen que se
ve en el teléfono

 Una vez que se logra la imagen correcta, se salva el perfil y se
genera el QR viewer profile específico para esas gafas
Fuentes de Contenidos

 Steam  VRTIFY
 Especialmente juegos  Conciertos y Videos
Musicales en RV

 Youtube VR y 360º
 Videos

Grandes medios

Noticias. Acontecimientos Presentó trailers (Stranger
Locales. Música del Colón things) y preparan lanzamientos
Acontecim. Históricos
en Videos 360º
Generación de Contenidos
 Hardware para registros a 360º

GoPro Odyssey
16 cámaras HERO4 sincronizadas Samsung 360º
en toma simultánea, produce videos 3840 x 920 a 30 fps
estereoscópicos de 4 veces 4K
Generación de Contenidos 

Soluciones basadas en Software

VideoStitch Studio

Google Cardboard Camera PTGui Panorama Tool
Generación de Contenidos 
Herramientas de desarrollo

 Google VR SDK for Android y iOS
 Lens distortion correction.
 Spatial audio.
 Head tracking.
 3D calibration.
 Side-by-side rendering.
 Stereo geometry configuration.
 User input event handling.

 Unity VR SDK for Android
“Oculus Rift” por menos de u$s100?
Permite aplicaciones de Realidad Virtual de PC (Steam) en VR Mobile Headsets

 VRidge es un software de Rifcat
para PC que simula un VR
Headset conectado a la PC y
envía el contenido generado por la
aplicación de VR al Google
Cardboard. Usa un Leap motion
para el tracking posicional (manos) 

u$s 69 para la Leap Motion 
u$s 1 para un soporte 3D Printed 
u$s 15 Google Cardboard viewer 
u$s15 para la full version del VRidge (Hay una versión free
con restricciones de tiempo a 10 minutos por sesión)
Consideraciones fisiológicas y ergonómicas 
Fatiga visual y/o auditiva temprana 

Enfermedad del Simulador (simulator sickness)
 Aparición de nauseas cuando los ojos perciben movimiento
y el cuerpo no (diferencias entre el sistema vestibular y
visual) 

Enfermedad del movimiento (carsickness)
 Aparición de nauseas o mareos cuando hay disparidad
entre lo que se siente y lo que se espera sentir. Suele
aparecer cuando se lee en un auto en movimiento
Interesados en Participar en proyectos de
I+D en Realidad Virtual y Aumentada 

Registrarse en:

miguelgrassi.com.ar/RegistroRV.htm
Preguntas

Muchas gracias !!!

Material disponible para descarga en: https://untref.academia.edu/MiguelGrassi

Distribución libre bajo los téminos de la licencia Creative Commons:
Miguel Grassi
Attribution-NonCommercial
ShareAlike CC BY-NC-SA
https://creativecommons.org/licenses/by-nc-sa/4.0

Sign up to vote on this title
UsefulNot useful