Tema 3.

Dispositivos de Entrada/Salida (I)

TCNICAS Y DISPOSITIVOS DE REALIDAD VIRTUAL
MASTER EN INFORMTICA GRFICA,
J UEGOS Y REALIDAD VIRTUAL
Pablo Toharia
pablo.toharia@urjc.es
Bibliografa
Virtual Reality Technology (Second Edition) Grigore C. Burdea,
Philippe Coiffet
Ed. Wiley-IEEE Press, 2003
Dispositivos de E/S
1. Introduccin
2. Dispositivos de entrada
Trackers, Navegacin, Dispositivos gestuales
3. Dispositivos de salida
Grficos, Sonido 3D, Hpticos
1. Introduccin. Definicin de la RV
Interfaz de usuario que implica simulacin en tiempo
real e interaccin a travs de mltiples canales
sensoriales (visin, sonido, tacto, olor, gusto).
Engaar los sentidos
Inmersin
Interaccin
Componentes de la RV
Objetos virtuales: 6 DOF
2. Dispositivos de entrada
a) Trackers
b) Dispositivos de navegacin
c) Dispositivos gestuales
a) Trackers. Dispositivos de seguimiento.
Miden el movimiento de "objetos" por ejemplo el
de la mueca o el de la cabeza del usuario con
respecto a un sistema fijo de coordenadas.
Ojo: no siempre es fijo trackers inerciales
Caractersticas del tracker
Tasa de medida: lecturas/seg que el tracker proporciona al
ordenador
Latencia: retraso entre un cambio en la posicin y orientacin
del objeto y el momento en el que se informa de ese cambio al
ordenador
Posicin real del
objeto
Latencia
Tiempo
Datos del tracker
Precisin: diferencia entre la posicin real del objeto y
la que proporciona el tracker. Se degrada con la
distancia
Volumen de trabajo: volumen dentro del cual el
tracker puede medir y proporcionar dicha precisin
Resolucin: cambio mnimo en la posicin del objeto
que el tracker puede detectar
Repetibilidad: medidas repetidas para una posicin
quieta del objeto
Caractersticas del tracker (cont)
Precisin
Posicin real del objeto
Precisin
Repetibilidad
Medidas de la posicin
que da el tracker
Ruido
Posicin fija del
objeto real
Ruido en
la seal
Tiempo
Datos
Cambio en la salida proporcionada por el tracker
cuando el objeto est quieto
Tecnologas para el seguimiento
Trackers mecnicos (casos especiales)
Trackers magnticos
Trackers pticos
Trackers de ultrasonidos (menos usados)
Trackers inerciales
Trackers mecnicos. Definicin
Miden la posicin y orientacin de un objeto que est
unido al extremo de un brazo mecnico.
Este brazo est anclado a un punto fijo y compuesto de
diferentes secciones que se pueden rotar y mover en las
articulaciones.
Los movimientos se miden mediante potencimetros o
codificadores y se usan para calcular la posicin y
orientacin relativas al punto fijo de referencia.
Trackers mecnicos. Caractersticas
Latencia muy baja, son rpidos
Inmune a interferencia de campos magnticos
Puede ser pesado si se usa sobre el cuerpo del usuario
Poca libertad. Volumen de trabajo pequeo
Poco usados
Ejemplo:
Estructura del exoesqueleto
Interfaz con el ordenador
Palpador en la URJ C
Phantom OMNI como tracker mecnico
Trackers magnticos
Dispositivo de medida sin contacto que utiliza un
campo magntico producido por un
TRANSMISOR fijo para determinar la posicin en
tiempo real de un elemento RECEPTOR mvil
(sobre el objeto)
Trackers magnticos. Caractersticas
Usan campos magnticos de baja frecuencia para medir
la posicin
Campos producidos por una fuente fija
El tamao de la fuente est relacionado con el volumen
de trabajo
El receptor se une al objeto y tiene tres antenas
perpendiculares
La distancia se deduce de los voltajes inducidos en las
antenas. Se necesita calibracin
Pequeos y ligeros
Tracker magntico sobre un guante
Comparacin de los trackers magnticos de CA y CC
Los de CC son inmunes al acero no-ferromagntico de
los metales (latn, aluminio y acero inoxidable). Los de
CA se ven afectados
La presencia de metales ferromagnticos afecta a los
trackers de CC y de CA (acero dulce y ferrita).
Ambos se ven afectados por el cobre
Los trackers de CA tienen una resolucin y exactitud
mejores pero alcance algo menor
Degradacin por objeto ferromagntico
Ascension Flock of Birds en la URJ C
Una unidad maestro con transmisor y
receptor
Resto de esclavos slo receptor
Fast Bird Bus: Bus serie rpido 100 medidas
por segundo
FOB (Flock Of Birds)
Sensor o rastreador
Transmisor
Unidades electrnicas o Controladores
Motion Star Wireless Tracker
Cortesa de Ascension Technologies
Wireless suit
Sensores: 20/traje
100 veces/seg
Rango de 3 metros
desde la unidad base
Resolucin<2 mm
y <.2 degrees
Unidad Electrnica
(batera de 2 horas)
Cortesa de Ascension Technologies
Trackers ultrasnicos
Dispositivo de medida sin contacto que utiliza
una seal ultrasnica producida por un
transmisor fijo para determinar la posicin y
orientacin en tiempo real de un receptor mvil.
Trackers de fase (no se usan)
Trackers de TOF (tiempo de vuelo)
Trackers de fase
Comparan las fases de las ondas acsticas con
la fase de una onda de referencia
El error se va acumulando. Se necesita una
fuente externa de vez en cuando para corregirlo
No se usan
TOF tracker (Time of Flight) Caractersticas
Usa ultrasonido de baja frecuencia para medir la
posicin
Sonido producido por una fuente triangular fija (con 3
altavoces)
El receptor es triangular tiene tres micrfonos y est en
el objeto
Se mide la distancia de cada altavoz a todos los
micrfonos. Se usa triangulacin
La distancia se calcula multiplicando el tiempo de vuelo
por la velocidad del sonido en el aire
Inconvenientes
Lmites en la frecuencia de muestreo debidos a la baja
velocidad del sonido.
Velocidad del sonido en m/sec = (340 + 0.6 T
K
) , donde
T
K
es temperatura en grados Kelvin
Mximo 50 actualizacioens/seg
Temperatura, presin, humedad
Sensible a obstculos
Tracker Ultrasnico de Logitech
Trackers pticos
Dispositivo de medida sin
contacto que utiliza
deteccin ptica para
determinar la posicin y
orientacin en tiempo
real de un objeto
De fuera hacia dentro (outside-looking-in).
De dentro hacia fuera (inside-looking-out)
Caractersticas
Mayor exactitud cerca del volumen de trabajo.
Superficie muy grande y resistencia a las obstrucciones
visuales (lnea de la vista), aunque hay problemas si
todos los leds estn ocultos a los sensores
Sensores pesados (no es problema en los outside-
looking-in)
Escalable
Beackons (faros) activos (emiten luz) o pasivos (reflejan
luz)
Inside-looking-out
LaserBIRD optical tracker
Ventajas / Desventajas
Alta tasa de actualizacin
Gran volumen de trabajo
No se ven afectados por los metales
Problema de la lnea de visin
Luz ambiental. Radiaciones infrarrojas
Caros
Wii Remote Infrared Tracking
Cmara el la punta del mando para captar la luz
infrarroja enviada por la barra de LEDs.
10 LEDs infrarrojos
Mediante triangulacin se puede obtener la posicin y
rotacin del mando
Trackers inerciales
Aprovechan propiedades fsicas asociadas al
movimiento para extraer aceleraciones y giros
de los objetos
Auto-contenidos
Los trackers inerciales usan:
Acelermetros
Giroscopios
Trackers inerciales:
Acelermetros
Dispositivo que mide la aceleracin
experimentada por un objeto
Medir cambio en la velocidad
Mono-eje o multi-eje
Multieje Magnitud y direccin del vector de
aceleracin
Hoy en da:
Dispositivos muy pequeos
De masa muy pequea para reducir el error por el momento
de inercia del propio acelermetro
MEMS (Micro Electro-mechanical systems)
Trackers inerciales:
Giroscopios
Deteccin de la orientacin de masas en
movimiento (girando)
Se basan en el principio de que cualquier objeto
en movimiento de rotacin tiene propiedades
giroscpicas
Conservacin del momento angular
Masas pesadas rotando a alta velocidad sobre unos
rodamientos con baja friccin
Wii remote (Wiimote)
Acelermetro multieje
Wii MotionPlus
Giroscopio multieje
Permite junto con los acelermetros y el tracking
ptico obtener un tracking ms preciso
Mejora sobre todo la orientacin previamente se
obtena mediante aproximaciones usando los
acelermetros
Trackers inerciales:
Ventajas y desventajas
No necesitan ningn tipo de fuente
independientes
No necesitan cables y el dispositivo no est limitado
en su movimiento
Su volumen de trabajo es muy amplio
Baja latencia
Presentan derivas
Histresis en acelermetros mecnicos
Mala deteccin de movimientos lentos
b) Dispositivos de entrada de navegacin
Realizan control relativo de la posicin y
velocidad de objetos virtuales
Permiten navegar controlando una cmara
virtual
Trackball, ratn cbico o MicroScribe
Ratn cbico (Cubic Mouse)
9 x 9 x 9cm
Rodillos de
traslacin
6 botones
programables
Magellan Trackball
Parte central fija con 6 LEDs
Cilindro externo mvil con 6 fotosensores
The Microscribe (Immersion Co.)
Brazo mecnico
Base 6 articulaciones
Clculos cinemticos
basados en cinemtica
y longitud de los
segmentos
Contrapeso
c) Dispositivos Gestuales
Guantes de datos:
Tienen un volumen de trabajo ms grande que las
trackballs o el Microscribe
Algunos necesitan calibrarse con la mano del usuario
Pinch Glove de Fakespace
Guante 5DT
CyberGlove de Immersion
Grados de libertad de los dedos
Volmenes de trabajo para las distintas interfaces
Pinch glove (Fakespace Co.)
Sin medidas de las articulaciones, pero con
deteccin de contacto
5DT Data Glove
ngulos de las articulaciones
Sensores fibropticos
CyberGlove en la URJ C
Guante de realidad virtual de
Inmersion
22 sensores de posicin
resolucin por sensor de 0,5
interfaz RS-232 que permite
conocer en todo momento la
posicin y postura de la mano del
operador
112 gestos/seg
3.1. Introduccin
3.2. Displays personales
3.3. Displays auto-estereoscpicos
3.4. Displays de volmenes grandes
3.5. Sonido 3D
3.6. Interfaces hpticas
3. Dispositivos de salida
3.1. Introduccin
Interfaces especializados que pretenden estimular los
distintos sentidos
Representaciones grficas para realimentacin visual
Hardware para audio 3-D para sonido localizado
Interfaces hpticas para realimentacin de fuerza y tacto
De momento el olfato y gusto no han sido muy investigados
Interfaz grfica
Una representacin grfica es un interfaz del
ordenador que presenta imgenes del mundo
virtual a uno o varios usuarios que interactan
con l
Caractersticas y dispositivos
Visin humana estreo
Displays personales
De gran volumen
Gafas activas
Bancos de trabajo
Cuevas
Tipos de dispositivos
Dispositivos activos
Muestran alternativamente los campos de una imagen estreo
Requieren mecanismos de sincronizacin costosos
Los proyectores son baratos
Dispositivos pasivos
Las dos imgenes son mostradas a la vez
No requieren mecanismos de sincronizacin
Los proyectores son caros
Visin mono
La sensacin de profundidad en imgenes mono se basa
en la obstruccin (unos objetos bloquean la visin de
otros), en sombras, texturas y movimiento (las imgenes
ms cercanas parecen moverse ms que las lejanas)
Visin humana estreo
La sensacin de profundidad en estreo se basa en
esteropsis cuando el cerebro coloca y funde dos
imgenes
Los dos ojos registran distintas imgenes
(desplazamiento horizontal)
Desplazamiento depende de la distancia interpupilar
(IPD, DIO) y vara para cada persona entre 45 y 75 mm
Funciona en un campo cercano (a algunos metros del
ojo)
Visin humana estreo
Implicaciones para dispositivos de visin estreo
Necesitan presentar dos imgenes del mismo
entorno de RV
Las imgenes se pueden presentar:
al mismo tiempo en dos diplays (HMD)
Ordenadas en el tiempo en un solo display (cristales
activos)
Ordenadas en el espacio en un display (displays auto-
estereoscpicos)
3.2. Displays personales
Representacin grfica que presenta una escena
virtual para ser vista por un solo usuario.
Tal imagen puede ser monoscpica o
estereoscpica, monocular (para un solo ojo) o
binocular (para ambos)
Displays personales
HMD: Head Mounted Displays;
Prismticos 3-D (sujetos con la mano o desde el
suelo)
Ventanas virtuales (desde el suelo o colgadas)
Displays Auto-estereoscpicos (pupitres)
Dispositivos HMD
Head Mounted Displays
Sensacin de inmersin
Visin mono o estreo
Se pueden manipular objetos por ejemplo con
un guante de datos sin que las manos
interfieran en la visin
V6 en la URJ C
HMD de Virtual Research
display de 1,3
Resolucin por ojo de 640x480
Campo de visin de 260 que
permite la visualizacin de
imgenes de forma
estereoscpica.
hi-Res800 en la URJ C
Cascos de RA hi-Res800 de
Cybermind
Display de 2 x 0,7 LCD
Resolucin de 800x600
Permite mezclar imgenes
reales y generadas por
ordenador para visualizar
escenas inmersivas de forma
individual
Trivisio AR-vision 3D Goggles/HMD en la
URJ C
Display Olympus Eye Trek
ProView de Keiser
LCOS Virtual Binoculars
Ventana Virtual 3-D de Virtual Research
3.3. Displays auto-estereoscpicos
Displays lenticulares: pasivos y activos
Los pasivos, no realizar un seguimiento de la
cabeza del usuario y por tanto restringen la
posicin del usuario
Los activos siguen el movimiento de la cabeza y
proporcionan ms libertad
3.3. Displays auto-estereoscpicos activo
3.4. Displays de volmenes grandes
Permiten que varios usuarios tengan una visin
monoscpica o estereoscpica del mundo virtual
Se clasifican segn estn:
a) Basados en monitor
b) Basados en proyector
Mayor libertad de movimiento que los
personales
a) Basados en monitor
Usan gafas activas o pasivas
Varios usuarios pueden mirar un monitor
Puede existir un solo monitor, o varios uno a
continuacin de otro, en cuyo caso la
continuidad de la imagen se convierte en un
problema
b) Basados en proyector
Banco de trabajo exhibiciones:
Fakespace, Barco, V-desk
De tipo cueva, pared o bveda (CAVE, RAVE)
Banco de trabajo
Geometras
Baron
V-desk
Banco de trabajo Fakespace old ImmersaDesk
Superficie
inclinada
Espejo reflector
Proyector CRT en el
suelo (no se ve)
Cono de visin
Cueva en la URJ C
Cueva de RV: RAVE II (Re-configurable Advanced Virtual
Environment) de Fakespace
3 mdulos de proyeccin de 3'6 metros de ancho por 3
metros de alto que pueden formar diferentes
configuraciones de proyeccin:
habitacin donde las paredes y el suelo son
pantallas de proyeccin
pantalla plana de 10'8 x 3 metros
teatro inmersivo multiangular
L-shape
pantallas de 3'6 x3 m independientes.
Tracking en la cueva
Mediante un sistema de seguimiento y unas gafas 3D, el
sistema de computacin grfica es capaz de procesar las
imgenes a proyectar en cada pantalla para que alguien
situado en el interior de la cueva pueda experimentar una
experiencia inmersiva en 3D dentro de un escenario
completamente generado por ordenador.
3.5. Sonido 3D
Realimentacin de sonido al usuario que
interacta con el mundo virtual.
El sonido puede ser monoaural (ambos odos
oyen lo mismo) o binaural (cada odo oye un
sonido distinto).
Sonido estreo vs Sonido 3D
Head Related Transfer Function (HRTF) para
localizar el sonido
Sonido 3D Mediante altavoces
El sonido de un altavoz
llega a ambos odos
Se debe ajustar el
sonido
3.6. Interfaces hpticas
Viene del griego Hapthai que significa el sentido
del tacto
Agrupa:
a) Realimentacin de tacto
b) Realimentacin de fuerza
a) Realimentacin de tacto
Se basa en sensores sobre o cerca de la piel
Implica informacin sobre la superficie de
contacto, geometra, aspereza, temperatura
Ms difcil de implementar de manera realista
que la realimentacin de fuerza
Mayor concentracin de sensores del tacto en
las manos
CyberTouch Glove (Virtex)
6 estimuladores
individuales
vibrotctiles
controlados
0-125 Hz frecuencia
1.2 N a 125 Hz
b) Realimentacin de fuerza
Necesitan fundamento mecnico para resistir el
movimiento del usuario. Se pueden apoyar sobre un
escritorio, pared o en el cuerpo del usuario
Ms fciles de construir, pero ms caros que los de tacto
Ms difcil de implementar (no hubo productos
comerciales hasta mediados de los 90)
CyberGrasp
Exoesqueleto (sobre
CyberGlove)
Cables y poleas
CyberForce
8.8 N como mximo
Brazo mecnico 6 DOF
Posicin de la mueca
Realimentacin de fuerza
No necesita tracker
LIE en la URJ C
Laparoscopic Impulse Engine
de Immersion
Resolucin de 0,025 mm.
5 grados de libertad en
movimiento
3 grados de libertad en
obtencin de fuerza
SPIDER-8
Spider-8
PHANToM en la URJ C
PHANTOM Premiun 1.5 de Sensable
Resolucin de 0,03 mm y mximo esfuerzo de 8,5 Nw,
PHANToM Omni en la URJ C