9/11/2020 Sistema de visualización estereoscópica en primera persona para navegación con drones

Página 1

Investigacion original
publicado: 20 de marzo de 2017
doi: 10.3389 / frobt.2017.00011

Vista estereoscópica en primera persona

sistema de navegación Drone
Nikolai Smolyanskiy * † ‡ y Mar Gonzalez-Franco * †

Microsoft Research, One Microsoft Way, Redmond, WA, EE. UU.

El control terrestre de los vehículos aéreos no tripulados (UAV) es clave para el avance de este
tecnología con fines comerciales. La necesidad de un control terrestre confiable surge en
escenarios donde la intervención humana es necesaria, por ejemplo, situaciones de traspaso cuando la autonomía
fallan los sistemas omosos. También se necesitan vuelos manuales para recopilar diversos conjuntos de datos para
entrenar sistemas de control basados en redes neuronales profundas. Este axioma es aún más prominente para
el caso de los robots voladores no tripulados donde no existe una solución simple para capturar óptimas

Editado por:
metraje de navegación. En tales escenarios, mejorar el control terrestre y desarrollar
Antonio Fernández-Caballero, mejores sistemas autónomos son dos caras de la misma moneda. Para mejorar el suelo
Universidad de Castilla-La Mancha,
experiencia de control y, por lo tanto, la calidad del metraje, proponemos actualizar a bordo
España
sistemas de teleoperación a una configuración totalmente inmersiva que proporciona a los operadores un estéreo
Revisado por:
Yudong Zhang, vista escópica en primera persona (FPV) a través de una pantalla de realidad virtual (VR) montada en la cabeza. Nosotros
Universidad Normal de Nanjing, China usuarios probados ( n = 7) pidiéndoles que vuelen nuestro dron en el campo. Se mostraron vuelos de prueba
Michal Havlena,
ETH Zürich, Suiza
que los operadores que vuelan nuestro sistema pueden despegar, volar y aterrizar con éxito mientras usan

*Correspondencia:
Auriculares de realidad virtual. Además, realizamos dos experimentos con videos pregrabados de los vuelos.
Nikolai Smolyanskiy y camina hacia un conjunto más amplio de participantes ( n = 69 yn = 20) para comparar la propuesta
nsmolyanskiy@nvidia.com ;
tecnología a la experiencia que brindan las soluciones FPV de drones actuales que solo incluyen
Mar González-Franco
margon@microsoft.com visión monoscópica. Nuestra configuración estereoscópica inmersiva permite una profundidad de mayor precisión
† Estos autores han contribuido
percepción, que tiene claras implicaciones para lograr una mejor teleoperación y
igualmente a este trabajo. navegación. Nuestros estudios muestran datos completos sobre el impacto del movimiento y el simulador
‡ Dirección actual: enfermedad en caso de configuración estereoscópica. También presentamos las especificaciones del dispositivo
Nikolai Smolyanskiy,
como las medidas que mejoran la experiencia de teleoperación y reducen el simulador inducido
NVIDIA Corp., Redmond, WA, EE. UU.
enfermedad. Nuestro enfoque proporciona una mayor fidelidad de percepción durante los vuelos, lo que conduce a
Sección de especialidad: una mejor teleoperación más precisa y, en última instancia, se traduce en mejores datos de vuelo para
Este artículo fue enviado a
formación de políticas de control profundo de UAV.
Teoría, herramientas y sistemas de visión
Aplicaciones Palabras clave: dron, realidad virtual, cámaras estereoscópicas, tiempo real, robots, vista en primera persona
una sección de la revista
Fronteras en robótica e IA

Recibido: 12 de diciembre de 2016

Introducción
Aceptado: 03 de marzo de 2017
Publicado: 20 de marzo de 2017
Uno de los mayores desafíos de los vehículos aéreos no tripulados (UAV) (drones, UAV) es su teleoperación.
Citación:
ción desde el suelo. Tanto los investigadores como los reguladores apuntan a escenarios mixtos en los que
Smolyanskiy N y Gonzalez-
El control de robots voladores autónomos crea situaciones de traspaso en las que los humanos deben recuperar el control.
Franco M (2017) Estereoscópico Primero
en circunstancias específicas ( Russell et al., 2016). Los UAV vuelan a altas velocidades y pueden ser peligrosos.
Sistema de visualización de personas para drones
Navegación.
Por lo tanto, el traspaso del control de tierra debe ser rápido y óptimo. La calidad de la teleoperación
Frente. Robot. AI 4:11. tiene implicaciones no solo para la navegación estable con drones sino también para el desarrollo de sistemas autónomos
doi: 10.3389 / frobt.2017.00011 ellos mismos porque el metraje de vuelo capturado se puede utilizar para entrenar nuevas políticas de control. Por lo tanto, hay

https://translate.googleusercontent.com/translate_f 1/10
9/11/2020 Sistema de visualización estereoscópica en primera persona para navegación con drones

Fronteras en robótica e IA | www.frontiersin.org 1 Marzo de 2017 | Volumen 4 | Artículo 11

Página 2
Smolyanskiy y Gonzalez-Franco Sistema FPV estereoscópico para navegación con drones

es una necesidad para comprender mejor las implicaciones del terreno rendimiento mejorado sobre lapa-
controlar y encontrar una solución que brinde la mejor combinación los roscopiosFishman et al., 2008), en general, mostrando evidencia clara
de teleoperación humana y control autónomo en un solo visual de importantes implicaciones de rendimiento entre monoscópicos y
preparar. Los drones comerciales existentes se pueden controlar desde visiones estereoscópicas para el funcionamiento del telerobot y potencialmente para
una vista en tercera persona (TPV) o desde una vista en primera persona (FPV). los
Control de drones FPV.
El tipo de operación TPV crea problemas de control y seguridad, ya que En resumen, la mayoría de los factores técnicos descritos como básicos para una
Los operadores tienen dificultades para adivinar la orientación del dron y pueden La teleoperación efectiva de robots en FPV está relacionada con tener un
no poder mantener contacto visual con ellos, incluso a distancias cortas experiencia más inmersiva (FOV más amplio, estéreo frente a mono, cabezal
(> 100 m). Además, dado que la visión estéreo humana efectiva seguimiento, calidad de imagen, etc.), que en última instancia se puede lograr
está limitado a 19 m ( Allison et al., 2009 ), es difícil para los humanos a través de la realidad virtual (VR) ( Spanlang et al., 2014). En eso
para estimar la posición del dron en relación con los objetos cercanos para evitar línea, ha habido varios intentos de usar nuevos auriculares VR
obstáculos y control de actitud / altitud. En tales casos, el suelo como Oculus Rift para el control FPV de drones (Hayakawa et al., 2015;
El control se vuelve más desafiante cuanto más se aleja el dron del Ramasubramanian, 2015 ). Las gafas Oculus Rift VR pueden proporcionar
operador. Vista de 360 ° con ayuda de la panorámica digital, lo que podría crear una
Normalmente, configuraciones de control de drones de consumo más avanzadas experiencia de vuelo inmersiva con suficientes datos de la cámara. Sin embargo,
incluyen gafas FPV con VGA (640 × 480) o WVGA (800 × 480) se sabe que los cascos de realidad virtual y la navegación, que no
resolución y campo de visión limitado (FOV) (30–35 °).1 Sistema más simple estimular el sistema vestibular, generar enfermedad del simulador
Los tems pueden usar pantallas normales o teléfonos inteligentes para mostrar FPV. (Pausch et al., 1992 ). Esto se incrementa con los nuevos montados en la cabeza.
La mayoría de los sistemas existentes solo envían señales de video monocular desde pantallas (HMD) con mayor campo de visión, como enfermedad del simulador
la cámara del dron al suelo. Ejemplos de estos sistemas incluyen aumenta con campos de visión más amplios y con la navegación (Pausch y col. ,
FatShark, Skyzone y Zeiss. 2 Estos sistemas pueden transmitir 1992). Por lo tanto, la enfermedad del simulador se ha convertido en un serio desafío.
alimentación de video a través de señales analógicas en 900 MHz, 1.2–1.3 GHz ypara el avance de la realidad virtual para la teleoperación de drones.
Bandas de 2,4 GHz con transmisión de vídeo de baja latencia y elegante Algunos experimentos han intentado reducir la enfermedad del simulador
degradación de la recepción, lo que permite volar drones a altas velocidades y durante la navegación reduciendo temporalmente el FOV ( Fernandes
cerca de obstáculos. Estos sistemas se pueden combinar con gafas FPV: y Feiner, 2016 ) o aumentando el flujo escaso en la periferia
por ejemplo, Parrot Bebop o drones DJI con Sony o Zeiss Cinemizer vista que también afecta el campo de visión efectivo ( Xiao y Benko, 2016).
Gafas FPV (ver nota de pie de página 2). Campeón actual de carreras de drones La estabilidad postural también puede modular la prevalencia de la enfermedad,
los ganadores de pioneros vuelan en estas configuraciones precisas y logran estar más bajo control cuando los participantes están sentados en lugar de
velocidades medias de 30 m / s. Desafortunadamente, analógico y digital que de pie ( Stoffregen et al., 2000 ). En general, navegación de realidad virtual
Los sistemas propuestos hasta la fecha tienen un campo de visión muy estrecho (30-40
induce°)uny movimiento no coincidente, que se relaciona internamente con
baja resolución de video y velocidades de cuadro, no se puede transmitir fácilmenteprocesamiento multisensorial gruente en el cerebro (González Franco,
a través de Internet, y se limitan a una vista monocular (que afecta 2014; Padrao et al., 2016 ). De hecho, para proporcionar un FPV coherente en
estimaciones de distancia). Estas limitaciones técnicas han sido La RV, la estimulación somatosensorial congruente y las pequeñas latencias son
demostrado que afecta significativamente el rendimiento y la experiencia en necesario, es decir, a medida que la cabeza gira, también lo hace el render ( Sánchez-
telepresencia robótica en el pasadoChen et al., 2007 ). En particular, Vives y Slater, 2005 ;González-Franco et al., 2010). Si la pista-
La fidelidad sensorial se ve afectada por la interpretación basada en la cabeza (producida
Los sistemas
por de ing no responden lo suficiente o inducen latencias fuertes,
seguimiento de cabeza y latencias de panorámica digital / mecánica), marco la experiencia de realidad virtual se verá comprometida ( Spanlang et al., 2014),
tasa, tamaño de pantalla y resolución (Bowman y McMahan, 2007). y esto por sí solo puede provocar la enfermedad del simulador.
Experimentos que involucran telecontrol robótico y desempeño de tareas Algunas configuraciones de drones han vinculado el seguimiento de la cabeza con la mecánica.
han demostrado que la visualización estereoscópica FPV presenta importantes Las cámaras panorámicas controlan 3 para producir un sensor somatosensorial coherente.
ventajas sobre las imágenes monoculares; las tareas se realizan más rápido simulación. Estos sistemas proporcionan FPV estéreo en tiempo real desde el
y con menos errores en condiciones estereoscópicas (Drascic, la perspectiva del dron para el operador (Hals et al., 2014), como se muestra
1991 ; Chen et al., 2007 ). Además, proporcionando FPV con cabeza por el SkyDrone FPV. 4 Sin embargo, la latencia de la panorámica
el seguimiento y la representación basada en la cabeza también afectan el rendimiento
inherente
de laatarea
los sistemas mecánicos puede inducir importantes
enfermedad
independientemente de la visualización estéreo; p. ej., utilizando seguimiento de cabeza del simulador ( Hals et al., 2014 ). El seguimiento de la cabeza también se ha
incluso
con visualización monocular simple, los participantes mejoraron en la resolución propuesto para controlar directamente la navegación y las rotaciones del drone
rompecabezas con resoluciones de imagen degradadas ( Smets y Overbeeke, con cámaras fijas adjuntas; sin embargo, esos sistemas también indujeron
1995 ). Aunque la estimación de profundidad se puede realizar utilizando retraso severo y mareo por movimiento (Mirk y Hlavacs, 2015), incluso si
Paralaje de movimiento monocular a través del movimiento controlado de la cámara. un enfoque similar podría funcionar en otros escenarios robóticos sin
mentosPepper et al., 1983 ), la variación de la intercámara navegaciónKishore et al., 2014). En general, latencias en la panorámica
la distancia afecta el rendimiento en tareas simples de emparejamiento de profundidad
se puede superar con la panorámica digital de contenido de video amplio
que implica la alineación de clavijas ( Rosenberg, 1993). De hecho, una separación capturado por cámaras de gran angular. Este enfoque ya ha sido
de solo el 50% (~ 3,25 cm) entre cámaras estereoscópicas significativamente implementado usando solo vista monoscópica en drones comerciales

1 FatShark: http://www.fatshark.com/ . 3 Oculus FPV: https://github.com/Matsemann/oculus-fpv.

2 Guía de FPV: http://www.dronethusiast.com/the-ultimate-fpv-system-guide/. 4 Sky Drone: http://www.skydrone.aero/ .

Fronteras en robótica e IA | www.frontiersin.org 2 Marzo de 2017 | Volumen 4 | Artículo 11

https://translate.googleusercontent.com/translate_f 2/10
9/11/2020 Sistema de visualización estereoscópica en primera persona para navegación con drones
Página 3 Smolyanskiy y Gonzalez-Franco Sistema FPV estereoscópico para navegación con drones

como el dron Parrot Bebop, sin un gran simulador enfermo- Materiales y métodos
ness siendo inducido. Sin embargo, todavía no existe una opción genérica para
control FPV estereoscópico para teleoperación con drones ni se conoce aparato
el alcance de la enfermedad asociada del simulador. Una solucion con Nuestro sistema consta de una cámara estéreo gran angular personalizada con
La transmisión de video estereoscópico tendría claras implicaciones no solo lentes de ojo de pez (185 °) controladas desde una computadora a bordo que
para la percepción de profundidad de los operadores, pero también puede ayudar con la autonomía
transmite la transmisión de video y se puede adjuntar a un dron. En nuestra prueba
navegación con drones mous y planificación de rutas ( Zhang et al., 2013). escenario, adjuntamos nuestro sistema de visión a un comercial modificado
UAV equipado con una sola cámara basada en la necesidad de confiar en el marcohexacóptero (DJI S900) normalmente utilizado para la realización de películas profesionales
acumulación para estimar la profundidad y el movimiento del ego con mono En g8 ( Figura 1).
SLAM / odometría visual ( Lynen et al., 2013; Forster et al., 2014). Elegimos este dron porque puede levantar una configuración de cámara bastante pesada.
Desafortunadamente, estos sistemas no pueden recuperarse a escala mundial de (1,5 kg) y tiene una estabilidad aérea superior para una mejor captura de video. Eso
señales visuales por sí solas y dependen de las IMU con giroscopios, aceleradoreses posible miniaturizar nuestra configuración con hardware mejor / más pequeño
ometers ( Lynen et al., 2013 ), o procedimientos especiales de calibración para y móntelo en un dron más pequeño. El estéreo de 180 ° izquierdo y derecho
estimar la escala mundial. Las inexactitudes en la estimación de la escala contribuyenlos marcos se fusionan en una imagen y se transmiten en vivo a Oculus Rift
a errores en el cálculo de la pose del vehículo. Además, mapa de profundidad Auriculares DK2 como flujo H264. Se renderizan las vistas estéreo correctas
la estimación requiere información de pose precisa para cada fotograma, en la estación terrestre a 75 FPS según las poses de la cabeza del operador.
lo cual es un desafío para los sistemas mono SLAM. Estos problemas tienen Esto permite al operador mirar libremente a su alrededor con poca latencia en
llevó a varios fabricantes de drones a considerar el uso de sistemas estéreo 5, 6 que la panorámica (<10 ms) mientras vuela el dron a través de un controlador RC
puede proporcionar mapas de profundidad precisos y a escala mundial inmediatamente (Futaba) o controlador Xbox. La Figura 2 describe nuestra configuración.
de sus cámaras estéreo solo para control autónomo. Sin embargo, El sistema de cámara estéreo está hecho de dos cámaras Grasshopper 3.
Los sistemas estéreo actuales suelen tener líneas de base de cámara amplias de 7 a eras con lentes de ojo de pez Fujinon (distancia focal de 2,7 mm y 185 °
Aumentan la percepción de profundidad y no son estéreo inmersivos adecuados. FOV) montados en paralelo entre sí y separados por 65 mm
FPV escópico para operadores humanos. Por tanto, no son adecuados para distancia [distancia interpupilar humana media (DPI)] (Pryor,
situaciones de traspaso óptimas. Sería beneficioso tener uno 1969). Cada cámara tiene una resolución de 2048 × 2048 y CMOS de 1 ″
sistema visual que permitiría tanto la teleoperación inmersiva sensor con un obturador global y se sincronizan en 10 ms
y se puede utilizar en navegación autónoma. rango. En nuestra configuración de prueba, la cámara está rígidamente unida al DJI
Para ambos casos de vuelo autónomo y controlado desde tierra Hexacóptero S900 (sin cardán mecánico), para que el piloto pueda
robots, es necesario comprender mejor las implicaciones de usar cambios de horizonte como señales de orientación (figura 3). Nosotros usamos
el control FPV y encontrar una solución que proporcione tanto Suspensión de goma simple para minimizar el ruido de vibración.
la mejor experiencia del operador y las mejores condiciones para la autonomía Una computadora a bordo, NVIDIA Tegra TK1, lee a la izquierda y
controlar. Por tanto, proponemos un tel- fotogramas de vídeo correctos de las cámaras, los concatena como uno
sistema de eoperación para drones que permite un terreno de alta calidad imagen (se apila verticalmente), codifica la imagen fusionada en H264
control en FVP, mejora la navegación autónoma y proporciona con un codificador acelerado por hardware y luego lo transmite con
mejores capacidades para recopilar secuencias de video para la capacitación futuraUDP sobre WiFi. Usamos la canalización gstreamer1.0 para la transmisión
Políticas de control autónomas y semiautónomas. Nuestro sistema y codificación. En funcionamiento normal, el sistema puede alcanzar 28-30
utiliza una cámara estéreo de gran angular hecha a medida montada en un fotogramas por segundo, velocidad de codificación a una resolución de 1600 × 1080 por
dron hexacóptero comercial (DJI S900). La cámara transmite cámara / ojo. La computadora de a bordo (Tegra TK1) también es capaz de
todos los datos de video capturados digitalmente (como alimentación de video H.264) al mapas de profundidad de tramas estéreo entrantes para obstáculos.
Calcular
estación terrestre conectada a un visor de realidad virtual. Dado el preliminar evitación. Desafortunadamente, no pudo realizar ambas tareas (video
importancia de la vista estereoscópica en otros escenarios de teleoperación, transmisión y cálculo de profundidad) en tiempo real, por lo que nuestra experiencia
hipotetizamos importantes implicaciones de la vista estereoscópica también Los datos con cálculo de profundidad fueron limitados y no en tiempo real.
para el caso específico de control de drones terrestres en FPV. Probamos el Un mejor cálculo (p. Ej., Con el Tegra TX1 más reciente) permitiría tanto
prototipo en la naturaleza pidiendo a los usuarios ( n = 7) que vuelen nuestro dronTeleoperación
en FPV y sistemas autónomos de evitación de obstáculos
el campo. También realizamos dos experimentos con videos pregrabados de para ejecutar simultáneamente.
los vuelos y caminatas con un conjunto más amplio de participantes ( n = 69 y En tierra, la estación del cliente proporciona control FPV del
n = 20) para comparar la solución FPV de drones comerciales actual drone a través de un visor Oculus Rift DK2 VR conectado a una computadora portátil
monoscópico frente a nuestra configuración estereoscópica inmersiva. Medimos arriba ( Figura 3) y controlador Xbox o RC. En nuestra configuración, lo digital
la calidad de la experiencia, las capacidades de estimación de la distancia, la panorámica se habilita mediante el seguimiento de la cabeza de los auriculares VR. Nosotros
y enfermedad del simulador. En este artículo, presentamos el dispositivo y renderizar vistas correctas para ojos izquierdo y derecho según el usuario actual
la evidencia de cómo nuestro sistema mejora el control terrestre postura de la cabeza y utilizando coordenadas UV precalculadas para muestrear
experiencia. los píxeles. Inicializamos estas coordenadas UV proyectando
vértices de dos esferas virtuales en marcos de ojo de pez usando la cámara
parámetros intrínsecos calculados como en Eq. 1 y luego interpolando
UV entre vértices vecinos. Este proceso de inicialización
5 DJI Phantom 4: https://www.dji.com/phantom-4.
6Devkit estéreo de Parrot: https://www.engadget.com/2016/09/08/parrot-drone-
dev-kit / .
7 Cámara ZED: https://www.stereolabs.com/. 8 Hexacóptero DJI S900: http://www.dji.com/product/spreading-wings-s900 .

Fronteras en robótica e IA | www.frontiersin.org 3 Marzo de 2017 | Volumen 4 | Artículo 11

Página 4
Smolyanskiy y Gonzalez-Franco Sistema FPV estereoscópico para navegación con drones

https://translate.googleusercontent.com/translate_f 3/10
9/11/2020 Sistema de visualización estereoscópica en primera persona para navegación con drones

FIGURA 1 | Hexacóptero DJi s900 modificado (derecha) con la cámara estéreo y la placa integrada Tegra TK1 adjunta (izquierda) .

auriculares. La panorámica digital tiene una latencia inferior a 10 ms y, por lo tanto,

FIGURA 2 | Diagrama de bloques de nuestro sistema.
crea mapas de muestreo que usamos durante el procesamiento de cuadros. los
Calibración del modelo de cámara equidistante ojo de pez intrínseca y
Los parámetros extrínsecos se realizaron con un error de reproyección de 0,25 píxeles.
utilizando OpenCV ( Zhang, 2000 ).
Proyección estenopeica:
es superior a la panorámica mecánica en términos de reducción del simulador
enfermedad. En nuestra configuración, la panorámica digital está habilitada por el cabezal
seguimiento de los auriculares VR y renderizado mediante muestreo de acuerdo
a mapas precalculados. El mapeo se calcula a través de nuestro ojo de pez
modelo de cámara en la inicialización, y proyecta los hemisferios 3D
vértices en las coordenadas UV correctas en los fotogramas de izquierda a derecha.
Coordenadas UV para puntos 3D que se encuentran entre esos vértices
son interpolados por la tubería de renderizado (a través de interpolación bilineal
ción). Cuando cambia la pose de la cabeza, la tubería 3D actualiza su
ver frustum y solo renderiza píxeles que son visibles (de acuerdo con
a una nueva pose de cabeza).
En total, el sistema tiene una latencia de 250 ± 30 ms desde la acción
ejecución hasta que el video llegó a través del HMD. La mayoría de
Se introdujo un retraso durante la codificación, transmisión y
decodificación de la transmisión de vídeo y se puede mejorar con más potencia
Computación a bordo completa. Sin embargo, el sistema era utilizable
a pesar de estas limitaciones de latencia.

X y
una
= , segundo
=
z z Procedimiento experimental
2
rab= +
2 2 Se pidió a los participantes ( n = 7) que volaran el dron; además
La transmisión de video de la configuración de telepresencia en vivo se grabó en el
θ = una
bronceado
r (). (1) mismo campo abierto. Las pruebas de vuelo reales fueron limitadas debido a
Fisheyedistor ción: Restricciones de la Administración de Aviación.
(
θ re = θ 1 +1 k θ 2 + k 2 θ 4 + k 3 θ 6 + k 4 θ 8 ) Para estudiar más a fondo el papel de los diferentes componentes en la
experiencia como la vista monoscópica frente a la estereoscópica, la
θ re θ re
X′ = sí, ′ = b. calidad percibida y los niveles de enfermedad del simulador, también ejecutamos
r r dos experimentos adicionales ( n = 69 yn = 20) utilizando prerrequisitos
En tiempo de ejecución, la canalización de DirectX solo necesita muestrear píxeles
videosdecon cable. En ambos casos, proporcionamos experiencia offline de
fotogramas izquierdo y derecho por asignaciones de coordenadas UV precalculadas videos pregrabados de un vuelo y una caminata en tierra. Participantes
para representar vistas correctas basadas en la pose de la cabeza del espectador. Este
en estas
proceso
condiciones, una parte de la pregunta sobre la enfermedad del simulador
es muy rápido y permite renderizar a 75 fotogramas por segundo, lo que naireKennedy y col., 1993), también manifestaron su propensión a sufrir
evita la vibración y reduce la enfermedad del simulador aunque el mareos por movimiento en general (sí / no) y si jugaron en 3D
La transmisión de video entrante es de solo 30 cuadros por segundo. El amplio campovideojuegos
de visión
(sí / no) o videojuegos 2D (sí / no).
del video (180 °) permite el uso de panorámica digital en el cliente Los participantes fueron reclutados a través de una lista de correo electrónico. El experimental
lateral, para que el operador pueda mirar a su alrededor mientras usa Oculus VR El protocolo empleado en este estudio fue aprobado por Microsoft.

Fronteras en robótica e IA | www.frontiersin.org 4 Marzo de 2017 | Volumen 4 | Artículo 11

Página 5
Smolyanskiy y Gonzalez-Franco Sistema FPV estereoscópico para navegación con drones

https://translate.googleusercontent.com/translate_f 4/10
9/11/2020 Sistema de visualización estereoscópica en primera persona para navegación con drones

FIGURA 3 | (izquierda) configuración de la estación terrestre. Operador que vuela un dron a través de nuestro sistema de visualización en primera persona: control GT, pantalla oculus montada en la cabeza. (Derecha) La vista de vuelo
desde la perspectiva del operador. Mire la película S1 en material complementario para ver cómo funciona la configuración .

La investigación y los datos experimentales se recopilaron con el Experimente el vuelo estereoscópico a través de videos pregrabados.
aprobación y consentimiento por escrito de cada participante siguiendo el en VR HMD. Los participantes fueron reclutados inicialmente al azar,
Declaración de Helsinki. Los voluntarios se pagaron con una tarjeta de almuerzo. y el 61% de la muestra inicial tenía una visión correcta, el 29% eran
por su participación. miope y el 10% eran miopes. Estos datos demográficos
están en línea con estudios previos de prevalencia de errores de refracción
Prueba de vuelo real (Grupo de Investigación sobre Prevalencia de Enfermedades Oculares, 2004 ). Adicional
Para probar nuestra configuración FPV para la teleoperación con drones, preguntamos Los participantes
a siete con visión de futuro fueron reclutados para lograr un mayor número
participantes (todos hombres, edad media = 45,14, SD = 2,05) para volar nuestro de participantes en esa categoría ( n = 16). La demografía final
dron
del estudio contenía el 52% de la población con visión correcta,
en campo abierto. El participante voló durante unos 15 minutos mientras llevaba puesto
VR HMD. Todos los participantes tuvieron el mismo tiempo de exposición para reducir 25% de miopía y 23% de hipermetropía. Participantes en este
diferencias en la enfermedad del simulador ( So et al., 2001). También es conocido experimento también declaró su propensión a sufrir mareos por movimiento
que la velocidad de navegación afecta la enfermedad del simulador, siendo máxima ness en general (sí / no), si jugaron videojuegos 3D
a 10 m / sy estabilizándose para velocidades de navegación más rápidas ( So et al.(sí, / no) y su agudeza visual (20/20, hipermetropía y miopía
2001 ). En nuestro caso, los participantes pudieron lograr velocidades en el de vista normal). Se aclaró a los participantes que clasificarían como
rango de 0 a 7 m / s. En la condición de tiempo real, los participantes miope si no pueden enfocar correctamente los objetos distantes;
elegir la velocidad, pero para reducir las diferencias, todos completaron la hipermetropía si pudieran ver objetos distantes con claridad, pero no
experimento en el mismo espacio abierto y recibieron las mismas instrucciones vea los objetos cercanos con el enfoque adecuado; y 20/20 si tuvieran normal
información sobre dónde ir y cómo aterrizar el dron en el regreso. visión sin lentes correctivos. La mitad de los participantes informaron
Los participantes no tenían experiencia previa con la configuración ni propensión a tener mareos por movimiento.
con VR. Después de la experiencia, los participantes completaron una simplificación
versión actualizada del cuestionario de enfermedad del simulador ( Kennedy RESULTADOS
et al., 1993 ) que en última instancia clasifica los cuatro niveles de enfermedad (ninguno,
leve, moderada y severa). experimento de control terrestre
Los participantes ( n = 7) en las pruebas en vivo pudieron despegar, volar y aterrizar
Experimento 1 el dron a velocidades inferiores a 7 m / s, y ninguno de los participantes
Evaluar cómo los diferentes sistemas de visualización (mono frente a estéreo) informaron enfermedad de simulador de moderada a grave después del experimento
influir en la percepción de los operadores humanos en un escenario FPV de drones,
a pesar de que cuatro de ellos informaron propensión a
hicimos un primer experimento con 20 participantes (edad media = 33,75, sufren mareos por movimiento y solo tres de ellos jugaron juegos en 3D.
SD = 10,18, 5 mujeres). Los participantes que usan VR HMD (Oculus Los usuarios informaron la sensación de volar y experimentar fuera del cuerpo
Rift) se mostraron vuelos estereoscópicos pregrabados y caminatas encesBlanke y Mohr, 2005). Además, los participantes mostraron
pasajes. Les pedimos a los participantes que estimaran la altura de la cámara una gran tolerancia a la latencia, ya que el sistema tenía 250 ± 30 ms
sobre el suelo en estas grabaciones. La mitad de los participantes latencia, pero mientras controlaban el dron, no podían notar
estuvieron expuestos a una navegación terrestre y la otra mitad a un vuelo la latencia, que era clara para un observador externo. Este efecto
navegación. Todos los participantes experimentaron el mismo video en mono podría haber sido desencadenado por mecanismos vinculantes a la acción, por
vista escópica y estereoscópica (en orden compensado) y qué tiempo percibido de acciones intencionales y de su sensorial
Se les pidió que informaran su altura percibida en ambas condiciones. consecuencias que pueden afectar la conciencia de las acciones al reducir
latencias percibidas ( Haggard et al., 2002 ). En general, el sistema fue
Experimento 2 capaz de alcanzar velocidades máximas de 7 m / s sin accidentes. Aunque
Para estudiar más a fondo la incidencia de la enfermedad del simulador, reclutamos
el dron era capaz de propulsión más rápida, la latencia junta
69 participantes (edad media = 33,84, DE = 9,50, 13 mujeres) a con la percepción de latencia de unión a la acción demostrada crítica

Fronteras en robótica e IA | www.frontiersin.org 5 Marzo de 2017 | Volumen 4 | Artículo 11

Página 6
Smolyanskiy y Gonzalez-Franco Sistema FPV estereoscópico para navegación con drones

a velocidades superiores a 7 m / s, velocidad a la que aterriza el dron

podría provocar choques involuntarios. Estas velocidades son limitadas
en comparación con la velocidad de 16 m / s anunciada por el fabricante del dron
turer; sin embargo, esa velocidad es máxima solo sin carga útil, y
la configuración de nuestra cámara con baterías pesa más de 3,3 kg; de hecho, el
El fabricante no recomienda volar a tales velocidades. 9
El nivel de enfermedad entre las condiciones en tiempo real y fuera de línea.
diferencias fue significativamente diferente (prueba chi-cuadrado de Pearson de
independencia, χ 2 = 9.5, gl = 3, p = 0.02), y los participantes en el
condición en tiempo real no reportó enfermedad del simulador, mientras que el 29%
de los participantes en el Experimento 2 informaron de moderada a grave
cinetosis.

Experimento 1

https://translate.googleusercontent.com/translate_f 5/10
9/11/2020 Sistema de visualización estereoscópica en primera persona para navegación con drones
Una característica importante para la navegación con drones no tripulados es la
capacidad tanto para el sistema autónomo integrado como para el dron
operador para realizar estimaciones de distancia. En lo monoscópico
condición, los participantes sobreestimaron significativamente las distancias
en comparación con su estimación en las condiciones estereoscópicas
(prueba pareada de rangos con signo de Wilcoxon V = 52, p = 0.013, n = 40;
Figura 4 ). Aunque la altura / altitud real de la cámara fue
1.8 m en la escena del suelo (recorrido), los participantes del
condición monoscópica estima que la altura / altitud es
2,1 ± 0,16 m, y los participantes en la condición estereoscópica estima-
apareado 1.8 ± 0.15 m. Del mismo modo, en la escena del vuelo (vuelo de drones) escena).
donde la altura real / altitud del dron fue de 3,5 m, los participantes
en la condición monoscópica estimó la altura / altitud a
ser 3,9 ± 0,7 m, mientras que la estimación fue más precisa en el
condición estereoscópica 3,4 ± 0,6 m.
Descubrimos que los participantes que informaron su experiencia a
Ser mejor en la condición estereoscópica también fueron más precisos
en la estimación de distancia en esa condición (Pearson, p = 0.06,
r = 0,16). Del mismo modo, los participantes que informaron sobre su experienciaenfermedad más tardía y la encuentran significativamente más alta para las personas con
para ser mejor en la condición monoscópica también fueron más precisos
en la estimación de la distancia durante la condición monoscópica
(Pearson, p = 0,05, r = −0,44). Sin embargo, no encontramos una señal
correlación significativa entre la altura / percepción de altitud y
la DPI de los participantes (Pearson, p = 0,97, r = 0,0).
En general, más del 40% de los participantes en este experimento
no informó ningún mareo durante la experiencia, mientras que
28% informó movimiento leve, 15% moderado y 18% severo
enfermedad. No encontramos una diferencia significativa entre los modos.
y condiciones en la enfermedad del simulador (rango con signo de Wilcoxon
prueba pareada V = 27, p = 0,6078). La diferencia entre reportados
enfermedad de la simulación en el sistema de control en vivo y fuera de línea
El experimento se debe principalmente al efecto de "solo observación" vs.
"Control de acciones".
Experimento 2
Podría decirse que la enfermedad en la experiencia pregrabada puede
consideró baja porque el 71% de los participantes en esta condición informaron ( n = 34), y analizamos los resultados para ambos grupos. Participantes
mareo de ninguno a leve. (La figura 5 muestra la distribución
de la enfermedad del simulador.)
9http://www.dji.com/product/spreading-wings-s900/.
Fronteras en robótica e IA | www.frontiersin.org
Página 7
Smolyanskiy y Gonzalez-Franco
FIGURA 5 | Distribución de la enfermedad del simulador entre los participantes en
la condición fuera de línea. El diagrama de caja en la parte inferior representa el
los cuartiles de la distribución, DE y mediana (estadísticas de la distribución:
media = 1,14, mediana = 1, SEM = 0,11, DE = 0,97).
https://translate.googleusercontent.com/translate_f
FIGURA 4 | Parcela que representa la altura estimada (en metros)
dependiendo del modo de navegación (tierra / vuelo) y visualización
condición (estéreo / mono). La línea horizontal muestra la altura real del
cámara para ambos escenarios (1,8 m en la escena terrestre y 3,5 m en el vuelo
Para explorar las covariables que describen la enfermedad del simulador,
ejecutar un estudio de correlacióntabla 1). Los resultados muestran que autoinformado
La propensión a sufrir mareos por movimiento en general es significativamente
correlacionado con la enfermedad real reportada en el simulador (Pearson,
p = 0,026, r = 0,27); por lo tanto, exploramos la diferencia en simu-
propensión (chi-cuadrado de Kruskal-Wallis = 6.27, p = 0.012),
probablemente indicando la importancia del vestíbulo predominante
lar mecanismo en la generación de enfermedad del simulador. Sobre el
Por otro lado, jugar juegos en 3D no se correlacionó con lo informado
cinetosis ( p = 0,98, r = 0,00), es decir, adaptación visual a
Los gráficos simulados en 3D no pueden describir el alcance de la simulación.
tor enfermedad cuando se sumerge en un HMD. Más en particular,
encontramos que la enfermedad del simulador no fue significativamente diferente
dependiendo de la experiencia de juego (sí / no) (Kruskal – Wallis
chi-cuadrado = 0,017, p = 0,89).
Como era de esperar, basado en extensos estudios de agudeza visual (El ojo
Grupo de Investigación sobre Prevalencia de Enfermedades, 2004), encontramos una fuerte
relación de la agudeza visual con la edad ( p = 0,004, r = 0,34); sin embargo,
la edad no fue un descriptor significativo para el mareo por movimiento ni ninguna
otra variable.
Para estudiar mejor los efectos de la enfermedad de la simulación, dividimos el
participantes que tienen propensión ( n = 35) de aquellos que no
que informaron propensión al mareo por movimiento mostraron diferentes
niveles de enfermedad en función de su agudeza visual ( Figura 6).
Más en particular, la enfermedad del simulador se encontró significativamente
más alto para los participantes con hipermetropía ( n = 11), en comparación
a miope ( n = 8) (chi-cuadrado de Kruskal-Wallis = 5,98,
6 Marzo de 2017 | Volumen 4 | Artículo 11
Sistema FPV estereoscópico para navegación con drones
Padrao et al., 2016 ). Además, la tolerancia en latencia perceptible
Las condiciones para los participantes de la condición en tiempo real también son explicables.
a través de esos mecanismos ( Haggard et al., 2002). De hecho, habiendo
un resultado esperado de la acción podría haber ayudado en el
condición fuera de línea, por ejemplo, introduciendo indicaciones visuales de futuro
las trayectorias podrían haber reducido su mareo en el simulador. Más lejos
Se necesita investigación para comparar nuestras latencias con las introducidas
por sistemas de paneo físicos; sin embargo, dadas las bajas proporciones de
mareo del simulador durante los vuelos reales, la panorámica digital parece
para ser más utilizable. Una de las deficiencias del uso de la panorámica digital es
que dependiendo de la dirección de la vista, puede reducir aún más la
línea de base estereoscópica. Este problema no ocurriría con
panorámica de cal.
Los resultados de nuestras pruebas del Experimento 1 muestran que el
ness en las estimaciones de distancia de vuelo mejoradas con estereoscópico
visión, sin un impacto significativo en el mareo inducido
ness en comparación con la vista monoscópica, es decir, los participantes
puede adivinar distancias y alturas con mayor precisión en el estéreo
configuración que en mono y, por lo tanto, puede maniobrar el dron más
de manera eficiente / segura. Por lo tanto, creemos que nuestro sistema puede ayudar a
proporcionar una mejor experiencia a los operadores de drones y mejorar
6/10
9/11/2020 Sistema de visualización estereoscópica en primera persona para navegación con drones
precisión de teleoperación. Una teleoperación de mayor calidad es fundamental
en la entrega de mejores experiencias de traspaso y en la recolección de apuestas
TaBla 1 | Matriz de correlación de Pearson para el experimento 1.
ter datos de vuelo para entrenamiento de control autónomo.
simulador años Propensión Visión Los resultados del Experimento 2 mostraron un estudio más sistemático
enfermedad agudeza sobre la incidencia del mareo por movimiento de nuestra configuración inmersiva en
la población en general. Encontramos esa predisposición al movimiento
Años p = 0,599,
enfermedad fue un buen predictor de la enfermedad del simulador, que es
r = 0,06
Propensión p = 0,026 *, p = 0,644, de acuerdo con hallazgos anteriores (Groen y Bos, 2008).
r = 0,27 r = −0,06 Curiosamente, la experiencia previa en juegos 3D no afectó
Agudeza visual p = 0,377, p = 0,004 *, p = 0,134,
resultados en nuestro experimento. Nuestros resultados también muestran que los participantes
r = 0,11 r = 0,34 r = 0,18
que tienen propensión a la cinetosis ( n = 35) tenían diferentes
Juegos 3D p = 0,983, p = 0,725, p = 0,736, p = 0,807,
r = 0,00 r = −0,04
distribuciones de enfermedad del simulador dependiendo de su agudeza visual
r = −0,04 r = 0,03
ity. Siendo las personas con visión de futuro, las más afectadas por
Valores significativos en negrita: * p < 0,05.
enfermedad del simulador, podría ser que estos sujetos tengan una mayor
propensión a la cinetosis generalizada debido a su agudeza visual.
De hecho, los efectos de la agudeza visual sobre la enfermedad del simulador probablemente sean
p = 0,014); no se encontraron diferencias significativas con normal relacionado con otras imparcialidades visuales que también se han descrito
visión ( n = 16). afectar la enfermedad del simulador como el daltonismo ( Gusev
et al., 2016). El hecho de que no se encontraron diferencias significativas
Discusión entre miope y 20/20 podría estar relacionado con el correctivo
lentes; por lo tanto, su visión podría considerarse corregida a
En este artículo, presentamos un sistema visual de drones que implementa 20/20 en este experimento.
FPV estereoscópico inmersivo que se puede utilizar para mejorar la corriente Aunque encontramos que la agudeza visual se correlaciona con la edad,
escenarios de control de tierra. Este enfoque puede mejorar la teleoperación que está de acuerdo con Las enfermedades de los ojos Prevalencia Researc h
escenarios de traspaso y transferencia ( Russell et al., 2016 ), pueden simplificar Group (2004) , en general (independientemente de la propensión al movimiento
navegación autónoma (en comparación con los sistemas monoscópicos), y enfermedad), la edad por sí sola no fue una variable explicativa para el simulador
ayuda a capturar mejores secuencias de video para entrenar el control profundo enfermedad.
políticas ( Artale et al., 2013). Las revisiones anteriores sobre los simuladores de vuelo de la Marina de los EE. UU. Informaron que
Nuestros resultados muestran que en la condición de tiempo real, con nuestro La incidencia de enfermedad varió del 10 al 60% (Barrett, 2004). los
sistema, los usuarios pueden volar y aterrizar sin problemas. Los resultados sugieren
La amplia variación en los resultados parece depender del diseño de la
que la enfermedad del simulador era casi inexistente para los participantes experiencia y la tecnología involucrada. De hecho, los HMD
quién podía controlar la navegación de la cámara en tiempo real, pero evolucionó significativamente en FOV y resolución, siendo ambos aspectos
afectó al 29% de los participantes en la condición pregrabada. Esto es crítico para la enfermedad del simulador ( Lin et al., 2002 ). En ese sentido, nuestro
congruente con hallazgos anteriores (Stanney y Hash, 1998). Nosotros El estudio es relevante ya que utiliza tecnología de punta y explora
plantear la hipótesis de que los mecanismos de unión de acción intencionales jugaron
la prevalencia de la experiencia específica de la realidad virtual capturada con cámara
un papel clave durante la condición de tiempo real ( Haggard et al., 2002 ; navegación durante la operación de drones para una población considerable.

Fronteras en robótica e IA | www.frontiersin.org 7 Marzo de 2017 | Volumen 4 | Artículo 11

Página 8
Smolyanskiy y Gonzalez-Franco Sistema FPV estereoscópico para navegación con drones

FIGURA 6 | Distribución de la enfermedad del simulador entre los participantes que tienen propensión a la cinetosis por los diferentes tipos de agudeza visual. los
los diagramas de caja en la parte inferior representan los cuartiles de distribución, la desviación estándar y la mediana de las poblaciones.

Aunque otros experimentos recientes sobre la enfermedad del simulador El sistema también tenía problemas que harían difícil operar en un
concentrado más en la realidad virtual generada por gráficos por computadora y entorno real, como el peso de la instalación, 3,3 kg con

https://translate.googleusercontent.com/translate_f 7/10
9/11/2020 Sistema de visualización estereoscópica en primera persona para navegación con drones
no cuentan conde
la importancia operación de drones
la enfermedad (Fernandesen
del simulador y Feiner, 2016
la difusión del). control
Dado FPV baterías,
capacidadlodel
quedron
reduce
y lasignificativamente
latencia de 250 ms,lalocarga útil restante
que hace
para drones ( Biocca, 1992 ), y el crecimiento esperado en el con- es imposible volar el dron a velocidades superiores a 7 m / s.
arena sumergida, esperamos que estos resultados arrojen luz sobre la percepción Ambos aspectos, el peso y la latencia, se pueden mejorar en el futuro
tolerancias durante la navegación de drones desde un FPV usando VR desarrollo después de la fase de creación de prototipos, por ejemplo,
configuraciones. miniaturizando las cámaras y mejorando la transmisión y
En resumen, nuestros resultados proporcionan evidencia de que un Computación de codificación.
El control FPV estereoscópico de drones es factible y podría mejorar En general, creemos que dicho sistema mejorará la
la experiencia de control de tierra. Además, ofrecemos un control y seguridad del dron con corrección de trayectoria,
Estudio exhaustivo de las implicaciones a nivel de enfermedad del simulador. sistemas de prevención de accidentes y aterrizaje de seguridad. Además, el
de tal configuración. Debe entenderse nuestra configuración de FPV propuesta combinación de un control de drones FPV humano con bajo automático
como una pieza para combinar con la evitación autónoma de obstáculos la evitación de obstáculos de nivel es superior a los sistemas completamente autónomos
algoritmos que se ejecutan en la computadora a bordo del dron usando el en el momento de escribir. De hecho, se requiere la normativa vigente
mismas cámaras. contemplar situaciones de traspaso ( Russell et al., 2016). Mientras
Hay algunas deficiencias en nuestra configuración. En el uno el operador humano es responsable de la navegación de nivel superior
Por otro lado, las pruebas de vuelo reales fueron limitadas, y la mayor parte del estudio
orientación con la normativa vigente, la automática de bajo nivel
se realizó con datos pregrabados. Sin embargo, los resultados en la evitación de obstáculos podría disminuir la carga cognitiva del operador
la enfermedad del simulador podría ser comparable. De hecho, nuestro real y aumentar la seguridad del sistema. Nuestro sistema FPV puede
Los resultados del vuelo sugieren que el sistema incluso podría estar funcionandoser utilizado tanto para el control del drone FPV del operador como para el automático
mejor en términos de enfermedad del simulador. Por otro lado, nosotros evitación de obstáculos. Además, nuestro sistema se puede utilizar para
no se comparó directamente con los sistemas TPV que también son muy recopilar datos de entrenamiento para algoritmos de aprendizaje automático para
dominante en drones de consumo. Los sistemas TPV no sufren drones autónomos. Enfoques modernos de aprendizaje automático
debido a la enfermedad del simulador y podría permitir velocidades mayores. con redes neuronales profundasArtale et al., 2013) necesita big data
Sin embargo, en el contexto de drones ocultos y traspaso conjuntos para entrenar los sistemas; tales conjuntos de datos deben recopilarse
situaciones, TPV no siempre es posible, y los sistemas FPV con ejemplos de navegación óptimos que se pueden obtener utilizando
puede resolver esos escenarios. Además, creemos que más sistemas de navegación terrestres FPV. Con nuestra configuración, lo mismo
La experimentación con las líneas de base de las cámaras podría ser Se pueden utilizar cámaras estéreo para evaluar la navegación durante
interesante. La línea de base humana está limitada a 19 m ( Allison et al. , vuelo semiautónomo o autónomo y también para proporcionar un
2009 ), pero con los sistemas de captura de cámara, esto se puede modificar óptimo control de drones FPV totalmente inmersivo desde el suelo
y permitir mayores estimaciones de distancia cuando sea necesario. Nuestra cuando sea necesario.

Fronteras en robótica e IA | www.frontiersin.org 8 Marzo de 2017 | Volumen 4 | Artículo 11

Página 9
Smolyanskiy y Gonzalez-Franco Sistema FPV estereoscópico para navegación con drones

Contribuciones de autor material suplementario

NS creó el prototipo de configuración de cámara y dron. MG-F El material complementario de este artículo se puede encontrar
y NS diseñó las pruebas y escribió el artículo. MG-F hizo el en línea en http : //journal.frontiersin.org/article/10.3389/frobt .
análisis. 2017.00011 / # material suplementario completo.

MOVie s1 | ejemplo de vuelo de drones con el sistema FPV estereoscópico

Fondos propuesto en el documento donde un operador controla el dron de forma inmersiva.
El video ofrece vistas desde un FPV, así como vistas en tercera persona del dron.
Este trabajo fue financiado por Microsoft Research. despegar, volar y aterrizar.

referencias Hayakawa, H., Fernando, CL, Saraiji, MHD, Minamizawa, K. y Tachi, S.

Allison, RS, Gillam, BJ y Vecellio, E. (2009). Discriminación de profundidad binocular
nación y estimación más allá del espacio de interacción. J. Vis. 9, 10.1-14. doi: 10.
1167 / 9.1.1 0
Artale, V., Collotta, M., Pau, G. y Ricciardello, A. (2013). Tracción hexacóptero
control de jectory usando una red neuronal. AIP Conf. Proc. 1558, 1216-1219.
doi : 10.1063 / 1.482572 9
Barrett, J. (2004). Efectos secundarios de los entornos virtuales: una revisión de la literatura .
No. DSTO-TR-1419. Canberra, Australia: Ciencia y tecnología de la defensa
Organización.
Biocca, F. (1992). ¿La enfermedad de la simulación ralentizará la difusión del entorno virtual?
tecnología ambiental? Presencia Teleop. Entorno virtual. 1, 334–343. doi : 10.1162 /
pres.1992.1.3.33 4
Blanke, O. y Mohr, C. (2005). Experiencia extracorporal, heautoscopia y
alucinaciones autoscópicas de origen neurológico implicaciones para neurocognitivos
mecanismos de conciencia corporal y autoconciencia. Brain Res. Cerebro
Res. Rev. 50, 184-199. doi: 10.1016 / j.brainresrev.2005.05.008
Bowman, DA y McMahan, RP (2007). Realidad virtual: cuanta inmersión
¿es suficiente? Computadora IEEE 40, 36–43. doi : 10.1109 / MC.2007.257
Chen, JYC, Haas, EC y Barnes, MJ (2007). Problemas de desempeño humano
y diseño de interfaz de usuario para robots teleoperados. IEEE Trans. Syst. Hombre Cybern.
Parte C Appl. Rev. 37, 1231-1245. doi : 10.1109 / TSMCC.2007.90581 9
Drascic, D. (1991). Adquisición de habilidades y desempeño de tareas en teleoperación usando
Visualización remota de video monoscópico y estereoscópico. Proc. Tararear. Factores Ergon.
Soc. Annu. Reunirse. 35, 1367-1371. doi : 10.1177 / 15419312910350190 6
Fernandes, AS y Feiner, SK (2016). “Combatir la enfermedad de la realidad virtual mediante
modificación dinámica del campo de visión ”, en el Simposio IEEE de 2016 sobre usuarios 3D
(2015). “Dron de telexistencia: diseño de un sistema de telexistencia de vuelo para
experiencia de deportes aéreos ", en 2015 ACM Proceedings of the 6th Augmented
Human International Conference (Singapur), 171-172.
Kennedy, RS, Lane, NE, Berbaum, KS y Lilienthal, MG (1993). Simulador
cuestionario de enfermedad: un método mejorado para cuantificar la enfermedad del simulador.
En t. J. Aviat. Psychol. 3, 203–220. doi : 10.1207 / s15327108ijap0303_3
Kishore, S., González-Franco, M., Hintermuller, C., Kapeller, C., Guger, C., Slater,
M. y col. (2014). Comparación de SSVEP BCI y seguimiento ocular para controlar un
robot humanoide en un entorno social. Presencia Teleop. Entorno virtual. 23,
242–252. doi : 10.1162 / PRES_a_0019 2
Lin, JJ-W., Duh, HBL, Parker, DE, Abi-Rached, H. y Furness, TA (2002).
Efectos del campo de visión sobre la presencia, el disfrute, la memoria y la enfermedad del simulador
en un entorno virtual. Proc. Real virtual IEEE. 2002, 164-171. doi: 10.1109 /
VR.2002.99651 9
Lynen, S., Achtelik, MW, Weiss, S., Chli, M. y Siegwart, R. (2013). "Un robusto
y enfoque de fusión modular de sensores múltiples aplicado a la navegación MAV ",
en 2013 IEEE / RSJ International Conference on Intelligent Robots and Systems
(Tokio), 3923–3929.
Mirk, D. y Hlavacs, H. (2015). “Turismo virtual con drones: experimentos y
compensación de retraso ”, en las actas de ACM de 2015 del primer taller sobre micro
Redes, sistemas y aplicaciones de vehículos aéreos para uso civil (DroNet '15)
(Florencia), 45–50.
Padrao, G., Gonzalez-Franco, M., Sanchez-Vives, MV, Slater, M. y Rodriguez-
Fornells, A. (2016). Violación de la semántica del movimiento corporal: firmas neuronales de
Errores autogenerados y externos. Neuroimage 124 PA, 174-156.
doi: 10.1016 / j.neuroimage.2015.08.02 2
Pausch, R., Crea, T. y Conway, M. (1992). Una encuesta de literatura para entornos virtuales

https://translate.googleusercontent.com/translate_f 8/10
9/11/2020 Sistema de visualización estereoscópica en primera persona para navegación con drones
Interfaces (3DUI) (Greenville, SC), 201–210.
Fishman, JM, Ellis, SR, Hasser, CJ y Stern, JD (2008). Efecto de reducido
Separación de cámara estereoscópica en la colocación del anillo con un telerobot quirúrgico.
Surg. Endosc. 22, 2396–2400. doi : 10.1007 / s00464-008-0032- 8
Forster, C., Pizzoli, M. y Scaramuzza, D. (2014). "SVO: Monitoreo semidirecto rápido
odometría visual ocular ”, en la Conferencia Internacional IEEE de Robótica y
Automatización (ICRA) (Hong Kong), 15–22.
González Franco, M. (2014). Firmas neurofisiológicas del cuerpo
Representación en el cerebro mediante realidad virtual inmersiva . Universitat de
Barcelona.
González-Franco, M., Pérez-Marcos, D., Spanlang, B. y Slater, M. (2010).
“La contribución de las reflexiones especulares en tiempo real de las acciones motoras en
propiedad del cuerpo en un entorno virtual inmersivo ”, en 2010 IEEE Virtual
Conferencia sobre la realidad (VR) (Waltham, MA: IEEE), 111-114. doi: 10 .1109 /
VR.2010.5444805
Groen, EL y Bos, JE (2008). La enfermedad del simulador depende de la frecuencia de
desajuste de movimiento del simulador: una observación. Presence 17, 584–593. doi : 10.1162 /
pres.17.6.584
Gusev, DA, Whittinghill, DM y Yong, J. (2016). Un simulador para estudiar
los efectos del color y el daltonismo sobre el mareo por movimiento en la realidad virtual
utilizando pantallas montadas en la cabeza. Multitud. Technol inalámbrico. 2016, 197–204.
doi : 10.1007 / 978-981-10-1409-3_2 2
Haggard, P., Clark, S. y Kalogeras, J. (2002). Acción voluntaria y consciente
conciencia. Nat. Neurosci. 5, 382–385. doi : 10.1038 / nn82 7
Hals, E., Prescott, J., Svensson, MK y Wilthil, MF (2014). "Oculus FPV"
en TPG4850 - Equipo de expertos, VR-Village (Universidad Noruega de Ciencias y
Tecnología).
Fronteras en robótica e IA | www.frontiersin.org
Página 10
Smolyanskiy y Gonzalez-Franco
ilusiones de representación en realidad virtual. Frente. Robot. AI 1: 1-22. doi : 10.3389 /
frobt.2014.00009
Stanney, KM y Hash, P. (1998). Locus de control iniciado por el usuario en virtual
Ambientes: influencias en el ciberespacio. Presencia Teleop. Entorno virtual. 7,
447–459. doi : 10.1162 / 10547469856584 8
Stoffregen, TA, Hettinger, LJ, Haas, MW, Roe, MM y Smart,
LJ (2000). Inestabilidad postural y cinetosis en base fija
simulador de vuelo. Tararear. Factores J. Hum. Factores Ergon. Soc. 42, 458–469.
doi : 10.1518 / 001872000779698097
El Grupo de Investigación de Prevalencia de Enfermedades Oculares. (2004). La prevalencia de refracción
errores entre adultos en los Estados Unidos, Europa Occidental y Australia. Arco.
Oftalmol. 122, 495–505. doi : 10.1001 / archopht.122.4.49 5
Xiao, R. y Benko, H. (2016). "Aumentar el campo de visión de las
pantallas con pantallas periféricas escasas ”, en 2016 ACM Proceedings of the 2016
Conferencia CHI sobre factores humanos en sistemas informáticos (CHI '16) (Santa
Clara, CA).
https://translate.googleusercontent.com/translate_f
mentos: sistemas visuales de simulador de vuelo militar y simulador de enfermedad. Presencia
1, 344–363. doi : 10.1016 / S0022-3913 (12) 00047- 9
Pepper, R., Cole, R. y Spain, E. (1983). La influencia de la separación de la cámara y
movimiento de la cabeza en el rendimiento perceptivo bajo directo y televisado
condiciones. Proc. Soc. Inf. Disp. 24, 73–80.
Pryor, H. (1969). Medición objetiva de la distancia interpupilar. Pediatría 44,
973–977.
Ramasubramanian, V. (2015). Quadrasense: Realidad cruzada inmersiva basada en UAV
Redes de sensores ambientales . Instituto de Tecnología de Massachusetts.
Rosenberg, LB (1993). El efecto de la distancia interocular sobre el operador
rendimiento utilizando pantallas estereoscópicas para realizar tareas de profundidad virtual.
Proc. Real virtual IEEE. Annu. En t. Symp. 27–32. doi : 10.1109 / VRAIS.1993.
38080 2
Russell, HEB, Harbott, LK, Nisky, I., Pan, S., Okamura, AM y Gerdes, JC
(2016). El aprendizaje motor afecta la transferencia de automóvil a conductor en vehículos automatizados.
Sci. Robot. 1, 1. doi : 10.1126 / scirobotics.aah568 2
Sánchez-Vives, MV y Slater, M. (2005). De la presencia a la conciencia
ness a través de la realidad virtual. Nat. Rev. Neurosci. 6, 332–339. doi: 10.1038 /
nrn1651
Smets, G. y Overbeeke, K. (1995). Compensación entre resolución e interacción
actividad en el desempeño de tareas espaciales. Computación IEEE. Grafico. Apl. 15, 46–51.
doi : 10.1109 / 38.403827
Entonces, RH, Lo, WT y Ho, AT (2001). Efectos de la velocidad de navegación en el movimiento
Enfermedad causada por un entorno virtual inmersivo. Tararear. Factores 43,
452–461. doi : 10.1518 / 00187200177589822 3
Spanlang, B., Normand, J.-M., Borland, D., Kilteni, K., Giannopoulos, E.,
Pomes, A. y col. (2014). Cómo construir un laboratorio de encarnaciones: lograr cuerpo
9 Marzo de 2017 | Volumen 4 | Artículo 11
Sistema FPV estereoscópico para navegación con drones
Zhang, Y., Wu, L. y Wang, S. (2013). Planificación de la ruta UCAV por escala de aptitud
Optimización adaptativa del enjambre de partículas caóticas. Matemáticas. Probl. Ing. 2013.
doi : 10.1155 / 2013/705238
Zhang, Z. (2000). Una nueva técnica flexible para calibrar la cámara. IEEE Trans.
Patrón Anal. Mach. Intell. 22, 1330-1334. doi : 10.1109 / 34.88871 8
Declaración de conflicto de intereses: Los autores declaran que la investigación fue
conducida en ausencia de cualquier relación comercial o financiera que pudiera ser
interpretado como un posible conflicto de intereses.
Copyright © 2017 Smolyanskiy y Gonzalez-Franco. Este es un artículo de acceso libre
distribuido bajo los términos de la licencia de atribución Creative Commons (CC BY) .
Se permite el uso, distribución o reproducción en otros foros, siempre que el
autor (es) original (es) o licenciante son acreditados y que la publicación original en este
se cita la revista, de acuerdo con la práctica académica aceptada. Sin uso, distribución
o se permite la reproducción que no cumpla con estos términos.
9/10
9/11/2020 Sistema de visualización estereoscópica en primera persona para navegación con drones

Fronteras en robótica e IA | www.frontiersin.org 10 Marzo de 2017 | Volumen 4 | Artículo 11

https://translate.googleusercontent.com/translate_f 10/10