Real Id Ad Virtual

CIRUGA ROBOTICA VIRTUAL
Rafael Barea
Departamento de Electrnica. Universidad de Alcal. Alcal de Henares. Madrid. (Spain)
barea@depeca.uah.es
INGENIERA BIOMDICA - MOSEA
ndice
Introduccin a la realidad virtual. Tecnologa y dispositivos Aplicaciones RV

Medicina Simuladores
Realidad Virtual Aumentada

Tecnologa y dispositivos Aplicaciones Proyectos
CRV. Definicin
Qu es la Realidad Virtual?
La Realidad Virtual es una simulacin tridimensional interactiva por ordenador en la que el usuario se siente introducido en un ambiente artificial, y que lo percibe como real basado en estmulos de los rganos sensoriales.
Qu sentido conviene engaar? vista, odo, tacto Modelo genrico de sistema de realidad virtual
Tipos de sistemas de realidad virtual

Inmersivos Semi-inmersivos No inmersivos
INGENIERA BIOMDICA - MOSEA 3
CRV. Propiedades bsicas

INMERSIN que permite sentir que se est experimentando con una realidad alternativa, no simplemente verla a travs de una ventana. EL USUARIO CREE QUE EST FORMANDO PARTE DE LA EXPERIENCIA VIRTUAL. NAVEGACIN que nos va a permitir desplazarnos a travs del ciberespacio generado por el ordenador. INTERACTIVA/MANIPULACIN: el mundo virtual y sus objetos o personajes reaccionan a las acciones del usuario y de ellos mismos. El usuario a su vez reacciona a ellos. TIEMPO REAL: el PC/workstation realiza todos los clculos necesarios y presenta 30-50 imgenes por segundo como mnimo; esto hace que los requerimientos computacionales sean grandes.
CRV. Historia
Hacia el ao 1640, el jesuita alemn Athanasius Kircher creaba la LINTERNA MGICA
Fantasmagora de Robertson , 1798
En 1798, Etienne-Gaspard Robert (1763-1837) cre en Pars un espectculo de linterna mgica.
CRV. Historia
"I am experimenting upon an instrument which does for the eye what the phonograph does for the ear, which is the recording and reproduction of things in motion ..... Thomas A. Edison, 1888 KINETOSCOPIO
La llegada del tren. Hermanos Lumiere 1895

CRV. Historia
Cine 3D. Nueva York 1915.
Hoy en da Trauma Center: Second Opinion
CRV. Definicin de trminos
ARTIFICIALIDAD SINTTICO
REALIDAD AUMENTADA
REALIDAD VIRTUAL
MUNDO REAL
REALIDAD FSICA
TELEPRESENCIA
DISTANCIA LOCAL REMOTO
Tecnologa Hardware
Mquina de realidad: Hardware que permite generar modelos virtuales, este hardware puede ser desde un simple PC, hasta estaciones de trabajo diseadas especialmente para tratar con este tipo de tareas. Dispositivos de entrada Elementos de control:, Joysticks 3D (mando wii), Mouse 3D, guantes y trajes de datos. Rastreadores de Posicin y movimiento: marcas, girscopos, acelermetros. Dispositivos de Salida Dispositivos visuales: Cascos visores, sistemas binoculares, lentes estereoscpicos, cuevas. Dispositivos de sonido: Cascos auditivos para incrementar la sensacin espacial. Sonido tridimensional. Dispositivos hpticos: Elementos para la manipulacin tctil: Tambin incluyen las sensaciones de fuerzas de realimentacin.
Dispositivos visuales
Monitor
Lentes LCD
Head-Mounted Display
CAVE
BOOM (Binocular Omni-Orientation M

10
Dispositivos hpticos
Phantom - SensAble Technologies
11
Dispositivos hpticos
CyberGlove
CyberTouch
CyberGrasp
CyberForce
12
Aplicaciones
Modelado de la escena del crimen/accidente
Arquitectura Simuladores de vuelo
Tratamientos de fobias
Modelado industrial
Entretenimiento
13
Aplicaciones. RV en medicina.
Docencia de estudiantes de medicina Entrenamiento de cirujanos Planificacin quirrgica Diagnosis Rehabilitacin fsica y psiquitrica Estudio de emergencias y catstrofes Etc.
14
Docencia
En la preparacin de un mdico, es indispensable dominar la anatoma humana. Atlas de anatoma.
15
Entrenamiento de cirujanos noveles o en activo
Simulacin de operaciones quirrgicas
Simuladores quirrgicos robticos
16
Planificacin quirrgica Modelos reales de un paciente en particular, generados a partir de imgenes mdicas: RM, TAC, Estudiar puntos de acceso, cortes, procedimiento a seguir, etc.
17
Modelado virtual de pacientes
Por qu un modelo virtual de pacientes?

Reduccin de costes asociados a la utilizacin de cadveres y animales en docencia y ciruga. Evitar la prctica con pacientes reales. Ofrecer una mayor experiencia en patologas y complicaciones Repetir/entrenamiento intervenciones quirrgicas. Revisualizar los procedimientos quirrgicos. Especializacin en cada paciente. Anlisis del riesgo de operacin y tratamiento del postoperatorio. Supresin libros de texto por modelos tridimensionales.
En qu consiste el modelado de pacientes?

Consiste en la creacin de un modelo digital mediante la obtencin de imgenes anatmicas usando distintas tcnicas. Para la especializacin del modelo en un paciente en particular se puede incluir tambin su propio historial mdico.
Tcnicas empleadas para la obtencin del modelo.

Diseo CAD utilizando atlas de anatomia. TAC (tomografa axial computerizada): es una exploracin de rayos X que produce imgenes detalladas de cortes axiales del cuerpo. Resonancia magntica: herramienta basada las propiedades magnticas que poseen los ncleos atmicos. Permite alinear los campos magnticos de diferentes ncleos en la direccin de un campo magntico externo. Crioseccionado: tcnica basada en la congelacin del espcimen y la aplicacin de la sustancia llamada cryosat. Esta tcnica permite el seccionado de un cadver en secciones de intervalos milimtricos.
19
Visible Human Project

Proyecto creado por la NLM en 1986. Objetivo: obtencin de BBDD de imgenes anatmica en la red. Principal fuente de datos e imgenes. Obtencin de datos:
Cadver masculino (15Gbytes):
RM de todo el cuerpo (256x256p). TAC del cuerpo entero a intervalos de 1mm (512x512p). 1817 cortes transversales anatmicos (crioseccionado) con 1mm de intervalo.
Cadver femenino (40Gbytes), mismo proceso que el masculino salvo:

5000 secciones transversales de 0.33mm de paso.
Visible Human Project. Galera de imgenes:

Resonancia magntica. TAC
21
Visible Human Project. Galera de imgenes:

Crioseccionado.
22
Modelado virtual de pacientes Proyecto del Center for Human Simulation
Reconstruccin del modelo Visible Human.

Construccin de modelos virtuales en 3D. Ejemplo de modelado de los riones. Proceso: 2 Los especialistasbordes de las estructuras con el de forma 3 Definicin de de del laboratorio fijan el contraste 1 Segmentacin los las imgenes de Visible Human. ordenador manual
23
Aplicaciones realidad virtual. Simuladores

Objetivo de los simuladores.
Recrear operaciones de ciruga. Modelado 3D basado en elementos de contorno (BEM), elementos finitos, lenguajes de programacion, etc. Entorno de simulacin Diseo de un interfaz de cirugia laparoscopica
24

LapTrainer with SimuVision
Aprendizaje de procedimientos laparoscpicos Mejora coordinacin ojos-manos Practica de manejo de instrumental, diseccin y sutura
Modelo fsico
Modelo virtual Manejo intrumental
Diseccin
ProMIS Surgical Simulator

Sutura
25

LapSim. www.surgical-science.com
26

Xitact LS500
The LaparoscopyVR Virtual-Reality System

Select-IT VEST
27

Simulador artroscopia Insight = GMV
Empresa espaola que facilita servicios de ingeniera. Simulador de entrenamiento artroscpica Insight Arthuro VR . Realimentacion visual y tactil Visor de modelos anatmicos Insight VIEWER. Planificador quirrgico Radiance.
28
REALIDAD VIRTUAL AUMENTADA

Rafael Barea
Departamento de Electrnica. Universidad de Alcal. Alcal de Henares. Madrid. (Spain)
barea@depeca.uah.es
29

La Realidad Aumentada es un entorno de trabajo en el cual se ha complementado la percepcin del usuario con informacin relevante acerca de la actividad que debe realizar. La Realidad Aumentada es una tcnica mediante la cual los usuarios pueden percibir la realidad superponiendo a los objetos reales modelos virtuales enriquecidos: Los elementos reales conviven con los virtuales en tiempo real El mundo virtual generado ha de poder ser interactivo. La diferencia entre RV y RA est en el tratamiento que hacen del mundo real. La RV sumerge al usuario dentro de un mundo virtual que reemplaza completamente al mundo real exterior, mientras que la RA deja ver al usuario el mundo real a su alrededor y aumenta la visin que ste tiene de su entorno mediante la superposicin o composicin de los objetos 3D virtuales. Idealmente, esto dara al usuario la ilusin que los objetos de los mundos real y virtual coexisten.

Problemtica:
La Realidad Aumentada debe generar modelos informticos de lugares y sonidos relacionados con la realidad fsica, as como determinar la situacin exacta de cada usuario, y ser capaz de mostrar al usuario una representacin realista del entorno que se ha aadido virtualmente. Es muy importante determinar la orientacin y posicin exacta del usuario, sobre todo en las aplicaciones que as lo requieran: uno de los retos ms importante que se tiene a la hora de desarrollar proyectos de Realidad Aumentada es que los elementos visuales estn coordinados a la perfeccin con los objetos reales, puesto que un pequeo error de orientacin puede provocar un desalineamiento perceptible entre los objetos virtuales y fsicos.
31
Realidad Virtual Aumentada APLICACIONES:
Militar
Asistencia tcnica
Televisin
Ciruga
32
RVA. Tecnologa
Cmo se consigue?
Tcnicas similares a la realidad virtual.
33
RVA. Tecnologa Visualizadores: Similares a RV

Sistemas de visualizacin trasparentes:
Juego de espejos HUD LCD
HUD Espejo dicroico

LCD
34
RVA en medicina
Objetivo: Superponer estructuras internas (reconstrucciones 3D) sobre imgenes de video en directo o sobre el mismo paciente
35
RVA en medicina
Objetivo: Superponer estructuras internas (reconstrucciones 3D) sobre imgenes de video en directo o sobre el mismo paciente
Ventajas:
Visualizacin conjunta paciente e imgenes 3D Localizacin exacta de las zonas daadas. Posibilita un estudio previo fiable.
Inconvenientes:
Movimiento del paciente (rganos, etc)
36
RVA en medicina. Proyectos

Image Guided Surgery Colaboracin entre MIT AI Lab and Brigham and Women's Surgical Planning Laboratory. http://www.ai.mit.edu/projects/medical-vision/surgery/surgical_navigation.html Objetivo: Visualizar estructuras internas a partir de reconstrucciones 3D Correspondencia reconstruccin 3D con imagen/video real paciente Aplicaciones en planificacin quirrgica, guiado quirrgico intraoperatorio, navegacin y seguimiento de instrumental durante operaciones. Obtencion modelo 3D MRI
Renderizado
37

Image Guided Surgery Laser Scanning Operating room Mediante escaneo laser 3D se obtiene un modelo de la cabeza del paciente sobre la mesa del quirfano
Mejora visualizacin: Sobre la reconstruccin de la cabeza se proyecta la reconstruccin 3D del cerebro
38

Tracking intrumental quirrgico Utilizado para detectar la posicin exacta del instrumental/sonda interna y al mismo tiempo visualizar las estructuras internas
Puntos de estimulacin Localizar regiones vitales del cerebro: motora, sensorial, rea lenguaje , etc.
39
RVA en medicina. Proyectos MEDARPA

Medical Augmented Reality for Patients
Objetivo: Desarrollo de un sistema de RVA para intervenciones quirrgicas http://www.igd.fhg.de/igd-a7/projects/medarpa/en/index.html
Applications: Puncture, Biopsy Introduction of Needles into the body to extract tissue samples Cancer treatment, Brachytherapy Medication is injected through a needle or a source of radiation is introduced to tumors Endoscopy, minimal invasive surgery An intrument for inspection or intervention is introduced through a natural or induced body opening

Arquitectura
Pantalla semitransparente 2 cmaras infrarrojas para tracking: mdico, paciente y pantalla (5 marcadores). Dispositivo puntero (tracking magntico)
Reconstruccin de imgenes off-line


Vdeo
42

ARSyS tricorder - Augmented Reality SyStem
Objetivo: Desarrollo de un sistema de RVA para intervenciones quirrgicas Arquitectura
Aplicacin: ciruga maxilofacial Espejo semitransparente Gafas estereoscpicas (shutter) Efecto de inmersin 3D debajo espejo.
Universidad Tcnica de Munich. http://www.arsys-tricorder.org

Proyecto CIMIL http://mrcas.mpe.ntu.edu.sg/research/art/index.htm ARIS*ER http://www.ariser.info
ARES - Augmented REality System

IRCAD (Estrasburgo) www.ircad.fr Laparoscopia Imagen previa 3D Modificaciones 2D Desarrollando tracking
44

Liver Surgery Planning Using Augmented Reality
Graz University of Technology http://ieeexplore.ieee.org/stamp/stamp.jsp?arnumber=04012564
45
RVA en medicina. Otras aplicaciones

Otros ejemplos: Cncer de mama. Bypass Gua endoscpia. Ciruga maxilo-facial
46
RVA en medicina. Sensores seguimiento

SENSORES DE SEGUIMIENTO.
pticos para instrumentos rgidos.
FlashPoint. Polaris.
47
RVA en medicina. Sensores seguimiento

Electromagnticos para instrumentos flexibles.
Aurora
ShapeTape. Es una alternativa a los electromagnticos
48
Proyectos UAH Simulador de la puncin lumbar

Equipo:
Equipo grfico Reachin, con espejo semi-transparente, phantom de realimentacin de fuerza, y gafas con obturador accionado mediante enlace IR
49
Proyectos UAH Simulador de la puncin lumbar
Vdeo
50
Proyectos UAH Simulador cataratas
51
Gracias por su Atencin!


Real Id Ad Virtual

Cargado por

Información del documento

Derechos de autor

Formatos disponibles

Compartir este documento

Compartir o incrustar documentos

Opciones para compartir

¿Le pareció útil este documento?

¿Este contenido es inapropiado?

Copyright:

Formatos disponibles

Real Id Ad Virtual

Cargado por

Copyright:

Formatos disponibles

CIRUGA ROBOTICA VIRTUAL

INGENIERA BIOMDICA - MOSEA

Introduccin a la realidad virtual. Tecnologa y dispositivos Aplicaciones RV