Universidad del Cauca. C. Burbano, F. Parra.
Sistema Visualización AR
Sistema de visualización para un entorno quirúrgico
con realidad aumentada
Christian. Burbano, Felipe. Parra
Universidad del Cauca. Facultad de Ingeniería Electrónica y Telecomunicaciones. Programa de Ingeniería en
Automática Industrial
Resumen— Este articulo muestra el desarrollo de una
aplicación; en el ámbito de la robótica médica, la cual
permite hacer el cambio entre dos cámaras en una escena
de realidad aumentada(AR), dependiendo de la posición del
rostro de la persona que esté haciendo uso de está. Para ello
fue implementado un escenario en Unity3D, en el cual se usó
el SDK de realidad aumentada Vuforia y además se hizo uso
de la librería para reconocimiento facial con la que cuenta
OpenCV; implementada en el editor de Python, todo esto
integrado en el sistema operativo Windows 10.
Palabras clave— realidad aumentada, Unity3d, OpenCV,
robótica médica, cambio cámaras.
Abstract— This paper shows the development of an
application; in the field of medical robotics, this application
can switch between two cameras in a scene of augmented
reality (AR), the user’s face position is the rule to switch the
cameras. For this a scenario was implemented in Unity3D,
the SDK developed by TCP, Vuforia is necessary for the
implementation, also OpenCV; that is an open source
computer vision and machine learning software library
necessary for the face recognition, this was implemented in
the Python’s editor. The full application was developed on
Windows 10.
Keywords— augmented reality, Unity3d, OpenCV,
medical robotics, switch cameras.
I. INTRODUCCIÓN
L A integración de la tecnología a la medicina ha logrado
resultados que antes no se habían imaginado, los
médicos en la actualidad cuentan con fuentes confiables que les
permite conocer sobre las funciones que deben desempeñar y
los diferentes tipos de sistemas de cirugía asistida existentes en
la actualidad.[1][2]
La robótica medica ha ganado un espacio importante en las
salas de cirugía con la introducción de robots que han permitido
generar beneficios en los pacientes, principalmente en cirugías
laparoscópicas.[3] La cirugía asistida por computador, es un
conjunto de métodos, los cuales le ayudan a los cirujanos en el
preoperatorio: simular, educar y planear; y en el trans
1
operatorio: guiar, asistir, ejecutar y decidir. Las cirugías
asistidas por computador se pueden agrupar en tres grandes
grupos según [4].
A. Cirugía guiada.
La cirugía guiada no se concentra únicamente en las acciones
operatorias, si no que ayuda con la planeación de la operación
permitiendo tener un mayor porcentaje de éxito dentro de cada
uno de los procedimientos.[4]
Existen dos tipos de sistemas: los sistemas estáticos trabajan
en base a plantillas o guías para el flujo de trabajo de la cirugía,
por otro lado los sistemas dinámicos muestran el área de
intervención y la posición en una interfaz de visualización o
monitor, en tiempo real.[5], [6]
B. Cirugía asistida
La cirugía asistida también llamada de telepresencia, se basa
en un sistema interactivo computarizado. Dependiendo la
manera en la que se realice la intervención quirúrgica, este
sistema puede dividirse en pasivos y activos. Los sistemas
pasivos son aquellos que le proporcionan una asistencia al
cirujano en alguna tarea de la operación; en cuanto a los activos
se refiere son aquellos que realizan la intervención
directamente, hacienda un seguimiento a las instrucciones
dadas por un cirujano humano. [4]
C. Cirugía simulada
La cirugía simulada hace uso de imágenes simuladas u objetos
virtuales de órganos e instrumentos con determinadas
propiedades físicas y visuales, Dentro de los objetivos de este
tipo de simulación se encuentran la planeación del pre
operatorio, los procedimientos quirúrgicos reales o el
entrenamiento para el cirujano ayudándole a obtener una mayor
habilidad al momento de realizar una cirugía e identificar en
determinadas cirugías, los posibles riesgos post operatorios en
pacientes reales.[4]
En la neurocirugía se han adelantado trabajos de neuro
simulación los cuales pueden ser clasificados en tres grupos:
1) HPS(Human Patient Simulators)
Emplean modelos físicos en los cuales se pueden encontrar
complejos sistemas de control electrónico y por ordenador.
Universidad del Cauca. C. Burbano, F. Parra. Sistema Visualización AR
2) Simuladores Computarizados
Se crean escenarios idealizados en los cuales el usuario
debe interactuar con un ambiente virtual y con dispositivos
automatizados.
3) Simuladores Híbridos
Haciendo uso de técnicas de realidad aumentada,
combinado con maniquíes, modelos virtuales, dispositivos
electrónicos y seguimiento con cámaras. Se emplean
generalmente para la planeación y guía en procedimientos
quirúrgicos. [7]
Este proyecto estaría clasificado entonces dentro de la
cirugía simulada y más específicamente enfocada en un
simulador híbrido en el caso de la neuro simulación.
II. SOLUCIONES TECNOLÓGICAS UTILIZADAS
Para la implementación de la aplicación que permita hacer el
cambio de dos cámaras en la misma escena de visualización,
ligado al posicionamiento del rostro del estudiante de medicina
o cirujano que esté realizando el entrenamiento, fue necesario
la integración de software, SDK, lenguajes de programación,
protocolos de comunicación y librerías que serán explicadas a
continuación:
A. Unity3D
Unity es un motor de videojuego multiplataforma el cual es
utilizada para crear la mitad de los juegos del mundo. Es una
plataforma en tiempo real, impulsada por herramientas y
servicios, ofrece increíbles posibilidades para desarrolladores
de juegos y creadores de distintas industrias y aplicaciones.[8]
Este software es utilizado para la recreación de la escena, la
cual cuenta con una figura tridimensional de un cráneo y las dos
respectivas cámaras, una ubicada dentro y otra fuera del mismo.
B. Vuforia
Es un kit de desarrollo de software de realidad aumentada
(SDK) para dispositivos móviles con el cual se pueden crear
aplicaciones de realidad aumentada. Este complemento que
puede ser descargado gratis desde la tienda de Unity, utiliza
tecnología de visión artificial para reconocer y rastrear
imágenes planas (objetivos de imagen) y objetos 3D simples,
como cajas, en tiempo real. [9]
Este SDK es imprescindible en la implementación de la
aplicación, debido a que es esta la que permite la inclusión del
cráneo y de las cámaras de realidad aumentada.
C. OpenCV
OpenCV (Open Source Computer Vision Library),
originalmente desarrollada por Intel, es una librería con licencia
BSD lo que hace que sea de uso libre para términos académicos
y comerciales. Tiene interfaces C ++, Python y Java y es
compatible con Windows, Linux, Mac OS, iOS y
2
Android. OpenCV fue diseñado para la eficiencia
computacional y con un fuerte enfoque en las aplicaciones en
tiempo real. Escrita en C / C ++, la librería puede aprovechar el
procesamiento multi-core. [10]
Gracias a la librería OpenCV es posible realizar el
reconocimiento facial en la aplicación.
D. TCP y UDP
El uso de sockets es la manera mas popular para
comunicaciones interplataforma. Los sockets como parte del
IPC pueden ser implementados en cualquier lenguaje de
programación sin interferencia del sistema operativo en el que
se esté trabajando, el socket es un punto virtual donde diferentes
procesos pueden comunicarse.
Algunos de los protocolos usados son TCP y UDP, los cuales
se encuentran en la capa de transporte del modelo TCP/IP. La
interacción de los sockets tiene una estructura Cliente/Servidor,
el cliente realiza peticiones al servidor a la espera de una
respuesta dependiendo de la solicitud y el servidor siempre esta
atento a escuchar al cliente. La diferencia entre TCP y UDP esta
en que el primero cuanta con una verificación en la entra de los
datos y el segundo prioriza el envío de los datos sin tener una
verificación de estos. [11]
Haciendo uso de estos sockets es que es posible la
comunicación de datos entre las diferentes plataformas
utilizadas en la realización de la aplicación.
E. Python
Python es un lenguaje de programación potente y fácil de
aprender. Cuenta con estructuras de datos de alto nivel
eficientes y un enfoque simple pero efectivo para la
programación orientada a objetos. La elegante sintaxis y
escritura dinámica de Python, junto con su naturaleza
interpretada, lo convierten en un lenguaje ideal para la creación
de scripts y el rápido desarrollo de aplicaciones en muchas áreas
en la mayoría de las plataformas. [12]
En el editor de Python se utilizó para la programación del
código que permite el reconocimiento facial y la trasmisión de
datos entre plataformas.
III. DESARROLLO DE LA APLICACIÓN
A. Haar cascade
B. Reconocimiento facial
C. Transmisión de datos
D. Escena 3D
IV. CONCLUSIONES Y TRABAJO A FUTURO
Universidad del Cauca. C. Burbano, F. Parra. Sistema Visualización AR 3

RECONOCIMIENTO
Agradecimientos la Phd(c) Eliana Aguilar por su Christian Felipe Burbano
colaboración en la asesoría del proyecto. Cifuentes. Estudiante de X semestre
del programa en Ingeniería en
Automática Industrial de la
Universidad del Cauca.
REFERENCIAS

[1] A. Lifshitz, “El médico del futuro,” Med Int Méx, vol.
34, no. 3, pp. 357–358, 2018.
[2] J. Mosso, “Cirugía asistida por computadora.
Propuesta de una clasificación quirúrgica,” Cir. Cir.,
vol. 71, no. 6, pp. 492–495, 2003.
[3] R. Bravo and A. Lacy, “Medicina y robótica vol. 145,
no 11, pp. 493-495, 2015.,” Med. Clin. (Barc)., vol.
145, no. 11, pp. 493–495, 2015.
[4] E. Aguilar, A. Vivas, and J. Sabater, “Una
aproximación a la realidad aumentada y sus
aplicaciones quirúrgicas,” Entre Cienc. e Ing., vol. 12,
no. 24, pp. 15–24, 2018.
[5] M. Vercruyssen, I. Laleman, R. Jacobs, and M.
Quirynen, “Computer-supported implant planning and
guided surgery: a narrative review,” Clin. Oral
Implants Res., vol. 26, no. S11, pp. 69–76, 2015.
[6] I. Torresanto, di V M Milinkovic, F. Torsello, and L.
Cordaro, “Cirugía implantológica sin colgajo, asistida
por ordenador, en pacientes edéntulos de edad
avanzada: seguimiento de 2 años,” Quintessence
Publicación Int. Odontol., vol. 2, no. 5, pp. 318–329,
2014.
[7] S. T. Vite et al., “Simulador de reparación de
aneurismas cerebrales para entrenamiento médico,”
Visión Electrónica, algo más que un estado sólido,
vol. 12, no. 1, 2018.
[8] U. Technologies, “The world’s leading real-time
creation platform,” 2019. [Online]. Available:
https://unity3d.com/es/unity?_ga=2.85970779.358217
558.1553629963-280384779.1536294157. [Accessed:
26-Mar-2019].
[9] PTC, “About Vuforia,” 2018. [Online]. Available:
https://www.vuforia.com/content/vuforia/en/ar-
augmented-reality-software-company.html.
[Accessed: 26-Mar-2019].
[10] OpenCV team, “About,” 2019. [Online]. Available:
https://opencv.org/about.html. [Accessed: 26-Mar-
2019].
[11] H. Porras, O. Barrios, A. López, and J. Hernández,
“Simulaciones física implementando Python y
Blender,” Ingenio Magno, vol. 9, no. 1, pp. 10–23,
2018.
[12] Python Software Foundation, “The Python Tutorial,”
2019. [Online]. Available:
https://docs.python.org/3/tutorial/. [Accessed: 26-Mar-
2019].