RESUMEN

Antecedentes y objetivo: si bien la Cirugía mínimamente invasiva (MIS) ofrece considerables beneficios a los
pacientes, también impone grandes desafíos en el desempeño del cirujano debido a problemas y
restricciones bien conocidos asociados con el campo de visión (FOV), la desalineación y la desorientación
mano-ojo, así como la falta de percepción de profundidad estereoscópica en endoscopia monocular. La
tecnología de Realidad Aumentada (AR) puede ayudar a superar estas limitaciones aumentando la escena
real con anotaciones, etiquetas y mediciones de tumores o incluso una reconstrucción en 3D de estructuras
anatómicas en las ubicaciones quirúrgicas objetivo. Sin embargo, los intentos de investigación anteriores de
utilizar la tecnología AR en escenas quirúrgicas monoculares MIS se han centrado principalmente en la
superposición de información sin abordar las calibraciones espaciales correctas, lo que podría conducir a una
localización incorrecta de anotaciones y etiquetas, y a señales de profundidad y mediciones tumorales
inexactas.

En este papel, presentamos un nuevo marco de reconstrucción de superficie densa de intra operatorio que
es capaz de proporcionar información de geometría de solo videos MIS monoculares para aplicaciones de AR
conscientes de la geometría, como mediciones de sitio y señales de profundidad.

Abordamos una serie de cuestiones convincentes para proporcionar un entorno MIS monocular con un
mapeo de plano inexacto. (We address a number of compelling issues in augmenting a scene for a
monocular MIS environment, such as drifting and inaccurate planar mapping)

Métodos: Se ha ampliado un algoritmo de localización y mapeo simultáneo (SLAM) de última generación

utilizado en robótica para tratar escenas quirúrgicas monoculares MIS para un seguimiento de cámara
endoscópico confiable y mapeo de puntos sobresalientes. Se ha desarrollado un marco de reconstrucción de
superficie 3D global robusto para construir una superficie densa utilizando solo nubes de puntos dispersos
no organizados extraídos del SLAM. El marco de reconstrucción de superficie 3D emplea el algoritmo de
suavizado de mínimos cuadrados móviles (MLS) y el marco de reconstrucción de superficie de Poisson para
el procesamiento en tiempo real del conjunto de datos de nubes de puntos. Finalmente, la información
geométrica 3D de la escena quirúrgica permite una mejor comprensión y una colocación precisa de los
aumentos AR basados en una sólida calibración 3D.

Resultados: Demostramos la relevancia clínica de nuestro sistema propuesto a través de dos ejemplos: (a)
medición de la superficie; (b) señales de profundidad en la endoscopia monocular. El rendimiento y la
precisión. Las evaluaciones del marco propuesto consisten en dos pasos. Primero, hemos creado una
computadora video de simulación de endoscopia para cuantificar la precisión del seguimiento de la cámara
comparando los resultados del seguimiento de la cámara de video con las trayectorias grabadas de la
cámara de verdad terrestre. La precisión de la reconstrucción de la superficie se evalúa evaluando la
distancia cuadrática media de la raíz (RMSD) de los vértices de la superficie de la malla reconstruida con la
de los modelos 3D de verdad terrestre. Se ha obtenido un error de 1,24 mm para las trayectorias de la
cámara y el RMSD para la reconstrucción de la superficie es de 2,54 mm, que se compara favorablemente
con los enfoques anteriores. En segundo lugar, los videos laparoscópicos in vivo se utilizan para examinar la
calidad de las anotaciones y mediciones precisas basadas en AR, y la creación de señales de profundidad.
Estos resultados muestran la promesa potencial de nuestra tecnología AR con reconocimiento de geometría
para ser utilizada en escenas quirúrgicas MIS.
Conclusiones: los resultados muestran que el nuevo marco es robusto y preciso para hacer frente a
situaciones desafiantes, como los movimientos rápidos de la cámara de endoscopia en escenas monoculares
MIS. Tanto el seguimiento de la cámara como la reconstrucción de la superficie basada en una nube de
puntos dispersos son efectivos y se operan en tiempo real.

Esto demuestra el potencial de nuestro algoritmo para la localización precisa de AR y el aumento de

profundidad con señales geométricas y mediciones de superficie correctas en MIS con endoscopios
monoculares.

INTRODUCCIÓN.

En Cirugía mínimamente invasiva (MIS), los procedimientos médicos son técnicamente exigente, y la
dificultad se ve exacerbada por problemas y restricciones bien conocidos asociados con MIS, como el campo
de visión limitado (FOV), la falta de alineación y orientación mano-ojo, y la falta de percepción de
profundidad estereoscópica en monocular endoscopia

La tecnología de realidad aumentada (AR) puede ayudar a superar estas limitaciones al superponer
información adicional en la escena real, como anotaciones en ubicaciones quirúrgicas objetivo [18],
etiquetas [45], mediciones de sitios tumorales [4] o incluso superponer una reconstrucción 3D de anatomía
[14,15].

A pesar de los recientes avances en el poderoso hardware AR miniaturizado dispositivos y mejoras en los
algoritmos de software basados en la visión, muchos problemas en AR médica permanecen sin resolver. En
particular, los cambios dramáticos en la iluminación de la superficie del tejido y la deformación del tejido, así
como los movimientos rápidos del endoscopio durante la inserción y extrusión, dan lugar a un conjunto de
desafíos únicos que requieren enfoques innovadores. Como con cualquier otro procedimiento médico
asistido tecnológico, la precisión de AR en MIS es primordial.

Los dispositivos miniaturizados en MIS significan que el campo de visión (FOV) capturado por una cámara
endoscópica monocular suele ser muy pequeño, por ejemplo, solo del 30% al 40% de toda la superficie del
hígado es visible en un cuadro a la vez [38]. Enfoques AR tradicionales (es decir, AR sin marcador) para MIS
se basan principalmente en métodos de seguimiento de características que requieren que esos puntos de
características seleccionados estén dentro del campo de visión [15]. Dado el FOV restringido, las limitaciones
algorítmicas de los métodos tradicionales pueden afectar severamente la precisión de AR para la orientación
del procedimiento. El marco AR propuesto para la geometría aborda el problema al proporcionar
información geométrica global en 3D de toda la escena quirúrgica para que la superposición de información
no dependa de las extracciones de características locales cuadro por cuadro, por lo tanto, mejora en gran
medida la fiabilidad de los aumentos AR.

Los estudios han demostrado que un humano típico usa 14 señales visuales para percibir la profundidad, y
11 de las 14 señales no requieren visión binocular [11]. Por ejemplo, se puede inferir información de
profundidad en la visión monocular a través de oclusiones, paralaje de movimiento, sombras y gradiente de
textura, y tamaño relativo y tamaño familiar, etc. El proceso cognitivo de la visión monocular permite a los
cirujanos realizar laparoscopia en un entorno 2D [30]. Sin embargo, las señales de profundidad monocular
solo pueden estimar aproximadamente la profundidad general
Entre objetos, la distancia exacta entre objetos no puede ser percibido [41]. Aunque ejemplos de
endoscopios estereoscópicos existen, no son comúnmente accesibles en la práctica médica [47,50].
Abordamos los desafíos antes mencionados al proporcionar mediciones geométricas precisas y generar
profundidad artificialmente señales a través de la tecnología AR, que son mejoras importantes en el entorno
del endoscopio monocular para que los cirujanos realicen procedimientos complejos. En nuestro marco AR,
la distancia entre objetos se puede descifrar por tamaños relativos de etiquetas y anotaciones AR.

Un endoscopio estereoscópico puede proporcionar visión estereoscópica y tales sistemas están actualmente
disponibles y a menudo integrados en sistemas robóticos (por ejemplo, el sistema da Vinci de Intuitive
Surgical, Inc.).

La información de profundidad 3D se puede recuperar utilizando la disparidad mapa de imágenes estéreo

rectificadas durante una cirugía laparoscópica [8,42,43], de modo que se pueda lograr una reconstrucción en
3D utilizando una nube de puntos densos de la escena laparoscópica mediante un método de propagación
[44] y / o un algoritmo de costo-volumen [6].

Sin embargo, las reconstrucciones basadas en visión estéreo solo pueden recuperar la estructura de un
cuadro local sin una visión global de la escena, y son muy sensibles al ruido y a los cambios de luminancia.
Los cirujanos tienen que usar anteojos 3D o use un visor binocular en el sistema quirúrgico robótico.
Además, la cirugía estereoscópica endoscópica sigue siendo demasiado costosa y aún debe ser ampliamente
utilizada en la práctica. Por lo tanto, proporcionar señales de profundidad en las operaciones de endoscopio
monocular tendrá un impacto significativo en la precisión de los procedimientos quirúrgicos.

En este artículo, presentamos un método novedoso y un marco computacional para lograr una AR precisa
que tenga en cuenta la geometría a través de: (i) extracción de información de profundidad 3D a partir de
movimientos de cámara y reconstrucciones de superficie 3D; y (ii) usar la tecnología AR para fusionar rica
información estructural en 3D con un flujo de video de endoscopio monocular, de modo que se pueda
derivar información espacial precisa en la escena a partir de la geometría de la escena, y se pueden
proporcionar señales de profundidad artificial basado en la colaboración de la escena espacial 3D con las
transmisiones de video en tiempo real (es decir, superposición virtual real y mapeo simultáneo). Con este
fin, exploramos el potencial del marco SLAM de vanguardia modificando y ajustando el algoritmo para el
seguimiento y mapeo de la cámara endoscópica, de modo que se pueda lograr el equilibrio entre la
densidad de la nube de puntos y el rendimiento computacional.

Se propone un método de reconstrucción de superficie 3D basado en el suavizado de mínimos cuadrados

móviles (MLS) y los algoritmos de reconstrucción de superficie de Poisson para recuperar una superficie lisa
de los puntos de mapa dispersos no estructurados extraídos de la escena MIS. Se han usado secuencias
laparoscópicas simuladas generadas en un paquete de modelado 3D para evaluar el rendimiento del marco
propuesto en términos de robustez del seguimiento de la cámara y la precisión de la reconstrucción de la
malla de la superficie. Las trayectorias de la cámara se comparan con las trayectorias de la cámara de verdad
del terreno, y las reconstrucciones de la superficie 3D se miden con los modelos 3D de la escena
laparoscópica simulada. Los resultados experimentales arrojan errores cuadrados medios de raíz (RMSE) de
1.24 mm para trayectorias de cámara y 2.54 mm para la reconstrucción de la superficie. La información
geométrica global obtenida se puede integrar sin problemas en nuestro marco AR propuesto, que es capaz
de lograr aumentos AR a la profundidad correcta y medidas de superficie precisas y detalladas. Nuestro
método ofrece nuevas posibilidades para nuevos aumentos de AR informados geométricamente en MIS
endoscópicos monoculares, incluyendo precisos, anotaciones, etiquetas, medición de tumores y señales de
profundidad artificial en ubicaciones de profundidad correctas que son demostradas con dos aplicaciones de
ejemplo: es decir, generaciones de señales de profundidad artificial y las mediciones de la superficie de sitios
objetivo en MIS.
2. TRABAJO PREVIO.

Los avances recientes en las tecnologías de hardware y software de computadoras han facilitado el uso de
técnicas de visión por computadora para la orientación de escenas MIS y el aumento de información. Por
ejemplo, los sistemas de guía de AR se han utilizado para visualizar imágenes de TC preoperatorias [18,45],
para visualización de AR tumoral en cirugía laparoscópica [4] y estructuras de anatomía para mapeo de AR
en cirugía de MIS hepático [14,15]. Sin embargo, hay algunos desafíos particulares que se enfrentan con AR
en MIS

La luminancia cambia dramáticamente y un endoscopio puede moverse rápidamente durante la inserción y

extrusión. Los métodos de seguimiento tradicionales para AR en MIS generalmente implican un seguimiento
basado en puntos de características como la Transformación de características invariantes de escala (SIFT)
[18], Características robustas aceleradas (SURF) [22], seguimiento de flujo óptico [38] u otros enfoques
específicamente diseñados para trabajar con tejidos blandos que representan cambios en escala, rotación y
brillo [32]. Como estos descriptores invariantes están diseñados para el seguimiento en 2D, la información
sobre la profundidad dentro de una escena no se ha recuperado y los puntos de características
seleccionados extraídos de los algoritmos de visión deben estar dentro del campo de visión, lo que resulta
en la falta de información global en los aumentos AR.

Los métodos de factorización basados en restricciones (CBFM) [51] proporcionaron una solución
computacional para reconstrucciones de estructuras 3D a partir de imágenes endoscópicas 2D, pero se
necesitan dispositivos de seguimiento externos para proporcionar la posición de los instrumentos
quirúrgicos, reduciendo su usabilidad en la práctica. El trabajo adicional también ha investigado el uso de
sombras para inferir la profundidad de las imágenes endoscópicas monoculares [48], pero estas formas de
los métodos de sombreado se basan en la fuerte suposición de que se está utilizando una fuente de
iluminación de punto único sin ningún reflejo y también puede verse afectada por diferentes tejidos colores.
Mientras que en la cirugía laparoscópica real, la reflexión difusa y especular existe debido a las complejas
condiciones de la superficie de los diferentes tejidos. Esto afectará severamente la precisión del sombreado
de formas y comparamos nuestros resultados de reconstrucción con el sombreado de formas en la Sección
4. Lin et al. [25] combinó la iluminación estructurada con la estructura del movimiento para la
reconstrucción de la imagen endoscópica monocular. Aunque se necesita una sonda óptica especial, se logra
una mejor densidad de reconstrucción y robustez con un beneficio adicional de la resolución súper
espectral. Con el reciente desarrollo de la tecnología de aprendizaje profundo, es posible utilizar las redes
neuronales convolucionales (CNN) para estimar la profundidad a partir de una sola imagen endoscópica [49].

Sin embargo, los resultados de inferencia de la red dependen en gran medida del conjunto de datos utilizado
para la capacitación; Todavía es muy difícil construir un gran conjunto de datos con verdad para escenas
quirúrgicas. Recientemente, la madurez del método de localización y mapeo simultáneo (SLAM) diseñado
para la navegación de robots en entornos 3D desconocidos ha abierto nuevas oportunidades para
desarrollar nuevos enfoques de seguimiento de cámara endoscópica en MIS.

Los sistemas habilitados para SLAM permiten estimar la estructura 3D de la escena MIS desde una cámara
de endoscopio en movimiento y, al mismo tiempo, rastrear la pose de la cámara. El escenario del
seguimiento de la cámara y la reconstrucción de la escena en cirugías endoscópicas es similar al de una
aplicación típica de SLAM en visión robótica, aunque con desafíos adicionales. Los enfoques basados en
SLAM no requieren el uso de rastreadores ópticos o magnéticos y han sido probados para el seguimiento de
la cámara con secuencias de imágenes laparoscópicas [2,5,13,33]. Un modelo de compensación de
movimiento [34] y el método de reconstrucción estéreo semi denso [46] también se han integrado en el
marco EKFSLAM para tratar el problema del movimiento del tejido. Sin embargo, debido a la linealización de
los modelos de movimiento y sensor por una expansión de la serie Taylor de primer orden, no se puede
garantizar la precisión del EKF-SLAM, por lo tanto, es propenso a estimaciones inconsistentes y deriva en la
estimación del movimiento de la cámara. El algoritmo PTAM (seguimiento y mapeo paralelo) fue un gran
avance en SLAM visual y también se ha utilizado en MIS para el seguimiento con estereoscopio [24].
Derivado del PTAM, ORB SLAM (Oriented FAST y Rotated BRIEF) es un sistema SLAM bien diseñado que
utiliza características binarias ORB para un seguimiento rápido y confiable de puntos de características.
Mahmoud y col. [28] probó ORB SLAM en videos de endoscopios y presentó un método para densificar
puntos del mapa, pero el algoritmo tiene cierta pérdida de precisión.

3. METODOLOGÍA.

El diagrama de flujo de la Fig. 1 muestra nuestro marco de trabajo MIS AR intraoperatorio. Como se puede
ver en la figura 1 (a), el endoscopio se inserta en la cavidad abdominal del paciente, que se infla con dióxido
de carbono para crear el neumoperitoneo. Las secuencias de imágenes capturadas por la cámara
endoscópica en movimiento son la entrada a nuestro marco AR como se muestra en la Fig. 1 (b). El
algoritmo SLAM recupera la pose de la cámara y genera una nube de puntos dispersa no organizada. Luego,
nuestro marco de reconstrucción de superficie propuesto construye información geométrica en 3D basada
en la nube de puntos. La malla de superficie densa se alinea con las secuencias de imagen de entrada a
través de una transformación de espacio de cámara. Finalmente, el objeto virtual se puede mostrar en la
superficie reconstruida para proporcionar señales de profundidad y cualquier aumento virtual a la
profundidad correcta.

3.1 INTRODUCCIÓN DE LA CORDENADA DE SUPERFICIE.

La diferencia entre nuestro enfoque y el método de seguimiento basado en características utilizado en el

trabajo AR anterior en MIS [14, 18] se muestra en la Fig. 2, que ilustra el uso de diferentes sistemas de
coordenadas. El endoscopio se representa como una sonda en el sistema de coordenadas de la cámara y Pc
es un punto 2D en la vista de la cámara y el objeto virtual (la cara) que se mostrará. La figura 2 (a) muestra el
entorno AR basado en el seguimiento de características. Cuando se detecta y rastrea la característica, el
objeto virtual se colocará en el sistema de coordenadas de la característica. Suponiendo que Pf es un punto
3D en la escena MIS, entonces el punto 3D se puede transformar en un punto 2D en la vista de la cámara
endoscópica mediante la siguiente ecuación:

Pc = K ∗ T cf ∗ Pf

Donde T cf se puede calcular resolviendo el problema Perspectiva-n-Point (PnP), y K son los parámetros
intrínsecos de la cámara. Para nuestro marco AR propuesto, como puede verse en la Fig. 2 (b), agregamos un
espacio local de superficie S como agente, que sirve como intermediario y está construido de forma
incremental a partir de la nube de puntos detectada en el entorno, lo que nos permite lograr una gran
robustez. Un punto 3D en el espacio modelo Pm se puede transformar en el espacio Pc de la cámara 2D
mediante:

Pc =K∗T SC '∗T sm∗Pm

Donde T SC es estimado por SLAM y Tsm es una matriz definida por el usuario. Al utilizar el espacio
de superficie local como agente, resolvimos dos problemas importantes para AR en MIS: (i) no se
necesitan características previamente capturadas o seleccionadas manualmente, lo que ahorra
tiempo y permite el seguimiento de 360 °; (ii) Los objetos AR se pueden colocar en cualquier lugar
de la superficie a la profundidad correcta.

3.2. MONOCULAR DE CÁMARA ENDOSCÓPICA DE SEGUIMIENTO Y MAPEO

Utilizamos ORB – SLAM [35], que supera a muchos sistemas SLAM como Mono-SLAM [10], PTAM
[19] y LSD-SLAM [12], para la tarea de seguimiento y mapeo de cámaras endoscópicas
monoculares. ORB – SLAM combina muchas técnicas de vanguardia en un sistema SLAM, como el
uso de un descriptor ORB [40] para el seguimiento, el fotograma clave local para el mapeo, la
optimización basada en gráficos, el algoritmo Bag of Words para la reubicación y un Gráfico
esencial para el cierre del bucle. Estas características pueden permitir el seguimiento de la cámara
endoscópica en tiempo real y el mapeo de puntos dispersos en una cavidad abdominal como se
muestra en la Fig. 1. El rendimiento en tiempo real es crucial para las intervenciones médicas que
requieren mucho tiempo. Dado que ORB [40] es un descriptor de punto de característica binario,
es un orden de magnitud más rápido que SURF [1] y más de dos pedidos más rápido que SIFT [27]
con mayor precisión. Además, las características de ORB son invariables para la rotación, la
iluminación y la escala, lo que significa que es capaz de manejar algunas de los principales desafíos
en las escenas de MIS, incluidos los movimientos rápidos de cámaras endoscópicas (rotación y
zoom) y el cambio de brillo.

3.2.1 INICIALIZACIÓN.

Un problema común para el análisis de escenas monoculares usando SLAM es la inicialización, un

paso requerido para generar un mapa inicial,
Fig. 1. (a) Una cámara endoscópica monocular en movimiento puede capturar una serie de
secuencias de imágenes que se pueden usar para construir una nube de puntos dispersos en 3D
mediante el uso de un sistema SLAM. (B) El diagrama de flujo de nuestro marco AR propuesto.

Porque la profundidad no se puede recuperar de un solo cuadro de imagen. Se utiliza un enfoque

automático en ORB – SLAM para calcular la homografía para escenas planas y una matriz
fundamental para escenas no planas dinámicamente. Este enfoque puede aumentar en gran
medida la tasa de éxito de la inicialización y reducir el tiempo requerido para el paso de
inicialización. También facilita la inicialización en la superficie de un órgano o para calcular una
matriz fundamental cuando la cámara endoscópica apunta a estructuras complejas.

3.2.2. FORMACIÓN DE CONJUNTOS DE DATOS

Uno de los grandes desafíos exclusivos de AR en MIS es el rápido movimiento de los endoscopios
debido a la extracción e inserción constantes del dispositivo. El algoritmo de seguimiento debe ser
robusto para acomodar la pérdida de secuencias de imágenes después de una extracción y
recuperar el seguimiento durante una reinserción. El algoritmo Bolsas de palabras (BoW) resuelve
este problema de relocalización durante el seguimiento. En el algoritmo BoW, el vocabulario se
crea sin conexión con una gran cantidad de descriptores ORB extraídos de conjuntos de imágenes
de datos muy grandes que cubren casi todos los patrones de parches.
eso puede ser encontrado. El vocabulario sirve como un clasificador o un diccionario para asignar a
cada descriptor un índice. Cuando aparece una nueva imagen en el sistema, se busca cada
descriptor de características en esta imagen, y se construirá un vector único basado en el índice de
descriptores. Al hacerlo, la similitud aproximada de dos imágenes puede adquirirse simplemente
comparando los dos vectores únicos, por lo tanto, puede aumentar considerablemente la
velocidad de reubicación. La base de datos predeterminada de BoW en ORB – SLAM contiene un
conjunto de datos de imagen muy grande con diferentes géneros capturados de las escenas del
mundo real. Tal base de datos universal sería demasiado escasa y general para tareas específicas
de MIS. Al procesar videos endoscópicos, las imágenes generalmente se capturan dentro de los
cuerpos humanos para diferentes órganos, tejidos y vasos. Estas escenas MIS son más
homogéneas y específicas que las escenas de palabras reales. Por lo tanto, entrenamos nuestra
lista de vocabulario específicamente para su uso en MIS en base a 877 imágenes muestreadas de
diez secuencias in vivo obtenidas de la base de datos de video endoscópico Hamlyn Center [26,52].
Al entrenar una base de datos MIS BoW específica, se recopilan y guardan las características
específicas existentes en las escenas de cirugía mínimamente invasivas. La longitud de los vectores
únicos para mediciones de similitud disminuirá, por lo tanto, reduciendo no solo el tiempo de
carga del marco AR, sino también el tiempo de consulta BoW como se muestra en la Tabla 1. Este
enfoque generaliza bien a diferentes escenas de MIS desde la capacitación basado en la base de
datos de video endoscópico del Centro Hamlyn cubre una variedad de escenarios médicos desde
exámenes gastrointestinales, disección de diafragma, lobectomía pulmonar, derivación de arteria
coronaria, hasta examen cardíaco.

3.2.3. AJUSTE DE PARÁMETROS Y PUNTOS DE SUPERFICIE CRECIENTES.

Ajustamos algunos de los parámetros que se usaron por defecto en el ORB - SLAM al aumentar el
límite del número de características extraídas por imagen en un factor de dos, lo que permite
detectar un máximo de 2000 puntos de características. El umbral máximo permitido entre puntos
clave y puntos de mapa reproyectados para la triangulación se reduce en un factor de diez para
restringir el rango de los puntos que se seleccionarán de modo que se elijan puntos 3D
estrictamente robustos y se rechacen los puntos característicos movidos por la deformación del
tejido. Este enfoque puede mejorar en gran medida la precisión del seguimiento. Finalmente, el
umbral de distancia de Hamming para las comparaciones de descriptores ORB se reduce en 0.8
para aplicaciones más estrictas de la regla de puntos de par. Después de ajustar los parámetros
predeterminados, se puede detectar alrededor del 50% más de puntos de mapa para la tubería
confiable de reconstrucción de superficie. Además, el sistema tiene la capacidad de filtrar
pequeñas desviaciones causadas por deformaciones del tejido con estrictos criterios de selección
de puntos de mapa.

3.3. RECONSTRUCCIÓN SUPERFICIAL INTRAOPERATORIA EN 3D.

Una de las principales ventajas de nuestro sistema AR propuesto es su capacidad de utilizar una
nube de puntos 3D dispersa extraída de una cámara endoscópica monocular en movimiento para
construir una superficie densa y lisa a través de nuestro nuevo marco de reconstrucción de
superficie. Nuestro marco procesa las nubes de puntos dispersos no estructurados utilizando una
combinación de filtros de eliminación de valores atípicos, el algoritmo Moving Least Square para
suavizar los datos de ruido y un método de reconstrucción de la superficie de Poisson para generar
la superficie lisa a partir de una nube de puntos dispersos no estructurados. Esta tubería se ilustra
en la Fig. 3. Los detalles de cada paso de procesamiento se presentan en las siguientes secciones.

3.3.1 PREPROCESAMIENTO DE NUBE DE PUNTOS

La nube de puntos P dada por ORB – SLAM representa puntos sobresalientes que son visibles en
diferentes fotogramas clave de la cámara, dando una representación escasa de la escena
intraoperatoria. Las escenas MIS son muy complejas debido a problemas asociados con las
calibraciones de la cámara y los movimientos y reflejos de los tejidos. Por lo tanto, el resultado es
una nube de puntos ruidosa mezclada con muchos valores atípicos que pueden afectar la
reconstrucción final de la superficie. Nuestro enfoque para resolver este problema es aplicar dos
filtros de eliminación atípicos para eliminar los puntos ruidosos ubicados entre los puntos de datos
sin procesar antes de alimentar la nube de puntos en la tubería de reconstrucción. En primer lugar,
se utiliza un filtro de radio para procesar puntos en una nube en función del número de puntos
vecinos. Los puntos con muy pocos vecinos se etiquetan como valores atípicos o puntos aislados
que no deberían contribuir a la estructura general de la escena 3D. Dado que algunas áreas con
abundante textura ganan muchos más puntos que otras áreas, se usa un filtro de cuadrícula de
vóxel para volver a muestrear la nube de puntos en una nube de puntos más uniformemente
distribuida. Después del proceso de filtrado, la nube de puntos se vuelve "limpia" y está lista para
el suavizado MLS y la reconstrucción de la superficie 3D.