Aprendizaje automático profundo

explotando modelos físico-matemáticos con

aplicaciones en tomografía optoacústica

Optoelectrónica - TP Final

Ing. Alan Dreszman

Docente: Dr. Ing. Martín Germán González

 Introducción: Tomografía optoacústica (TOA)

Imagen tomada de “Signal and Image Processing in Biomedical Photoacoustic Imaging: A Review”, Optics
- Dec 2020
 Variabilidad en la posición de los sensores

(Diagrama de censado)
Imagen tomada de: “Invariant representations in deep learning for optoacoustic imaging”, Review of
Scientific Instruments - May 2023
Objetivos

- Armar una estructura (red neuronal profunda) para de procesar imágenes

ruidosas

- Entrenar esa red para filtrar el ruido de dichas imágenes

- Se debe considerar que el ruido está asociado a la variabilidad en la

posición de los sensores

- Probarla (testing) con imágenes ruidosas “nuevas”

 Introducción al problema

Operadores que describen el problema de la TOA:

- Espectroscópico (L)
- Optico (F)
- Acústico (A) -> SE TRABAJO SOBRE ÉSTA ETAPA

Imagen tomada de “Signal and Image Processing in Biomedical Photoacoustic Imaging: A Review”,
Journal of Biomedical Optics - Dec 2020
Deep Learning

- Sub-campo de la inteligencia artificial

- Utiliza redes neuronales profundas
- Aprendizaje de patrones
- Representaciones significativas de datos
- Aplicación, en éste caso:

RECONSTRUCCIÓN Y FILTRO DE
IMÁGENES DE TOA
 Deep Learning: Variational Autoencoders (VAEs)

Imagenes tomadas de: https://medium.com/dataseries/variational-autoencoder-with-pytorch-2d359cbf027b

https://theaisummer.com/Autoencoder/
Deep Learning: función de costo

- gi: Muestra medida, entrada de la red

- fi: Imagen verdadera
- A: Operador, red neuronal
- θ: Parametros del modelo
Deep Learning: función de costo
 Entrenamiento de un VAE

Imagen tomada de: T. Hauptmann, and B.T. Cox, "Deep learning in photoacoustic tomography: current approaches",
Journal of Biomedical Optics - Nov 2020
 Testing de un VAE

Imagen tomada de: T. Hauptmann, and B.T. Cox, "Deep learning in photoacoustic tomography: current approaches",
Journal of Biomedical Optics - Nov 2020
Conjunto MNIST (dummy)

● Set de imágenes precargadas

● Se suelen utilizar para testeos iniciales de

procesamiento de imágenes

● Se utilizaron para probar ésta estructura de

RN → VAE multiambiente

● Los ambientes serían cada color

Prueba inicial con MNIST - Entrenamiento

Reconstruidos

Originales
Prueba inicial con MNIST - Testing

Reconstruidos

Originales
Imágenes de Interés - Objetivo
● Set de imágenes reconstruidas a partir de
sinogramas (ruidosas) → Se utilizan en la
entrada de la red

● Set de imágenes “limpias” →

○ Se utilizan para corregir a red en el
entrenamiento (train)
○ Se utilizan para probar la performance
del método (test)

● Queremos que al ingresar una imagen

ruidosa nos devuelva la misma imagen
pero “limpia”
Imágenes de Interés - Objetivo (cont)
● La incerteza en la posición de los sensores
da lugar a ruidos distintos en las imágenes

→ Los distintos ambientes tienen que ver

con el ruido asociado a la incerteza de
posición de los sensores.
Entrenamiento con dataset objetivo

Reconstruidos

Originales
Entrenamiento con dataset objetivo (cont)

Reconstruidos

Originales
Parámetros de ajuste
● Pesos de la función de costo
○ Reconstrucción
○ Generación
○ Invarianza

● Tamaño del espacio latente

● Tasa de aprendizaje (Learning Rate)

● Cantidad de muestras imágenes procesadas en paralelo (Batch Size)

● Cantidad de pasadas (Epochs)

Problemas encontrados

● Limitaciones en la plataforma utilizada (Google Colab)

○ Tiempos de utilización
○ Tiempos de conexión

● No se llegó a la etapa de Testing con la red entrenada con

el dataset objetivo
Conclusiones (parciales)

● Los VAE son (aparentemente) aptos para ésta tarea (aprendizaje de

invariantes)

● No se llegó a la etapa de Testing con la red entrenada con el dataset objetivo

 Objetivos a futuro

● Continuar con el entrenamiento con sinogramas

● Realizar testing de la red entrenada hasta el final

● Continuar probando, modificando hiper parámetros

¡Gracias!