II. 2.

Anlisis manual de imgenes mdicas: Anlisis de la curva ROC (Receiver Operating

Characteristic).

Psicofsica: calidad fsica de una imagen mdica y calidad del diagnstico

El anlisis de la curva caracterstica de operacin del receptor (ROC), es una de las herramientas
analticas ms importantes para caracterizar el desempeo humano en una tarea de anlisis de imgenes
y es una rea activa de investigacin en imgenes mdicas. El anlisis de la curva ROC se utiliz
primero en la interpretacin de imgenes de radar.

La curva ROC como una descripcin de la exactitud del diagnstico

La efectividad clnica de un sistema de imgenes mdicas depende usualmente no slo de las

caractersticas fsicas del sistema y de la presencia o no de anormalidades en el paciente. Tambin
depende de las caractersticas perceptuales del observador humano o del sistema automtico que
interpretan las imgenes y del nivel critico de confianza que el observador utiliza para determinar si
una imagen es positiva o negativa.

Al cambiar el nivel crtico de confianza, cambian la sensibilidad (i.e. La probabilidad de que una
imagen positiva sea clasificada correctamente como positiva) y la especificidad (i.e. La probabilidad de
que una imagen negativa sea clasificada correctamente como negativa). Entonces no se puede evaluar
completamente el desempeo conjunto del observador y del sistema de imgenes en una tarea de
diagnstico (clasificacin) utilizando solamente los ndices de especificidad y sensibilidad. Es
necesario estimar y reportar todas las combinaciones entre especificad y sensibilidad que pueden lograr
en conjunto un cierto observador y un cierto sistema de imgenes. Una curva ROC es la grfica de
sensibilidad vs. (1-especificidad)

METRICAS DE DESEMPEO PARA PROBLEMAS DE DETECCION (DIAGNOSTICO)

Las mtricas para evaluar procesos de deteccin involucran la frecuencia relativa de las decisiones
correctas e incorrectas que hace un observador a partir de las imgenes mdicas ( o de cualquier otro
tipo de evidencia (imgenes de satelite, estadisticas numricas, graficas de voltaje/corriente) apropiadas
al proceso de deteccin del que se trate). Las medidas bsicas son:

Nmero de positivos y negativos, verdaderos y falsos (PV, NV, FP, FN). A partir de stos se calculan la
Sensibilidad y la especificidad del proceso de deteccin (diagnstico).

En el proceso de deteccin de la presencia o ausencia de una anormalidad en una imagen (p.e. un tumor
canceroso vs un tumor benigno), se utilizan comnmente las categoras: positivo verdadero, positivo
falso, negativo verdadero y negativo falso. Los trminos positivo y negativo se refieren al diagnstico
hecho por un observador humano o por un sistema automtico. Los adjetivos verdadero y falso se
refieren a como el diagnstico corresponde o no con el estado clnico del paciente. As un positivo
verdadero (PV) corresponde al diagnstico de presencia de una anormalidad cuando sta realmente
existe en el paciente. Un negativo verdadero (NV) corresponde al diagnstico negativo de una
anormalidad cuando efectivamente la anormalidad no existe en el paciente. Los diagnsticos falsos (PF,
NF) corresponden a los casos en los que el diagnstico no corresponde a la realidad clnica del
paciente.

Sensibilidad y especificidad

Son dos mtricas de desempeo de un proceso de deteccin que se construyen a partir del nmero de
PV, PF, NV y NF en una muestra de validacin.

La sensibilidad de un proceso de deteccin se refiere a la probabilidad de que una anormalidad (evento)

sea detectada cuando realmente existe. La sensibilidad se especifica como una fraccin entre 0 y 1, o
un porcentaje entre 0 y 100.

La suma de PV y FN corresponde al total de positivos en el proceso de deteccin as la sensibilidad de

un sistema de deteccin se puede calcular como:

Sensibilidad= PV/(PV+FN)

Una sensibilidad de 1 indica que todas las anormalidades se detectan. La sensibilidad tambin se
denomina como Fraccin de Positivos Verdaderos (True Positive Fraction).

La mtrica que complementa a la sensibilidad es la especificidad la cual mide la probabilidad de que un

proceso de deteccin reporte correctamente la no existencia de una anormalidad (o evento) cuando
efectivamente sta no existe.

La suma de NV y PF corresponde al total de falsos en el proceso de deteccin as, la especificidad de

un sistema de deteccin se puede calcular como:

Especificidad=NV/(NV+PF)
Una especificidad de 1 indica que nunca se reporta la existencia de una anormalidad ( o evento) cuando
sta no existe.

La Fraccin de Falsos Positivos (False Positive Fraction) est definida como ( 1-especificidad) y es la
fraccin de casos normales que se reportan equivocadamente como anormales.

Un proceso ideal de deteccin debe tener una sensibilidad y una especificidad de 1. Lo que implica que
detecta la presencia de todas las anormalidades ( o eventos) y nunca reporta equivocadamente la
presencia de una anormalidad cuando esta no existe. Ningn proceso de deteccin complejo,
automtico o humano es ideal.

Para evaluar un proceso de deteccin es necesario tener los valores de sus dos mtricas: especificidad y
sensibilidad, ya que una sola mtrica no puede evaluar correctamente el proceso. Esto debido a que se
puede forzar una sensibilidad de 1 si nuestro sistema de deteccin reporta todos los casos como
positivos ( a lo que corresponde una especificidad de 0) y tambin se puede forzar una especificad de 1
si nuestro sistema reporta todos los casos como negativos (a esto corresponde una sensibilidad de 0).
En la mayora de procesos de deteccin se puede lograr mayor sensibilidad si disminuimos la
especificidad y viceversa.

Curva ROC

La curva ROC es la herramienta estandar para graficar todas al posibles combinaciones de sensibildad
y especificidad de un proceso de deteccin. Usualmente se grafica la Fraccin de Positivos Verdaderos
(TPF) o sensibilidad en el eje Y, vs la Fraccin de Falsos Positivos (FPF) o (1-especificidad) en el eje
X. En una curva ROC el punto de operacin ideal es la esquina superior izquierda donde TPF=1,
FPF=0

La diagonal que va de (0,0) a (1,1) corresponde a la decisin aleatoria, ningn proceso de deteccin
puede tener valores debajo de sta lnea. Si los tuviera basta con invertir los resultados ( i.e. hacer los
positivos negativos y viceversa).
El mtodo tradicional para determinar experimentalmente la curva ROC de un observador humano es el
siguiente. Se adquiere un conjunto representativo de imgenes que incluyan casos positivos y
negativos. Se le pide al observador que califique cada imagen en una escala de varios niveles que van
desde definitivamente anormal hasta definitivamente normal. Se pueden tabular entonces
diferentes valores de PV y PF (que corresponden a un punto de operacin) para el conjunto de
imgenes utilizando cada nivel de certeza como un umbral de decisin.

En el caso de los sistemas automticos de deteccin (y de anlisis de imgenes mdicas en este curso)
la situacin es diferente. Idealmente debe identificarse un parmetro que determine los porcentajes de
sensibilidad y especificidad del sistema. En la figura se ilustra un caso muy simple en el que nuestro
parmetro es un umbral de decisin con el que se separa a dos distribuciones gaussianas de una
variable. Al variar el valor del umbral obtendremos diferentes puntos de operacin (PV, PF) con los que
se puede graficar la curva ROC del sistema.

Existen dos consideraciones importantes en la evaluacin de un sistema automtico de deteccin:

Es importante identificar el parmetro que efectivamente mueve la frontera de decisin en el espacio

de caractersticas, es posible que la frontera dependa de varios parmetros.

Debe seguirse un mtodo apropiado de entrenamiento y validacin del sistema automtico. Usualmente
durante el desarrollo del sistema se utiliza un conjunto de datos sobre con los que se construye una
curva ROC optima variando el umbral de decisin. Esta curva no refleja el desempeo del sistema en
un nuevo conjunto de datos independiente del primero, usualmente este desempeo ser ms bajo.