SESIN PRCTICA DE BIOESTADSTICA: EVALUACIN DE CRITERIOS DIAGNSTICOS. DISCRIMINACIN.

CURVA ROC
OBJETIVOS

Si disponemos de una variable continua (por ejemplo una determinacin de un valor analtico), la seleccin del valor que diferencia la presencia o ausencia de la positividad del diagnstico es importante como referencia en la prctica clnica La capacidad que tiene una prueba diagnstica de diferenciar entre sanos y enfermos (positivos y negativos) se denomina DISCRIMINACIN. Si disponemos de varias pruebas para un mismo problema, tambin es interesante saber cual de ellas es mejor en esta capacidad. En esta prctica discutiremos estos conceptos y nos introduciremos en la metodologa de las llamadas curvas ROC (del ingls Receiver Operating Characteristic curves).

Conceptos bsicos

Para poder entender esta prctica, el alumno debe repasar y comprender los siguientes conceptos: Recodificacin de variables Sensibilidad y Especificidad de una prueba diagnstica Concepto de Tabla de contingencia Capacidad de Explorar una variable continua Histograma de una muestra de una variable continua Estimacin de parmetros en la distribucin normal

BIOESTADSTICA: EVALUACIN DE CRITERIOS DIAGNSTICOS

Actividades de preparacin de la prctica

Como actividad previa a la realizacin de la prctica, el alumno debe buscar la siguiente informacin: Leer y entender los captulos 6 (insistir en pginas 164-168) y 9 (249-257). Leer los artculos seleccionados y prepara la discusin de los mismos. Buscar otros artculos que utilicen la misma metodologa. Buscar informacin terica sobre las curvas ROC. Recomendamos el siguiente artculo: Burgueo MJ, Garcia-Bastos JL y Gonzalez-Buitrago JM. Las curvas ROC en la evaluacin de las pruebas diagnsticas. Med Clin (Barc) 1995; 104:661-670. Pensar en posibles utilidades reales en la prctica clnica de un mdico.

Desarrollo de la prctica

1) Explicacin del archivo de datos que emplearemos en la prctica 2) Realizar histogramas y exploracin de las variables (Sesin prctica anterior) 3) Recodificar las variables segn diferentes puntos de corte (puntos diagnsticos) elegidos. Las nuevas variables creadas diferencian la positividad de la prueba segn se este por encima o por debajo del punto diagnstico elegido. 4) Realizar Tablas de Contingencia 5) Realizar los clculos sobre las Tablas de Contingencia. Sensibilidad, Especificidad, VPP, VPN, VG. 6) Introducir el concepto de DISCRIMINACIN 7) Introducir el concepto de Curva ROC y rea bajo la Curva ROC (ABC). 8) Seleccin del mejor punto diagnstico (punto de corte ptimo) 9) Comparacin de dos curvas ROC 10) Comentar y discutir los artculos elegidos como ejemplos. 11) Simulaciones en el programa de prcticas 12) Discusin global y conclusiones

BIOESTADSTICA: EVALUACIN DE CRITERIOS DIAGNSTICOS

Orientacin metodolgica

Presentacin del archivo de datos que emplearemos

El archivo tiene las siguientes caractersticas:

BIOESTADSTICA: EVALUACIN DE CRITERIOS DIAGNSTICOS

Presentacin del primer ejercicio

La determinacin de Urea plasmtica (variable - urea) medida en mg/dl es un indicador de la funcin renal. En este archivo se han recogido los valores de 504 pacientes. Este valor de urea puede servir para diferenciar que pacientes presentaran posteriormente una insuficiencia renal (variable irenal) (que motivar un tratamiento especfico). La variable Urea puede representarse con este histograma:
80

60

40

20 Desv. tp. = 44.69 Media = 64.8 0

23 21 17 19 15 13 10 .0 50 .0 70 90 11 30 .0 0 0. 0 0. 0 0. 0 0. 0 0. 0 0. .0 .0 0 0.

N = 504.00
25 0 0.

UREA

Si diferenciamos segn presenten posteriormente Insuficiencia renal:

Histograma
Para IRENAL= No
140 120 100 80 10 60 20

Histograma
Para IRENAL= Si

Frecuencia

Desv. tp. = 29.89 20 0 113 147 180 13 47 80 Media = 51 N = 410.00

Frecuencia

40

Desv. tp. = 46.77 Media = 126 0 104 144 184 225 23 63 N = 94.00

UREA

UREA

BIOESTADSTICA: EVALUACIN DE CRITERIOS DIAGNSTICOS

Esto puede representarse (asumiendo distribuciones normales) tambin as:

I. RENAL NO SI

50

100

150

200

250

300

x 10 mg/dl

Y representando por medio de histogramas:

VN NO I. RENAL 0 I. RENAL F N

FP

300 mg/dl

VP Xc
PUNTO DE CORTE

BIOESTADSTICA: EVALUACIN DE CRITERIOS DIAGNSTICOS

Recodificacin de variables

Creacin de la variable recodificada:

BIOESTADSTICA: EVALUACIN DE CRITERIOS DIAGNSTICOS

Construccin de las Tablas de Contingencia

Esto produce la siguiente Tabla de Contingencia:

Tabla de contingencia IRENAL * UREA90 Recuento UREA90 < 90 mg/dl > 90 mg/dl 377 33 22 72 399 105 Total 410 94 504

IRENAL Total

No Si

Que de acuerdo con el grfico de la pgina 5 se puede interpretar as:

Tabla de contingencia IRENAL * UREA90 Recuento UREA90 < 90 mg/dl > 90 mg/dl VN FP FN VP 399 105 Total 410 94 504

IRENAL Total

No Si

BIOESTADSTICA: EVALUACIN DE CRITERIOS DIAGNSTICOS

Clculos sobre la Tabla de Contingencia

Podemos calcular los siguientes conceptos: Sensibilidad (SEN), Especificidad (ESP), Valor Predictivo Positivo (VPP), Valor Predictivo Negativo (VPN) y Valor Global (VG):

SEN =

VP VP + FN VP VP + FP

ESP = VPN =

VN VN + FP VN VN + FN

VPP = VG =

VP + VN VP + FP + VN + FN

Para el punto de corte de Urea = 90 mg/dl: SEN = 0.77 ESP = 0.92 VPP = 0.69 VPN = 0.94 y VG = 0.89 Si cambiamos el punto de corte a 50 y 130 mg/dl obtenemos las siguientes Tablas y Clculos:
Tabla de contingencia IRENAL * UREA50 Recuento UREA50 < 50 mg/dl > 50 mg/dl 245 165 2 92 247 257 Total 410 94 504

IRENAL Total

No Si

Para el punto de corte de Urea = 50 mg/dl: SEN = 0.98 ESP = 0.60 VPP = 0.36 VPN = 0.99 y VG = 0.67
Tabla de contingencia IRENAL * UREA130 Recuento UREA130 < 130 mg/dl > 130 mg7dl 396 14 53 41 449 55 Total 410 94 504

IRENAL Total

No Si

Para el punto de corte de Urea = 130 mg/dl: SEN = 0.44 ESP = 0.97 VPP = 0.75 VPN = 0.88 y VG = 0.87

BIOESTADSTICA: EVALUACIN DE CRITERIOS DIAGNSTICOS

Construccin de la curva ROC

Recorriendo todo el rango de valores posibles de los puntos de corte (puntos diagnsticos) obtendremos una serie de pares Sensibilidad-Especificidad que definirn cada prueba diagnstica. Se define el punto ptimo diagnstico como el que tiene el mejor par Sensibilidadespecificidad. Puede interesarnos elegir este punto bajo otros criterios dependiendo del problema que se este valorando. La representacin grfica de todos estos puntos define la curva ROC. Se utiliza el par Sensibilidad (1-Especificidad) para su representacin grfica.

BIOESTADSTICA: EVALUACIN DE CRITERIOS DIAGNSTICOS

La grfica de la curva ROC es la siguiente:

Curva COR
1,00

,75

,50

Sensibilidad

,25

0,00 0,00 ,25 ,50 ,75 1,00

1 - Especificidad

La lnea de puntos expresa la nula capacidad de discriminacin. Cuanto ms se acerque la curva al extremo superior izquierdo de la cuadrcula la prueba diagnstica tendr ms capacidad de discriminacin. La curva ROC es la representacin grafica de la discriminacin. Se entiende como rea Bajo la Curva ROC (ABC) la probabilidad de clasificar correctamente un par de individuos sano y enfermo (positivo o negativo) seleccionados al azar. Verdadera ABC ROC = Prob (Xpositivo > Xnegativo) Los valores del ABC ROC van entre 0.5 (igual al azar) y el mximo que es 1. Se suele aceptar como valor aceptable de discriminacin cuando supera el 0.7. La forma de clculo se realiza por mtodo trapezoidal. Coincide con la suma de rangos obtenida con la prueba de comparacin de medias de Wilcoxon (versin MannWhitney).
rea bajo la curva Variables resultado de contraste: UREA Intervalo de confianza asinttico al 95% Lmite Lmite inferior superior .906 .955

rea .930

Error tp. .012

Sig. asinttica .000

BIOESTADSTICA: EVALUACIN DE CRITERIOS DIAGNSTICOS

10

Comparacin de dos curvas ROC

Siguiendo con el ejemplo de este ejercicio, vemos que las cifras de Urea sirven para discriminar que pacientes padecern Insuficiencia Renal posteriormente; pero podemos preguntarnos si otra variable (Creatinina medida en mg/dl) puede, o no, mejorar esta capacidad discriminatoria.

Curva COR
1,00

,75

,50

Procedencia de la cu Sensibilidad
,25 Lnea de referencia CREATIN 0,00 0,00 ,25 ,50 ,75 1,00 UREA

1 - Especificidad

rea bajo la curva Intervalo de confianza asinttico al 95% Lmite Lmite inferior superior .906 .955 .974 .994

Variables resultado de contraste UREA CREATINA

rea .930 .984

Error tp. .012 .005

Sig. asinttica .000 .000

BIOESTADSTICA: EVALUACIN DE CRITERIOS DIAGNSTICOS

11

Segundo ejercicio
Siguiendo con el mismo fichero de datos, describimos el segundo ejercicio. Si medimos la Tensin Arterial Sistlica (mmHg) de un paciente, puede ayudarnos a diferenciar los que presentarn un fallo cardiaco (variable cardiaca). En la base de datos tenemos 504 pacientes con esta medida. La diferencia con el ejercicio anterior slo radica que en este caso un valor ms bajo de tensin arterial es el que tiende a aumentar la posibilidad de problema cardiaco.

Histograma
Para CARDIACA= 1
40 100

Histograma
Para CARDIACA= 0

80 30 60 20 40

Frecuencia

10 Desv. tp. = 36.19 Media = 102 0 129 168 208 10 49 89 N = 147.00

Frecuencia

20

Desv. tp. = 35.91 Media = 134

0 135 177 219 10 52 94

N = 357.00

TAS

TAS

CARDIACA

INOTROPO SI NO

x 10
0 50 100 150 200 250

BIOESTADSTICA: EVALUACIN DE CRITERIOS DIAGNSTICOS

12

Hay que elegir la opcin en el cuadro de dilogo:

Comparamos la tensin arterial al ingreso (variable tasingre) con la Tensin arterial peor obtenida en las primeras 24 horas de ingreso (variable tas)

Curva COR
1.00

.75

.50

Sensibilidad

.25

Lnea de referencia TAS2

0.00 0.00 .25 .50 .75 1.00

TAS1

1 - Especificidad
rea bajo la curva Intervalo de confianza asinttico al 95% Lmite Lmite inferior superior .697 .795 .795 .873

Variables resultado de contraste TAS1 TAS2

rea .746 .834

Error tp. .025 .020

Sig. asinttica .000 .000

BIOESTADSTICA: EVALUACIN DE CRITERIOS DIAGNSTICOS

13

Ejemplos de artculos

Hemos elegido 3 artculos como ejemplos:

1 Snchez J, Luis M, Vazquez MA, Mintegui S, Benito J, Lopez P. Valor diagnstico de la proteina C reactiva en las sospechas de apendicitis aguda en la infancia. An Esp Pediatr 1998; 48:470-474. En este artculo la prueba a valorar es la determinacin de proteina C reactiva para poder diferenciar pacientes con o sin apendicitis aguda. Se compara con la determinacin de leucocitos en sangre.

2 Gaspar MJ, Arribas I, Hontoria JM, Bokobo P, Coca C, Angulo JC. Utilidad de la fraccin libre de antgeno prosttico especfico en el diagnstico diferencial entre hiperplasia prosttica y cncer de prstata. Med Clin (Barc) 2000; 115:332336. Tambin compara dos mtodos para encontrar cual tiene mayor capacidad de discriminacin.

3 Costa A, Conget I, Treserras R, Gomis R. Utilidad de la glucemia basal y de la hemoglobina glucosilada para la deteccin de la tolerancia anormal a la glucosa en familiares de pacientes con diabetes tipo 2. Med Clin (Barc) 1999; 112:241-244. Se valoran los distintos puntos de corte y las dos curvas ROC en un problema de identificacin de pacientes con intolerancia a la glucosa.

Anexo: Clculos con el programa ENESSIM

Como actividad previa a la prctica, es conveniente realizar los ejercicios correspondientes del programa ENESSIM. Para ello, abrir el programa y elegir el elemento del men que se refiere a las prcticas.

BIOESTADSTICA: EVALUACIN DE CRITERIOS DIAGNSTICOS

14