CARTERAS MINORISTAS

Sistemas de scoring: construcción y evaluación

Ejemplo: Algunas cuestiones prácticas sobre la curva ROC y el
AUROC

DIRECCIÓN GENERAL DE SUPERVISIÓN

Grupo de Tesorería y Modelos de Gestión de Riesgos

Gregorio Moral Turiel

Sergio Gavilá
Javier Población
II Seminario sobre Basilea II
Validación de modelos avanzados en el Pilar 1
Madrid, 14 al 17 de noviembre de 2006
Estabilidad del AUROC I
Nb+Nm= 5000, Nm=56

1 0.8

AUROC
0.8 ROC 0.75

0.7
0.6
0.65
0.4
0.6
0.806471
0.2
0.55

0 0.5
0 0.2 0.4 0.6 0.8 1 0 10 20 30 40 50

1 % eliminado

0.8
Curvas ROC y AUROC
0.6 cuando eliminamos
0.4
progresivamente el 1% de los
scores mas bajos de la
muestra analizada
0.2

0
0 0.2 0.4 0.6 0.8 1

DIRECCIÓN GENERAL DE SUPERVISIÓN

2
Estabilidad del AUROC II
Nb+Nm= 5000, Nm=56

1 0.82

0.81 AUROC
0.8 ROC
0.8
0.6
0.79
0.4
0.78
0.806471
0.2 0.77

0.76
0
0 0.2 0.4 0.6 0.8 1 0 10 20 30 40 50

1 % eliminado

0.8
Curvas ROC y AUROC
0.6 cuando eliminamos
0.4
progresivamente el 1% de los
scores mas altos de la
muestra analizada
0.2

0
0 0.2 0.4 0.6 0.8 1

DIRECCIÓN GENERAL DE SUPERVISIÓN

3
Curva ROC: Cambios de convexidad y calidad de la
ordenación local

0.015 ROC
0.8
0.0125
fM
0.01 0.6
AUROC=0.75
0.0075
fB
0.4
0.005

0.0025 0.2
0
0 50 100 150 200
0.2 0.4 0.6 0.8

0.8

FM En la parte intermedia el score

0.6
ordena bien en los extremos el
0.4
comportamiento se invierte
0.2 FB
0
0 50 100 150 200

DIRECCIÓN GENERAL DE SUPERVISIÓN

4
Conclusiones

ƒ El valor del AUROC depende esencialmente del comportamiento en la

parte peor de la cartera donde hay “muchos” defaults
ƒ La calidad del orden local depende en principio de la concavidad o
convexidad de la curva
ƒ En la práctica cuando localmente tenemos pocos defaults la formad ela
curva se vuelve inestable y no es posible concluir directamente sobre la
ordenación local
ƒ ¿Cómo intentar contrastar la bondad del orden local?
– Ampliar el periodo de observación para el backtesting
– Utilizar otra información relevante además de los defaults

DIRECCIÓN GENERAL DE SUPERVISIÓN

5
 GRACIAS POR SU ATENCIÓN

DIRECCIÓN GENERAL DE SUPERVISIÓN

6