Taller Grupal 2

Sistema de Clasificación Scoring

David Fernando Ricaurte Osorio Andrés Felipe Luna Camacho
Pontifícia Universidad Javeriana Pontificia Universidad Javeriana
Bogotá D.C Bogotá D.C
ricaurted@javeriana.edu.co andres.luna@javeriana.edu.co

I. BUSINESS UNDERSTANDING
1. Context
Sin lugar a duda los modelos predictivos y las teorías de la decisión juegan un papel muy importante para el sector
financiero hoy en día. El credit scoring es tan solo una de sus tantas aplicaciones, definido como un sistema predictivo,
automatizado y personalizado para soportar la elección de decisiones crediticias de los clientes. El scoring tiene como
objetivo realizar los procesos de análisis de datos y valoración de préstamos sobre un solicitante, en el cual se puede
recomendar su aprobación o rechazo.

Los datos adquiridos para la toma de decisiones son generalmente facilitados por el cliente (solicitados en entrevistas
o formularios), aunque también pueden ser adquiridos por fuentes terceras. En Colombia estas fuentes se conocen
como centrales de información o centrales de riesgo, en donde se almacena y se procesa información sobre el
comportamiento de pago de las obligaciones de las personas naturales y/o jurídicas.

Hoy en día los bancos tradicionales llevan a cabo el Scoring por medio del analista, quien es el encargado final de la
toma de decisión para otorgar un crédito. Las variables mínimas que suelen contemplarse son las siguientes:

Finalidad del
crédito
% de Ingresos
Patrimonio Vs. Pagos
comprometidos

Tasa de
Declaración de
Endudamiento
bienes
Vs. Patrimonio

Ingresos Credit Antiguedad

Mensuales Score contrato laboral

Figura 1. Variables comunes contempladas en el Credit Scoring

Por otro lado, existen entidades que poco a poco han evolucionado para obtener un scoring de una forma más
automatizada y menos dependiente del analista. En España se le conoce como online scoring, en donde a partir de la
predicción obtenida por el modelo, se toma la decisión manual de retener o no la solicitud del crédito en cuestión. Al
tratarse de una “máquina” la que está decidiendo, las entidades financieras pueden agregar la cantidad de variables
que consideran relevante para realizar un scoring con alta precisión, como por ejemplo metadatos de las redes sociales,
análisis de comportamiento en las redes sociales, número de conocidos, etc. [2].
Se puede argumentar que el scoring surge como la necesidad de eliminar el sesgo humano (afinidad, sentimientos) y
en dicha medida, reducir la mala calificación y homogenizar las respuestas a las solicitudes de crédito. Cuando las

1
entidades no utilizan scoring, aumenta el riesgo de que la persona a la cual se le esté prestando el monto incumpla, lo
cual repercute en pérdidas para el negocio.

Según BBVA [2] es muy importante asegurar la calidad de los datos ingresados en el modelo de predicción de scoring,
ya que puntos críticos o atípicos harán que el modelo no funcione correctamente. Por esta razón, es necesario hacer
una validación previa sobre la coherencia de los datos que ingresan al modelo. Del mismo modo, de acuerdo con
TransUnion USA, los scoring tienen una función vital en el crecimiento de la economía, ya que ayudan a ampliar al
acceso de mercados de crédito, reducen el valor de la prima y disminuyen las tasas de morosidad en los bancos.
Gracias a los scoring las decisiones de otorgamiento de préstamos son más rápidas y justas, además que la velocidad
con la que se puede otorgar un crédito utilizando este modelo se ve traducido en una reducción de costos relacionados
con el papeleo y procedimientos engorrosos que ya no se utilizarán [1].

2. Business Objectives
De acuerdo con la situación actual y los beneficios que trae el scoring en el sector financiero se presentan los siguientes
objetivos para el negocio:

Objetivo KPI relacionado

1. Clasificar si un cliente va a incurrir en un incumplimiento
- Reducción de las pérdidas por créditos en mora.
del pago del crédito
-Aumento en el número de créditos aprobados.
2. Clasificar si un cliente va a cumplir en el pago del crédito -Aumento en las ganancias por créditos aprobados
-Aumento del número de clientes
-Mejoras en los estados financieros
3. Pronosticar el número de créditos aprobados para futuros
-Aprovisionamiento de materias primas para los próximos
ciclos.
ciclos
4. Fijar metas para los analistas de crédito para la obtención - Calidad en la gestión
de un número mínimo de créditos aprobados. - Motivación empleados
Tabla I-1 Business Objetives

3. Data Mining Goals

Objetivo Criterio de Evaluación

- F-SCORE > 80 %
Generar predicciones incumplimiento sobre la base de
- Precisión > 70 %
datos de despliegue.
- Sensibilidad >80 %
Tabla I-2 Data Mining Goals

Nota: Se define un valor mayor de sensibilidad que de precisión ya que de acuerdo con el contexto del negocio, es
preferible predecir correctamente aquellos clientes que no van a pagar, a predecir correctamente aquellos que si van
a pagar.

II. DATA UNDERSTANDING

1. Data Description
La base de datos suministrada por el banco está constituida por 8 variables predictoras y 1 variable objetivo
(Incumplimiento). Su clasificación conceptual y significado dentro del negocio se encuentran especificados en la
siguiente tabla:

Variable Tipo Descripción

Empleado Nominal cualitativa Desempleado (0), Empleado actualmente (1)
Tiempo_empleado Cuantitativa discreta Número de años que lleva en el empleo actual (si aplica).
Saldo_cuenta Cuantitativa continua Saldo en miles de pesos de la cuenta principal con el banco.
Valor_prestamo Cuantitativa continua Valor actual que adeuda en préstamos en el sistema financiero.
Cuentas_otros Cuantitativa discreta Número de cuentas que tiene en otros bancos

2
 Autocontrol Cuantitativa discreta Mediante una prueba escrita se mide el nivel de autocontrol de la
persona, en puntaje de 0 a 100

Impulsividad Cuantitativa discreta Mediante una prueba escrita se mide el nivel de impulsividad de la
persona, en puntaje de 0 a 100
Confianza Cuantitativa discreta Mediante una prueba escrita se mide el nivel de confianza en sí misma
de la persona, en puntaje de 0 a 100
Incumplimiento Cualitativa nominal Cumplimiento (0), Incumplimiento (1)
Tabla II-1 Descripción Base de Datos

2. Data Exploration
A continuación se muestran las medidas de tendencia central:

mean sd min max range skew kurtosis

Tiempo_empleado 5.10 4.45 0.00 48.00 48.00 1.28 2.47

Saldo_cuenta 1072.98 5818.62 0.05 548592.22 548592.17 33.60 2062.04
Valor_prestamo 2474.27 1005.32 0.00 5307.62 5307.62 -1,21 1.18
Cuentas_otros 1.01 1.01 0.00 7.00 7.00 1.02 1.08
Autocontrol 49.91 10.04 8.00 94.00 86.00 0.00 0.00
Impulsividad 49.98 10.02 12.00 92.00 80.00 0.01 0.00
Confianza 50.01 9.97 8.00 94.00 86.00 0.00 0.01
Tabla II-2 Medidas de Tendencia Central

§ Se observa que para el caso de las variables Autocontrol, Impulsividad y Confianza, las distribuciones son muy
similares y con un comportamiento casi simétrico (skew y kurtosis con valores de cero). De esta manera, se
concluye que la mayoría de los clientes toma una postura neutra (puntaje 50) en las encuestas realizadas por el
banco.

§ La variable Tiempo_empleado presenta una cantidad considerable de puntos atípicos positivos. De esta manera,
se concluye que a pesar de que la edad tendencia de los clientes es de 5 años, hay personas hasta con 48 años
solicitando un crédito. En una mayor medida, la variable Saldo_cuenta es altamente asimétrica, con montos que
van desde los $0.05 hasta los $550000.

§ La tendencia del monto de los créditos es de $2474, con la presencia de algunos puntos atípicos con valores mucho
más pequeños a esta cifra. Del mismo modo, la tendencia del número de cuentas en otros bancos es de 1, a pesar
de que hay clientes con hasta 7 cuentas más en otros bancos.

- Relaciones con la variable Incumplimiento

Para la identificación de patrones entre las variables predictoras y la variable objetivo, se procedió a graficar los
diagramas de cajas de cada una, separando los clientes que incumplieron o no con el pago de sus créditos. Los
resultados obtenidos fueron los siguientes:

§ Las variables Autocontrol, Impulsividad y Confianza no aparentan tener un gran efecto en el pago de los clientes,
ya que hay personas que incumplen y tienen altos niveles de confianza y autocontrol, así como también personas
que cumplen y tienen altos niveles de impulsividad.

3
 Figura II-1 Comportamiento de las variables clasificado por incumplimiento.

§ El saldo de la cuenta y el valor de préstamo tampoco parecen tener una relación significativa con el incumplimiento
del pago. Si bien es cierto que los clientes tienden a incumplir más cuando se les presta un poco menos, el patrón
no es lo suficientemente claro para afirmar que sea una de las causas principales.

§ El tiempo de empleo de los clientes tampoco denota un patrón decisivo para describir si los clientes incumplen o
no. Como se puede ver en la gráfica, las medianas de las cajas son similares y en ambos casos existen puntos
atípicos positivos con valores similares.

Figura II-2 Comportamiento de las variables clasificado por incumplimiento.

§ La cantidad de cuentas en otros bancos demuestra un claro patrón en el cumplimiento del crédito. Absolutamente
todos los clientes con más de una cuenta en otro banco hacen los pagos oportunamente, mientras que la mayoría
de los que incumplen es porque tienen una o ninguna cuenta adicional.

Figura II-3 Comportamiento de las variables clasificado por incumplimiento

- Clientes que incumplen y que no tienen cuentas en otros bancos

4
De acuerdo con lo hallado en el punto anterior, la variable que prácticamente decide si un cliente paga oportunamente
o no es la cantidad de cuentas en otros bancos. No obstante, existen observaciones de clientes que no tienen cuentas
extras y sin embargo pagan sus créditos de forma puntual.

Basados en esta premisa, se decidió hacer una exploración más profunda de este conjunto de datos, con el objetivo
de identificar que patrones diferencian a esos clientes que incumplen y no tienen cuentas, a los que cumplen y tampoco
tienen cuentas.

§ Las variables Confianza, Autocontrol, Impulsividad, Saldo_cuenta, Valor_prestamo y Tiempo_empleo para el grupo
de clientes que no tienen cuentas no revela patrones ni diferencias importantes con relación a las cajas graficadas
anteriormente:

Figura II-4 Comportamiento de las variables clasificado por incumplimiento y sin deuda activa.

Sin embargo, al cruzar cada una de las variables numéricas con la variable Valor_prestamo (gráfico de puntos) se
hacen dos descubrimientos:

a. La relación de las variables Confianza, Autocontrol, Impulsividad, Saldo_cuenta y Tiempo_empleo con la

variable Valor_préstamo tienden a revelar un patrón de si los clientes cumplen o incumplen (clústeres bien
definidos)

b. Existe un conjunto de datos atípicos (más de 2 desviaciones por debajo de la media) que rompen con el patrón
de agrupación por clústeres descrito en el literal a. Estos hacen alusión montos de préstamos con valor 0.

5
 Figura II-5 Tendencias de las variables con respecto a la variable Valor_prestamo

3. Verify Data Quality

Se verificó la inexistencia de datos nulos para la base de datos suministrada. Del mismo modo, se comprobó que los
rangos de cada una de las variables fuesen coherentes con la realidad del negocio, encontrando los siguientes puntos:

- Existen registros donde la variable Empleado es 1 (el cliente tiene trabajo) y la variable Tiempo_empleado es 0 (0
años de experiencia). Estos datos posiblemente hacen alusión a clientes que efectivamente están empleados pero
que no han cumplido el primer año de trabajo.

- Tal y como se descubrió en la exploración de datos, existen clientes que fueron catalogados con incumplimiento
(Incumplimiento = 1) y sin embargo el valor del préstamo diligenciado es 0 (Valor_prestamo=0). Esta relación no
tiene sentido en el contexto del negocio, y como no se proporciona información adicional sobre este tipo de
condiciones, se excluirán estos datos en la construcción del modelo.

III. DATA PREPARATION

1. Select Data
Se escogieron las variables que potencialmente influyen en el aumento/disminución del riesgo a incumplir. De esta
manera, únicamente se excluyó la variable binaria “Empleado” ya que por contexto, es una variable altamente
correlacionada con la variable Tiempo_empleo, a excepción de los casos en donde los clientes tienen menos de un
año de experiencia. No obstante, se asume que la diferencia entre tener 0 a 1 años de experiencia no es relevante
para la predicción de incumplimiento.

2. Clean Data and Construct Data

Con base en lo mencionado en el numeral 3 del título Data Understanding, existen aproximadamente 6000 registros
de clientes que aparecen con incumplimiento pero que sin embargo, en su variable del valor prestado tienen un valor
de 0. Se decide entonces consolidar la vista minable eliminando dichos registros por las siguientes razones:

- No existe un criterio con la suficiente certeza que permita corregir estos puntos (ej. Considerar que se trata de
clientes que van a quedar en mora de su primer crédito)
- Dichos registros afectan la relación de las otras variables con la variable Valor_prestamo, de acuerdo con las
gráficas visualizadas.
- De los 6000 registros eliminados, solamente un bajo porcentaje (10%) corresponden a clientes que no tienen
cuentas en otros bancos (Cuentas_otros = 0). De esta forma, no se pierde información relevante para el modelo a
construir ya que la mayoría de los datos desechados son registros en donde ya se sabe que va a cumplir el pago.

IV. MODELING
1. Build Model

- Consideraciones

6
Para realizar un modelo de clasificación existen un gran número de algoritmos a utilizar. A partir del alcance del
presente curso y por las características de la base de datos en cuestión (variables explicativas y variable objetivo) las
posibilidades de elección fueron KNN, Naive bayes y regresión logística.
Se descartó la técnica de Naive Bayes dado que este método supone la independencia en todas las variables
explicativas que existen la base de datos, lo cual en el presente contexto no sucede y podría afectar de forma
significativa el desempeño del clasificador. Del mismo modo, el algoritmo de KNN fue desechado en la medida que es
un algoritmo exigente computacionalmente y que además, no se comportaría adecuadamente en bases de datos tan
desbalanceadas como la del problema.

Se decidió entonces aprovechar las ventajas que trae consigo el modelo de la regresión logística (de naturaleza
binaria), teniendo en cuenta las siguientes consideraciones:

Consideraciones Modelo construido

La variable Incumplimiento = 1 dentro de la base de datos de
Balanceo: La base de datos con la que se va a
entrenamiento tiene una proporción del 11% Esto nos indica
entrenar el modelo no debe estar desbalanceada; es
que aunque cumple con la consideración, se encuentra muy
decir, la clase a predecir (Incumplimiento=1) debe
cerca al límite, por tal razón se explora el balanceo que más
tener un porcentaje dentro de los datos mayor a 10%.
información y menos sesgo genere.
El modelo construido debe tiene un alto F-Score. Del mismo
modo, se aseguró que la sensibilidad fuese mayor al 80%.
Thereshold: Se debe ajustar el thereshold buscando
Según las características del negocio es menos costoso tener
un aumento de la sensibilidad por encima de una
una alta tasa de falsos positivos (clientes que fueron
disminución en la razón de falsos positivos (1-
incorrectamente clasificados como aquellos que incumplen)
Especificidad).
que tener una alta tasa de falsos negativos puesto que aquí
las perdidas serían ya en otras dimensiones.
Algoritimo Step: La construcción del modelo se
El modelo predictivo que se utilizará será la regresión
realizará por medio del algoritmo de pasos sucesivos
logística, de familia Binomial (para R) y el stepwise se
(stepwise) ya que como resultado, esta técnica
realizará para ambas direcciones (que quitaran o agregaran
arrojará las variables con mejor significancia para el
variables dependiendo de cómo vaya mejorando el modelo).
modelo predictivo y además el modelo con mejor AIC.

- Resumen del modelo

Variable Coeficiente β Std. Error Pr(>| z |)

Saldo_Cuenta -3.498 × 10$% 7.385 ***
Valor_Prestamo -1.836 × 10$& 4.560 ***
Cuenta_otros -5.45 1.062 ***
Impulsividad -9.015 × 10' 2.603 ***
Confianza 1.432 × 10$( 3.012 ***

Tal y como se esperaba según la exploración de los datos, la variable Cuenta_otros es la que mayor coeficiente tiene
en el modelo, y por ende, la que mayor aumenta la probabilidad de que el cliente cumpla. En menor medida, las
variables Confianza e Impulsividad son los predictores que clasificarán el cliente cuando este no tenga cuentas en
otros bancos (Aumenta la probabilidad de cumplimiento si tiene mayor confianza, y disminuye la probabilidad de
cumplimiento si tiene mayor impulsividad). Finalmente, se observa que la variable Autocontrol fue descartada del
modelo y que todos los predictores seleccionados tienen una alta significancia en la prueba de hipótesis.

2. Assess Model

- Detalle de criterios de aceptación

Con base en los criterios de evaluación planteados, se detallan a continuación los parámetros definidos para la
obtención de la clasificación sobre la base de datos.

1. Criterio 1 - FSCORE: Para nuestro caso será el punto de partida para la elección del modelo ya que es una
métrica que muestra la relación entre la precisión y el Recall por medio de una ponderación igual a las dos métricas.

7
 Además es el criterio de evaluación del concurso en Kaggle. Para nuestro caso debe ser mayor a 0.80. (Entre
mayor sea el F-SCORE mayor rendimiento mostrará el modelo)

2. Criterio 2 - Precisión: Se desea que el modelo generado obtenga una alta precisión y que por lo menos esta sea
mayor que el 70 %. Con esto estamos asegurando que la mayoría de los clientes que van a incumplir sean
catalogados como tal (Disminuimos la tasa de error en la clasificación)

3. Criterio 3 - Sensibilidad o Recall . Se desea que la proporción de personas predichas con incumplimiento en su
deuda correctamente clasificada sea grande. La sensibilidad también ayuda como marco para aumentar la tasa de
Verdaderos Positivos. Esto es bastante interesante ya que entre más grande sea este valor, mayores ganancias
se obtendrán de este modelo predictivo. Para este criterio hemos definido un criterio de aceptación mayor al 80%.

- Características Base de datos de validación

La base de datos de validación fue construida con el 30% de los datos totales. Se aseguró que el 80% de los datos a
validar correspondieran a la clase Incumplimiento = 0 (Clientes que cumplen) y el restante a los que incumplen. Estas
proporciones de validación simulan la que posiblemente va a aparecer en el set de pruebas.

- Ajuste del Thereshold

Antes de evaluar las medidas de desempeño definidas en los criterios de aceptación, fue necesario ajustar el
Thereshold utilizando la curva ROC con las predicciones del set de datos de validación:

Figura III-1 Curva ROC ajustada con la Base de Validación

Como se mencionó en la sección Build Model, lo que se busca evaluar de este parámetro es aumentar el valor de la
sensibilidad (true positive rate) y disminuir el False Positive Rate. Se puede observar que un punto que cumple esta
condición es cuando el False Positive Rate toma un valor aproximado de 0.0625 (codo de la gráfica). El thereshold
utilizado en ese punto fue de 0.2353276.

- Resultados set de validación con thereshold ajustado

Criterio Valor obtenido

Criterio # 1 F-Score: Cumple. El valor obtenido en esta métrica fue de: 87,1 %
Criterio # 2 Precisión: Cumple. El valor obtenido en esta métrica fue de: 79,9 %
Criterio # 3 Sensitividad: Cumple. El valor obtenido en esta métrica fue de: 95,9 %
Tabla III-1 Resultados Base de Validación

8
 V. EVALUATION
1. Evaluate results Mining Results

La proporción de clientes que cumplieron e incumplieron según las predicciones de la base de datos de prueba fueron
las siguientes:

Figura III-2 Proporción de Cumplimientos e Incumplimientos

Se hace necesario aclarar que la base de pruebas con la cual se calificará de manera definitiva el modelo se liberará
después de haber entregado el presente reporte (Resultado Kaggle con el 70% de los datos). De esta manera, se
presentan los resultados obtenidos por con el 30% del dataset de prueba proporcionado por el banco:

Criterio Valor obtenido

Criterio # 1 F-Score: Cumple. El valor obtenido en esta métrica fue de: 91.8 %

Como se puede ver, los resultados parciales con el dataset de prueba sugieren que el modelo no solamente está
prediciendo bien aquellos clientes que incumplen, sino también aquellos que cumplen.

2. Resumen de recomendaciones
Objetivo
1. Clasificar por cliente, si va a incurrir en un
incumplimiento del pago por la deuda.
2. Clasificar por cliente, si va a cumplir en el pago
por la deuda.
3. Pronosticar el número de créditos aprobados
para futuros ciclos.
4. Fijar metas para los analistas de crédito para la
obtención de un número mínimo de créditos
aprobados.
Respuestas
Se logra clasificar a 3114 clientes como aquellos que van
a incumplir con el pago de su deuda.
Se logra clasificar a 3048 clientes como aquellos que van
a cumplir con el pago de su deuda.
El número de créditos que pueden ser aprobados con la
base de datos completa va a ser ≥ 3114 créditos.
Dependiendo del número de analistas y el número de
solicitudes que en promedio se reciben por año, es
posible realizar marcar un número mínimo de aprobación
de créditos por trimestre (3 meses). Lo ideal sería
repartir el número pronosticado de créditos que se
pueden aprobar entre el número de analistas de crédito
del área. Así se obtiene el número de créditos mínimo de
aprobación en el año. Luego utilizando 4 trimestres para
llevar un control de la meta trazada.

VI. REFERENCES

[1] TransUnion, “La importancia de los scoring para el crecimiento económico”, TransUnion White Papper, Chicago, Illinois, 2007, [Online].
Available: https://www.transunion.com/docs/interstitial/scoringWhitepaper_Mexico.pdf

[2] BBVA, (2019), Scoring, el programa que aprueba tu crédito. (Articulo de blog) [Online],Available: https://www.bbva.com/es/lo-saber-la-psd2/