Overfitting

Notas Breves – IDM – Universidad Austral 2020

Overfitting
• Usualmente la exactitud del modelo no es tan alta en testing como en
training y esto debido al overfiting.
• El overfitting surge del modelo tratando de considerar cada posible
tendencia o estructura en el conjunto de entrenamiento e incluso
“idiosincrasias” en los datos.
• Hay una continua tensión entre la complejidad del modelo (mayor
precisión en entrenamiento) y capacidad de generalización en los
conjuntos de testeo y validación.
Tasa de Error vs. Complejidad del Modelo
Sesgo - Varianza
• Queremos separar en forma
optima los puntos oscuros de los
claros…
• La linea recta tiene el beneficio
de una baja complejidad pero
presenta algunos errores de
clasificacion

Separador de baja complejidad y alta tasa de error

Sesgo - Varianza

• Ahora hemos reducido a cero el

error de clasificacion pero a
costa de una funcion de
separacion mucho mas
compleja.
• Podriamos estar tentados de
adopter la mayor complejidad
para reducir la tasa de error.
• ¿Qué pasaría se agregaramos
mas datos?

Separador de alta complejidad y baja tasa de error

Sesgo - Varianza

• Al agregar mas datos, el separador

de baja complejidad no necesita
cambiar mucho para acomodarse
a los nuevos puntos. (este
separador tiene baja varianza).
• El separador de alta complejidad
necesita modificarse mucho para
mantener en cero la tasa de error
(posee una alta varianza).

Con mas datos, el separador de baja complejidad no

cambia mucho; mientras que el de alta complejidad
necesita una profunda revisión
Sesgo - Varianza
• A pesar que el modelo de alta complejidad tiene bajo sesgo (en términos
de la tasa de error en el conjunto de entrenamiento), tiene una alta
varianza.
• Por otro lado, el modelo de baja complejidad tiene un alto sesgo, pero baja
varianza.
• Esto se conoce como el balance sesgo – varianza.
• En esencia es otra forma de describir el dilema de overfitting /
underfitting. A medida que la complejidad del modelo aumenta, el sesgo
en el conjunto de entrenamiento disminuye, pero aumenta su varianza. El
objetivo es por lo tanto, construir un modelo en el que tanto el sesgo como
la varianza NO SEAN MUY ALTOS, pero usualmente minimizar uno tiende a
incrementar el otro.
Sesgo - Varianza
• Un método común para evaluar la precisión de la estimación de una
variable continua es utilizar el error cuadrático medio (MSE).
• Entre dos modelos competidores, seleccionamos aquel con el menor
MSE.
• MSE combina tanto el sesgo como la varianza. Es una función del
error de estimación (suma de los errores cuadráticos SSE) y de la
complejidad del modelo (grados de libertad).
• MSE = varianza + sesgo2
Medidas de evaluación de modelos para tareas
de clasificación
Forma general de la tabla de contingencia para las clasificaciones correctas e incorrectas
Medidas de evaluación de modelos para tareas
de clasificación
• Sea :
• TN := True Negatives
• FN := False Negatives
• FP := False Positives
• TP := True Positives
• Sea también:
• TAN := Total actually negative = TN + FP
• TAP := Total actually positive = FN + TP
• TPN := Total predicted negative = TN + FN
• TPP := Total predicted positive = FP + TP
• Sea también:
• N = TN + FN + FP + TP el total global de conteos en las celdas de la matriz de confusión.
Accuracy y Overall Error Rate
𝑇𝑇𝑇𝑇+𝑇𝑇𝑇𝑇 𝑇𝑇𝑇𝑇+𝑇𝑇𝑇𝑇
• 𝐴𝐴𝐴𝐴𝐴𝐴𝐴𝐴𝐴𝐴𝐴𝐴𝐴𝐴𝐴𝐴 = =
𝑇𝑇𝑇𝑇+𝐹𝐹𝐹𝐹+𝐹𝐹𝐹𝐹+𝑇𝑇𝑇𝑇 𝑁𝑁
𝐹𝐹𝐹𝐹+𝐹𝐹𝐹𝐹 𝐹𝐹𝐹𝐹+𝐹𝐹𝐹𝐹
• 𝑂𝑂𝑂𝑂𝑂𝑂𝑂𝑂𝑂𝑂𝑂𝑂𝑂𝑂 𝑒𝑒𝑒𝑒𝑒𝑒𝑒𝑒𝑒𝑒 𝑟𝑟𝑟𝑟𝑟𝑟𝑟𝑟 = 1 − 𝐴𝐴𝐴𝐴𝐴𝐴𝐴𝐴𝐴𝐴𝐴𝐴𝐴𝐴𝐴𝐴 = =
𝑇𝑇𝑇𝑇+𝐹𝐹𝐹𝐹+𝐹𝐹𝐹𝐹+𝑇𝑇𝑇𝑇 𝑁𝑁

• Accuracy representa una medida global de la proporción de

clasificaciones correctas que realiza el modelo, mientras que la
overall error rate mide la proporción de clasificaciones incorrectas
que realiza el modelo.
Sensibilidad y Especificidad
𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶 𝑑𝑑𝑑𝑑 𝑣𝑣𝑣𝑣𝑣𝑣𝑣𝑣𝑣𝑣𝑣𝑣𝑣𝑣𝑣𝑣𝑣𝑣𝑣𝑣 𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝 𝑇𝑇𝑇𝑇 𝑇𝑇𝑇𝑇
• 𝑆𝑆𝑆𝑆𝑆𝑆𝑆𝑆𝑆𝑆𝑆𝑆𝑆𝑆𝑆𝑆𝑆𝑆𝑆𝑆𝑆𝑆𝑆𝑆 = = =
𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶 𝑑𝑑𝑑𝑑 𝑙𝑙𝑙𝑙𝑙𝑙 𝑟𝑟𝑟𝑟𝑟𝑟𝑟𝑟𝑟𝑟𝑟𝑟𝑟𝑟𝑟𝑟𝑟𝑟 𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝 𝑇𝑇𝑇𝑇𝑇𝑇 𝑇𝑇𝑇𝑇+𝐹𝐹𝐹𝐹

𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶 𝑑𝑑𝑑𝑑 𝑣𝑣𝑣𝑣𝑣𝑣𝑣𝑣𝑣𝑣𝑣𝑣𝑣𝑣𝑣𝑣𝑣𝑣𝑣𝑣 𝑛𝑛𝑛𝑛𝑛𝑛𝑛𝑛𝑛𝑛𝑛𝑛𝑛𝑛𝑛𝑛𝑛𝑛 𝑇𝑇𝑇𝑇 𝑇𝑇𝑇𝑇

• 𝐸𝐸𝐸𝐸𝐸𝐸𝐸𝐸𝐸𝐸𝐸𝐸𝐸𝐸𝐸𝐸𝐸𝐸𝐸𝐸𝐸𝐸𝐸𝐸𝐸𝐸 = = =
𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶 𝑑𝑑𝑑𝑑 𝑟𝑟𝑟𝑟𝑟𝑟𝑟𝑟𝑟𝑟𝑟𝑟𝑟𝑟𝑟𝑟𝑟𝑟 𝑛𝑛𝑛𝑛𝑛𝑛𝑛𝑛𝑛𝑛𝑛𝑛𝑛𝑛𝑛𝑛𝑛𝑛 𝑇𝑇𝑇𝑇𝑇𝑇 𝐹𝐹𝐹𝐹+𝑇𝑇𝑇𝑇

• La sensibilidad mide la habilidad del modelo para clasificar un registro

positivamente, mientras que la especificidad mide la habilidad del
modelo para clasificar un registro negativamente.
Tasas de falsos negativos y de falsos positivos
𝐹𝐹𝐹𝐹 𝐹𝐹𝐹𝐹
• 𝐹𝐹𝐹𝐹𝐹𝐹𝐹𝐹𝐹𝐹 𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝 𝑟𝑟𝑟𝑟𝑟𝑟𝑟𝑟 = 1 − 𝑒𝑒𝑒𝑒𝑒𝑒𝑒𝑒𝑒𝑒𝑒𝑒𝑒𝑒𝑒𝑒𝑒𝑒𝑒𝑒𝑒𝑒𝑒𝑒𝑒𝑒 = =
𝑇𝑇𝑇𝑇𝑇𝑇 𝐹𝐹𝐹𝐹+𝑇𝑇𝑇𝑇

𝐹𝐹𝐹𝐹 𝐹𝐹𝐹𝐹
• 𝐹𝐹𝐹𝐹𝐹𝐹𝐹𝐹𝐹𝐹 𝑛𝑛𝑛𝑛𝑛𝑛𝑛𝑛𝑛𝑛𝑛𝑛𝑛𝑛𝑛𝑛 𝑟𝑟𝑟𝑟𝑟𝑟𝑟𝑟 = 1 − 𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠 = =
𝑇𝑇𝑇𝑇𝑇𝑇 𝑇𝑇𝑇𝑇+𝐹𝐹𝐹𝐹
Proporción de verdaderos positivos, etc.
𝑇𝑇𝑇𝑇 𝑇𝑇𝑇𝑇
• 𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃 𝑜𝑜𝑜𝑜 𝑡𝑡𝑡𝑡𝑡𝑡𝑡𝑡 𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝 = 𝑃𝑃𝑃𝑃𝑃𝑃 = =
𝑇𝑇𝑇𝑇𝑇𝑇 𝐹𝐹𝐹𝐹+𝑇𝑇𝑇𝑇

𝑇𝑇𝑇𝑇 𝑇𝑇𝑇𝑇
• 𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃 𝑜𝑜𝑜𝑜 𝑡𝑡𝑡𝑡𝑡𝑡𝑡𝑡 𝑛𝑛𝑛𝑛𝑛𝑛𝑛𝑛𝑛𝑛𝑛𝑛𝑛𝑛𝑛𝑛𝑛𝑛 = 𝑃𝑃𝑃𝑃𝑃𝑃 = =
𝑇𝑇𝑇𝑇𝑇𝑇 𝐹𝐹𝐹𝐹+𝑇𝑇𝑇𝑇

𝐹𝐹𝐹𝐹 𝐹𝐹𝐹𝐹
• 𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃 𝑜𝑜𝑜𝑜 𝑓𝑓𝑓𝑓𝑓𝑓𝑓𝑓𝑓𝑓 𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝 = 1 − 𝑃𝑃𝑃𝑃𝑃𝑃 = =
𝑇𝑇𝑇𝑇𝑇𝑇 𝐹𝐹𝐹𝐹+𝑇𝑇𝑇𝑇

𝐹𝐹𝐹𝐹 𝐹𝐹𝐹𝐹
• 𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃 𝑜𝑜𝑜𝑜 𝑓𝑓𝑓𝑓𝑓𝑓𝑓𝑓𝑓𝑓 𝑛𝑛𝑛𝑛𝑛𝑛𝑛𝑛𝑛𝑛𝑛𝑛𝑛𝑛𝑛𝑛𝑛𝑛 = 1 − 𝑃𝑃𝑃𝑃𝑃𝑃 = =
𝑇𝑇𝑇𝑇𝑇𝑇 𝐹𝐹𝐹𝐹+𝑇𝑇𝑇𝑇