Métricas de Evaluación de

Modelos
Reconocimiento de Patrones - OPIM01

M.I. Joseph Isaac Ramírez Hernández

 Evaluación de modelos de
clasi icación
f
Partición del conjunto de datos
Reconocimiento de patrones

Se utilizan métricas en la validación. Se utilizan métricas directamente.

Uso de un modelo de aprendizaje para predicción
Reconocimiento de Patrones
 Precisión de clasi icación
Reconocimiento de Patrones

• La precisión general de la clasi icación es la razón del número de

predicciones correctas y el total de predicciones realizadas.
Simbólicamente
Predicciones correctas
Predicciones =
No. total de predicciones
• Este tipo de métrica es muy útil cuando el número de muestras por clase
está balanceada.

f
f

 Precisión de clasi icación

Reconocimiento de Patrones

• Imagine que utiliza un modelo de predicción

ŷ
1
para veri icar si una persona tiene o no una
enfermedad especí ica. En la siguiente tabla se 0

muestran las predicciones realizadas en los 0

datos de prueba. 1

• El valor cero signi ica que el paciente no tiene 1

la enfermedad mientras que uno signi ica que 0

si la tiene. 1

0
f

f
f
f
f
 Precisión de clasi icación
Reconocimiento de Patrones

ŷ ytrue
• Dado que se está trabajando con un modelo
1 1
supervisado, se cuenta con la clase real a la
que pertenece cada muestra. Estos valores se 0 1

muestran en la siguiente tabla. 0 0

1 0

1 1

0 1

1 1

0 0
f
 Precisión de clasi icación
Reconocimiento de Patrones

ŷ ytrue
• La precisión en la clasi icación queda como:
1 1

0 1

5 0 0

Accuracy = ≈ 62.5 % 1 0
8 1 1

0 1

1 1

0 0
f
f

 Matriz de Confusión
Reconocimiento de Patrones

• La matriz de confusión es una visualización tabular de los resultados

obtenidos de un modelo de predicción.
• Cada una de las ilas representa las instancias o muestras de una clase
que se predice y cada columna representa una instancia de una clase
real.
f

 Matriz de Confusión
Reconocimiento de Patrones

Predichas
VP - Verdaderos positivos

Tiene la No tiene la
enfermedad enfermedad VN - Verdaderos negativos

Tiene la
VP FP FP - Falsos positivos
enfermedad
Reales
FN - Falsos negativos
No tiene la
FN VN
enfermedad
 Matriz de Confusión
Reconocimiento de Patrones

ŷ ytrue
• De vuelta al ejemplo anterior, se puede formar
1 1
la siguiente matriz de confusión.
0 1

0 0

3 2 1 0

1 1

0 1
1 2
1 1

0 0
 Precisión por clase
Reconocimiento de Patrones

• La precisión por clase (a veces denominada simplemente como precisión)

es la razón de los verdaderos positivos (VP) contra el total de positivos
predichos (VP+FP).
• Esta métrica se enfoca en el error tipo-I. Un error tipo-I ocurre cuando se
rechaza una hipótesis nula que es verdadera.
• En este caso se están prediciendo pacientes enfermos como no enfermos.

3 2 3
Precisión = ≈ 60 %
1 2 5

 Recall
Reconocimiento de Patrones

• Se de ine como la razón de los verdaderos positivos (VP) entre los

positivos totales predichos (VP+FN).
• Esta métrica se enfoca en el error tipo-II. Este ocurre cuando se acepta
una falsa hipótesis nula.
• En este caso se están prediciendo pacientes no enfermos cuando si lo
están.

3 2 3
Recall = ≈ 75 %
1 2 4
f

 F1-Score
Reconocimiento de Patrones

• Esta métrica utiliza una combinación entre la precisión y el recall.

• El F1-Score es la media armónica entre las dos métricas anteriores, esto es
2
F1-Score =
1 1
+
Precisión Recall
• Un valor grande de F1 simboliza una alta precisión y un alto recall. Esto
generalmente en conjuntos no balanceados.

Evaluación de modelos de
regresión
Uso de un modelo de aprendizaje para regresión
Reconocimiento de Patrones
 Error cuadrado medio
Reconocimiento de Patrones

• El error cuadrado medio mide la distancia media entre un vector n-

dimensional y otro. Simbólicamente
N
1 2
(yj − yĵ )
N∑
MSE =
j=1

donde yj es el j-ésimo valor real, yĵ es el j-ésimo valor predicho en el modelo

de regresión y N es el número de datos de prueba.

 Error absoluto medio

Reconocimiento de Patrones

• El error absoluto medio (mean absolute error) mide el promedio de la

diferencia entre un vector n-dimensional y otro. Simbólicamente
N
1
| yj − yĵ |
N∑
MAE =
j=1

donde yj es el j-ésimo valor real, yĵ es el j-ésimo valor predicho en el modelo

de regresión y N es el número de datos de prueba.

¿Preguntas?