2.

SUPERVISED LEARNING

CURSO

Data Science Machine Learning & Deep

Learning con Python

aulavirtual.diplomadosperu.com.pe 1
SUPERVISED LEARNING Data Science Machine Learning & Deep Learning con Python

Métricas de Desempeño

aulavirtual.diplomadosperu.com.pe 2
 SUPERVISED LEARNING Data Science Machine Learning & Deep Learnig con Python

Key Performance Indicators(KPIs)

• Tasa de aciertos

• Poder de discriminación

• Calibración

• Estabilidad

¡Es importante saber que tan bueno

realizando predicciones es nuestro
modelo!

aulavirtual.diplomadosperu.com.pe 3
SUPERVISED LEARNING Data Science Machine Learning & Deep Learning con Python

Tasa de Aciertos

aulavirtual.diplomadosperu.com.pe 4
 SUPERVISED LEARNING Data Science Machine Learning & Deep Learnig con Python

Tasa de aciertos:

aulavirtual.diplomadosperu.com.pe 5
SUPERVISED LEARNING Data Science Machine Learning & Deep Learning con Python

Poder de Discriminación

aulavirtual.diplomadosperu.com.pe 6
 SUPERVISED LEARNING Data Science Machine Learning & Deep Learnig con Python

Poder de Discriminación:

aulavirtual.diplomadosperu.com.pe 7
 SUPERVISED LEARNING Data Science Machine Learning & Deep Learnig con Python

Poder de Discriminación:

Error de tipoI
Si usted rechaza la hipótesis nula cuando es verdadera, comete un error de tipo I. La probabilidad de
cometer un error de tipo I es α, que es el nivel de significancia que usted establece para su prueba de
hipótesis. Un α de 0.05 indica que usted está dispuesto a aceptar una probabilidad de 5% de estar
equivocado al rechazar la hipótesis nula. Para reducir este riesgo, debe utilizar un valor menor para α.
Sin embargo, usar un valor menor para alfa significa que usted tendrá menos probabilidad de detectar
una diferencia si esta realmenteexiste.

Error de tipoII
Cuando la hipótesis nula es falsa y usted no la rechaza, comete un error de tipo II. La probabilidad de
cometer un error de tipo II es β, que depende de la potencia de la prueba. Puede reducir el riesgo de
cometer un error de tipo II al asegurarse de que la prueba tenga suficiente potencia. Para ello,
asegúrese de que el tamaño de la muestra sea lo suficientemente grande como para detectar una
diferencia práctica cuando esta realmenteexista.
Fuente: Minitab

Realidad Hipótesis nula (H0) no Hipótesis nula (H0) rechazada

rechazada
H0 es cierta. Conclusión correcta. Error Tipo I

H0 es falsa. Error Tipo II Conclusión correcta.

aulavirtual.diplomadosperu.com.pe 8
SUPERVISED LEARNING Data Science Machine Learning & Deep Learnig con Python

Índice de poder:

Qué metodologías estudiaremos?

aulavirtual.diplomadosperu.com.pe 9
SUPERVISED LEARNING Data Science Machine Learning & Deep Learnig con Python

Distancia K-S

Máxima distancia que existe entre dos distribuciones.

aulavirtual.diplomadosperu.com.pe 10
SUPERVISED LEARNING Data Science Machine Learning & Deep Learnig con Python

Curva Roc:

Una curva ROC (acrónimo de Receiver Operating Characteristic) es una representación

gráfica de la sensibilidad frente a la especificidad para un modelo de regresión. Otra
interpretación de este gráfico es la representación de la razón o ratio de verdaderos
positivos (TP) frente a la razón o ratio de falsos positivos (FP)
11
SUPERVISED LEARNING Data Science Machine Learning & Deep Learning con Python

Indicadores para modelos de regresión

aulavirtual.diplomadosperu.com.pe 12
SUPERVISED LEARNING Data Science Machine Learning & Deep Learnig con Python

Indicadores de performance para modelos de regresión:

Suma de residuos al cuadrado (RSS) :

Sumatoria de la diferencia entre los valores predichos y los valores estimados al cuadrado. (Al
cuadrado para mantener el signo positivo).

Error estándar residual (RSE):

Donde p: son los grados de libertad de la predicción -> Número de predictores

Coeficiente de determinación ( 𝑹 𝟐 ) :

donde:
13
SUPERVISED LEARNING Data Science Machine Learning & Deep Learnig con Python

Calibración:

Medida gráfica mediante la cual comparamos la estimación que realizamos mediante los
modelos de regresión o clasificación comparada con el valor real.

14
SUPERVISED LEARNING Data Science Machine Learning & Deep Learnig con Python

Calibración:

Intervalos de confianza para determinar el nivel de aceptación de error del modelo.

15
SUPERVISED LEARNING Data Science Machine Learning & Deep Learning con Python

Estabilidad Poblacional

aulavirtual.diplomadosperu.com.pe 16
SUPERVISED LEARNING Data Science Machine Learning & Deep Learnig con Python

Estabilidad Poblacional (PSI y Boostrap):

Determinar cuanto ha variado nuestra población respecto a la población de modelamiento.

17
www.diplomadosperu.com.pe

aulavirtual.diplomadosperu.com.pe 18