Test sumativo: métricas de rendimiento

Volver Fecha límite 5 de ene. 23:59 -03

Tarea calificada • 1 h 30 m

Tu calificación:
Menú 37,50 %
Tu calificación más reciente: 37,50 % • Tu calificación más alta: 37,50 %
Guardamos
Tarea tu puntaje más alto. Revisa tus calificaciones generales del curso here.
calificada

Test sumativo:
Próximo artículo métricas de rendimiento
Revisar los objetivos de aprendizaje

Instrucciones

Detalles de la tarea

1. Para un algoritmo de clasificación, se aplica una validación cruzada 4-fold a la muestra de entrenamiento, obteniendo las siguientes matrices de confusión: 1 / 1 punto
Fecha límite Intentos
5 de ene. 23:59 -03 Quedan 1 Probar de nuevo

Enviado Límite de tiempo

5 de ene. 22:48 -03 1 h 30 m por intento

Envíos
1 restantes (1 total dentro del límite de tiempo)

A partir de esta información se tiene que

Tu calificación
El Accuracy promedio es 0,1588
Revisa tus calificaciones generales de curso here. Guardamos tu puntaje más alto.
Ver entrega Ver comentarios
37,50 %
El -score promedio es 0,7729

La Precisión promedio es 0,6858

La sensibilidad promedio es 0,8853

Me gusta Correcto No me gusta Informar de un problema

Incorrecto. Revisar las clases 5 y 6 para ver la definición de la presición y ver como se combina dentro de la validación cruzada k-fold.

2. ¿Cuáles de los siguientes argumentos diferencian las métricas de evaluación global de modelos de clasificación (misclassification, impureza de Gini y Entropía) con las métricas que provienen de la matriz de confusión (precisión, recall, especificidad y Fb-score)? 0 / 1 punto

Las métricas globales (Misclassification, impureza de Gini y Entropía) son medidas de bondad de ajuste, es decir, mientras más altas mejor. Sin embargo, las métricas precisión, recall, especificidad y -score son medidas de error, por lo que, mientras más bajo su valor, el modelo subyacente es mejor clasificador.

Esto no debería estar seleccionado

Incorrecto. Las interpretaciones son opuestas, ver la clase 5 para mayores detalles.

Las métricas globales; Misclassification, impureza de Gini y Entropía, y las métricas provenientes de la matriz de confusión precisión, recall, especificidad y -score no tienen diferencias para escoger el modelo de clasificación.

Las métricas de evaluación global; Misclassification, impureza de Gini y Entropía, identifican un mejor modelo de clasificación mientras más cercano a 0 es su valor, mientras las métricas precisión, recall, especificidad y -score deben ser valores lo más cercano a 1 posible.

Las métricas globales Misclassification, impureza de Gini y Entropía pueden ser utilizadas directamente en problemas de clasificación multiclase (más de dos niveles), mientras que las métricas precisión, recall, especificidad y -score se utilizan solo en el contexto de dos clases.

3. Si tenemos una variable respuesta que es categórica, ¿Cuál o cuáles de las siguientes métricas de rendimiento son apropiadas para dicha variable? 0 / 1 punto

El AUC, (el área bajo la curva ROC).

Correcto
Correcto. El AUC proporciona una medida del rendimiento del modelo en términos de su capacidad para discriminar entre las dos clases, por lo que mientras mayor es su valor, mejor es el clasificador

El Accuracy o Exactitud

El coeficiente de Determinación (R2)

El error cuadrático medio (RMSE)

No seleccionaste todas las respuestas correctas

4. ¿Cuál de las siguientes alternativas describe correctamente cómo se selecciona un modelo de clasificación de aprendizaje automático? 0 / 1 punto

La especificidad es la métrica que evalúa la clase negativa, por lo que, mientras menor es su valor, el modelo subyacente es mejor.

La tasa de clasificación errónea (misclassification) se utiliza para elegir el modelo que tiene este valor más cercano a 0.

El -score se utiliza para elegir el modelo que tiene este valor más cercano a 0 para fijo.

La curva ROC se utiliza para elegir el modelo que tiene el AUC más bajo.

Incorrecto
Incorrecto. Revisar el Tutorial 6 donde se profundiza sobre la curva ROC.

5. Luego de aplicar un algoritmo de clasificación, se obtuvo la siguiente matriz de confusión desde la muestra de entrenamiento. 0 / 1 punto

yes no

yes 870 399

no 112 1840

De la matriz de confusión, se puede decir que

La cantidad de datos en la muestra de entrenamiento es igual a 3221 de los cuales 1269 son de la categoría yes, mientras que 1952 son de la categoría no.

La cantidad de datos en la muestra de entrenamiento es igual a 3221 de los cuales 2239 son de la categoría yes, mientras que 982 son de la categoría no.

La cantidad de datos en la muestra de entrenamiento es igual a 3221 de los cuales 982 son de la categoría yes, mientras que 2239 son de la categoría no.

La cantidad de datos en la muestra de entrenamiento es igual a 3221 de los cuales 1952 son de la categoría yes, mientras que 1269 son de la categoría no.

Incorrecto
Incorrecto. Revisar el material de la matriz de confusión en la clase 5.

6. Si tenemos una variable respuesta que es numérica, ¿Cuál o cuáles de las siguientes métricas de rendimiento son apropiadas para dicha variable? 0 / 1 punto

El coeficiente de Determinación (R2)

Correcto
Correcto. El coeficiente de determinación cuantifica la proporción de la variabilidad de la variable respuesta que es explicada por los regresores, así mientras más cercano a 1 mejor es el rendimiento del modelo.

El error cuadrático medio (RMSE)

Correcto
Correcto. Efectivamente el RMSE es la medida más utilizada para cuantificar el error en un problema de regresión.

La curva ROC.

El Accuracy o Exactitud

Esto no debería estar seleccionado

Incorrecto. Revisar la clase 5 donde se explica baja que contexto se utiliza el Accuracy.

7. Para un algoritmo de clasificación, se aplica una validación cruzada 4-fold a la muestra de entrenamiento, obteniendo las siguientes matrices de confusión: 1 / 1 punto

¿Cuál de los siguientes procedimientos es el adecuado para medir la calidad de ajuste del método empleado?

En la matriz de confusión 1 se calcula el Accuracy, en la matriz 2 se calcula la precisión, en la matriz 3 se calcula el recall y en la matriz 4 se calcula la especificidad. Luego, se promedian estos cuatro valores para tener una única métrica.

La información de las matrices de confusión no es suficiente, ya que se necesitan los valores individuales para calcular el RMSE (raíz del error cuadrático medio).

Fijar una métrica de la matriz de confusión, como Accuracy, calcularla para cada una de las 4 matrices y luego promediar dicha métrica.

La información de las matrices confusión no es correcta, ya que las columnas no son consistentes en sus sumas, es decir, la suma de la columna 1 en la matriz 1 es diferente a la suma de la columna 1 en la matriz 2.

Correcto
Correcto. En la validación cruzada k-fold se calcula la misma métrica en cada carpeta y luego se promedia para tener una sola métrica.

8. Luego de aplicar un algoritmo de clasificación, se obtuvo la siguiente matriz de confusión desde la muestra de entrenamiento. 1 / 1 punto

yes no

yes 870 399

no 112 1840

De la matriz de confusión, se puede decir que

870
La precisión es 870+399 ​ = 0.6856
870+1840
El Accuracy es 870+1840+112+399 ​ = 0.8414
1840
La especificidad es 1840+399 ​
= 0.8218
870
El Recall es 870+112 ​ = 0.8859

Correcto
Correcto. Efectivamente, el Accuracy está dado por .