Facultad de Ingeniería - Ingeniería en Informática

Cátedra de TAAD – Año 2020

Trabajo Práctico N°7: Evaluación con curvas ROC

Presentación
En este práctico compararemos distintos algoritmos de clasificación a través de curvas
ROC para seleccionar el mejor modelo sobre un conjunto de datos.

Capacidades
Las capacidades que se trabajan en este práctico son:
 Capacidad para detectar oportunidades y necesidades insatisfechas o nuevas maneras
de satisfacerlas mediante soluciones tecnológicas.
 Capacidad para emplear las formas de pensamiento apropiadas para la innovación
tecnológica.
 Capacidad para identificar las metas y responsabilidades individuales y colectivas
y actuar de acuerdo a ellas.
 Capacidad para actuar éticamente.
 Capacidad para actuar con responsabilidad profesional y compromiso social.

Objetivos
En este trabajo se practicarán los conceptos de la Unidad 4, en una vertiente práctica con
un caso concreto.

Descripción de los ejercicios a realizar

Presentación
El encargado de la organización decidió realizar una reunión donde Ud. debe presentar el
modelo seleccionado por lo que decide armar una comparación de las curvas ROC de cada
algoritmo probado. Estos gráficos sustentarán su decisión sobre cuál es el mejor modelo a
utilizar para resolver el problema de la organización.

Preguntas

1) Elabore un gráfico de las curvas ROC, con 10 pliegues y muestreo aleatorio, de

los modelos probados hasta acá, en particular:
 Arboles de decisión
 Arboles de decisión de Weka (W-J48)
 Naive Bayes
 K-nn con k = 1,3,5,10

2) Interprete el gráfico obtenido, indicando por lo menos cuál considera Ud. que es
el mejor modelo justificando su respuesta.
 Facultad de Ingeniería - Ingeniería en Informática
Cátedra de TAAD – Año 2020

3) Vuelva a los prácticos 4 y 5 y seleccione el mejor modelo obtenido. Agregue la

matriz de confusión y muestre su precisión. ¿Coincide con el modelo
seleccionado recientemente (pregunta 2)?
4) Suponga que este fue el gráfico obtenido:

a. ¿Qué modelo elegiría? ¿Por qué?

b. ¿Qué cree que representa lo sombrado en cada una de las curvas?
Recursos
Los recursos que puede utilizar para realizar este práctico son:
 Material obligatorio:
- Apuntes correspondientes a la Unidad 4 disponibles en la plataforma
- Guías de Rapidminer disponibles en la plataforma

Criterios de valoración
Las preguntas tendrán la siguiente valoración asociada:

Pregunta 1 20%
Pregunta 2 30%
Pregunta 3 20%
Pregunta 4 30%
 Facultad de Ingeniería - Ingeniería en Informática
Cátedra de TAAD – Año 2020

Razone la respuesta en todos los ejercicios. Las respuestas sin justificación no

recibirán puntuación.

Formato y fecha de entrega

El práctico debe entregarse antes del 30 de abril (antes de las 23.59 hs) en formato PDF a
través de la plataforma. El nombre del archivo debe ser ApellidosNombre_TAAD_TP7.
NO se recibirán trabajos por e-mail. En el caso que el archivo supere el máximo permitido
por la plataforma, deberá entregar un archivo de texto con un link a un repositorio en la
nube dentro del plazo estipulado.
Las dudas y aclaraciones sobre el enunciado se resolverán a través del foro.

Nota: Propiedad intelectual

Al presentar un práctico que haga uso de recursos ajenos, se detallarán todos ellos, especificando
el nombre de cada recurso, su autor, el lugar donde se obtuvo y su estatus legal: si la obra está
protegida por copyright o se acoge a alguna otra licencia de uso (Creative Commons, licencia GNU,
GPL ...). El estudiante deberá asegurarse de que la licencia no impide específicamente su uso. En
caso de no encontrar la información correspondiente deberá asumir que la obra está protegida por
copyright.