Documentos de Académico
Documentos de Profesional
Documentos de Cultura
Aprendizaje Supervisado
Aprendizaje No Supervisado
Taller
Otoño 2023
Víctor Hernández M.
Universidad of Chile
Departamento de Ingeniería Industrial
http://www.wic.cl/ . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 1/46
victor.hernandez@wic.uchile.cl
Víctor Hernández M. Taller de Advanced Analytics
Introducción
Aprendizaje Supervisado Modelación y Machine Learning
Aprendizaje No Supervisado Tipos de Aprendizaje
Taller
Introducción
1 Introducción
Modelación y Machine Learning
Tipos de Aprendizaje
2 Aprendizaje Supervisado
Regresión
Clasificación
3 Aprendizaje No Supervisado
Clustering
4 Taller
Objetivos y Entregables
Tarea
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 2/46
Víctor Hernández M. Taller de Advanced Analytics
Introducción
Aprendizaje Supervisado Modelación y Machine Learning
Aprendizaje No Supervisado Tipos de Aprendizaje
Taller
Introducción
Modelación
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 3/46
Víctor Hernández M. Taller de Advanced Analytics
Introducción
Aprendizaje Supervisado Modelación y Machine Learning
Aprendizaje No Supervisado Tipos de Aprendizaje
Taller
Introducción
Machine Learning
¿Qué es?
Es una rama de la Inteligencia Artificial, que se enfoca en utilizar datos y
algoritmos para replicar la forma en que los humanos aprendemos, gradualmente
mejorando su exactitud. (Fuente: IBM)
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 4/46
Víctor Hernández M. Taller de Advanced Analytics
Introducción
Aprendizaje Supervisado Modelación y Machine Learning
Aprendizaje No Supervisado Tipos de Aprendizaje
Taller
Introducción
Parámetros vs Hiperparámetros
Parámetros
Valores internos propios del modelo, obtenidos a través del ajuste del mismo.
Suelen ser afectados por los datos y los hiperparámetros definidos. Ej. coeficientes
en una regresión lineal, centroides descubiertos en un clustering k-means.
Hiperparámetros
Valores definidos por el humano experto, los cuales controlan el algoritmo de
aprendizaje y por lo mismo, inciden en los parámetros obtenidos en el proceso. Ej.
k en un algoritmo k-Means, ramas en un Árbol de Decisión, profundidad de árboles
en Random Forests, función de kernel a utilizar en un SVM no lineal.
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 5/46
Víctor Hernández M. Taller de Advanced Analytics
Introducción
Aprendizaje Supervisado Modelación y Machine Learning
Aprendizaje No Supervisado Tipos de Aprendizaje
Taller
Tipos de Aprendizaje
Aprendizaje Supervisado
El algoritmo ajusta el modelo a partir de casos previamente asociados a un dato de
salida conocido. Es decir, se alimenta de pares de entradas y salidas con el objetivo
de predecir estas últimas.
Aprendizaje No Supervisado
El algoritmo no parte desde una base con salidas conocidas, sino que descubre
patrones a partir de los datos de entrada según un criterio definido.
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 6/46
Víctor Hernández M. Taller de Advanced Analytics
Introducción
Aprendizaje Supervisado Modelación y Machine Learning
Aprendizaje No Supervisado Tipos de Aprendizaje
Taller
Tipos de Aprendizaje
Supervisado - Problemas
Regresión
Se caracteriza la relación entre un conjunto de predictores o variables
independientes y una variable dependiente u objetivo. El resultado de un modelo
de regresión es la predicción de un valor numérico.
Clasificación
Se asocia un vector de atributos (también, las variables independientes) a una
clase determinada. El resultado de un modelo de clasificación es la predicción de
la clase asociada a un vector determinado. Una clasificación puede ser a partir de
dos clases (binaria) o más de dos clases (multiclase).
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 7/46
Víctor Hernández M. Taller de Advanced Analytics
Introducción
Aprendizaje Supervisado Modelación y Machine Learning
Aprendizaje No Supervisado Tipos de Aprendizaje
Taller
Tipos de Aprendizaje
No Supervisado - Problemas
Clustering
Corresponde a la tarea de agrupar casos (caracterizados por sus respectivos
atributos) en distintos conjuntos o clusters, según un criterio basado en
similitudes o diferencias.
Asociación
Corresponde a la tarea de asociar casos según algún criterio que permita establecer
relaciones entre estos.
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 8/46
Víctor Hernández M. Taller de Advanced Analytics
Introducción
Aprendizaje Supervisado Regresión
Aprendizaje No Supervisado Clasificación
Taller
Introducción
1 Introducción
Modelación y Machine Learning
Tipos de Aprendizaje
2 Aprendizaje Supervisado
Regresión
Clasificación
3 Aprendizaje No Supervisado
Clustering
4 Taller
Objetivos y Entregables
Tarea
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 9/46
Víctor Hernández M. Taller de Advanced Analytics
Introducción
Aprendizaje Supervisado Regresión
Aprendizaje No Supervisado Clasificación
Taller
Modelos de Regresión
Regresión Lineal
yi = β0 + β1 x1 + β2 x2 + ... + βn xn
Donde yi corresponde a la variable objetivo, xi son los distintos predictores, βi son los coeficientes
del predictor respectivo y β0 es el intercepto.
Modelos de Regresión
Regresión Lineal - Caso polinomial
yi = β0 + β1 x + β2 x2 + ... + βn xn
yi = β0 + β1 x1 + β2 x2 + β3 x1 x2 + β4 x21 + β5 x22
Modelos de Regresión
Regularización
La regresión lineal estima sus coeficientes minimizando la diferencia entre los valores observados y
estimados. Esto se conoce como mínimos cuadrados ordinarios y puede expresarse como la
siguiente función de costo:
∑
n
Costo = (ŷ − y)2 = ( βi xi − y)2
i=0
Para evitar el sobreajuste que pudiese ser causado por la magnitud de los coeficientes o por la
cantidad de predictores, se aplica el concepto de regularización, que consiste en aplicar una
penalización sobre la magnitud de los coeficientes:
∑
n
Costo = ( βi xi − y)2 + λP
i=0
Modelos de Regresión
Regresión Ridge
Es útil para los casos en los que estamos con una cantidad grande de
estimadores.
Tiene una única solución.
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 13/46
Víctor Hernández M. Taller de Advanced Analytics
Introducción
Aprendizaje Supervisado Regresión
Aprendizaje No Supervisado Clasificación
Taller
Modelos de Regresión
LASSO (Least Absolute Shrinkage and Selection Operator)
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 14/46
Víctor Hernández M. Taller de Advanced Analytics
Introducción
Aprendizaje Supervisado Regresión
Aprendizaje No Supervisado Clasificación
Taller
Modelos de Regresión
Elastic-Net
Es útil cuando hay varios estimadores que están correlacionados unos con
otros.
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 15/46
Víctor Hernández M. Taller de Advanced Analytics
Introducción
Aprendizaje Supervisado Regresión
Aprendizaje No Supervisado Clasificación
Taller
Modelos de Regresión
Evaluación
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 16/46
Víctor Hernández M. Taller de Advanced Analytics
Introducción
Aprendizaje Supervisado Regresión
Aprendizaje No Supervisado Clasificación
Taller
Modelos de Regresión
Evaluación
Varianza explicada
Var{y − ŷ}
EV(y, ŷ) = 1 −
VAR{y}
Varía entre 0 y 1, donde 1 es el mejor valor.
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 17/46
Víctor Hernández M. Taller de Advanced Analytics
Introducción
Aprendizaje Supervisado Regresión
Aprendizaje No Supervisado Clasificación
Taller
Modelos de Regresión
Evaluación
Coeficiente R2
∑n 2
2 i=1 (yi − ŷi )
R (y, ŷ) = ∑n 1 ∑ n
i=1 (yi − n
2
i=1 yi )
Representa la proporción de varianza que está siendo explicada por las variables independientes
del modelo. Es un indicador de la calidad del ajuste, midiendo qué tan bien un caso nuevo podrá
ser predicho por el modelo. El mejor puntaje posible es 1.
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 18/46
Víctor Hernández M. Taller de Advanced Analytics
Introducción
Aprendizaje Supervisado Regresión
Aprendizaje No Supervisado Clasificación
Taller
Modelos de Clasificación
Tipos
Modelos de Clasificación
Regresión Logística
Modelos de Clasificación
Support Vector Machines
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 21/46
Víctor Hernández M. Taller de Advanced Analytics
Introducción
Aprendizaje Supervisado Regresión
Aprendizaje No Supervisado Clasificación
Taller
Modelos de Clasificación
Support Vector Machines - Casos no lineales
Cuando los datos no son linealmente separables, el hiperplano que maximiza las
distancias entre clases no existe. En estos casos, SVM cuenta con las siguientes
alternativas:
Soft-margin SVM
Puede haber casos que crucen los márgenes definidos por los support vectors. En ese caso, se
puede incluir un término de error que caracteriza la distancia entre estos casos y su margen
respectivo, buscando además de maximizar la distancia entre los márgenes y el hiperplano,
minimizar el total de errores presente.
SVM no lineal
Se agrega una función de kernel que permita representar de forma conveniente un mapeo de los
datos de entrada originales a un espacio dimensional más grande, en el que los distintos casos sí
sean linealmente separables. . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 22/46
Víctor Hernández M. Taller de Advanced Analytics
Introducción
Aprendizaje Supervisado Regresión
Aprendizaje No Supervisado Clasificación
Taller
Modelos de Clasificación
Árboles de decisión
Los algoritmos más clásicos para construirlos son ID3 y CART, donde el árbol se construye
con un enfoque top-down recursivo.
El algoritmo itera sobre 3 parámetros: Una partición de datos, una lista de atributos y un
método heurístico para escoger el atributo que mejor discrimina la partición de datos dadas
las clases. Las particiones se van dividiendo dado el criterio del método heurístico hasta que
una partición es pura (de una única clase).
Métodos utilizados: Information Gain, Gain Ratio, Gini Index.
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 23/46
Víctor Hernández M. Taller de Advanced Analytics
Introducción
Aprendizaje Supervisado Regresión
Aprendizaje No Supervisado Clasificación
Taller
Modelos de Clasificación
Naive Bayes
P(X|Ci )P(Ci )
P(Ci |X) =
P(X)
Modelos de Clasificación
Naive Bayes
Modelos de Clasificación
K-nearest Neighbors
A diferencia de los modelos vistos hasta ahora, que aprenden a partir de un set de
datos de entrenamiento y ajustan un modelo antes de recibir nuevos datos y
realizar predicciones, un modelo lazy learner solo se ajusta cuando va a realizar
una predicción y no antes. Es decir, trabaja más durante la clasificación que
durante su entrenamiento. También se les conoce como instance-based learners.
Un ejemplo de esto es K-nearest Neighbors.
¿De qué se trata?
A partir de un set de entrenamiento n-dimensional, cuando se presenta un caso
nuevo, este modelo busca en el espacio de entrenamiento los k casos más cercanos a
este, definiendo esta cercanía mediante una métrica de similitud. Entonces, al caso
nuevo se le asigna la clase más común entre los k casos más cercanos.
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 26/46
Víctor Hernández M. Taller de Advanced Analytics
Introducción
Aprendizaje Supervisado Regresión
Aprendizaje No Supervisado Clasificación
Taller
Modelos de Clasificación
K-nearest Neighbors
Puede ser recomendable escalar los atributos antes de usar este algoritmo,
para prevenir que atributos con rangos demasiado grandes influyan más que
los de rangos pequeños.
También se puede utilizar para entregar valores numéricos, entregando la
media de los k vecinos cercanos.
Para encontrar un buen k, se debe experimentar y escoger uno que minimice el
error.
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 27/46
Víctor Hernández M. Taller de Advanced Analytics
Introducción
Aprendizaje Supervisado Regresión
Aprendizaje No Supervisado Clasificación
Taller
Modelos de Clasificación
Evaluación
Modelos de Clasificación
Evaluación - Matriz de Confusión
Modelos de Clasificación
Evaluación - Métricas de Desempeño
Accuracy
El porcentaje del set de pruebas que fue correctamente clasificado
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 30/46
Víctor Hernández M. Taller de Advanced Analytics
Introducción
Aprendizaje Supervisado Regresión
Aprendizaje No Supervisado Clasificación
Taller
Modelos de Clasificación
Evaluación - Métricas de Desempeño
Sensitivity
Tasa de reconocimiento de verdaderos positivos.
Specificity
Tasa de reconocimiento de verdaderos negativos. .
.
.
.
.
. . . . .
. . . .
. . . .
. . . .
. . . .
. . . . .
.
.
.
.
.
.
.
.
.
31/46
Víctor Hernández M. Taller de Advanced Analytics
Introducción
Aprendizaje Supervisado Regresión
Aprendizaje No Supervisado Clasificación
Taller
Modelos de Clasificación
Evaluación - Métricas de Desempeño
Precision
Una medida de qué porcentaje de los casos etiquetados como positivos en verdad lo
son.
Recall
Una medida de qué porcentaje de los casos positivos son etiquetados como tal. Es
lo mismo que Sensitivity.
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 32/46
Víctor Hernández M. Taller de Advanced Analytics
Introducción
Aprendizaje Supervisado Regresión
Aprendizaje No Supervisado Clasificación
Taller
Modelos de Clasificación
Evaluación - Métricas de Desempeño
Un puntaje de Precision perfecto para una clase C significa que cada caso que
el clasificador etiquetó como C de verdad pertenece a C. Sin embargo, no dice
nada respecto a los casos que eran C y que el clasificador etiquetó mal (es
decir, respecto a los FN).
Un puntaje de Recall perfecto para una clase significa que cada item de clase
C fue etiquetado como tal, pero no dice nada respecto a otras tuplas que
fueron etiquetadas mal como C (es decir, respecto a los FP)
Hay una forma alternativa de usar Precision y Recall:
2 ∗ precision ∗ recall
F=
precision + recall
Que corresponde a F-measure o F-score. Puede variar entre 0 y 1. .
.
.
.
.
. . . . .
. . . .
. . . .
. . . .
. . . .
. . . . .
.
.
.
.
.
.
.
.
.
33/46
Víctor Hernández M. Taller de Advanced Analytics
Introducción
Aprendizaje Supervisado
Clustering
Aprendizaje No Supervisado
Taller
Introducción
1 Introducción
Modelación y Machine Learning
Tipos de Aprendizaje
2 Aprendizaje Supervisado
Regresión
Clasificación
3 Aprendizaje No Supervisado
Clustering
4 Taller
Objetivos y Entregables
Tarea
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 34/46
Víctor Hernández M. Taller de Advanced Analytics
Introducción
Aprendizaje Supervisado
Clustering
Aprendizaje No Supervisado
Taller
Clustering
Definición
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 35/46
Víctor Hernández M. Taller de Advanced Analytics
Introducción
Aprendizaje Supervisado
Clustering
Aprendizaje No Supervisado
Taller
Clustering
Tipos de clustering
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 36/46
Víctor Hernández M. Taller de Advanced Analytics
Introducción
Aprendizaje Supervisado
Clustering
Aprendizaje No Supervisado
Taller
Clustering
Basado en particiones - K-Means
Es susceptible a outliers
Tiende a encontrar óptimos locales, dependiendo de los centroides iniciales,
por lo que sería recomendable correrlo varias veces.
Asume que los clusters son esféricos. . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 37/46
Víctor Hernández M. Taller de Advanced Analytics
Introducción
Aprendizaje Supervisado
Clustering
Aprendizaje No Supervisado
Taller
Clustering
Basado en particiones - Otras alternativas
K-Medoids
Método que utiliza medoids como centroides en lugar de la media. El medoid es
el objeto más central ubicado dentro del cluster. Es menos susceptible a outliers.
K-Modes
Método que permite realizar clustering cuando los atributos son categóricos.
K-Prototypes
Método que permite realizar clustering cuando se tiene atributos numéricos y
categóricos.
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 38/46
Víctor Hernández M. Taller de Advanced Analytics
Introducción
Aprendizaje Supervisado
Clustering
Aprendizaje No Supervisado
Taller
Clustering
Evaluación
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 39/46
Víctor Hernández M. Taller de Advanced Analytics
Introducción
Aprendizaje Supervisado
Clustering
Aprendizaje No Supervisado
Taller
Clustering
Evaluación
Coeficiente de Silueta
Medida para evaluar qué tan separados están los clusters unos de otros y qué tan compactos son.
Se obtiene calculando para cada caso:
∑ ′
o′ ∈Ci ,o̸=o′ dist(o, o )
a(o) =
|Ci | − 1
∑
o′ ∈Cj dist(o, o′ )
b(o) = minCj ,1≤j≤k,j̸=i
|Cj |
b(o) − a(o)
s(o) =
max(a(o), b(o))
Donde a(o) es la distancia promedio entre o y todos los otros o′ que pertenecen al mismo cluster,
b(o) la mínima distancia promedio entre o y todos los clusters a los que no pertenece.
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 40/46
Víctor Hernández M. Taller de Advanced Analytics
Introducción
Aprendizaje Supervisado
Clustering
Aprendizaje No Supervisado
Taller
Clustering
Evaluación
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 41/46
Víctor Hernández M. Taller de Advanced Analytics
Introducción
Aprendizaje Supervisado
Clustering
Aprendizaje No Supervisado
Taller
Clustering
Interpretación
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 42/46
Víctor Hernández M. Taller de Advanced Analytics
Introducción
Aprendizaje Supervisado Objetivos y Entregables
Aprendizaje No Supervisado Tarea
Taller
Introducción
1 Introducción
Modelación y Machine Learning
Tipos de Aprendizaje
2 Aprendizaje Supervisado
Regresión
Clasificación
3 Aprendizaje No Supervisado
Clustering
4 Taller
Objetivos y Entregables
Tarea
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 43/46
Víctor Hernández M. Taller de Advanced Analytics
Introducción
Aprendizaje Supervisado Objetivos y Entregables
Aprendizaje No Supervisado Tarea
Taller
Taller
Desafío 4
Entregable
Jupyter Notebook
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 44/46
Víctor Hernández M. Taller de Advanced Analytics
Introducción
Aprendizaje Supervisado Objetivos y Entregables
Aprendizaje No Supervisado Tarea
Taller
Taller
Presentación Parcial - Próxima clase
Presentación parcial
Taller
Tarea
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 46/46
Víctor Hernández M. Taller de Advanced Analytics