Sesin N 2

Aprendizaje Supervisado

El objetivo del aprendizaje supervisado es la prediccin:

Dado el valor de un vector de entrada X, generar
una buena prediccin de la salida Y

Entrada
Predictores
variables
independientes

Mtodo de
Prediccin

Salida
Respuestas
variables
dependientes

Variables cuantitativas o cualitativas

Un enfoque simple: Mnimos cuadrados

Dado el vector de entradas:
X=(X1,X2,,Xp)
Predecir la salida Y con el
modelo
p

Y 0 X j j
j 1

0 sesgo
Si se incluye la constante 1 in
X, el modelo queda:

Y X T
Aqu Y es escalar (Si Y es un
vector de dimensin K,
entonces X es una matriz de
dimensin pxK)

En el espacio entradasalida (p+1)-dimensional ,

(X, ) representa un
hiperplano
Si la constante se incluye
en X, entonces el
hiperplano pasa por el
origen

f (X ) X T
es una funcin lineal y
es el vector que apunta
en direccin perpendicular
al plano

f ( X )

Un enfoque simple: Mnimos cuadrados

En el espacio entradasalida (p+1)-dimensional ,
(X, ) representa un
hiperplano
Si la constante se incluye
en X, entonces el
hiperplano pasa por el
origen

f (X ) X T
es una funcin lineal y
es el vector que apunta
en direccin perpendicular
al plano

f ( X )

Un enfoque simple: Mnimos cuadrados

Procedimiento de
entrenamiento:
Mtodo de mnimos
cuadrados

Derivando con respecto a

se construyen las
ecuaciones normales

N = #observaciones
Minimizar la suma de los
cuadrados de los errores

Si XTX es no-singular,
entonces la solucin nica
es:

RSS ( ) ( yi xiT ) 2
i 1

O de manera equivalente

RSS ( ) (y X )T (y X )
Esta funcin cuadrtica
siempre tiene mnimo global,
aunque no necesariamente
nico

XT (y X ) 0

( XT X) 1 XT y
El valor ajustado dada una
entrada x es:

y ( x) xT

La superficie es
caracterizada por

Un enfoque simple: Mnimos cuadrados

Ejemplo:
Datos con dos entradas X1 y
X2
Variable de salida con dos
valores VERDE (codificado 0)
y ROJO(codificado 1)
100 puntos por clase
La lnea de regresin est
definida por

x 0.5
T

X2

Fcil pero muchos datos mal

clasificados si el problema no
es lineal

xT 0.5

X1

xT 0.5

Otro enfoque simple: Vecinos mas cercanos

kNN)
Clasificacin kNN con k=15

Usa las observaciones del

conjunto de datos de
entrenamiento que estn
mas cerca de una entrada
1
dada :

Y ( x)

xi N k ( x )

Nk(x) es el conjunto de k
puntos mas cercanos x
entre los datos de
entrenamiento y toma el
promedio de sus salidas
para predecir y
Pocos datos mal
clasificados

Y 0.5

X2

Y 0.5

Y 0.5

X1
7

Otro enfoque simple: Vecinos mas cercanos

(kNN)
Clasificacin kNN con k=1

Usa las observaciones del

conjunto de datos de
entrenamiento que estn
mas cerca del una entrada
dada : Y ( x ) 1
y

xi N k ( x )

Nk(x) es el conjunto de k
puntos mas cercanos x
entre los datos de
entrenamiento y toma el
promedio de sus salidas
para predecir y
Pocos datos mal
clasificados

X2

Y 0.5

Y 0.5
Y 0.5
X1
8

Comparacin de los dos enfoques

Result of 10 000 classifications

9

Comparacin de los dos enfoques

Mnimos Cuadrados
p parmetros
p = #caractersticas
Poca varianza(robusto)
Muy sesgado (depende de
condiciones muy
restrictivas)
til en Escenario 1:
Datos de entrenamiento
provenientes de
distribuciones Normales
bivariadas independientes y
de distinta media para cada
clase.

kNN: k vecinos mas cercanos

Aparentemente un slo
parmetro k.
En realidad N/k parmetros
N = #observaciones
Mucha varianza(no es
robusto)
Escaso sesgo (requiere
supuestos mnimos)
til en Escenario 2:
Datos de entrenamiento
provenientes de una mezcla
de 6 distribuciones Normales
de varianza pequea y medias
tambin distribuidas
Normales. Mezclas diferentes
para cada clase.
10

Actividad N1
1.Utilice R para generar datos de los dos escenarios propuestos
(use como base el script adjunto)
2.Divida sus datos en un conjunto de datos de entrenamiento y
otro de test
3.Utilice Mnimos cuadrados y kNN para generar un mecanismo
de clasificacin de sus datos
4.Compare ambos mtodos.
Indicacin: para el Escenario 2 utilice los siguientes pasos:
Paso 1: Generar 6 medias mk de una distribucin bivariada
N((0,3)T,I) y etiquete esta clase como VERDE
Paso 2: Del mismo modo, generar 6 medias mk de una
distribucin bivariada N((2,1)T,I) y etiquete esta clase como ROJO
Paso 3: para cada clase, genere 100 observaciones del modo
siguiente:
Por cada observacin, seleccione un mk aleatoriamente con
probabilidad 1/6
Genere un punto de acuerdo N(mk,I/ 2)
11
ENTREGA: Viernes 25 de septiembre a las 18 horas