Modelo Descenso del Gradiente Regresión Polinómica

Inteligencia de Negocios
Regresión Lineal con Múltiples Variables

Profesor Julio Casanova V.

Facultad de Ingeniería
Universidad Mayor

II Semestre 2016

Inteligencia de Negocios Facultad de Ingeniería Universidad Mayor

Modelo Descenso del Gradiente Regresión Polinómica

Contenido

Modelo
Representación del Modelo
Función de Costo

Descenso del Gradiente

Algoritmo Descenso del Gradiente
Escalamiento de Variables
Tasa de Aprendizaje

Regresión Polinómica
Introducción
Elección de Características

Inteligencia de Negocios Facultad de Ingeniería Universidad Mayor

Modelo Descenso del Gradiente Regresión Polinómica

Representación del Modelo

Representación del Modelo

Múltiples características (variables)

Tamaño en pies2 (x) Precio ($) en miles (y)

1250 220
1320 300
1510 310
2800 295
... ...

Hipótesis: hθ (x) = θ0 + θ1 x

Inteligencia de Negocios Facultad de Ingeniería Universidad Mayor

Modelo Descenso del Gradiente Regresión Polinómica

Representación del Modelo

Representación del Modelo

Múltiples características (variables)

Tamaño en N o habitaciones N o pisos Antigüedad casa Precio en miles

pies2 (x1 ) (x2 ) (x3 ) en años (x4 ) (y)
1250 3 1 40 220
1320 3 1 36 300
1510 4 2 46 310
2800 5 2 53 295
... ... ... ... ...

Notación:
I m = Número de ejemplos de entrenamiento.
I n = Número de características (variables).
I x(i) = Input (característica) j en el iésimo ejemplo de entrenamiento.
j
I y (i) = Output (variable a predecir) del iésimo ejemplo de entrenamiento.

Inteligencia de Negocios Facultad de Ingeniería Universidad Mayor

Modelo Descenso del Gradiente Regresión Polinómica

Representación del Modelo

Representación del Modelo

Hipótesis

Conjunto Entrenamiento

Algoritmo de Aprendizaje

x1 , x 2 , x 3 , x 4 h (Hipótesis) Precio Estimado

¿Cómo representamos h?

Inteligencia de Negocios Facultad de Ingeniería Universidad Mayor

Modelo Descenso del Gradiente Regresión Polinómica

Representación del Modelo

Representación del Modelo

Hipótesis

Hipótesis previa:
hθ (x) = θ0 + θ1 x

Hipótesis actual:
hθ (x) = θ0 + θ1 x1 + θ2 x2 + · · · + θn xn

Inteligencia de Negocios Facultad de Ingeniería Universidad Mayor

Modelo Descenso del Gradiente Regresión Polinómica

Función de Costo

Función de Costo
Hipótesis:

hθ (x) = θT x = θ0 x0 + θ1 x1 + θ2 x2 + · · · + θn xn

Parámetros:
θ0 , θ1 , . . . , θn
Función de Costo:
m
1 X
J(θ0 , θ1 , . . . , θn ) = (hθ (x(i) ) − y (i) )2
2m i=1

Objetivo:
min J(θ0 , θ1 , . . . , θn )
θ0 ,θ1 ,...,θn

Inteligencia de Negocios Facultad de Ingeniería Universidad Mayor

Modelo Descenso del Gradiente Regresión Polinómica

Algoritmo Descenso del Gradiente

Algoritmo del Descenso del Gradiente

Hipótesis:

hθ (x) = θT x = θ0 x0 + θ1 x1 + θ2 x2 + · · · + θn xn

Función de Costo:
m
1 X
J(θ0 , θ1 , . . . , θn ) = (hθ (x(i) ) − y (i) )2
2m i=1

Descenso del Gradiente:

repetir hasta la convergencia {

∂ (actualizar θj simultáneamente
θj := θj − α J(θ0 , θ1 , . . . , θn )
∂θj para j = 0, 1, . . . , n)

}
Inteligencia de Negocios Facultad de Ingeniería Universidad Mayor
Modelo Descenso del Gradiente Regresión Polinómica

Algoritmo Descenso del Gradiente

Algoritmo del Descenso del Gradiente

Nuevo algoritmo (n ≥ 1):

repetir {
m
1
X
(i) (i) (i)
Previamente (n = 1): θj := θj − α (hθ (x )−y ) · xj
m
i=1
repetir {
m (actualizar θj simultáneamente para j = 0, 1, . . . , n)
1 X
θ0 := θ0 − α (hθ (x(i) ) − y (i) )
m } m
i=1
1
X
(i) (i) (i)
m θ0 := θ0 − α (hθ (x )−y ) · x0
1 X (i) m
θ1 := θ1 − α (hθ (x(i) ) − y (i) ) · x1 i=1
m m
i=1
1
X
(i) (i) (i)
θ1 := θ1 − α (hθ (x )−y ) · x1
m
(actualizar θ0 y θ1 simultáneamente) i=1
m
1
X
} θ2 := θ2 − α (hθ (x
(i)
)−y
(i) (i)
) · x2
m
i=1
···

Inteligencia de Negocios Facultad de Ingeniería Universidad Mayor

Modelo Descenso del Gradiente Regresión Polinómica

Escalamiento de Variables

Escalamiento de Variables - Normalización a la Media

Asegurarse que las variables estén en una escala similar
La idea es que cada variable quede en un rango de
aproximadamente −1 ≤ xj ≤ 1

Se deben preprocesar los datos normalizándolos a la media:

m
1 X (i)
µj = xj
m i=1

(i)
Reemplazar cada dato (xj ) por el normalizado:
(i)
(i) xj − µj
xj ←
sj
No aplicar a x0
Inteligencia de Negocios Facultad de Ingeniería Universidad Mayor
Modelo Descenso del Gradiente Regresión Polinómica

Tasa de Aprendizaje

Tasa de Aprendizaje

∂
θj := θj − α J(θ)
∂θj
I Cómo nos aseguramos que el descenso del
gradiente funcione correctamente.

I Cómo escogemos la tasa de aprendizaje α.

Inteligencia de Negocios Facultad de Ingeniería Universidad Mayor

Modelo Descenso del Gradiente Regresión Polinómica

Tasa de Aprendizaje

Tasa de Aprendizaje
I Realizar un test de convergencia: en cada iteración J(θ)
debería decrecer.
I Declarar convergencia si J(θ) decrece menos que  = 10−3 en
una iteración.
I Si el descenso del gradiente no está funcionando, utilizar un α
más pequeño.
I Para un α suficientemente pequeño, J(θ) debería decrecer en
cada iteración.
I Pero si α es muy pequeño, el descenso del gradiente podría
tardarse mucho en converger.
Para escoger α, tratar con

. . . , 0.001, 0.003, 0.01, 0.03, 0.1, 0.3, 1, . . .

Inteligencia de Negocios Facultad de Ingeniería Universidad Mayor
Modelo Descenso del Gradiente Regresión Polinómica

Introducción

Regresión Polinómica
Predicción de precios de casas

hθ (x) = θ0 + θ1 · f achada + θ2 · prof undidad

x = f achada · prof undidad = área

hθ (x) = θ0 + θ1 x
Inteligencia de Negocios Facultad de Ingeniería Universidad Mayor
Modelo Descenso del Gradiente Regresión Polinómica

Introducción

Regresión Polinómica
400
x x x
Precio (y)

300 x
x x x

200 x x
x
100 x

0
0 500 1000 1500 2000 2500
Tamaño (x)

hθ (x) = θ0 + θ1 x1 + θ2 x2 + θ3 x3
hθ (x) = θ0 + θ1 (tamaño) + θ2 (tamaño)2 + θ3 (tamaño)3

Inteligencia de Negocios Facultad de Ingeniería Universidad Mayor

Modelo Descenso del Gradiente Regresión Polinómica

Elección de Características

Escoger Características
400
x x x
Precio (y)

300 x
x x x

200 x x
x
100 x

0
0 500 1000 1500 2000 2500
Tamaño (x)

hθ (x) = θ0 + θ1 (tamaño) + θ2 (tamaño)2

p
hθ (x) = θ0 + θ1 (tamaño) + θ2 (tamaño)

Inteligencia de Negocios Facultad de Ingeniería Universidad Mayor

Modelo Descenso del Gradiente Regresión Polinómica

Elección de Características

Inteligencia de Negocios
Regresión Lineal con Múltiples Variables

Profesor Julio Casanova V.

Facultad de Ingeniería
Universidad Mayor

II Semestre 2016

Inteligencia de Negocios Facultad de Ingeniería Universidad Mayor