Procesado de Información

Biológica
Sesión 7
Mónica Rojas Martínez

××
Universidad El Bosque
× o
oo
××
× o
o o Contenido
› Modelo con múltiples entradas
› Función de coste y algoritmo gradiente descendente
› Ecuación normal
– Representación matricial
– Solución analítica
› Comparativa
××
× o
o o Regresión lineal con una variable
Hasta ahora y x y
- Obs 1 0,8 74856
x hx Obs 2 1,8 76925
H + Σ

…
…
Obs m 10,8 278624

Hipótesis : ℎ 𝑥 𝜃 𝜃 𝑥

Función de coste: 𝐽 𝜃 , 𝜃 ∑ ℎ 𝑥 𝑦
××
× o
o o Implementación vectorial
› La hipótesis
ℎ 𝑥 𝜃 𝑥 𝜃 𝑥 , 𝑐𝑜𝑛 𝑥 1
› Tiene una representación vectorial de la forma:
ℎ 𝑥 θ𝑻 x
donde θ, x ∈ ℝ , es decir son vectores columna de
dimensión del número de entradas
› Esto permite una implementación mucho mas sencilla y
rápida.
××
× o
o o Regresión lineal con múltiples variables
Ahora y x1 x2 xn y
x1 - Obs 1 0,8 18 560 74856
x2 hx
H + Σ Obs 2 1,8 13 248 76925
…

…
xn

…
Obs m 10,8 11 120 278624

Hipótesis : ℎ 𝑥 𝜃 𝜃 𝑥 𝜃 𝑥 ⋯ 𝜃 𝑥

Función de coste: 𝐽 𝜃 , . . , 𝜃 ∑ ℎ 𝑥 𝑦
××
Hipótesis Regresión lineal con múltiples
× o
o o variables
›ℎ 𝑥 𝜃 𝑥 𝜃 𝑥 𝜃 𝑥 ⋯ 𝜃 𝑥
Si Por conveniencia definimos xo:=1
Podemos escribir las entradas y los parámetros de forma
vectorial como:
𝑥 1 𝜃
𝑥 𝑥 𝜃
x ∈ℝ y 𝛉 ∈ℝ
⋮ ⋮ ⋮
𝑥 𝑥 𝜃

 ℎ 𝑥 θ x
××
× o
o o Función de coste y gradiente descendente
› Funcion de coste:

1 1
𝐽 θ ℎ 𝑥 𝑦 𝜃 𝑥 𝜃 𝑥 ⋯ 𝜃 𝑥 𝑦
2𝑚 2𝑚

› Actualizar SIMULTÁNEAMENTE cada θj como:

1
𝜃 ≔𝜃 α ℎ 𝑥 𝑦 𝑥
𝑚
××
× o
o o Ecuación Normal (Representación matricial)
› Hipótesis: ℎ 𝑥 𝜃 𝑥 𝜃 𝑥 𝜃 𝑥 ⋯ 𝜃 𝑥 θ x
θ, x  vectores columna de dimensión (1, m), es decir
θ, x ∈ ℝ𝒎 𝟏

› Función de coste: 𝐽 θ ∑ ℎ 𝑥 𝑦

𝑋θ y 𝑋θ y

θ 𝑋 𝑋θ 2 𝑋θ y y y
X matriz de dimensión (m,n), y vector de dimensión (1,m)
××
× o
o o Solución analítica
› Para encontrar la solución analítica de los valores óptimos
de θ (minimizar la función de coste):
0 2𝑋 𝑋θ 2𝑋 y

 𝑋 𝑋θ 𝑋 y
Finalmente, si existe (𝑋 𝑋)-1

θ 𝑋 𝑋 𝑋 y
××
× o
o o Comparativa

Gradiente descendente Ecuación Normal

Escoger α No se necesita escoger α
Se necesitan muchas No se necesita iterar
iteraciones
Trabaja bien incluso si n es Hay que computar (XTX)-1.
muy grande Lento si n es grande
Intuitivo Poco intuitivo
××
× o
o o Regresión multivariable (general)
××
Regresión multivariable (modelo general)
× o
o o Un modelo no lineal de múltiples variables considera por ejemplo:

y xo x1 x2 x3 x4 x5 y
0.8 1 1 0,6 0,36 0,6 10,1
x1 - Obs 1
x2 hx 0.4 1,1 1,21 1,1 1,21 1,21 11,2
H + Σ Obs 2
0.6 1,6 2,56 1,9 3,61 3,04 16,4
…

…
xn

…
Obs m 0.7 2,3 5,29 3,5 12,3 8,05 20,7

ℎ 𝑥 𝜃 𝑥 𝜃 𝑥 𝜃 𝑥 ⋯ 𝜃 𝑥
Con 𝑥 𝑥 ,𝑥 𝑥 ,𝑥 𝑥 𝑥

Hipótesis (“no lineal”) : 𝒉 𝒙 𝜽𝒐 𝒙𝟎 𝜽𝟏 𝒙 𝟏 𝜽𝟐 𝒙 𝟐 𝜽𝟑 𝒙𝟐𝟏 𝜽𝟒 𝒙𝟐𝟐 +𝜽𝟓 𝒙𝟏 𝒙𝟐

Función de coste: 𝐽 𝜃 , . . , 𝜃 ∑ ℎ 𝑥 𝑦