Modelo de regresión múltiple.

Modelo poblacional (nunca se va a conocer, los parámetros poblacionales nunca se conocerán).

y i=β o + β 1 x i 1 + β 2 x i 2+ …+ β k x i k +ui

 Tenemos el supuesto de media condicional cero.

Cuando estimamos el modelo obtenemos los estimadores de los parámetros.

En ese caso tenemos el modelo muestral:

^y i= β^ o + β^ 1 x i 1 + ^β 2 x i 2+ …+ ^β k x ik

Para la estimación del modelo volvemos a usar mínimos cuadrados ordinarios (MCO). Minimizar la
suma de los residuales al cuadrado: recordemos que un residual es u^ i= y i−^y i
N
min ∑ u^ 2i = u^ 21+ u^ 22+ u^ 23 +…+ u^ 2N =¿ numero
i=1

Vamos a convertirlo a una expresión matricial:

El modelo poblacional en forma matricial:

Y = XB +U
Donde Y es un vector columna de (Nx1)

Donde X es una matriz de (Nx(k+1))

Donde B es un vector columna de ((k+1)x1)

Donde U es un vector columna de (Nx1)

El modelo muestral o el modelo que estimamos en forma matricial será:

Y^ = X B
^

Los cuales tienen las mismas dimensiones que sus homólogos poblacionales.
^ =Y −Y^
Los residuales son un vector columna de (Nx1), el vector lo llamaremos U

u^ 1

U
^ = u^
…[]
u^ 2

u^ N
3

Nx 1
^ T =[ u^ 1 u^ 2 u^ 3 … u^ N ] (1 xN )
U

MCO implica:
 u^ 1
N
min ∑ u^ 2i = U
i=1
^T U

[]
u^ 2
^ =[ u^ 1 u^ 2 u^ 3 … u^ N ]∗ u^ =^u12+ u^ 22+ …+ u^ 2N =¿ numero
…
3

u^ N ❑

^ =( Y −Y^ )T ( Y −Y^ ) =( Y − X B
^T U
U ^ )T ( Y −X ^B )

Esta expresión, la podemos escribir como:

( Y −X B^ )T ( Y − X B^ ) =(Y T −( X ^B )T ) ( Y −X B^ )Y T Y −Y T X B−
^ ( X ^B )T Y + ( X B
^ )T X B=¿
^ numero
Y T Y −Y T X B ^ )T + ( X B
^ −( Y T X B ^ )T X B
^ =¿ numero
T
Y T Y −2 B
^T X T Y + ( X B
^ ) X B=¿
^ numero

Y T Y −2 B
^T X T Y + B
^ T X T X B=¿
^ numero
Derivamos con respecto a ^
B.

−2 X T Y +2 X T X B=0
^

−X T Y + X T X ^B=0 ( X T X ) X T X B
−1
^ = ( X T X )−1 X T Y

^B=( X T X )−1 X T Y

Esta última expresión es el estimador de mínimos cuadrados ordinarios en forma matricial.

 ^B será un vector columna que contiene todos los estimadores del modelo.
 X T X es una matriz cuadrada y simétrica. Las dimensiones de esta matriz son: ((k+1)xN)
(Nx(k+1))=(k+1)x(k+1)
 X T Y dimensiones ((k+1)xN)(Nx1)= ((k+1)x1)
Ejemplo:

Suponga que tenemos un modelo de regresión múltiple con tres variables independientes:

y i=β o + β 1 x i 1 + β 2 x i 2+ β 3 x i3 +ui

Para la estimación del modelo se tiene la siguiente base de datos:

yi x1
5 2
6 2
6 2
4 1
2 0
x2 x3
8 10
9 12
8 12
6 8
5 10
Utilizando MCO estime el modelo

^y i=0.9375+ 1.6875 x i 1+ 0.000 x i 2 +0.125 xi 3