Modelo general de regresin

lineal mltiple
Variables
Y:
Variable dependiente
Variable endgena
Variable explicada


X
j
:
Variables exgenas
Variables
independientes
Variables explicativas

Slo una Al menos una
Ejemplo de ilustracin
Ejemplo de ilustracin
Y: Ingresos del supermercado
X
1
: Habitantes del municipio del
supermercado
X
2
: Superficie del supermercado (m
2
)

( )
2 1
, X X f Y =
Tabla de datos
Ingresos (Y) Habitantes (X1) Superficie (X2)
198 70 21
209 35 26
197 55 14
156 25 10
85 28 12
187 43 20
43 15 5
211 33 28
120 23 9
62 4 6
176 45 10
117 20 8
273 56 36
Modelo de regresin lineal
Ejemplo de ilustracin
Deseamos explicar los ingresos del supermercado
(Y), mediante la poblacin del municipio (X
1
) y la
superficie del supermercado (X
2
).
Si la relacin existente entre las variables fuera de
tipo lineal utilizaramos la siguiente expresin:

2 2 1 1 i i i
x x y + + =
Modelo de regresin lineal (II)
Ejemplo de ilustracin
Pero la relacin entre las variables no es
necesariamente perfecta. Por ese motivo
aadimos un elemento aleatorio a cada
observacin:

i i i i
x x y + + + =
2 2 1 1
n i s s 1 donde
Modelo de regresin lineal (III)
Ejemplo de ilustracin
i i i i
x x y + + + =
2 2 1 1
n i s s 1 donde
Renta de los habitantes
Medio rural o urbano
...
Edad promedio de los habitantes
Variables que no hemos considerado
i i i i
x x y + + + =
2 2 1 1
Modelo de regresin lineal (IV)
Ejemplo de ilustracin
Es el trmino constante del modelo y es
desconocido.
Son los coeficientes desconocidos de la
combinacin lineal.
Es el i-simo trmino de error (desconocido)

i i i i
x x y + + + =
2 2 1 1
Modelo de regresin lineal (V)
Ejemplo de ilustracin
Es el trmino constante del modelo y es
desconocido.
Son los coeficientes desconocidos de la
combinacin lineal.
Es el i-simo trmino de error (desconocido)

Modelo de regresin lineal (VI)
Ejemplo de ilustracin
i i i i
x x y + + + =
2 2 1 1
Es el trmino constante del modelo y es
desconocido.
Son los coeficientes desconocidos de la
combinacin lineal.
Es el i-simo trmino de error (desconocido)

Modelo de regresin lineal (VII)
Ejemplo de ilustracin

+ + + =
+ + + =
+ + + =
13 2 1
2 2 1
1 2 1
36 56 273
...
26 35 209
21 70 198
c | | o
c | | o
c | | o
Este sistema de ecuacines:
Consta de 13 ecuaciones y 16 incgnitas.
Tiene infinitas soluciones.
Podemos asignar valores arbitrarios a cualesquiera tres
incgnitas y calcular las dems.


As lo haremos:
Nuestro objetivo es que los valores de las
incgnitas sean lo ms pequeos posible.
Determinaremos cules son los valores ms
adecuados de los coeficientes del modelo para
alcanzar este objetivo.


Llamaremos residuos a los valores que toman las
incgnitas en la solucin del sistema de
ecuaciones.
2 2 1 1
b , b a, = = =
Especificacin del modelo
Ejemplo de ilustracin
i
c
i
c
i i
e = c
Dicho de otro modo:

queremos encontrar valores concretos para las
incgnitas a los que llamaremos


Estos valores concretos consiguen que los
valores de las incgnitas sean lo ms
pequeos posible.
2 1
y ,
Especificacin del modelo(II)
Ejemplo de ilustracin

i
c
i
e
2 1
y b a, b
Especificacin del modelo(III)
Ejemplo de ilustracin
Para minimizar los residuos de manera global
emplearemos la siguiente expresin:




Es decir, debemos encontrar los valores de los
coeficientes que minimizan la suma de los cuadrados
de los residuos.
A este criterio se le llama de los mnimos
cuadrados.
| |

2
min
i
e
Especificacin del modelo(IV)
Ejemplo de ilustracin
( )
( )
( )

+
+
2
2 1
2
2 1
2
2 1
36 56 273
...
26 35 209
21 70 198
b b a
b b a
b b a
Deseamos minimizar esta suma
( )
)
`

=
n
i
i i i
x b x b a y Min
1
2
2 2 1 1
Especificacin del modelo (V)
Ejemplo de ilustracin
Por tanto, la solucin del sistema de
ecuaciones ser la siguiente:
Las incgnitas tomarn los
valores . Estos valores consiguen
que los valores de las icgnitas sean lo
ms pequeos posible.
Las incgnitas tomarn los valores


2 1
y ,
2 1
y b a, b
i
c
i
e
i
c
2 2 1 1 i i i i
x b x b a y e =
Modelo de ajuste lineal
Ejemplo de ilustracin
Despus de calcular los valores de los parmetros
de la combinacin lineal, podremos construir el
modelo de ajuste lineal:


Los valores calculados para la variable
dependiente mediante el modelo de ajuste lineal
sern los llamados valores estimados.
2 2 1 1

i i i
x b x b a y + + =
Modelo de ajuste lineal (II)
Ejemplo de ilustracin
A la diferencia entre los valores observados
y los valores estimados para la variable
dependiente los llamamos residuos:
2 2 1 1

i i i i i i
x b x b a y y y e = =
Cuidado!
Es muy importante distinguir los residuos de los errores:
Los errores son cantidades desconocidas y aleatorias. Miden el
efecto de las variables que no hemos tomado en cuenta.



Los residuos, por el contrario, son valores conocidos. Miden las
diferencias entre los valores observados y los valores estimados de
la variable dependiente.
( )
2 2 1 1 i i i i
x x y + + =
( )
2 2 1 1 i i i i
x b x b a y e + + =
Estimacin de los parmetros
Ejemplo de ilustracin
Recordemos:

Queremos encontrar unos valores concretos
para las incgnitas .

Estas estimaciones consiguen que los valores
concretos de las incgnitas -a los que
llamamos - sean lo ms pequeos posible.

2 1
y ,
i
c
i
e
2 1
y b a, b
( )
)
`

=
n
i
i i i
x b x b a y Min
1
2
2 2 1 1
Estimacin de los parmetros (II)
Ejemplo de ilustracin



( )
0

2
=
c
c

a
y y
i i
( )
0

1
2
=
c
c

b
y y
i i
( )
0

2
2
=
c
c

b
y y
i i

= + +
i i i
y x b x b na
2 2 1 1

= + +
i i i i i i
y x x x b x b x a
1 2 1 2
2
1 1 1

= + +
i i i i i i
y x x b x x b x a
2
2
2 2 2 1 1 2
Ecuaciones normales
(3 ecuaciones, 3 incgnitas)
Estimacin de los parmetros (III)
Ejemplo de ilustracin



|
|
|
.
|

\
|
=
|
|
|
.
|

\
|
|
|
|
.
|

\
|

i i
i i
i
i i i
i i i
i i
y x
y x
y
b
b
a
x x x x
x x x x
x x n
i
i
2
1
2
1
2
2 1 2
2 1
2
1
2 1
2
1
|
|
|
.
|

\
|
|
|
|
.
|

\
|
=
|
|
|
.
|

\
|

i i
i i
i
i i i
i i i
i i
y x
y x
y
x x x x
x x x x
x x n
b
b
a
i
i
2
1
1
2
2 1 2
2 1
2
1
2 1
2
1
2
1
Empleando matrices:
Estimacin de los parmetros (IV)
Ejemplo de ilustracin



|
|
|
.
|

\
|
=
|
|
|
.
|

\
|
|
|
|
.
|

\
|
38769
82495
2034
4343 8452 205
8452 19828 452
205 452 13
2
1
b
b
a
En nuestro ejemplo de ilustracin:
|
|
|
.
|

\
|
~
|
|
|
.
|

\
|
|
|
|
.
|

\
|
=
|
|
|
.
|

\
|

245 , 4
496 , 1
502 , 37
38769
82495
2034
4343 8452 205
8452 19828 452
205 452 13
1
2
1
b
b
a
2 1
X X Y 245 , 4 496 , 1 502 , 37

+ + =
Caso general
Modelo de regresin lineal
Caso general
Cuando tenemos ms de dos variables
explicativas:



Empleando matrices:
( ) ,...,n i
x x x y
i ik k i i i
1 con
...
2 2 1 1
=
+ + + + + =
X X X 1 Y
k 2 1
+ + + + + =
k
| | | o ...
2 1
( )
|
|
|
|
|
.
|

\
|
=
nk
k
k
n
x
x
x
...
2
1
1 ,
k
X
Modelo de regresin lineal (II)
Caso general
( )
|
|
|
|
|
.
|

\
|
=
n
n
y
y
y
...
2
1
1 ,
Y
( )
|
|
|
|
|
.
|

\
|
=
1
21
11
1 ,
...
n
n
x
x
x
1
X
( )
|
|
|
|
|
.
|

\
|
=
n
n
c
c
c
...
2
1
1 ,

( )
|
|
|
|
|
.
|

\
|
=
1
...
1
1
1 , n
1
Modelo de regresin lineal (III)
Caso general
Podemos expresar el modelo de regresin
lineal de un modo ms sencillo:
X Y + =
Modelo de regresin lineal
n ecuaciones
n+k+1 incgnitas
Modelo de regresin lineal (IV)
Caso general
( )
|
|
|
|
|
.
|

\
|
=
+
nk n n
k
k
k n
x x x
x x x
x x x
... 1
... ... ... ... ...
... 1
... 1
2 1
2 22 21
1 12 11
1 ,
X
( )
|
|
|
|
|
.
|

\
|
=
n
n
c
c
c
...
2
1
1 ,

( )
|
|
|
|
|
.
|

\
|
=
n
n
y
y
y
...
2
1
1 ,
Y
( )
|
|
|
|
|
.
|

\
|
=
+
k
k
|
|
o
...
1
1 , 1

k k
b b , b a, = = = = ,...,
2 2 1 1

Nuestro objetivo es conseguir que los valores de
las incgnitas sean lo ms pequeos posible.
Buscaremos los valores de los coeficientes del
modelo que resulten los ms adecuados de cara a
cumplir con el objetivo planteado.


A los valores que en la solucin del sistema de
ecuaciones toman las ingnitas los
llamaremos residuos.
Especificacin del modelo
Caso general
i
c
i
c
i i
e = c
Expresado de otro modo:

Deseamos encontrar un vector , que es un
valor concreto del vector .

Este vector concreto consigue que los valores
de las incgnitas sean lo ms pequeos
posible.
Especificacin del modelo (II)
Caso general

i
e
B

B
i
c
Esepecificacin del modelo (III)
Caso general
Por lo tanto, la solucin del sistema de
ecuaciones ser la siguiente:
El vector tomar el valor . Este valor
del vector consigue que el valor del
vector sea mnimo.
El vector tomar el valor

e
XB Y e =

Especificacin del modelo (IV)

Caso general
Para minimizar los residuos de manera global
emplearemos la siguiente expresin:




Es decir, tenemos que encontrar los valores de los
coeficientes del modelo que hacen mnima la suma de
los cuadrados de los residuos.
A este criterio se le da el nombre de criterio de los
mnimos cuadrados.
| | | |
( ) ( ) | | XB Y ' XB Y
e e'
=
= =

min
min min
2
i
e
Modelo de ajuste lineal
Caso general
Cuando tenemos ms de dos variables
explicativas:



Empleando matrices:
( ) 1 con
...

2 2 1 1
,...,n i
x b x b x b a y
ik k i i i
=
+ + + + =
k 2 1
X X X 1 Y
k
b b b a + + + + = ...

2 1
Modelo de ajuste lineal (II)
Caso general
Podemos expresar el modelo de ajuste lineal
de una forma ms sencilla:
XB Y =

Modelo de ajuste lineal

Modelo de ajuste lineal (III)
Caso general
( )
|
|
|
|
|
.
|

\
|
=
n
n
y
y
y

...

2
1
1 ,
Y
( )
|
|
|
|
|
.
|

\
|
=
+
k
k
b
b
a
...
1
1 , 1
B
( )
|
|
|
|
|
.
|

\
|
=
+
nk n n
k
k
k n
x x x
x x x
x x x
... 1
... ... ... ... ...
... 1
... 1
2 1
2 22 21
1 12 11
1 ,
X
Modelo de ajuste lineal (IV)
Caso general
El valor estimado de la variable dependiente
para un individuo ser el siguiente:


Con:
( ) B X X Y
i i
'

=
|
|
|
|
|
|
.
|

\
|
=
ik
i
i
x
x
x
...
1
2
1
i
X
Estimacin de los parmetros
Caso general
Recordemos:

Queremos encontrar un vector de valores
concretos para el vector .

Este vector debe ser tal que minimice
globalmente los residuos.

B
B
| | | | | | XB) (Y XB)' (Y e e' = =

min min min

2
i
e
Estimacin de los parmetros (II)
Caso general
XB X' Y X'
B
2 2
2
+ =
c
c
i
e
XB X' B' Y X' B' Y Y' + =

2
2
i
e
Teniendo en cuenta que:



Derivando respecto a B:


Estimacin de los parmetros (III)
Caso general
Y X' XB X' =
( ) Y X' X X' B
1
=
Igualando la derivada a cero:



Si la matriz es no singular:

X X'
Estimacin de los parmetros (IV)
Caso general
La solucin que se ha encontrado consigue
minimizar la SCR?
Supongamos que es otra solucin. Entonces:


( ) ( ) ( ) B B X e B X XB XB Y B X Y e
~ ~ ~
~
+ = + = =
( ) | | ( ) | | B B X e B B X e e ' e
'
~ ~
~ ~
+ + =
( ) ( ) ( ) ( ) B B X X' ' B B e X' ' B B B B X e' e e' e ' e
~ ~ ~ ~
~ ~
+ + + =
( ) ( ) ( ) B B X X' ' B B e X' ' B B e e' e ' e
~ ~ ~
2
~ ~
+ + =
( ) ( ) ( ) | | ( ) | | ( )
2
~ ~ ~ ~ ~
~ ~
B B X e e' B B X ' B B X e e' B B X X' ' B B e e' e ' e + = + = + =
e e' e ' e >
~ ~
B
~
Datos centrados
Modelo de ajuste
Datos centrados
Cuando las variables explicativas toman sus
respectivos valores promedio el valor estimado para
la variable dependiente es su media:






Es decir, el hiperplano del modelo de ajuste pasa por
la media de las variables.


( ) Y X Y =

k k
x b x b x b a y + + + + = ...
2 2 1 1
Modelo de ajuste (II)
Datos centrados
Por lo tanto podemos escribir el modelo de ajuste
lineal de otro modo:




O empleando matrices:





( ) ( ) ( )
( ) 1 con
...
2 2 2 1 1 1
,...,n i
e x x b x x b x x b y y
i k ik k i i i
=
+ + + + =
e B X Y + =
~ ~
Modelo de ajuste (III)
Datos centrados
Con:
( )
|
|
|
|
|
.
|

\
|



=
k nk n n
k k
k k
k n
x x x x x x
x x x x x x
x x x x x x
...
... ... ... ...
...
...
~
2 2 1 1
2 2 22 1 21
1 2 12 1 11
,
X
( )
|
|
|
|
|
.
|

\
|
=
n
n
e
e
e
...
2
1
1 ,
e
( )
|
|
|
|
|
.
|

\
|

=
y y
y y
y y
n
n
...
~
2
1
1 ,
Y
( )
|
|
|
|
|
.
|

\
|
=
k
k
b
b
b
...
2
1
1 ,
B
Estimacin de los parmetros
Datos centrados
Recordemos:

Para encontrar el vector debemos minimizar de
manera global los residuos.

B
| | | | | | B) X Y ( B)' X Y ( e e'
~ ~ ~ ~
min min min
2
= =
i
e
Estimacin de los parmetros (II)
Datos centrados
B X ' X Y ' X
B
~ ~
2
~ ~
2
2
+ =
c
c
i
e
B X ' X B' Y ' X B' Y ' Y
~ ~ ~ ~
2
~ ~
2
+ =
i
e
Teniendo en cuenta que:



Dervando respecto a B:


Igualando a cero la derivada anterior:



Si la matriz es no singular:

Estimacin de los parmetros (III)
Datos centrados
Y ' X B X ' X
~ ~ ~ ~
=
( ) Y ' X X ' X B
1
~ ~ ~ ~

=
X ' X
~ ~
Modelo de ajuste lineal
Datos centrados
Si trabajamos con datos centrados:





y:







( ) Y ' X X ' X B
~ ~ ~ ~
1
=
B X Y
~

~
=
Modelo de ajuste lineal (II)
Datos centrados
Con:






( )
|
|
|
|
|
.
|

\
|

=
y y
y y
y y
n
n

...

~
2
1
1 ,
Y
( )
|
|
|
|
|
.
|

\
|
=
k
k
b
b
b
...
2
1
1 ,
B
( )
|
|
|
|
|
.
|

\
|



=
k nk n n
k k
k k
k n
x x x x x x
x x x x x x
x x x x x x
...
... ... ... ...
...
...
~
2 2 1 1
2 2 22 1 21
1 2 12 1 11
,
X
Modelo de ajuste lineal (III)
Datos centrados
Para obtener el trmino constante utilizaremos la
siguiente expresin:




Por lo tanto:






k k
x b x b x b a y + + + + = ...
2 2 1 1
k k
x b x b x b y a = ...
2 2 1 1
Datos centrados
Trabajar con datos centrados supone una
gran ventaja:
Con datos originales, la dimensin de es
(k+1, k+1).
Con datos centrados, la dimensin de es
(k,k).
Por lo tanto, el clculo de la matriz inversa
es ms sencillo en el caso de la matriz .
X X'
X ' X
~ ~
X ' X
~ ~
Matriz de varianzas y
covarianzas
Matriz de varianzas y covarianzas
( ) ( )( ) ( )( )
( )( ) ( ) ( )( )
( )( ) ( )( ) ( )
|
|
|
|
|
|
|
|
|
|
|
|
.
|

\
|



=



= = =
= = =
= = =
n
x x
n
x x x x
n
x x x x
n
x x x x
n
x x
n
x x x x
n
x x x x
n
x x x x
n
x x
n
i
k ik
n
i
i k ik
n
i
i k ik
n
i
k ik i
n
i
i
n
i
i i
n
i
k ik i
n
i
i i
n
i
i
1
2
1
2 2
1
1 1
1
2 2
1
2
2 2
1
1 1 2 2
1
1 1
1
2 2 1 1
1
2
1 1
...
... ... ... ...
...
...
XX
V
Matriz de varianzas y covarianzas
( ) ( ) ( )
( ) ( ) ( )
( ) ( ) ( )
|
|
|
|
|
.
|

\
|
=
k k k
k
k
Var Cov Cov
Cov Var Cov
Cov Cov Var
X X , X X , X
X , X X X , X
X , X X , X X
V
1 1 1
XX
...
... ... ... ...
...
...
2 1
2 2 1 2
2
Matriz de varianzas y covarianzas
( ) ( )( ) ( )( )
( )( ) ( ) ( )( )
( )( ) ( )( ) ( )
|
|
|
|
|
|
|
|
.
|

\
|



=



= = =
= = =
= = =
n
i
k ik
n
i
i k ik
n
i
i k ik
n
i
k ik i
n
i
i
n
i
i i
n
i
k ik i
n
i
i i
n
i
i
x x x x x x x x x x
x x x x x x x x x x
x x x x x x x x x x
1
2
1
2 2
1
1 1
1
2 2
1
2
2 2
1
1 1 2 2
1
1 1
1
2 2 1 1
1
2
1 1
...
... ... ... ...
...
...
~ ~
X ' X
XX
V X ' X n =
~ ~
Modelo de ajuste lineal
Matriz de varianzas y covarianzas
( ) ( ) ( )
XY XX XY XX
V V V V Y ' X X ' X B
1 1
1
~ ~ ~ ~

= = = n n
XY XX
V V B
1
=
Modelo de ajuste
Datos centrados
( ) ( )
( )
( ) Y Y 1 X Y
1 X' X X' X 1
Y X' X X' X 1 XB 1 X Y
1
1
= =
=
= =

'
1

tanto lo Por
' '
demostrar puede se como Pero,
'
1
'
1

n
n n