MODELO DE REGRESIÓN LINEAL SIMPLE

Modelo de Regresión Lineal Simple

yˆt  ˆ1  ˆ2  xt Residuo : uˆt  yt  yˆt  yt  ˆ1  ˆ2  xt
Expresión: y t  1   2  xt  ut

T T
Suma de los Cuadrados de los Residuos : S   uˆt2 
Sustituyendo:
 S   ( y t  ˆ1  ˆ2  xt )
2

t 1 t 1

Para minimizar la Suma de los Cuadrados de los Residuos

calculamos las derivadas parciales de S respecto a ˆ y ˆ 1 2

S T
 2   ( y t  ˆ1  ˆ2  xt )
ˆ1 t 1

S T
 2   ( y t  ˆ1  ˆ2  xt )  xt
ˆ2 t 1

●Los ESTIMADORES MINIMO-CUADRÁTICOS, se obtienen igualando a cero las derivadas parciales:

T
2   ( y t  ˆ1  ˆ2  xt )  0
t 1
T
2   ( y t  ˆ1  ˆ2  xt )  xt  0
t 1

●El factor ( -2 ) desaparece, ya que pasa al 2º miembro dividiendo.

T
●Separamos en sumatorios y teniendo en cuenta que:  ˆ
t 1
1  T  ˆ1 obtenemos:

► SISTEMA DE ECUACIONES NORMALES EN EL MODELO LINEAL SIMPLE

T T

y
t 1
t  T  ˆ1  ˆ2   xt
t 1
T T T

y
t 1
t  xt  ˆ1   xt  ˆ2   xt2
t 1 t 1

●Resolviendo el sistema de ecuaciones normales obtenemos los ESTIMADORES por MCO :

S xy
ˆ2  ˆ1  y  ˆ2  x
S x2
 Demostración

Dividiendo por T la primera de las ecuaciones normales se obtiene:

T T

y t x t
y  ˆ1  ˆ2  x Siendo: y  t 1
y x t 1

T T
Despejando ˆ1 obtenemos: ˆ1  y  ˆ2  x
Sustituyendo el valor de ˆ en la 2ª ecuación normal obtenemos: 1
T T T T T
T T

y x
t 1
t t  ( y  ˆ2  x )   xt ˆ2   xt2 ;
t 1 t 1
y x
t 1
t t  y   xt ˆ2   xt2  x   xt  (*)
t 1  t 1 t 1 
T T
Por otra parte:  (y
t 1
t  y )( xt  x )   (y t  xt  x  y t  y  xt  x  y ) 
t 1
T T T T T T T
  y t  x t  x   y t  y   x t  T  x  y   y t  x t  y   x t  x  T y  T  x  y   y t  x t  y   x t
t 1 t 1 t 1 t 1 t 1 t 1 t 1
T T

 (x  x )   (x  2  x  x t  x ) 
2 2 2
Por otra parte: t t
t 1 t 1
T T T T T T T

x  2  x   xt  T  x   xt2  2  x   xt  x   xt   xt2  x   xt
2 2
t
t 1 t 1 t 1 t 1 t 1 t 1 t 1

Teniendo en cuenta los resultados obtenidos, (*) puede expresarse en la forma:

T
T 
 (y
t 1
t  y )( xt  x )  ˆ2    ( xt  x ) 2 
 t 1 
Despejando ˆ2 y dividiendo numerador y denominador por T se obtiene:
T

 (y
t 1
t  y )( xt  x )
Sxy
ˆ2  T
T 
Sx2
(x
t 1
t  x )2
T
Por último ˆ1 se obtendrá a partir de la relación:
ˆ1  y  ˆ2  x
► PROPIEDADES DESCRIPTIVAS DE LOS ESTIMADORES MINIMOCUADRÁTICOS

1. Si el modelo tiene término independiente la suma de los residuos minomocuadráticos

T
es igual a cero :  uˆt 1
t  0 (Y si no tiene término indep. la suma puede ser 0, o no )

Demostración:
Dado que: uˆt  y t  yˆ t  y t  ˆ1  ˆ2  xt Con t : 1,2,......T
Sumando para las T observaciones tendremos:
T T T T T

 uˆ   y   yˆ   y
t 1
t
t 1
t
t 1
t
t 1
t  T  ˆ1  ˆ2   xt
t 1
T T
Pero la primera ecuación normal es: y
t 1
t  T  ˆ1  ˆ2   xt
t 1
T T T
De donde se concluye que: y
t 1
t   yˆ t
t 1
Por lo que:  uˆt 1
t 0

2. La recta de regresión pasa por el centro de gravedad : (x , y )

Demostración:
Dividiendo por T ambos miembros de la primera ecuación normal
obtenemos: y  ˆ  ˆ  x 1 2

3. La suma de los productos cruzados entre la variable

T
explicativa y los residuos es igual a cero: x
t 1
t  uˆt  0
T T
Demostración :  uˆ
t 1
t  xt   ( y t  ˆ1  ˆ2  xt )  xt  0
t 1
2ª Ecuación normal

4. La suma de los productos cruzados entre los valores estimados de la variable endógena y los
residuos vale cero.
Demostración:
T T T T

 uˆ
t 1
t  yˆ t   uˆt  ( ˆ1  ˆ2  xt )  ˆ1   uˆt  ˆ2   uˆt  xt  ˆ1  0  ˆ2  0  0
t 1 t 1 t 1
0 0
T T
Ya que:  uˆ
t 1
t  0 (1ª propiedad) y  uˆ
t 1
t  xt  0 (3ª propiedad)
► ECUACIÓN DE VARIACIONES

Dado que: y t  yˆ t  uˆt Restando a ambos miembros y tendremos:

y t  y  yˆ t  y  uˆt Elevando al cuadrado ambos miembros:
2
(y t  y )2  ( yˆ t  y )  uˆt  Es decir: (y t  y )2  ( yˆ t  y )2  uˆt2  2  ( yˆ t  y )  uˆt
Tomando sumatorios en ambos miembros obtenemos:
T T T T

 (y t  y )2   ( yˆt  y )2   uˆt2  2   ( yˆt  y )  uˆt

t 1 t 1 t 1 t 1
T T T T T
Es decir:  (y
t 1
t  y )2   ( yˆ t  y )2   uˆt2  2   yˆ t  uˆt  2  y   uˆt
t 1 t 1 t 1 t 1
0 0
T T T
De donde:  (y
t 1
t  y )2   (yˆ
t 1
t  y )2   uˆ
t 1
2
t

VARIACIÓN TOTAL VARIACIÓN EXPLICADA VARIACIÓN RESIDUAL

Nota: La relación anterior se cumple si el modelo tiene término independiente

y si no lo tiene, dicha relación puede no cumplirse

► ANÁLISIS DE LA VARIANZA

T T T

 (y t  y )2  (yˆt  y )2  uˆ 2
t
t 1
 t 1
 t 1

T T T
VARIANZA TOTAL VARIANZA EXPLICADA VARIACIÓN RESIDUAL
SESGADA SESGADA SESGADA

► MEDIDA DE LA BONDAD DEL AJUSTE: COEFICIENTE DE DETERMINACIÓN

T T

 uˆ 2
t  ( yˆ t  y )2
R2  1 T
t 1
Alternativamente : R 2  t 1
T

 (y
t 1
t  y )2  (y
t 1
t  y )2

El R 2 representa la proporción de la varianza total de la variable endógena que es explicada

por el modelo
Es por tanto una medida de la "bondad del ajuste"
► HIPÓTESIS BÁSICAS QUE SE ESTABLECEN SOBRE LOS ELEMENTOS DEL MODELO

1. Hipótesis sobre la forma funcional

La relación entre el regresando, los regresores y la perturbación aleatoria, debe ser lineal.
Es decir, el modelo debe ser lineal en los parámetros.

2.Hipótesis sobre la perturbación aleatoria

La perturbación aleatoria es una variable aleatoria no observable con las siguientes características

2.1 La esperanza de la perturbación aleatoria en cualquier instante de tiempo vale cero:

E (ut )  0 t : 1,2,....T : Hipótesis de media nula

2.2 Las perturbaciones aleatorias son homocedásticas:

var(ut )  E (ut2 )   u2 t:1,2......T: Hipótesis de homoscedasticidad

2.3 Dos perturbaciones aleatorias correspondientes a distintos instantes de tiempo son independientes:

E (ut  ut  )  0 t  t : Hipótesis de no autocorrelación

2.4 El vector de perturbaciones aleatorias sigue una distribución normal multivariante :

ut  N t : 1,2.....T : Hipótesis de normalidad

3. Hipótesis sobre el regresor

3.1 El regresor x t se considera fijo o constante. No se considera variable aleatoria

3.2 El regresor x t se considera independiente de la perturbación aleatoria
3.3 El regresor x t no contiene errores de observación o medida

4. Hipótesis sobre los parámetros

4.1 Los parámetros 1 y  2 se consideran constantes

► PROPIEDADES PROBABILÍSTICAS DE LOS ESTIMADORES MINIMOCUADRÁTICOS

● Aleatoriedad de los estimadores minimocuadráticos

Los estimadores ˆ1 y ˆ2 son variables aleatorias ya que son función de y t ya que:
T T T T

(x t  x )( y t  y ) (x t  x)  yt (x t  x)  y (x t  x)  yt

ˆ2  t 1
T
 t 1
T
 t 1
T
 t 1
T

(x
t 1
t  x )2 (x
t 1
t  x )2 (xt 1
t  x )2 (x t 1
t  x )2

( xt  x ) T
Denominando T
 ct quedará ˆ2   ct  y t
(x
t 1
t  x )2 t 1

Luego ˆ2 es una combinación lineal de los valores de y t : Propiedad de linealidad

Los coeficientes ct verifican las propiedades:

T T

c t 1
t 0 y c
t 1
t  xt  1

Efectivamente:
T T

T  ( xt  x ) x t T  x
T  x T  x
 ct  t 1
T
 t 1
T
 T
0
t 1
(x
t 1
t  x) 2
(x
t 1
t  x) 2
(x
t 1
t  x) 2

T T

T (x t  x )  xt (x t  x )  ( xt  x )
c t  xt  t 1
T
 t 1
T
1
t 1
 ( xt  x )2
t 1
 ( xt  x )2
t 1

Si expresamos c t en función de las perturbaciones aleatorias tenemos:

T T T T T T T
ˆ2   ct  y t   ct  ( 1   2 xt  ut )  1   ct   2   ct  xt   ct  ut  1  0   2  1   ct  ut   2   ct  ut
t 1 t 1 t 1 t 1 t 1 t 1 t 1
0 1
T

u t T T
ˆ1  y  ˆ2  x  ( 1   2  x  u )  ˆ2  x  1  u  x  ( ˆ2   2 )  1  t 1
 x   ct  ut ; ˆ1 -1  u  x   ct  ut ;
T t 1 t 1
y
● Insesgadez de los estimadores

Una propiedad deseable de un estimador es que sea insesgado, es decir que la esperanza matemática
de dicho estimador sea igual al parámetro que se quiere estimar. Veamos si ˆ y ˆ son insesgados 1 2

T
T  T
E ( ˆ2 )  E (  2   ct  ut )  E (  2 )  E   ct  (ut )   2   E (ct  ut )   2
t 1  t 1  t 1
0

 T
  
  ut T  1 T T 
ˆ
E ( 1 )  E  1  t 1
 x   ct  ut   E ( 1 )    E (ut )  x  E   ct  (ut )  E ( 1 )  1
 T t 1  T t 1  t 1 
  0  0 
Luego ˆ y ˆ son estimadores insesgados de los parámetros  y 
1 2 1 2

● Precisión de los estimadores

Una medida de la "precisión" de un estimador es el inverso de su varianza.

2  x  x
2
 u2  u2  u2
2
var( ˆ2 )  ó var( ˆ2 )  var( ˆ1 )  u  1  2  ó var( ˆ1 )   i

T  Sx2 T  Sx   (x
T
 x )2
 (x
t 1
t  x )2  
T i

● Demostración

El estimador ˆ2 puede expresarse en la forma:

T T
ˆ2   2   ct  ut , de donde: ˆ2   2   ct  ut
t 1 t 1

Elevando al cuadrado ambos miembros y aplicando el operador esperanza obtenemos:

2 2
T  T  T
var( ˆ2 )  E (ˆ2   2 )2   E   ct  ut   E   ct2  ut2   ct ct ut ut     ct2  E (ut2 )   ct ct  E (ut ut  ) 
 t 1   t 1 t t   t 1 t t 
0
T

T (x t  x )2
 u2
 u2   ct2   u2  t 1
2
 T
T 2
t 1
  ( xt  x )   ( xt  x )2
 t 1  t 1

Teniendo en cuenta que la varian za muestral S 2x tiene como expresión

T

(x t  x )2
Sx2  t 1
el resultado obtenido anteriormente puede también expresarse en la forma:
T
 u2
var(ˆ2 ) 
T  Sx2
De la misma forma se obtiene la varianza del estimador ˆ1

 
1 x
2
 2  x2 
var( ˆ1 )  E ( ˆ1  1 )2    u2     u  1  2 
T 2   Sx 
T
T  
  ( xt  x ) 

cov( ,ˆ1 ˆ)2   u2  
x

t 1  ( x i  x) 2


o también: var( ˆ1 ) 

 u2

x 2
i

T (x i  x )2

Puede demostrarse que los estimadores minimo cuadráticos obtenidos son estimadores óptimos
es decir que son los que tienen menor varianza, dentro de la clase de estimadores lineales e
insesgados (Teorema de Gauss-Markov)

Habitualmente se dice que los estimadores minimo cuadráticos son ELIO

(Estimadores Lineales Insesgados Optimos)

► ESTIMADOR INSESGADO DE LA VARIANZA DE LAS PERTURBACIONES

 uˆ 2
t
ˆ u2  t 1
: Varianza residual insesgada
T 2

► VARIANZAS ESTIMADAS DE LOS ESTIMADORES MINIMOCUADRÁTICOS

ˆ u2  x 
2
ˆ u2
ˆ 2
ˆ
 ˆ 2
ˆ
  1  
2
T  Sx2 1
T  Sx2 
 

► DISTRIBUCIÓN DE PROBABILIDAD DE LOS ESTIMADORES MINIMOCUADRÁTICOS

 2 
 u   1  x 
ˆ2 N  1 ,  ˆ N 2 ,  u   1  
T  Sx 
1
 T  Sx2  
    
► PREDICCIÓN

● Intervalo de confianza para el valor medio de predicción de la variable endógena

  ( )


I1E(y   XT 1  ˆ  tT( 22 )  ˆ , XT 1  ˆ  tT 22  ˆ  
 
T+1 )

Predictor puntual Predictor puntual 

Siendo XT 1 : 1,xT 1  

Siendo:
 xT 1 : Valor dado de la variable exógena

 ˆ 
Siendo: ˆ   1  Siendo: XT 1  ˆ  ˆ1  ˆ2  xT 1
 ˆ 
 2 Predictor puntual

1 ( xT 1  x )2  uˆt2
Siendo: ˆ   ˆ u   T Siendo: ˆ u  t 1
T T 2
 ( xt  x )
t 1
2

● Intervalo de confianza para un valor individual de predicción de la variable endógena

 ( ) ( )


I1yT+1   XT 1  ˆ  tT 22  ˆ , XT 1  ˆ  tT 22  ˆ 
 
Predictor puntual Predictor puntual 

Siendo: XT 1 : 1,xT 1  

Siendo:
 xT 1 : Valor dado de la variable exógena

 ˆ 
Siendo: ˆ   1  Siendo: XT 1  ˆ  ˆ1  ˆ2  xT 1
 ˆ 
 2 Predictor puntual

1 (x  x) 2  uˆ 2
t
Siendo ˆ   ˆ u  1   T T 1 Siendo: ˆ u  t 1

T T 2
 ( xt  x )2t 1

El intervalo de confianza para un valor individual, tiene mayor amplitud y consecuentemente menor
precisión que el intervalo de confianza para el valor medio de la variable endógena.
 ANEXO

DEMOSTRACIONES DE LAS VARIANZAS DE LOS ESTIMADORES EN EL MODELO DE REGRESIÓN LINEAL SIMPLE

Modelo: y t  1   2  x t  u t 
Estimación por MCO:
 Modelo estimado: yˆt  ˆ1  ˆ2  x t

ˆ1  y  ˆ2  x (1) ; Tomando sumatorios en el modelo i nicial y dividiendo por n:

 y t   1   2  x t   u t
n n n n
Es decir:
 y  1   2  x  u ; Sustituimos el resultado obtenido en ( 1):
ˆ1  1   2  x  u  ˆ2  x ;

De donde: ˆ1  1   2  x  u  ˆ2  x 

Factor común  x :
 ˆ1  1   x( ˆ2  )2 
; u
   (  x  ˆ   )2 2 ( x ˆ  )  u  u  
2 2 2
var( ˆ)1  E ( ˆ1  )1 2   E ˆ
 (  x  2 )  2  u    E  2 2 2 2 

 x  E ( ˆ2  )2 2 2   x (E  ˆ2 )  2  u   E u   x(  E  )ˆ2   2 2   E u  

2 2 2 2

     
0

 u 2

  t
 2
u 2   x 2  
2

 x  var( ˆ)2  E u   x 
2 2 2
E E  
  n  S x2   n  S x2   n  
 
2 2   u  u  ....  u  2  2 2 u 12  u 22  .....  u n2 
x  E  1 2 n
 x  E  
n  S x2  n   n  S x2  n2 

2 2 1 2 2 1  2 
x    E( u 1)2 ......
 ( E) u 12   x   .....
  2 
n  S x2 n 2  n  S x2 n 2  n veces 
2 2 1 2 2 2 2  x2
x    n   2
 x     1  2 
n  S x2 n 2 n  S x2 n n  Sx 
 

ˆ2 
( x t  (x)  y t )  y(  ) x t  x (  y t () x t  x  )    x t  u t 
1 2

( x t  x) 2
(  x t)  x 2
( ) x t  x 2

 1 
( x t  x)   (  x t)  x  x(t  ) x t  x  u t (  ) x t  x  u t ;
( x t  x) (  x t)  x
2 2 2 2 2 2
( x t  x) (  x t)  x
0 1

De donde:
  ˆ2   2 
( x t  x )  ut ; Ahora llamamos: c  ( x t  x)
2 t 2
( x t  x) (  x t)  x
Y tendremos:ˆ2   2   ct  u t
 
( x  x) 2
 u .....
2
 . ( x n  x) 2
 )u n
2 
var( ˆ2 )  E ( ˆ2  )2 2   E    c t  u t    E  1
2
1 
    ( x  x) 2

2


 
 t 


1 2  2
 2
  2  ( x t  x )  2
 ( x  x )2 
  t 
 ( x t  x)
ANEXO