MAGCEA Econometria IN709 - Otoño 2008

Universidad de Chile
Departamento de Ingeniería Industrial
Profesor: Mattia Makovec (mmakovec@dii.uchile.cl)
Auxiliares: Felipe Avilés, Gonzalo Valdés

Clase 12
18/4/08
(Versión preliminar, no difundir)

1. Teoría asintótica: Ley de los Grandes Numeros y Teorema Cen-

tral del Limite
Para comprobar la normalidad asintótica del estimador de mínimos cuadrados ordinarios, se introducen
algunos teoremas estadisticos fondamentales que utlizaremos en la pruebas de los apartados siguientes: la
Ley de los Grandes Numeros (de Kinthcin), y del Teorema Central del Limite en las versiones de Lindberg-
Levy y de Lindberg-Feller. Esos teoremas se formulan en la versión multivariante que es facilmente aplicable
al caso univariante.

1.1. Ley de los Grandes Numeros (Kintchin)

Sea X1 ; X2 :::::XN una sucesión de vectores aleatorios independientes y identicamente distribuidos tal que:

E(Xk ) = 8k = 1; 2::::N
p
entonces la sucesión de medias muestrales X1 ; X2 :::::XN converge en probabilidad a : XN ! o:

plimXN =

Este resultado es muy importante dado que nos permite determinar un estimador consistente de la media
desconocida de una muestra aleatoria sin hacer ningun supuesto sobre la distribución de los vector aleatorios
considerados, utilizando unicamente los supuestos que los Xk sean i.i.d. y tengan identica media .

1.2. Teorema Central del Limite (Lindberg-Levy)

Sea X1 ; X2 :::::XN una sucesión de vectores aleatorios independientes y identicamente distribuidos tal que:

E(Xk ) = 8k = 1; 2::::N
V ar(Xk ) = 8k = 1; 2::::N

entonces la sucesión de medias muestrales X1 ; X2 :::::XN converge en distribución a una distribución normal
multivariante con media y matriz de varianza y covarianza limite :
d
XN ! N ( ; )

La importancia de este resultado es evidente: podemos establecer que la distribución asintótica de la media
muestral de una muestra aleatoria es una distribución normal multivariata con media y varianza respectiva-
mente iguales a la media y a la varianza de cada vector aleatorio de la sucesión, sin necesitar ningun supuesto
sobre la distribución de Xk , utilizando unicamente los supuestos que Xk sean i.i.d. y tengan identicas medias
y varianzas :

1
 1.3. Teorema Central del Limite (Lindberg-Feller)
Esta formulación es diferente respecto a la anterior dado que se relaja el supuesto de igualdad de las var-
ianzas de los vectores aleatorios: sea X1 ; X2 :::::XN una sucesión de vectores aleatorios independientes y
identicamente distribuidos tal que:

E(Xk ) = 8k = 1; 2::::N
V ar(Xk ) = k 8k = 1; 2::::N

Bajo el supuesto adicional:

P
N
k
k=1
lim =
N !1 N
donde es una matriz …nita, la sucesión de medias muestrales X1 ; X2 :::::XN converge en distribución a una
normal multivariante con media y matriz de varianza y covarianza limite :
d
XN ! N ( ; )

2. Normalidad asintótica del estimador de Mínimos cuadrados or-

dinarios
0
Se demuestra que, bajo los supuestos usuales H1-H5 y el supuesto adicional limN !1 XNX = Q, donde
Q es una matriz de…nida positiva, sin añadir nigun supesto adicional sobre la distribución de los errores,
el estimador de mínimos cuadrados ordinarios tiene una distribución asintótica normal. Se considera la
de…nición de ^ M CO :
^ = + (X 0 X) 1 X 0 "
M CO

Multiplicando y dividiendo por N el segundo termino se obtiene:

1
^ X 0X X 0"
M CO = +
N N
1
^ X 0X X 0"
M CO =
N N
p
Ahora multiplicando a la derecha y a la izquierda por N :
p 1 p
X 0X X 0"
N ( ^ M CO )= N
N N

La prueba de la normalidad asintótica de ^ M CO se basa en dos etapas:

p 0
Paso 1: se determina la distribución limite (o asintótica) del termino N ( XN" )
0 1p 0
Paso 2: se determina la distribución limite del termino XNX N XN" que, siendo igual a la distribución
p
de N ( ^ M CO ), nos permite determinar la distribución asintótica de ^ M CO :

Paso 1:
P
N
Se considera el vector aleatorio X 0 " expresandolo como: X 0 " = xi "i (el producto A0 A por cualquiera
i=i
P
N
matriz A se puede escribir como A0 A = ai a0i , siendo ai un vector columna cuyos k elementos son
(N k) i=1 (k 1)
los elementos de una generica …la i de la matriz original A; con i = 1; 2::::N ; igualmente, el producto X 0 X
P
N
se puede escribir como X 0 X = xi x0i donde el vector xi contiene los k regresores de la …la i en la matriz
i=1 (k 1)

2
original X). Se de…ne el vector aleatorio wi = xi "i y se comprueba que wi satisface los supuestos
(k 1) (k 1)(1 1)
del Teorema Central del Limite en la versión de Lindberg-Feller.

wi son i.i.d. dado que los errores "i son i.i.d.

E(wi ) = E(xi "i ) = xi E("i ) = xi 0 = 0 8i:
| {z }
=0

V ar(wi ) = E[(wi E(wi ))(wi E(wi ))0 ] = E [wi wi 0 ] = E[xi "i "0i x0i ] = xi E("i "0i )x0i = 2
xi x0i 8i:
| {z } | {z } | {z }
=0 =0 = 2I

P
N
V ar(wi )
i=1
limN !1 N tiene que ser una matriz …nita:

P
N P
N
2
P
N
V ar(wi ) xi x0i xi x0i
i=1 i=1 2 i=1 2
lim = lim = lim = Q
N !1 N N !1 N N !1 N
P
N
xi x0i
i=1 X 0X
dado el supuesto lim = lim =Q
N !1 N N !1 N

Dado que se cumplen todo los supuestos del Teorema Central del Limite (Lindberg-Feller), se puede
aplicar el teorema al vector aleatorio wi = xi "i y derivar la distribución asintótica de la media muestral
P
N
xi "i
de xi "i = N :
i=1

0 P
N 1
0 1
N
X V ar(xi "i )
p xi "i d B C
N@ E(xi "i )A ! N B
@E(xi "i ); Nlim
i=1 C
A
N | {z } |
!1
{z N }
i=1
=0
= 2Q

N
!
p X xi "i d 2
N ! N (0; Q)
i=1
N
p X 0" d 2
N ! N (0; Q)
N

Paso 2:
0 1p 0
Se determina la distribución asintótica de XNX N XN" utilizando la siguiente propiedad obtenida
como implicación del teorema de la función continua en la clase anterior: dada una sucesión de vectores
d p
aleatorios i.i.d. Z1 ; Z2 ; ::::ZN ; si ZN ! Z s (0; ) y AN ! A, siendo AN una sucesión de matrices aleatorias
d
convergente a la matriz de constantes A; entonces: AN ZN ! AZ s (0; A A0 ): En ese caso, dado que por
0 1 p p 0 d
los supuestos iniciales XNX ! Q 1 y dado que N XN" ! N (0; 2 Q) por el Paso 1, aplicando la
propiedad anterior se obtiene:
1 p
X 0X X 0" d 1 2 1
N ! N (0; Q QQ )
N N
1 p
X 0X X 0" d 2 1
N ! N (0; Q )
N N
1 p p
X 0X X 0" d
N = N ( ^ M CO ) ! N (0; 2
Q 1
)
N N
1
^ d 2Q
M CO !N ;
N

3
 1
X0X 1 1
Se observa que, por el supuesto inicial limN !1 N =Q ; podemos sustituir el termino Q en la
1
X0X
expresión de la varianza limite con N = N (X 0 X) 1
y obtener:

0 1
^ d 2 N (X X)
M CO !N ;
N
^ d 2
M CO !N ; (X 0 X) 1

Conclusión: el estimador de mínimos cuadrados ordinarios tiende asintóticamente a una distribución normal
multivariante con media y matriz de varianza-covarianza asintótica 2 (X 0 X) 1 , la misma distribución a
la cual tendria bajo el supuesto de normalidad de los errores.

3. Consistencia de ^ 2M CO
Se demuestra que el estimador de mínimos cuadrados ordinarios de 2 ; ^ 2M CO = (^"0 ^")=(N k), es un
estimador consistente de 2 ; es decir: plim^ 2M CO = 2 : Re-escribimos ^ 2M CO en forma conveniente:

^"0 ^"
^ 2M CO =
N k
"0 M "
= multiplicando y dividiendo por N
N k
N "0 M "
= sustituyendo la de…nición de M
N k N
N "0 I X(X 0 X) 1 X 0 "
=
N k N
" #
0 1
N "" "0 X X 0X X 0"
=
N k N N N N

Ahora consideramos el producto limite de la expresión anterior:

" #
1
2 N "0 " "0 X X 0X X 0"
p lim ^ M CO = p lim
N k N N N N
" #
1
N "0 " "0 X X 0X X 0"
= p lim p lim p lim p lim p lim
N k N N N N

1
X0X
Resolviendo por cada termino en la expresión se obtiene: p lim NN k = limN !1 N
N k = 1; p lim N =
0
1 X "
Q por los supuestos iniciales; se demuestra que p lim N = 0 utilizando el Teorema de Markov, es decir

4
 X0" X0" X0"
enseñando que N converge en media cuadratica a 0: E N = 0 y limN !1 V ar N = 0:

X 0" 1
lim V ar = lim E[(X 0 " E(X 0 "))(X 0 " E(X 0 "))0 ]
N !1 N N !1 N2 | {z } | {z }
=0 =0
1
= lim E [(X 0 ")(X 0 ")0 ]
N !1 N 2
1
= lim E [(X 0 ""0 X)]
N !1 N 2
1 0
= lim X E(""0 )X
N !1 N 2
2
X 0X
= lim
N !1 N N
2
X 0X
= lim lim =0 Q=0
N !1 N N !1 N
| {z }| {z }
=0 =Q

Entonces se obtiene:
2 3

N 6 "0 " "0 X X 0X

1
X 0" 7
6 7
p lim ^ 2M CO = p lim 6p lim p lim p lim p lim 7
N k4 N N N N 5
| {z } | {z }| {z }
=1 =Q 1 =0

"0 "
p lim ^ 2M CO = p lim
N
0
Se utiliza ahora la Ley de los Grandes Numeros para enesñar que p lim "N" = 2
: El producto "0 " se puede
P
N
P
N "2i
"0 "
expresar como: "0 " = "2i ; entonces N = i=1
N representa la media muestral de las variables aleatorias "2i ,
i=1
iid, tales que E("2i ) = V ar("i ) = 2 8i. Utilizando la Ley de Los Grandes Numeros, podemos determinar
que la media muestral de "2i converge en probabilidad a E("2i ) = 2 :

P
N
"2i
i=1 p
! E("2i ) = 2
N
Con este resultado se completa la prueba:

P
N
"2i
"0 " i=1
p lim ^ 2M CO = p lim = p lim = 2
N N
Conclusión: este resultado nos permite obtener un estimador consistente de la varianza asintótica del
estimador de mínimos cuadrados ordinarios, basada en la estimación de 2 con su estimador consistente
^ 2M CO :
\
V ar( ^ ) = ^2 (X 0 X) 1
M CO M CO

\
V ar( ^ ^
M CO ) es un estimador consistente de la varianza asintótica de M CO y coincide con el estimador de
V ar( ^ M CO ) bajo la hipotesis de normalidad de los errores.

5
4. Test asintóticos
En las secciones anteriores hemos determinado que:
p d
N ( ^ M CO ) ! N (0; 2
Q 1
)

Podemos utilizar la normalidad asintótica de ^ M CO para construir test asintóticos (independientes del
supuesto de normalidad de los errores) sobre un conjunto de q 1 restricciones lineales. Estamos interesados
a realizar tests sobre la usual hipotesis nula bilateral:

H0 : R =r
H1 : R =
6 r
p
Premultiplicando N ( ^ M CO ) por la matriz R de restricciones lineales y utilizando la propiedades de
(q k)
la distribución normal multivariante se determina la distribución de:
p d
N (R ^ M CO R ) ! N (0; 2 RQ 1 R0 )

Bajo H0 , R = r, sustituyendo R = r en la expresión anterior, se obtiene la distribución asintótica del

estimador ^ M CO restringido:
p d
N (R ^ M CO r) ! N (0; 2
RQ 1
R0 ) bajo H0 : R = r
1
X0X 1
Consideramos el supuesto habitual: limN !1 N =Q , premultiplicando por R y postmultiplicando
0
por R la condición es:
1
X 0X
lim R R0 = RQ 1
R0
N !1 N
Por el teorema de Slutsky, dado que plim^ 2M CO = 2
; se obtiene:
1
X 0X
p lim ^ 2M CO R R0 = 2
RQ 1
R0
N

Podemos aplicar entonces la propiedad considerada en la clase anterior, segun la cual dada una sucesión de
d
vectores aleatorios iid Z1 ; Z2 ; ::::ZN ; si ZN ! Z s (0; ) y si ^ 1 es un estimador consistente de ;
(k 1) (k k)
d p X0X
1
entonces ZN0 ^ 1
ZN ! 2
(k) , correspondiendo ahora N (R ^ M CO r) al vector ZN y ^ 2M CO R N R0
^
a la matriz :
" # 1
p 1 p
X 0X d
N (R ^ M CO r)0
^ 2M CO R R 0
N (R ^ M CO r) ! 2
(q)
N
h i 1
1 d
(R ^ M CO r)0 ^ 2M CO R (X 0 X) R0 (R ^ M CO r) ! 2
(q)

h i 1
1
Se observa que el (R ^ M CO r)0 ^ 2M CO R (X 0 X) R0 (R ^ M CO r) =q es la expresión del test estadis-
tico de q 1 restricciones lineales bajo el supuesto de normalidad de los errores; hemos comprobado en las
clases anteriores que ese estadistico tiene una distribución exacta Fq;N k . Por lo tanto:
h i 1
1 d
(R ^ M CO r)0 ^ 2M CO R (X 0 X) R0 (R ^ M CO r) = qFq;N k
! 2
(q)

6
En el caso particular de q = 1; el test estadístico que acabamos de obtener tiene una distribución asintótica
N (0; 1) bajo H0 : R = r :
p d
dado que : N (R ^ M CO r) ! N (0; 2
RQ 1
R0 )
1
X 0X p
y que : ^ 2M CO R R0 ! 2 RQ 1 R0
N
p
N (R ^ M CO r) d
se obtiene : q ! N (0; 1)
0 1
^ 2M CO R XNX R0
p
N (R ^ M CO r) d
p q 2 1 0
! N (0; 1)
0
N ^ M CO R (X X) R
(R ^ M CO r) d
q ! N (0; 1)
1
^ 2M CO R (X 0 X) R0

Conclusión: este resultado implica que, bajo las hipotesis H1-H5 y algunos supuestos adicionales, podemos
realizar tests asintóticos sobre la validez de q 1 restricciones lineales sin hacer ningun supuesto sobre la
distribución de los errores, utilizando como estadistico qFq;N k , siendo Fq;N k el valor del test estadistico
obtenido bajo el supuesto de normalidad de los errores, y confrontando este valor con los valores criticos de
una distribución 2(q) .
Podemos resumir los resultados obtenidos sobre los test de hipotesis con y sin el supuesto de normalidad
de los errores en la tabla siguiente que enseña la distribución de los test estadísticos apropiados bajo diferentes
supuestos:

" s N (0; 2 IN ) Distribución de " no especi…cada

a
test de q 1 restricciones lineales test s Fq;N k test s 2(q)
a
test de q = 1 restricción lineal test s tN k test s N (0; 1)

En un contexto de estimacion asintótica, una pregunta empirica habitual es cual es el tamaño muestral
apropiado para que los resultados teoricos obtenidos cuando N ! 1 sean validos. No existe una respuesta
apropiada a esta pregunta, dado que no es posible disponer de una muestra in…nita; sin embargo, prac-
ticamente se puede establecer que ya una muestra de alrededor 5.000-10.000 observaciones permite a un
investigador defender la a…rmación que, en el caso de una regresión de mínimos cuadrados ordinarios, el es-
timador tenga propiedades asintóticas conocidas y que sea posible utilizar test de signi…catividad asintóticos
sin imponer el supuesto de normalidad de los errores.