Fundamentos de Econometría

Propiedades de muestra finitas

José Mendoza Sánchez

INFOX

Sesión 4
1 Propiedades de muestras finitas para β

2 Propiedades de muestra finita del estimador de σ 2

logoinfox.png

José Mendoza Sánchez (INFOX) Fundamentos de Econometría Sesión 4 2 / 22

Cuando se quiere estudiar las propiedades de los estimadores obtenidos, es
conveniente distinguir entre dos categorías: i) las propiedades de muestras
pequeñas (finitas), que son válidad para cualquier tamaño de muestra; y,
ii) las propiedades asintóticas, qué están asociadas a muestras grandes,
esto es cuando n tiende a ∞

logoinfox.png

José Mendoza Sánchez (INFOX) Fundamentos de Econometría Sesión 4 3 / 22

Propiedades de muestras finitas para β
Para derivar estas propiedades, en base a los supuestos clásicos, el vector
de coeficientes estimados puede ser reescrito de la siguiente manera:

β̂ = (X T X )−1 X T Y = (X T X )−1 X T (X β + ) = β + (X T X )−1 X T 

De acuerdo al concepto de insesgadez, el vector β̂ es el estimador

insesgado del vector β cuando:

E (β̂) = E [β + (X T X )−1 X T u] = β + (X T X )−1 X T E () = β

La propiedad de insesgadez de los estimadores significa que , si tenemos

muchas muestras de una variable aleatoria y se calcula los parámetros
estimados correspondiente para cada muestra, el promedio de estos
estimados se aproxima a un parámetro desconocido.
logoinfox.png

José Mendoza Sánchez (INFOX) Fundamentos de Econometría Sesión 4 4 / 22

Sin embargo, nosotros usualmente tenemos solo una muestra (esto es, una
realización de la variable aleatoria), por lo que no se puede asegurar nada
acerca de la distancia entre β̂ and β. Este hecho nos motiva a emplear el
concepto de la varianza o de la matriz de varianza covarianza si tenemos
un vector de estimadores. Este último concepto mide la distancia
promedio entre el valor estimado obtenido en la única muestra disponible y
su valor esperado.
De este argumento se puede deduciar que, a pesar de que la propiedad de
insesgadez no sea suficiente por sí misma, es el requerimiento mínimo que
un estimador debe satisfacer.

logoinfox.png

José Mendoza Sánchez (INFOX) Fundamentos de Econometría Sesión 4 5 / 22

Para definir la eficiencia de un estimador debemos revisar la derivación de
Var (β̂). La matriz de varianza-covarianza de β̂ sigue la siguiente expresión:

Var (β̂) = E [(β̂ − E (β̂))(β̂ − E (β̂))T ] = E [(β̂ − β)(β̂ − β)T ] =

= E [(X T X )−1 X T T X (X T X )−1 ] = (X T X )−1 X T E (T )X (X T X )−1
= σ 2 (X T X )−1
Siendo los elementos de esta matriz:

Var (β̂j ) = σ 2 ((X T X )−1 )jj

Cov (β̂j , βˆh ) = σ 2 ((X T X )−1 )jh

Esto indica que la matriz es simétrica.

logoinfox.png

José Mendoza Sánchez (INFOX) Fundamentos de Econometría Sesión 4 6 / 22

A partir de Var (β̂) definimos la eficiencia como:

Un estimador es eficiente si es el estimador insesgado con la mínima

varianza. La desigualdad de Cramer Rao da la verificación de la eficiencia,
en tanto establece el límite mínimo para la matriz de varianza-covarianza
de cualquier estimador insesgado. Este límite inferior está dado por los
elementos correspondientes de la diagonal de la inversa de la matriz se
información, In (θ), que está definida por:

In (θ) = −E [H(θ)]
En donde H denota la matriz hessiana, esto es, la matriz de derivadas
parciales de segundo orden de la función log de máxima verosimilitud.

logoinfox.png

José Mendoza Sánchez (INFOX) Fundamentos de Econometría Sesión 4 7 / 22

Para estudiar las propiedades de eficiencia del estimador MCO de β
comenzamos por definir θ = (β T , σ 2 ) y a la matriz hessiana como una
matriz particionada de la siguiente forma:
 
∂2` ∂2` !
∂2` T ∂β∂σ 2  A B
=  ∂β∂β
 
=

2 2
∂θ∂θT  ∂ ` ∂ `  C D
∂σ 2 ∂β T ∂(σ 2 )2
En donde A es una matriz cuadrada, k × k; B y C son vectores k × 1; y, D
es un elemento 1 × 1. Recordemos que la matriz de máxima verosimilitud
puede ser descrita como:

(Y − X β)T (Y − X β)
L(β, σ ∗ 2) = (2πσ 2 )−n/2 exp{− }
2σ 2
Luego, en términos log:

n n (Y − X β)T (Y − X β)
` = lnL(β, σ 2 ) = − ln(2π) − ln(σ2) −
2 2 2σ 2 logoinfox.png

José Mendoza Sánchez (INFOX) Fundamentos de Econometría Sesión 4 8 / 22

Entonces podemos completar la matrix de segundas derivadas derivando
las primeras derivadas:

∂` 1
= − 2 (−2X T Y + 2X T X β)
∂β 2σ

∂` n (Y − X β)T (Y − X β)
= − +
∂σ 2 2σ 2 2(σ 2 )2

logoinfox.png

José Mendoza Sánchez (INFOX) Fundamentos de Econometría Sesión 4 9 / 22

Entonces reescribimos la matriz hessiana como:
 
∂2` ∂2`
∂2` T ∂β∂σ 2 
=  ∂β∂β
 

∂ 2` 2
∂ ` 
∂θ∂θT


∂σ 2 ∂β T ∂(σ 2 )2

XTX (X T Y − X T X β)
 
− 2 −
∂2` 
σ (σ 2 )2

=
 
∂θ∂θT  (X T Y − X T X β) nσ 2 − 2(Y − X β)T (Y − X β) 

−
(σ 2 )2 2σ 6
XTX XT
 

∂2` − 2 − 2 2 
=  σT (σ ) 

∂θ∂θT  X  nσ 2 − 2T  

− 2 2
(σ ) 2σ 6

logoinfox.png

José Mendoza Sánchez (INFOX) Fundamentos de Econometría Sesión 4 10 / 22

Entonces la matriz de información es igual a:
 
XTX
− 2 0 
In (θ) =  σ n 

0

2(σ 2 )2

Y, la inversa:

σ 2 (X T X )−1
 
0
!
I 11 0
[In (θ)]−1 =  2σ4  =
0 0 I 22
n
Siguiendo la desigualdad de Cramer-Rao, I 11 constituye el límite inferior
para la matriz de varianza-covarianza de cualquier vector de estimadores
insesgados del vector de parámetros β, mientras que I 22 corresponde al
límite inferior para cualquier estimador de la varianza σ 2 .
De acuerdo a esto, el vector de estimadores β̂ de los parámetros β
satisface esta condición de eficiencia, dado que su matriz de
varianza-covarianza coincide con I 11 . logoinfox.png

José Mendoza Sánchez (INFOX) Fundamentos de Econometría Sesión 4 11 / 22

Una propiedad que es menos estricta que esta, es la llamada MELI o Mejor
Estimador Lineal Insesgado (también llamado BLUE, Best Linear Unbiased
Estimator, en inglés) que también hace uso de la varianza de los
estimadores.
MELI. Un vector de estimadores es MELI si tiene la varianza mínima en la
familia de estimadores lineales insesgados. Para demostrar esta propiedad,
usamos el teorema de Gauss-Markov. En el marco de regresiones
multivariadas, este teorema provee una expresión general para la matriz de
varianza-covarianza de un vector de estimadores lineales insesgados.
Entonces, la comparasión de esta matriz con la correspondiente matriz de
β̂ nos permite concluir que β̂ es MELI.

Es decir, definiremos un vector de estimadores alternativo y lo

compararemos con el MELI para verificar que el vector MELI siempre
cumple sus propiedades.

logoinfox.png

José Mendoza Sánchez (INFOX) Fundamentos de Econometría Sesión 4 12 / 22

Definimos un vector alternativo de estimadores de β como β̃:

β̃ = C T Y = C T X β + C T 

Siendo C una matriz de elementos constantes:

C T = AT + D T = (X T X )−1 X T + D T

Para asegurar la insesgadez de β̃ asumimos que C T X = Ik . Entonces:

β̃ = β + C T 

De esta última expresión podemos derivar la matriz de varianza -

covarianza de β̃ como:

Var (β̃) = E [(β̃ − E (β̃))(β̃ − E (β̃))T ]

= E [(β̃ − β)(β̃ − β)T ] = E [C T T C ] = σ 2 C T C

logoinfox.png

José Mendoza Sánchez (INFOX) Fundamentos de Econometría Sesión 4 13 / 22

Tomando la composición de C T podemos reexpresar la expresión:

C T C = (AT + D T )(A + D) = (AT A + AT D + D T A + D T D)

La condición de insesgadez de β̃, C T X = Ik permite mostrar que

D T A = AT D = 0:

C T X = Ik = (AT + D T )X = Ik −→ AT X + D T X = Ik

Reemplazando AT obtenemos:

AT X = (X T X )−1 X T X = Ik

Por lo que:
DT X = 0
Podemos usar esta última ecuación para analizar la siguiente expresión:

D T A = D T X (X T X )−1 = 0

De igual manera AT D = 0
logoinfox.png

José Mendoza Sánchez (INFOX) Fundamentos de Econometría Sesión 4 14 / 22

Usemos esto para reescribir la siguiente expresión:

Var (β̃) = σ 2 C T C

Var (β̃) = σ 2 (AT A + AT D + D T A + D T D)

Reemplazando:
Var (β̃) = σ 2 (AT A + D T D)
Además, se puede encontrar que:

AT A = (X T X )−1

Por lo que:
Var (β̃) = σ 2 (X T X )−1 + σ 2 D T D

logoinfox.png

José Mendoza Sánchez (INFOX) Fundamentos de Econometría Sesión 4 15 / 22

Si reemplazamos la varianza del estimador por MCO:

Var (β̂) = σ 2 (X T X )−1

Obtenemos
Var (β̃) = Var (β̂) + σ 2 D T D
o
Var (β̃) − Var (β̂) = σ 2 D T D
Considerando que D T D es una matriz semi definida, se puede deducir que:

Var (β̃j ) >= Var (β̂j ), j = 1, . . . , k

Por lo que se concluye que el estimador MCO de β satisface el teorema de

Gauss-Markov, es decir, β̂ es MELI.
Adicionalmente, podemos definir la distribución de β̂ como:

β̂ ∼ N(β, σ 2 (X T X )−1 )
logoinfox.png

José Mendoza Sánchez (INFOX) Fundamentos de Econometría Sesión 4 16 / 22

Propiedades de muestra finita del estimador de σ 2

Veamos las propiedades de muestra finita del estimador de la varianza.

Para ello, definamos ˆ:

ˆ = Y − X β̂ = Y − X (X T X )−1 X T Y = [In − X (X T X )−1 X T ]Y = MY

Siendo M = In − X (X T X )−1 X T es una matriz cuadrada n no estocástica

simétrica, idempotente y cuyo rango y traza es igual a n − k.
Adicionalmente, M satisface MX = 0
Entonces:
ˆ = MY = M(X β + ) = M
Es decir hay una relación lineal entre ˆ y 

logoinfox.png

José Mendoza Sánchez (INFOX) Fundamentos de Econometría Sesión 4 17 / 22

Con estas propiedades, la suma de residuos cuadrados puede ser reescrita
como una forma cuadrática del vector de perturbaciones:

ˆ> ˆ = > M > M = > M

Dado que cada elemento de  tiene una distribución N(0, σ 2 ) y siendo M

una matriz idempotente, entonces:

> M 2
∼ ξn−k
σ2
Siendo n − k el rango de M.

logoinfox.png

José Mendoza Sánchez (INFOX) Fundamentos de Econometría Sesión 4 18 / 22

A partir de:
ˆT ˆ = Y T MY
Podemos definir el estimador de la varianza como:

Y > MY Y > Y − Y > X (X T X )−1 X > Y Y > Y − β̂ > X > Y

σ̂ 2 = = =
n−k n−k n−k
Dado este estimador definamos algunas de sus propiedades.

logoinfox.png

José Mendoza Sánchez (INFOX) Fundamentos de Econometría Sesión 4 19 / 22

Para ver la insesgadez del estimador partimos de:

ˆT ˆ T M
σˆ2 = =
n−k n−k
Y calculamos:
1
E(σ̂ 2 ) = E(> M)
n−k
Para calcular E(> M) requerimos recordar la distribución chi-cuadrado
que vimos de manera que obtenemos:

> M 1
E( 2
) = 2 E(> M) = n − k
σ σ
Y luego,
E (T M) = σ 2 (n − k)

logoinfox.png

José Mendoza Sánchez (INFOX) Fundamentos de Econometría Sesión 4 20 / 22

Reemplacemos esta última expresión en E (σˆ2 ):

1 1
E (σˆ2 ) = E (T M) = σ 2 (n − k) = σ 2
n−k n−k

Por lo que el estimador de la varianza propuesto, σˆ2 es insesgado. Para

analizar la eficiencia y las propiedades MELI, se debe conocer la varianza
de σ̂ 2 . De la distribución:
> M 2
∼ ξn−k
σ2
Podemos conocer que:

T M
Var ( ) = 2(n − k)
σ2
Esto en base a que la varianza de una variable con distribución
chi-cuadrado es igual a 2 veces los grados de libertad.
logoinfox.png

José Mendoza Sánchez (INFOX) Fundamentos de Econometría Sesión 4 21 / 22

Entonces:
T M 1
 
Var (σˆ2 ) = Var = Var (T M)
n−k (n − k)2

1 4 2σ 4
= 2(n − k)σ =
(n − k)2 n−k
Dado que σˆ2 no es lineal no puede ser MELI. A pesar de esto veamos la
eficiencia. La comparación de la varianza σ̂ 2 con elementos I 22 de la
matriz (In (θ))−1 permite deducir que el estimador no satisface la
desigualdad de Cramer-Rao, dado que I 22 6= var (σ̂ 2 ). Sin embargo, como
muestra Schmidt (1976) , no hay estimadro insesgado de σ 2 con una
varianza menor, por lo que puede decirse que σ̂ 2 es un estimador eficiente.

logoinfox.png

José Mendoza Sánchez (INFOX) Fundamentos de Econometría Sesión 4 22 / 22