Propiedades de los estimadores de regresión.

El teorema de Gauss-Markov

Por: Violeta Rodríguez del Villar

Series de Tiempo
IIEc-UNAM
Notas de clase
2022

Los estimadores mínimo cuadráticos tienen varianza dada por los elementos de la diagonal principal de la matriz de
varianzas-covarianzas. Para derivar esta matriz de varianzas-covarianzas, se sustituye la función de regresión
poblacional: Y = Xβ + u, en la solución mínimo cuadrática, dada por la ecuación:
^
β = (X’X)-1X’(Xβ + u)

distribuyendo la multiplicación:
^
β = (X’X)-1X’Xβ + (X’X)-1X’u

como (X’X)-1(X’X) = I, siendo I la matriz identidad, la ecuación anterior se convierte en:

^
β = β + (X’X)-1X’u

Pasando β antes del igual:

^
β − β = (X’X)-1X’u
Por definición, la matriz de varianzas covarianzas es:
^ ^ ^
Var-cov(β) = E[(β - β)’( β - β)]

Sustituyendo el lado derecho de 1.1.12 en el lado derecho de 1.1.13:

^
Var-cov(β) = E{[(X’X)-1X’u]’[(X’X)-1X’u]}

Que puede reordenarse de la siguiente forma:

^
Var-cov(β) = E{[(X’X)-1X’X uu’]’ [(X’X)-1]}

Como (X’X)-1X’X = I, la ecuación anterior se convierte en:

^
Var-cov(β) = E{[Iuu’]’ [(X’X)-1]}

Si las variables explicativas son fijas o no estocásticas; es decir, que sus valores permanecen fijos para todos los
muestreos posibles, el valor esperado de la matriz inversa de la ecuación anterior, es idéntico a su propio valor y, por
consiguiente:
^
Var-cov(β) = E(u’u) (X’X)-1

Además, si se asume homocedasticidad; es decir, que E(u’u) = σ2, la anterior ecuación puede expresarse:
^
Var-cov (β) = σ2(X’X)-1
Donde:

σ2 = Σei2/N-k = Σ{Yi - b0 - b 1X1i - b 2X2i - … - b kXki}2/ (N-k)

que es el estimador de la varianza de la regresión.

Como los elementos de la varianza de la matriz principal son las varianzas de los estimadores de los parámetros, éstos
se utilizan para calcular los estadísticos para realizar pruebas de hipótesis sobre dichos parámetros. Por su parte, los
elementos que no se encuentran en la diagonal principal miden la covarianza entre los diferentes parámetros. Se espera
que en un modelo bien comportado, en el cual las variables explicativas deben ser independientes, los valores de la
matriz de varianzas-covarianzas que no se encuentren en la diagonal principal, sean cercanos a cero.

Los estimadores mínimo-cuadráticos son los Mejores Estimadores Linealmente Insesgados que pueden encontrarse
porque son:

● Lineales
● Insesgados y
● De varianza mínima.

Las primeras dos propiedades los convierten en estimadores consistentes, si además cumplen la tercer propiedad
son eficientes, según el teorema Gasuss-Markov.

a) Linealidad

Esta propiedad se deriva directamente de la solución mínimo cuadrática para los estimadores de los parámetros
poblacionales, dada por:

^
I.1.7. β = (X’X)-1X’Y,

Sea K, la matriz de valores fijos o constantes definida como:

I.2.1. K = (X’X)-1X’

Por consiguiente, I.1.7. puede expresarse:

^
I.2.2. β = KY,
^
expresión que significa que la matriz β es una función lineal de la matriz de datos de la variable dependiente, lo que
implica que es un estimador linealmente relacionado con esa variable.

b) Insesgamiento

Esta propiedad significa que el valor esperado del estimador es idéntico al valor poblacional del mismo. Para demostrar
esta propiedad, se sustituye la Función de Regresión Poblacional, dada por I.1.8:

I.1.8. Y = Xβ + u

En la solución mínimo-cuadrática para β definida por I.1.7:

^
I.1.7. β = (X’X)-1X’Y,

Obteniéndose:
^
I.2.3. β = (X’X)-1X’(Xβ + u),

Reordenando términos:
^
I.2.4. β = (X’X)-1(X’X)β + (X’X)-1X’ u,

Como (X’X)-1(X’X) = I, la ecuación anterior se transforma en:

^
I.2.5. β = Iβ + (X’X)-1X’ u,

como β es una matriz de números fijos, I β = β, lo que implica que la ecuación anterior puede expresarse como:
^
I.2.6. β = β + (X’X)-1X’ u,

Tomando el valor esperado de la expresión anterior:

^
I.2.7. E(β) = E(β) + (X’X)-1X’ E(u),

donde la esperanza de la matriz X es idéntica a su propio valor porque solamente tiene valores fijos. Como β es también

una matriz de números fijos, su valor esperado es idéntico a β y debido al supuesto de que E(u) = 0, la ecuación anterior
se transforma en:
^
I.2.8. E(β) = β
^
con lo cual se demuestra que los estimadores mínimo-cuadráticos, contenidos en la matriz β, son insesgados; es decir,
idénticos a sus verdaderos valores poblacionales. Esta propiedad, sin embargo, depende de que se cumpla el
^
supuesto de que E(u)=0 pues, de lo contrario, el valor esperado de la matriz β está dado por la ecuación I.2.8, que indica
que dicho valor esperado es igual al valor de los parámetros poblacionales más un sesgo dado por el segundo sumando
de la ecuación I.2.7.

c) Varianza mínima

Para probar este resultado, defínase cualquier otro estimador lineal β* de β como:

I.2.9. β* = {(X’X)-1X’ + C}Y,

donde C es una matriz de constantes. Sustituyendo la función de regresión poblacional, dada por:

I.1.8. Y = Xβ + u

Se obtiene:

I.2.10. β* = {(X’X)-1X’ + C}{Xβ + u},

Distribuyendo la multiplicación:

I.2.11. β* = (X’X)-1X’Xβ + CXβ + (X’X)-1X’u + Cu

que puede transformarse en:

I.2.12. β* = β + CXβ + (X’X)-1X’u + Cu

Para que β* sea insesgado; es decir, para que su valor esperado sea idéntico al poblacional, debe cumplirse que CX = 0,
siempre que E(u) = 0. Si ambas condiciones son ciertas, la ecuación anterior se convierte en:

I.2.13. β* = β + (X’X)-1X’u + Cu

pasando β antes del igual:

I.2.14. β* - β = (X’X)-1X’u + Cu

Sustituyendo este resultado en la varianza covarianza de β* que, por definición, está dada por:

I.2.15. Var-Cov(β*) = E{(β* −β)’(β*−β)}

Se obtiene:

I.2.16. E{(β* −β)’(β*−β)} = E{[(X’X)-1X’u + Cu]’[(X’X)-1X’u + Cu]}

Efectuando la multiplicación:

I.2.17. E{(β* −β)(β*−β)'} = E{[(X’X)-1X’u}’{(X’X)-1X’u] + [Cu]’[(X’X)-1X’u] + [(X’X)-1X’u]’[Cu] + [Cu]’[Cu]}

Como X es fija, la ecuación anterior puede expresarse de la siguiente forma:

I.2.18. E{(β* −β)(β*−β)'} = E{[(X’X)-1X’Xuu’]’ (X’X)-1 + u’u(CX)’(X’X)-1 + {u’u(X’X)-1[CX]’}’ + u’uC’C}

Como CX = 0 y (X’X)-1(X’X) = I, la ecuación anterior se transforma en:

I.2.19. E{(β* −β)(β*−β)'} = E{Iu’u(X’X)-1 + u’uCC’}

Como la matriz identidad multiplicada por una constante es igual a la constante y por el supuesto de homocedasticidad,
E(uu’) = σ2, por el supuesto de homocedasticidad, la aplicación de esperanzas en la ecuación anterior resulta en:

I.2.20. E{(β* −β)(β*−β)'} = σ2 (X’X)-1 + σ2CC’

Es decir:
^
I.2.21. E{(β* −β)(β*−β)'} = Var-cov (β) + σ2CC’

Lo cual demuestra que la matriz de varianza-covarianza del estimador lineal insesgado alterno dado por β* es igual a la

matriz de varianza covarianza del estimador mínimo cuadrático, adicionada con σ2CC’, la cual es una matriz positiva

puesto que CC’ es un cuadrado. Por tanto, las varianzas de cualquier elemento de β* deben necesariamente ser iguales
o mayores al elemento correspondiente de la varianza covarianza mínimo-cuadrática, la cual, por esa razón, se convierte
en la única menor varianza posible. Si C es una matriz nula, β* es el estimador mínimo cuadrático, que es el de menor
varianza.
Obsérvese que la propiedad de varianza mínima depende de que se cumpla el supuesto de homocedasticidad; si ello no
es así, no es posible garantizar que la varianza de los estimadores de Mínimos Cuadrados Ordinarios sea la mínima.