Tema 3: Estimación de los parámetros (β)

REGRESIÓN POBLACIONAL Y REGRESIÓN MUESTRAL

Para el total poblacional la variable endógena Y sigue una distribución general del tipo Yi=β0+ β1*Xi+Ui,y donde β0 y β1 son los
verdaderos parámetros de la regresión poblacional y cada una de las Ui siguen una determinada distribución.
Cuando tomamos una muestra, en general, únicamente dispondremos de una observación para cada valor de la variable explicativa
Xi por lo que sólo dispondremos de una observación de la distribución de cada Ui.

Por este motivo es necesario que, para poder obtener unos estimadores adecuados de los parámetros poblacionales, asumamos
una serie de hipótesis básicas sobre el comportamiento de las diferentes perturbaciones aleatorias, de forma tal que podamos
realizar algún tipo de inferencia estadística sobre los parámetros muestrales.
Estas características podemos resumirlas en una distribución conjunta de media nula y matriz de varianzas y covarianzas escalar:

ESTIMACIÓN POR MÍNIMOS CUADRADOS ORDINARIOS

En una primera aproximación podemos calcular unos coeficientes muestrales (parámetros estimados) i de tal forma que
minimicen los efectos de perturbación aleatoria para el conjunto de observaciones muestrales.
Ahora bien, teniendo en cuenta que estos efectos pueden ser positivos o negativos, y para evitar que se compensen unos con
otros, plantearemos la determinación de los valores de dichos parámetros de tal forma que se haga mínima la suma de los valores
al cuadrado de dichas perturbaciones, es decir, obtendremos una combinación de valores βi que minimicen el cuadrado de los
residuos, combinación que conocemos como ESTIMADOR DE MÍNIMOS CUADRADOS ORDINARIOS.

Y1 = 0+ X1,1*1+X2,1*2+…+Xk,1*k+u1
Y2 = 0+ X1,2*1+X2,2*2+…+Xk,2*k+u2
Y3 = 0+ X1,3*1+X2,3*2+…+Xk,3*k+u3
Y4 = 0+ X1,4*1+X2,4*2+…+Xk,4*k+u4
…………………………………………….…
Yn = 0+X1,n*1+X2,n*2+…+Xk,n*k+un

En términos matriciales el modelo quedaría especificado como: Y(Nx1) = X(NxK)* (Kx1)+U(Nx1)

é Y1 ù é1 X 1,1 X 2,1 X 3,1 ù é u1 ù

ê Y ú ê1 X ú éb0 ù ê ú
X 2, 2 X 3, 2 ú ê ú u 2
ê 2 ú ê 1, 2 b ê ú
ê Y3 ú ê1 X 1,3 X 2,3 X 3, 3 ú ê 1 ú ê u 3 ú
ê ú=ê ú * êb ú + ê ú
ê Y4 ú ê1 X 1, 4 X 2, 4 X 3, 4 ú ê 2 ú ê u 4 ú
ê ú ê ú ê ú ê ú
ê ú ê ú êb ú ê ú
êëYN úû êë1 X 1, N X 2, N X 3, N úû ë k û êëu N úû
(Nx1) (NxK) (Kx1) (Nx1)
U = Y - Xb
La suma de las perturbaciones al cuadrado vendría definida por una expresión del tipo :
Operando sobre la expresión [2].
Dado que ’X’Y es un escalar:
U 'U = Y ¢Y - 2Y ¢Xb + b ¢X ¢Xb
Para minimizar la suma cuadrática de perturbaciones respecto a , igualaremos a 0 la derivada de la expresión anterior respecto a
los coeficientes .
¶(U 'U ) ¶(Y ¢Y - 2Y ¢Xb + b ¢X ¢Xb )
= = -2 X ¢Y + 2 X ¢Xb
¶b ¶b
Igualando a 0 la derivada obtendremos:
- 2 X ¢Y + 2 X ¢Xbˆ = 0 Þ - X ¢Y + X ¢Xbˆ = 0 Þ X ¢Xbˆ = X ¢Y
Pre-multiplicando por (X’X)-1:
( X ¢X )-1 ( X ' X )bˆ = ( X ¢X )-1 X ¢Y
Obteniéndose finalmente la expresión del ESTIMADOR DE MINIMOS CUADRADOS ORDINARIOS de los coeficientes del modelo
b̂ = ( X ¢X )-1 X ¢Y

ESTIMACIÓN POR MÁXIMA VEROSIMILITUD

Alternativamente podemos calcular el valor de los parámetros muestrales i tales que se maximice la probabilidad de cada una de
las perturbaciones aleatorias teniendo en cuenta su función de distribución conjunta.
Así, cada una de las perturbaciones aleatorias ui tendría una función de densidad individual del tipo:

La expresión a minimizar es similar a la obtenida en el caso del Estimador de Mínimos Cuadrados Ordinarios (MCO), por lo que el
Estimador Máximo Verosímil (MV) será igual al de MCO bajo las hipótesis del Modelo Básico de Regresión Lineal

bˆ MV = bˆ MCO = ( X ¢X )-1 X ¢Y

CONCEPTO DE RESIDUO Y VALOR ESTIMADO

Una vez estimados los parámetros muestrales, podemos obtener una muestra de las perturbaciones aleatorias obtenidas como
residuo o error ei del modelo estimado.
uˆ = e = Y - Xb̂
 uˆ1 = e1 = Y1 - bˆ0 - bˆ1 * X 1,1 - .... - bˆ k * X k ,1
uˆ2 = e2 = Y2 - bˆ0 - bˆ1 * X 1, 2 - .... - bˆ k * X k , 2
uˆ = e = Y - bˆ - bˆ * X - .... - bˆ * X
3 3 3 0 1 1, 3 k k ,3

uˆn = en = Yn - bˆ0 - bˆ1 * X 1,n - .... - bˆ k * X k ,n