Introduccin al MRLMG

INTRODUCCIN AL MRLMG
Autores:

ngel Alejandro Juan Prez (ajuanp@uoc.edu), Renatas Kizys (rkizys@uoc.edu), Luis

Mara Manzanedo Del Hoyo (lmanzanedo@uoc.edu).

ESQUEMA DE CONTENIDOS

___________________________________

Matriz de varianzas y
covarianzas

Hiptesis del MRL

Estimadores MCO

Modelo de Regresin
Lineal General (MRLG)
Mtodo MCG
Estimadores MCG

Hiptesis de normalidad

Estimadores MV
Caso prctico con Minitab

INTRODUCCIN

Caso prctico con Excel

___________________

El modelo de regresin lineal estndar presupone el cumplimiento de una serie de hiptesis

sobre el trmino de error o perturbacin (esfericidad del trmino de perturbacin). Bajo dichas
hiptesis, es posible demostrar que los estimadores obtenidos mediante el mtodo MCO
(mnimos cuadrados ordinarios) tienen una serie de caractersticas deseables en cualquier
estimador.
En este math-block veremos que cuando trabajamos con un modelo de regresin lineal mltiple
generalizado (MRLMG) -en el cual no se presupone la existencia de un trmino de perturbacin
esfrico-, los estimadores obtenidos por MCO dejan de ser eficientes (i.e.: dejan de ser los de
mnima varianza). Esto significa que para obtener buenos estimadores del modelo ser
necesario recurrir a otro mtodo de estimacin, al cual llamaremos de mnimos cuadrados
ponderados o generalizado (MCG).

Proyecto e-Math
Financiado por la Secretara de Estado de Educacin y Universidades (MECD)

Introduccin al MRLMG

OBJETIVOS

________________________

Entender cules son las hiptesis de esfericidad en el trmino de perturbacin y qu ocurre

cuando stas no se verifican.

Aprender el mtodo de estimacin MCG en sus dos versiones.

Introducirse en el uso de Excel para automatizar los clculos matriciales que permiten
obtener los estimadores MCG.

Comprender la importancia de la hiptesis de normalidad del trmino de perturbacin.

Introducirse en el uso de Minitab para comprobar la hiptesis de normalidad usando

mtodos grficos y el contraste de hiptesis de Anderson-Darling.

CONOCIMIENTOS PREVIOS

___________________________________

Aparte de estar iniciado en el uso de la hoja de clculo Excel y del paquete estadstico Minitab,
resulta muy conveniente haber ledo con profundidad los siguientes math-blocks:

Operaciones con matrices en Excel

Regresin Lineal Mltiple

CONCEPTOS FUNDAMENTALES

______________________________

Hiptesis del modelo de regresin lineal mltiple (MRLM)

En un modelo de regresin lineal mltiple (MRLM) se pretende explicar el comportamiento de
una variable dependiente Y a partir de un conjunto de k variables independientes X1, X2, ..., Xk
mediante una relacin de dependencia lineal (haciendo un abuso de notacin,
consideraremos X1 = 1 como la variable que acompaa al trmino independiente):

Y = 1 + 2 X 2 + ... + k X k + u

siendo u el trmino de perturbacin o error

Para determinar el modelo anterior, es necesario hallar (estimar) el valor de los coeficientes
1, 2, ..., k.
As pues, cuando se disponga de n observaciones (cada observacin estar formada por una
tupla con los valores de X2, X3, ..., Xk y el valor de Y asociado), tendremos el siguiente
sistema de n ecuaciones lineales:

Y1 = 1 + 2 X 21 + ... + k X k1 + u1
Y = + X + ... + X + u
2
1
2
22
2
k
k2

...
Yn = 1 + 2 X 2 n + ... + k X kn + u n

Proyecto e-Math
Financiado por la Secretara de Estado de Educacin y Universidades (MECD)

Introduccin al MRLMG
o, en forma matricial: Y = XB + U , donde:

Y1
1 X 21
Y
1 X
2
22

, X =
Y=
...
... ...

1 X 2n
Yn

... X k 1
1
u1

2
... X k 2
2

, B=
,U =
...
...
... ...

... X kn
k
u n

En estas condiciones, las hiptesis del MRLM se resumen en la esfericidad del trmino de
perturbacin, i.e.:

E [u i ] = 0

a) El valor esperado de la perturbacin es cero:

i = 1,..., n

b) Homoscedasticidad: todos los trminos de perturbacin tienen la misma varianza

(varianza constante):

[ ]

Var [u i ] = Var u j = 2

i j

Por tanto, todos los trminos de la diagonal principal de la matriz de varianzas y

covarianzas sern iguales:

Var[U ] =
...

...

...

... ...

... 2

2
...

c) No Autocorrelacin: los errores son independientes unos de otros, i.e.: la matriz de

varianzas y covarianzas es una matriz diagonal (fuera de la diagonal principal todo son
ceros):

1 2

0
Var[U ] =
...

0
2
2
...
0

... 0

... 0
... ...
2
... n

Observar que, bajo las hiptesis de homoscedasticidad y no autocorrelacin, la matriz de

varianzas y covarianzas tendr la forma siguiente:

0
Var [U ] =
...

0
2
...
0

0
= 2 In

...

... 2
...
...
...

(In es la matriz identidad de orden n)

d) El error o perturbacin sigue una distribucin normal, i.e.:

U N 0 n , 2 I n

Proyecto e-Math
Financiado por la Secretara de Estado de Educacin y Universidades (MECD)

Introduccin al MRLMG

Matriz de varianzas y covarianzas en el caso de perturbaciones no esfricas

En el caso de que no se cumpla la hiptesis de esfericidad en el trmino de error, la matriz de
varianzas y covarianzas no podr expresarse como una matriz en la que todos sus elementos
de la diagonal principal son iguales (homoscedasticidad) y el resto son ceros (no
autocorrelacin). As, dicha matriz tomar diversas formas segn sea la hiptesis que se
incumpla:

Heteroscedasticidad: si la varianza de los trminos de perturbacin deja de ser

constante, encontraremos valores diferentes a lo largo de la diagonal principal:

1 2

0
Var [U ] =
...

0
2
2
...
0

1 2
... 0

... 0
2 0
=
...
... ...

2
... n
0

0
2

2
...
0

... 0

... 0
= 2 n
... ...
2
... n

(donde es un factor de escala y, por tanto, la matriz no es nica).

Autocorrelacin: si hay autocorrelacin entre los trminos de perturbacin, existirn

valores no nulos fuera de la diagonal principal:

2 12

2
Var [U ] = 21
...
...

n1 n 2

... 1n
1 12

1
... 2 n
2 21
=
... ...
... ...

... 2
n1 n 2

... 1n
... 2 n
= 2 n
... ...

... 1

(donde es un factor de escala y, por tanto, la matriz no es nica).

Heteroscedasticidad y Autocorrelacin: en el caso ms general (i.e.: cuando haya

problemas de heteroscedasticidad y de autocorrelacin), la matriz de varianzas y
covarianzas tendr elementos no nulos fuera de la diagonal principal (autocorrelacin) y,
adems, presentar valores distintos en la diagonal principal (heteroscedasticidad).

Estimadores MCO en un modelo con perturbaciones esfricas

El estimador del vector de coeficientes B que se obtiene por el mtodo MCO es [7]:
1
B = (X X ) X Y

cuya varianza viene dada por:

[]

1
Var B = 2 (X X )

Adems, el estimador MCO de la varianza del trmino de perturbacin es:

Proyecto e-Math
Financiado por la Secretara de Estado de Educacin y Universidades (MECD)

Introduccin al MRLMG

u2 =

e e
nk

donde e = Y Y = Y X B es el vector de los residuos (i.e.: la diferencia entre el vector de

valores observados y el de valores estimados), n es el nmero de observaciones y k es el
nmero de elementos del vector B.
Bajo la hiptesis de perturbaciones esfricas, sabemos que el estimador MCO del vector B
cumple una serie de propiedades que le convierten en un excelente estimador: es insesgado
(el valor esperado del estimador coincide con el valor real del parmetro), eficiente (de
varianza mnima), y consistente [4].
Adems, bajo la hiptesis de esfericidad, el estimador MCO de la varianza del trmino de
error,

u2 , es tambin insesgado.

Estimadores MCO en un modelo con perturbaciones no esfricas

Si no se cumple la hiptesis de perturbacin esfrica (i.e., si aparecen problemas de
heteroscedasticidad, autocorrelacin, etc.), el estimador MCO de B sigue siendo insesgado y
consistente, pero ahora ya no es eficiente (es decir, ya no ser el de mnima varianza, por lo
que si usamos el estimador MCO en lugar del eficiente para hallar intervalos de confianza
estaremos perdiendo precisin ya que obtendremos intervalos ms grandes de los que
obtendramos con el estimador eficiente). Adems, ahora el estimador de la varianza del
trmino de perturbacin,

u2 , ser sesgado [1].

As pues, podemos concluir que: en el caso de perturbaciones no esfricas (MRLMG), el

mtodo MCO no nos proporciona buenos estimadores, por lo que ser necesario recurrir a un
nuevo mtodo de estimacin, el de mnimos cuadrados generalizado (MCG), tambin
conocido como el de mnimos cuadrados ponderados (MCP).

Mtodo de Mnimos Cuadrados Generalizado y estimadores MCG

A continuacin presentamos dos versiones alternativas del mtodo de mnimos cuadrados
ponderados o MCG:

Estimacin MCG directa: a partir del modelo inicial Y = XB + U , es posible obtener los
estimadores MCG utilizando las siguientes expresiones [1]:

B MCG = X 1 X
2
MCG
=

) (X
1

e' 1 e
nk

donde es la matriz de varianzas y covarianzas (salvo factor de escala), y

e = Y Y = Y XB es el vector de los residuos.

Proyecto e-Math
Financiado por la Secretara de Estado de Educacin y Universidades (MECD)

Introduccin al MRLMG

Estimacin MCG indirecta: otra forma alternativa de obtener los estimadores MCG
consiste en realizar los siguientes dos pasos:
1.

Aplicar una matriz de transformacin T al modelo inicial Y = XB + U de forma que

pase a ser un modelo Y* = X*B + U* (donde Y* = TX, X* = TX, U* = TU) con
trmino de perturbacin U* esfrico, y

2.

Estimar por MCO el vector B del nuevo modelo.

-1

-1

La matriz de transformacin T es aquella que cumple T = P , siendo = PP (en los

math-blocks sobre Heteroscedasticidad y Autocorrelacin se explica cmo calcular en
cada caso la matriz de transformacin).
El estimador MCG de B es nico, independientemente de que se haya obtenido mediante la
variante directa o la indirecta del mtodo. El estimador B MCG es insesgado, consistente y
eficiente (lo cual lo convierte en un excelente estimador). Por su parte, el estimador MCG de
la varianza del error,

2
MCG
, es insesgado [1].

Estimador de mxima verosimilitud (MV) en el MRLMG

Bajo el supuesto fundamental de que los trminos de perturbacin del modelo siguen una
distribucin normal, es posible demostrar [4] que los estimadores MV vienen dados por:

B MV = X 1 X

) (X
1

Y = B MCG

(y, por tanto, el estimador MV de B ser tambin insesgado, consistente y eficiente)

2
MV
=

e' 1 e
n

(que es sesgado aunque asintticamente insesgado, i.e.:

[ ]

2
E MV
n
u2 ).

Hiptesis de normalidad del trmino de perturbacin

Como se ha comentado en el apartado anterior, la hiptesis de normalidad del trmino de
perturbacin es fundamental para poder calcular los estimadores MV. Adems, y lo que
todava es ms importante, esta hiptesis es necesaria para poder realizar inferencia
(contrastes de hiptesis e intervalos de confianza) sobre los estimadores MCO, MCG o MV-,
puesto que los estimadores slo se distribuirn de forma normal cuando las perturbaciones
as lo hagan.
Minitab puede resultar de gran ayuda a la hora de contrastar las diferentes hiptesis que
componen el supuesto de perturbaciones esfricas. En otros math-blocks se analizarn las
posibilidades de Minitab para contrastar las hiptesis de Homoscedasticidad y No
Autocorrelacin. En los casos prcticos de este documento nos limitaremos a analizar el
cumplimiento de la hiptesis de normalidad en el trmino de error. Para ello, usaremos las
capacidades grficas del programa junto con el contraste de normalidad de Anderson-Darling.

Proyecto e-Math
Financiado por la Secretara de Estado de Educacin y Universidades (MECD)

Introduccin al MRLMG

CASOS PRCTICOS CON SOFTWARE___________________________________



Uso de Excel para hallar el estimador MCG

Ejemplo de estimacin MCG directa: supongamos que partimos de un modelo de
regresin lineal simple Y = XB + U donde el trmino de perturbacin U no es esfrico.
Deseamos hallar el estimador MCG del vector de coeficientes B. Para ello disponemos de
tres observaciones, cada una de las cuales est compuesta por el valor de la variable
explicativa X2 y el correspondiente valor de la variable dependiente Y (recordamos que,
siguiendo la notacin matricial que hemos introducido al principio de este math-block,
tendremos una variable explicativa X1 cuyas observaciones son siempre unos, y que estar
asociada al primero de los dos coeficientes beta del modelo).
Supongamos que conocemos tambin la matriz Omega (matriz de varianzas y covarianzas
salvo factor de escala):

A fin de simplificar posteriores operaciones, lo primero que haremos ser seleccionar el rango
que ocupa cada una de las tres matrices (Y, X, y Omega) y asignarle un nombre a cada rango
mediante la opcin Insertar > Nombre > Definir:

Proyecto e-Math
Financiado por la Secretara de Estado de Educacin y Universidades (MECD)

Introduccin al MRLMG

A continuacin, calcularemos la matriz transpuesta de X (TraX) y la matriz inversa de Omega

(InvOmega). Es importante recordar que para validar frmulas matriciales con Excel es
necesario usar la combinacin de teclas [Fn]+[Shift]+[Enter] (ver math-block sobre
operaciones con matrices en Excel):

Ahora simplemente nos queda ya seleccionar un rango vertical que est vaci (y que
contenga tantas celdas como elementos tenga el vector B), e introducir la siguiente frmula
(los nombres de las matrices pueden ser distintos segn hayan sido definidos anteriormente
por cada usuario):

El resultado que se obtiene se muestra a continuacin. Observar que los estimadores MCG
del modelo son b1 = 19,643 y b2 = 1,357:

En la imagen anterior se muestran tambin los estimadores MCO del modelo (b1 = 14,808 y
b2 = 1,808). Es interesante apreciar la diferencia entre los estimadores MCG y los MCO. La
frmula matricial utilizada para obtener los estimadores MCO se muestra a continuacin:

Proyecto e-Math
Financiado por la Secretara de Estado de Educacin y Universidades (MECD)

Introduccin al MRLMG

Ejemplo de estimacin MCG indirecta: usaremos ahora el mismo modelo anterior para
aplicar el mtodo MCG en dos pasos.
Para ello, supondremos conocida la matriz de transformacin T. Los pasos a realizar son
similares a los anteriores (seleccionar el rango de cada matriz y asignarle un nombre,
calcular los productos matriciales T*X y T*Y, calcular la matriz transpuesta de T*X y,
finalmente, usar las frmulas matriciales que se muestran en las siguientes imgenes):

Es interesante observar varias cosas:

(1) el valor obtenido para los estimadores MCG usando el mtodo indirecto coincide con el
que habamos obtenido mediante el mtodo directo (tal y como habamos comentado
anteriormente en el math-block), y
(2) estos valores se obtienen al aplicar MCO al modelo transformado (el cual ya verifica la
hiptesis de esfericidad).

Proyecto e-Math
Financiado por la Secretara de Estado de Educacin y Universidades (MECD)

Introduccin al MRLMG

Comprobacin del supuesto de normalidad con Minitab

Como hemos comentado anteriormente, Minitab nos puede ser de gran ayuda a la hora de
comprobar los supuestos del MRLM. A continuacin veremos un ejemplo en el cual se hace
uso del programa Minitab para comprobar -grficamente y tambin mediante un contraste de
hiptesis- la validez del supuesto.
Ejemplo: En la imagen siguiente se muestran datos referentes a cada uno de los 10
empleados de una empresa:

La interpretacin de cada variable es la siguiente:

COLUMNA

VARIABLE

DESCRIPCIN

C1

SALARIO

salario anual del trabajador, en euros

C2

EMPRESA

aos que lleva el empleado en la

empresa

C3

EXPERIENCIA

aos de experiencia previa en otras

empresas

C4

EDUCACIN

aos de estudios

C5

ID

cdigo del empleado

C6

SEXO

0 = hombre, 1 = mujer

Construiremos ahora un modelo de regresin lineal mltiple que nos permita explicar el
comportamiento de la variable SALARIO a partir de tres variables explicativas: EMPRESA,
EXPERIENCIA y EDUCACIN.
A fin de comprobar si se cumple el supuesto de normalidad, guardaremos en distintas
columnas los residuos, los residuos estandarizados y los valores estimados:

Proyecto e-Math
Financiado por la Secretara de Estado de Educacin y Universidades (MECD)

10

Introduccin al MRLMG

Stat > Regression > Regression

Regression Analysis
The regression equation is
SALARIO = 24042 + 421 EMPRESA + 387 EXPERIENCIA + 460 EDUCACIN
Predictor
Constant
EMPRESA
EXPERIEN
EDUCACI

Coef
24042
421,2
386,9
459,6

StDev
2156
178,5
243,8
450,6

S = 3050

R-Sq = 81,8%

T
11,15
2,36
1,59
1,02

P
0,000
0,056
0,164
0,347

R-Sq(adj) = 72,6%

Analysis of Variance
Source
Regression
Residual Error
Total

DF
3
6
9

Source
EMPRESA
EXPERIEN
EDUCACI

Seq SS
217533278
22940248
9681616

DF
1
1
1

SS
250155142
55829435
305984577

MS
83385047
9304906

F
8,96

P
0,012

Observar que Minitab ha guardado en tres columnas los valores estimados para la variable
SALARIO, los residuos (RESI1) y los residuos estandarizados (SRES1):
Proyecto e-Math
Financiado por la Secretara de Estado de Educacin y Universidades (MECD)

11

Introduccin al MRLMG

A fin de verificar los supuestos del modelo, podemos usar los residuos o los residuos
estandarizados. Algunos analistas prefieren usar los residuos (que, cuando se cumple la
primera de las hiptesis de esfericidad, tienen una media de 0), mientras que otros prefieren
usar los residuos estandarizados (en los que la mayora de los valores estn comprendidos
entre 3 y 3). En este ejemplo usaremos los estandarizados.
Comprobemos el supuesto de normalidad:

Stat > Basic Statistics > Normality Test

Normal Probability Plot

,999
,99

Probability

,95
,80
,50
,20
,05
,01
,001
-1

SRES1
Av erage: 0,0003251
StDev : 1,01488
N: 10

Anderson-Darling Normality Test

A-Squared: 0,372
P-Value: 0,347

Proyecto e-Math
Financiado por la Secretara de Estado de Educacin y Universidades (MECD)

12

Introduccin al MRLMG
En el grfico se aprecia que la nube de puntos se ajusta bastante a la recta, lo cual nos hace
pensar que el supuesto de normalidad s se verifica. El output anterior tambin nos ofrece el
test de normalidad de Anderson-Darling. En este caso, el p-valor de dicho contraste es de
0,372, por lo que no rechazaremos la hiptesis nula de que los residuos se distribuyen de
forma normal. As pues, no hay indicios que nos hagan dudar del cumplimiento de la hiptesis
de normalidad en el trmino de error.

Proyecto e-Math
Financiado por la Secretara de Estado de Educacin y Universidades (MECD)

13

Introduccin al MRLMG

BIBLIOGRAFA

______________________________________________

[1]

Arts, M.; Suriach, J.; et al (2002): Econometra. Ed. Fundaci per a la Universitat Oberta de
Catalunya. Barcelona.

[2]

Carter, R.; Griffiths, W.; Judge, G. (2000): Using Excel for Undergraduate Econometrics.
ISBN: 0-471-41237-6

[3]

Doran, H. (1989): Applied Regression Analysis in Econometrics. Ed. Marcel Dekker, Inc.
ISBN: 0-8247-8049-3

[4]

Gujarati, D. (1997): Econometra bsica. McGraw-Hill. ISBN 958-600-585-2

[5]

Johnston, J. (2001): Mtodos de econometra. Ed. Vicens Vives. Barcelona.

ISBN 84-316-6116-X

[6]

Kennedy, P. (1998): A Guide to Econometrics. Ed. MIT Press. ISBN: 0262611406

[7]

Novales, A. (1993): Econometra. McGraw-Hill. ISBN 84-481-0128-6

[8]

Pulido, A. (2001): Modelos economtricos. Ed. Pirmide. Madrid. ISBN 84-368-1534-3

[9]

Uriel, E. (1990): Econometra: el modelo lineal. Ed. AC. Madrid. ISBN 84-7288-150-4

[10]

Wooldridge, J. (2001): Introduccin a la Econometra: un enfoque moderno. Ed. Thomson

Learning. ISBN: 970-686-054-1

ENLACES

___________________________________

http://www.feweb.vu.nl/econometriclinks/index.html
The Econometrics Journal On-Line

http://www.elsevier.com/hes/books/02/menu02.htm
Libro on-line: Handbook of Econometrics Vols. 1-5

http://elsa.berkeley.edu/users/mcfadden/discrete.html
Libro on-line: Structural Analysis of Discrete Data and Econometric Applications

http://www.oswego.edu/~kane/econometrics/stud_resources.htm
Online Resources for Econometric Students

http://www.econ.uiuc.edu/~morillo/links.html
Econometric Sources: a collection of links in econometrics and computing. University of Illinois

http://www.econometrics.net/
Econometrics, Statistics, Mathematics, and Forecasting

http://ideas.uqam.ca/EDIRC/ectrix.html
Economics Departments, Institutes and Research Centers in the World: Econometrics,
Mathematical Economics

Proyecto e-Math
Financiado por la Secretara de Estado de Educacin y Universidades (MECD)

14