Universidade

de Vigo

Estimacin por mnimos cuadrados

generalizados
Modelo de regresin lineal Generalizado:
Generalizacin del modelo de regresin lineal
clsico
Introduccin a los estimadores MCG Universidade
de Vigo

Dados los fallos que ocurren en las propiedades de los

estimadores MCO, surge la conveniencia de buscar
estimadores alternativos que verifiquen mejores
propiedades que los de MCO.
Este es el caso de los estimadores de Mnimos cuadrados
generalizados (MCG).
Para construirlos basta observar una propiedad del nuevo
modelo, que depende de la descomposicin de la matriz de
varianzas de las perturbaciones.
Descomposicin de la matriz de
varianzas de las perturbaciones Universidade
de Vigo

La matriz de varianzas-covarianzas de las perturbaciones

viene dada por
S=s2W
Como W es definida positiva se puede descomponer
como potencia de una matriz simtrica invertible P tal
que
PP=P2=W
 Transformacin del modelo de
regresin lineal generalizado Universidade
de Vigo

Consideremos la inversa de esa matriz P, denotada por P-1.

Entonces premultiplicando las ecuaciones del modelo de regresin
generalizado obtenemos que

P -1 y = P -1 X + P -1
Cambiando los nombres de las variables, el modelo quedar de la siguiente
forma

y = X +
* * *

Por tanto, de nuevo tenemos un modelo de regresin lineal donde cambian

las variables pero no los parmetros de la regresin.
Falta ver si cambia la ley de distribucin de las nuevas perturbaciones.
La ley de distribucin de las nuevas
perturbaciones Universidade
de Vigo

Es Normal por ser una transformacin lineal de una

normal.
Su esperanza es nula pues
E(u*)=P-1 E(u)=0
Su varianza vendr dada por
Var(u*)=P-1 Var(u) P-1 = P-1s2W P-1=
=s2P-1W P-1 = s2I
Por consiguiente, las nuevas perturbaciones son esfricas,
lo que significa que el nuevo modelo transformad es un
modelo de regresin lineal normal donde las variables son
diferentes de las originales.
Consecuencias Universidade
de Vigo

El modelo de regresin lineal generalizado se obtiene a

partir del modelo de regresin lineal clsico
transformando las variables por una matriz simtrica
invertible.
Por lo tanto todas las propiedades el MRLC se
verificarn una vez transformado el modelo de partida.
Los estimadores de MCG se obtendrn como los
estimadores MCO en ese modelo transformado.
Las propiedades de los estimadores MCG sern las que
tenan los estimadores MCO en el MRLN
Estimadores MCG en el modelo
transformado Universidade
de Vigo

Consideremos el modelo
y = X +
* * *

Donde las perturbaciones siguen leyes normales esfricas.

El estimador MCO de en ese modelo ser
bMCG=(X*X*)-1X*y*
Que puesto en funcin de las variables del modelo original ser:

bMCG=(XP-1 P-1X)-1 XP-1 P-1y=(XW-1X)-1 XW-1y

Estimadores de MCG en el MRLG Universidade
de Vigo

Generalizando la transformacin al espacio residual se puede

definir el estimador de la siguiente forma:
Encontrar el mnimo en de SCEG() siendo
SCEG() = u'W-1u = (Y-X)'W-1(Y-X)
Partiendo de ese modelo se obtendran las Ecuaciones normales
generalizadas
(X'W-1X) = X'W-1Y
Y, como consecuencia los estimadores
bMCG = (X'W-1X)-1 X'W-1Y
que coinciden con los obtenidos previamente.
Estimadores MV en el MRLG Universidade
de Vigo

La funcin de verosimilitud ahora ser:

F(y1,,yT/X)= (2p)-T/2|S|-1exp[-(yt-Xt)S-1(yt-Xt)/2]
Se demuestra que al maximizar esta funcin en y S los
estimadores son independientes y por consiguiente se puede
maximizar en y luego en S, por consiguiente maximizar en b
coincide con maximizar el exponente o lo que es lo mismo
minimizar el termino del parntesis que coincide con
minimizar el exponente en lo que equivale a obtener el
estimador de MCG, por lo tanto los estimadores de MV y
MCG coinciden para el parmetro .
Estimadores de MCG de la varianza Universidade
de Vigo

Para estimar la parte comn de la matriz de varianzas

covarianzas de las perturbaciones, se hara directamente
partiendo del modelo transformado, pero teniendo en cuenta
que los residuos obtenidos ahora no coinciden con los MCO

e*' e * u' P -1 P -1u u'W-1u

2
SRMCG = = =
T - k -1 T - k -1 T - k -1
Siendo los residuos ahora calculados como
u=y-XbMCG
Propiedades de los estimadores Universidade
de Vigo

Dado que son una generalizacin de los estimadores

MCO, sus propiedades van a generalizar estas.
Para facilitar su exposicin las dividiremos en tres
bloques:
Propiedades geomtricas de los estimadores de los
coeficientes de regresin que se derivan directamente de
las de MCO en el modelo transformado.
Propiedades de las varianzas.
Propiedades derivadas de la normalidad.
Propiedades geomtricas Universidade
de Vigo

1. El estimador de mnimos cuadrados generalizados es el mejor

estimador lineal insesgado (ELIO). Esto nos va a permitir afirmar que
los estimadores MCO no van a ser ELIO con seguridad en el MRLG.
2. Los valores estimados vienen dados por H1Y, siendo H1 la nueva matriz
de proyeccin.
3. Por tanto los valores estimados de la Y son una combinacin lineal de
las propias observaciones de la variable dependiente. Esto coincide con
MCO, pero ahora la matriz H es diferente.
4. Los residuos se definen como valor observado menos estimado y
vienen dados en forma matricial por M1Y, siendo M1 la nueva matriz
de proyeccin sobre el espacio residual.
5. Tanto H1 como M1 son matrices idempotentes y su producto es nulo.
Sin embargo no son simtricas como ocurra en el caso del MRLC.
Demostracin de las propiedades
geomtricas Universidade
de Vigo

Todas ellas se van a derivar de las propiedades de los estimadores

MCO en el modelo transformado.
Sus propiedades se deducen del teorema de Aitken que es la
generalizacin del teorema de Gauss-Markov al caso del MRLG.
En l se demuestra que los estimadores MCG son ELIO, lo que
implica que los estimadores de MCO dejan de ser los mejores,
puesto que su varianza no coincide con la de los estimadores
MCG.
Por consiguiente remitiremos a l en todos los clculos y despus
se deshar la transformacin.
 Demostracin del Teorema de Aitken Universidade
de Vigo

El estimador MCG se puede escribir en el modelo

transformado como
bMCG=+(X*X*)-1X*u*
De ah se deriva directamente que es insesgado y lineal pues la
transformacin P-1 es lineal.
Todos los estimadores lineales e insesgados en el MRLG son
tambin lineales e insesgados en el modelo transformado.
Esto se comprueba de modo similar a como se vio que los estimadores
MCO eran lineales e insesgados en el MRLG
Como el estimador MCG es ptimo en los ELI del modelo
transformado, y todos los ELI del MRLG estn en el
transformado, ser ptimo en el MRLG
 Proyecciones Universidade
de Vigo

Sobre el espacio de las X

Los valores estimados vienen dados por H1Y, siendo H1 la nueva matriz de
proyeccin. Por tanto los valores estimados de laY son una combinacin
lineal de las propias observaciones de la variable dependiente.
y = XbMCG = X ( X ' W -1 X ) -1 X ' W -1 y = H1 y
En el espacio residual
Los residuos se definen como valor observado menos estimado y vienen dados en
forma matricial por M1Y, siendo M1 la nueva matriz de proyeccin sobre el
espacio residual
u = y - y = y - XbMCG =
= y - X ( X ' W -1 X ) -1 X ' W -1 y = ( I - H1 ) y =
= M1 y
Propiedades de las matrices de
proyeccin Universidade
de Vigo

H1 es idempotente

H1 = X ( X ' W -1 X ) -1 X ' W -1
H12 = X ( X ' W -1 X ) -1 X ' W -1 X ( X ' W -1 X ) -1 X ' W -1 =
= X ( X ' W -1 X ) -1 X ' W -1 = H1

Si H1 es idempotente, entonces M1 tambin lo es por ser su

complementaria
H1 y M1 son ortogonales

H1 M1 = H1 ( I - H1 ) = H1 - H12 = H1 - H1 = 0
Sin embargo no son simtricas como ocurra en el caso del MRLC.
 Propiedades de las varianzas Universidade
de Vigo

1. La varianza de los estimadores depende de la inversa de la matriz

de diseo por su traspuesta ponderadas por la inversa de la
matriz de varianzas-covarianzas.
Var(bMCG)=s2(X'W-1X)-1
2. La varianza de los valores estimados depende de la parte comn
de la varianza de las perturbaciones pero ya no depende
directamente de la matriz de proyecciones.
Var(YE)= s2X(X'W-1X)-1X's2H1
3. La varianza de los residuos depende directamente de la parte
comn de la varianza de las perturbaciones pero no de la matriz
M1 de proyecciones sobre el espacio ortogonal a las X.
Var(u)=s2(W-X(X'W-1X)-1X') s2M1
 ANOVA en el MRLG Universidade
de Vigo

La suma ponderada por la inversa de la matriz de varianzas-

covarianzas de cuadrados de la variable dependiente se puede
descomponer en dos sumandos: la SCEG y otra cantidad que
denominaremos suma generalizada de cuadrados debida a la
regresin
SCYG = SCRegG + SCEG
siendo
SCYG=Y'W-1Y
SCEG=u'W-1u
SCRegG=YE'W-1YE
 El coeficiente de determinacin en el
MRLG Universidade
de Vigo

A partir de esta descomposicin se puede obtener una medida de

la bondad de ajuste de la regresin, desde un punto de vista
puramente geomtrico, pues

SC Re gG SCEG SC Re gG SCEG
1= + = 1-
SCYG SCYG SCYG SCYG
que denominaremos Coeficiente de determinacin de Buse R2.

Este coeficiente -multiplicado por 100- nos da el porcentaje de variacin

total de la variable Y - en el sentido de su suma de las desviaciones
respecto del origen - explicado por la regresin de la variable Y respecto de
las X, utilizando una distancia matricial generalizada
Propiedades bajo normalidad Universidade
de Vigo

1. Los estimadores de mnimos cuadrados generalizados siguen

una ley Normal
2. Los valores estimados de Y siguen una ley Normal
3. Los residuos de la regresin de mnimos cuadrados
ordinarios siguen una ley Normal
4. Los estimadores MCG de los coeficientes, bajo normalidad
coinciden con los estimadores MV en el MRLG, y por lo
tanto sern eficientes dentro de todos los insesgados y
suficientes.
Leyes de distribucin Universidade
de Vigo

Por consiguiente tendramos las siguientes leyes de

distribucin:
bMCG siguen una ley N (,s2(X'W-1X)-1)
Y estimado siguen una ley Normal de parmetros
(X,s2(X(X'W-1X)-1X'))
Los residuos MCG siguen una ley normal de parmetros
(0,s2(W-X(X'W-1X)-1X'))
Ejemplo Universidade
de Vigo

Los beneficios (despus de impuestos) suelen ser una

parte de las ventas, cuyo cociente nos da el margen neto
de la empresa. Para calcular cual es en promedio en una
serie de empresas del sector de la alimentacin se tienen
datos de las ventas y los beneficios durante el ao 2004.
Calcular cual seria ese margen promedio estimado
Si se sabe que el tamao de la empresa afecta generando
una variabilidad mayor en las empresas grandes que en
las pequeas. El efecto del tamao sobre la variabilidad
se conoce que s del 20%. Calcular si el margen
promedio seguira siendo el mismo.
Comparar ambos estimadores, Cul seria mas eficiente?
Modelo de solucin Universidade
de Vigo

Los beneficios son una parte de las ventas, por tanto:

Beneficios=*ventas+e
Se estima por MCO.
Si la varianza depende linealmente de las ventas
Var(e )=0,2*ventas
Se estima por MCG.
Calculo por MCO Universidade
de Vigo

XX
3525.000
IXX
0.2836879E-03 Estimador de
B MCO, nos mide el
0.3631206 margen neto

DATA PDF CDF 1-CDF

TB 21.025 0.28555E-05 0.99998 0.15123E-04
Calculo por MCG: matriz de varianzas covarianzas de
las perturbaciones Universidade
de Vigo

OMEGA
5 BY 5 MATRIX
6.400000 0.000000 0.000000 0.000000 0.000000
0.000000 4.800000 0.000000 0.000000 0.000000
0.000000 0.000000 6.000000 0.000000 0.000000
0.000000 0.000000 0.000000 4.000000 0.000000
0.000000 0.000000 0.000000 0.000000 5.000000
IOMEGA
5 BY 5 MATRIX
0.156250 0.000000 0.000000 0.000000 0.000000
0.000000 0.208333 0.000000 0.000000 0.000000
0.000000 0.000000 0.166666 0.000000 0.000000
0.000000 0.000000 0.000000 0.250000 0.000000
0.000000 0.000000 0.000000 0.000000 0.200000
Calculo por MCG Universidade
de Vigo

XOX
655.0000
IXOX Estimador de
0.001526718 MCG, nos mide el
margen neto
BG
0.3587786
DATA PDF CDF 1-CDF
TBG 8.8850 0.0001915 0.99956 0.00044329
Comparacin entre ambos Universidade
de Vigo

Parmetros MCO MCG

B 0.3631206 0.3587786
SB 0.01727063 0.04038048
TB 21.02532 8.884951
S2 1.051418 1.068032

Comparacin de residuos
EMCO EMCG
0.3801418 0.5190840
0.2851064 0.3893130
1.106383 1.236641
-1.262411 -1.175573
-1.078014 -0.9694656
Estimacin MCG cuando la
varianza es desconocida
Estimadores de mnimos cuadrados generalizados factibles

Universidade
de Vigo
 Estimacin MCGF Universidade
de Vigo

Cuando la varianza no es conocida necesitamos estimarla previamente.

En general, a este tipo de estimadores, los denominaremos de mnimos
cuadrados generalizados factible (MCGF).
El estimador tiene la forma genrica

-1 X ) -1 X ' W
bMCG = ( X ' W -1 y
Puesto que los escalares de la matriz de covarianzas no afectan al
estimador.
En cada caso se trata de encontrar un estimador consistente de W.
Por consiguiente el mtodo de estimacin se suele hacer en dos pasos:
1. Se estima la matriz de covarianzas W
2. Se calcula el estimador de MCGF sustituyendo el valor de W por su
estimador
Mtodos de estimacin MCGF Universidade
de Vigo

Una vez obtenido el estimador de W, lo normal para calcular el

estimador MCGF consiste en buscar la transformacin que nos
permita hacer uso de los estimadores MCO, es decir se busca
una matriz P de tal forma que
W =PP
Se toma el estimador de P y se transforma el modelo mediante
esa matriz.
Se calcula el estimador MCO en el modelo transformado.
Ese suele ser el estimador MCGF en dos pasos.
Lo calcularemos para los diferentes casos, es decir
autocorrelacin y heterocedasticidad, peor antes veamos las
propiedades genricas de estos estimadores.
 Propiedades de los estimadores
MCGF Universidade
de Vigo

Las propiedades de este tipo de estimadores dependen de las

propiedades del estimador de la varianza. Normalmente si se
consigue que este sea consistente se verifican las siguientes
propiedades:
Consistentes
Asintticamente normales
Asintticamente insesgados
Asintticamente eficientes
Puesto que estos estimadores convergen asintticamente al
estimador MCG.
Pero no verifican propiedades exactas en pequeas muestras.
Tratamiento de la autocorrelacin
Estimadores MCGF: Mtodo de Cochran-Orcutt, Prais-Wisten,
Malla
Estimadores e MV

Universidade
de Vigo
 Tratamiento de la autocorrelacin Universidade
de Vigo

Como, en general, no conocemos los parmetros que caracterizan

la matriz de varianzas-covarianzas de las perturbaciones tendremos
que estimarlos, lo que nos har perder eficiencia en pequeas
muestras.
Vamos a considerar diferentes casos, segn estimemos por MCGF o
por MV.
Para los estimadores MCG, la idea bsica consiste en buscar cual es
la matriz de transformaciones que nos transforma el modelo
generalizado en un modelo clsico. Esa transformacin se conoce
con el nombre de transformacin de Cochran-Orcutt.
Forma matricial del modelo lineal con
autocorrelacin Universidade
de Vigo

Escribiendo en forma matricial lo anterior tendramos que

Y=X+n; siendo n una N(0, S)

1 ... n -1

1 ... n-2

=s
2

... ... ... ...
n -1 ... ...
1

Por consiguiente estaramos en un caso particular del modelo de

regresin lineal generalizado. Sus efectos sern consecuencia de ello.
Estimador de MCGF bajo
autocorrelacin Universidade
de Vigo

El estimador de MCGF tiene la forma genrica de

-1 X ) -1 X ' W
bMCG = ( X ' W -1 y

El nico parmetro que interviene en dicha matriz es el

parmetro r, por consiguiente debemos encontrar un
estimador consistente de l.
Despus debemos buscar una matriz P que permita
descomponer la matriz W en PP.
Una forma de conseguir esa matriz consiste en hacer uso de
la transformacin de Cochran-Orcutt.
Matriz de transformacin de Cochrane-
Orcutt Universidade
de Vigo

Si fuera conocido la matriz S-1 se comprueba que se descompone en

S-1 =s-2 GG(1-2 )-1

Siendo G la matriz siguiente, que a su vez se puede particionar en dos

submatrices:

1- 2 0 . . 0
1- 2
0 . . . 0
- 1 0 . . 0

G = 0 - 1 . . 0 =
. . . . . . G*

- . . . - 1


La submatriz de Cochrane-Orcutt Universidade
de Vigo

Se descompone de esa forma puesto que es interesante analizar el

comportamiento de la matriz G*, que es propiamente la transformacin de
C-O.
Dicha matriz tiene la diagonal principal todo 1.
La diagonal secundaria inferior todo .
El resultado de multiplicar G* por una variable cualquiera z nos dara la diferencia
entre el valor actual y el valor retardado multiplicado por .

G*z=zt-zt-1

Esto nos permite obtener una transformacin directa sobre las

variables originales del modelo, es decir, se le aplica a la variable
dependiente a cada una de las independientes obteniendo de forma
directa el modelo transformado.
Como en el clculo de la matriz inversa de S, adems de G aparecen
solo escalares, al modelo obtenido mediante las transformaciones
anteriores se le puede aplicar la estimacin de MCO para obtener el
estimador MCG correspondiente.
 Transformacin de Cochrane-Orcutt Universidade
de Vigo

Las transformaciones de cada variable seran en conjunto:

Para la dependiente
y * = 1 - 2 y
yt = Gyt 1*
* 1

y t = yt - yt -1 T=2,...T
Para las independientes

j1
x *
= 1 - 2
x j1
xt = Gxt
*

jt = x jt - x jt -1 T=2,...T

*
x
Que se puede observar que coincide con la transformacin de C-O
salvo en el primer elemento.
 Modelo resultante Universidade
de Vigo

Fruto de la transformacin de C-O (sin contar la primera

observacin), nos quedara el siguiente modelo

yt = (1 - ) + xt - xt-1 + yt -1 + e t

Es decir la variable dependiente depende de las independientes, de

las independientes retardadas un periodo y de la dependiente
retardada un periodo.
Este modelo es el mismo que se obtiene directamente del modelo
de autocorrelacin de orden 1, sustituyendo las perturbaciones
autocorreladas, lo que nos sirve tambin para comprobar la validez
de la transformacin.
Procedimiento de Cochrane-Orcutt en
dos pasos Universidade
de Vigo

Cuando es desconocido, el problema es determinar el valor de

en la prctica. Este procedimiento consiste en dos etapas
En la primera se estima mediante MCO o un mtodo alternativo
En la segunda etapa se estima el modelo transformado, sustituyendo
el parmetro por sus estimadores de la primera etapa.
El modelo resultante sera:

y2 - y1 1 x2 - x1 e2
(1 - )
: = : : + :
y - y 1 x - x e
T T -1 T T -1 T
Perdiendo la primera observacin
Procedimiento de Cochrane-Orcutt en
dos pasos (2) Universidade
de Vigo

Por tanto, se estima en la primera etapa y perdiendo la

primera observacin, se hacen las transformaciones de C-O,
esto es

yt* = G * yt y *t = yt - yt -1
xt* = G * xt xt* = xt - xt -1
Una vez hecha la transformacin se aplica de nuevo MCO a
la regresin de la Y transformada respecto a las X
transformadas.
Estimacin inicial del coeficiente de
autocorrelacin Universidade
de Vigo

La estimacin del coeficiente de autocorrelacin se puede hacer de

diferentes formas.
Todas ellas asintticamente equivalentes, pero con algunas diferencias
en pequeas muestras.
Van a depender de los siguientes factores:
La eficiencia del estimador
La capacidad de clculo
La robustez del modelo
Consideramos cuatro opciones:
1. El coeficiente de autocorrelacin simple
2. El coeficiente de autocorrelacin simple corregido
3. El mtodo de Durbin-Watson
4. La estimacin conjunta
El coeficiente de autocorrelacin
simple Universidade
de Vigo

Las dos primeras opciones son muy similares, puesto que se trata
de estimar mediante el coeficiente de autocorrelacion muestral,
puesto que es un estimador consistente. La diferencia est en el
nmero de observaciones utilizado, pero no afecta cuando la
muestra es grande.
El coeficiente de autocorrelacin simple de primer orden, es decir
se calcula la suma de los productos cruzados de los residuos por
los residuos retardados, y se divide entre la suma de residuos al
cuadrado
T T
= ei ei -1
i =2
i
e 2

i =1

Se subestima en parte, al haber mas sumandos en el denominador

que en el numerador
El coeficiente de autocorrelacin simple
corregido Universidade
de Vigo

Para paliar el problema anterior, se hace uso del coeficiente de

autocorrelacin simple de primer orden, pero corrigiendo el
denominador, para que tenga el mismo numero de observaciones
que el numerador.
T T
= ei ei -1 i -1
e 2

i =2 i =2

El problema que e plantea es que las correcciones podran haberse

eliminando el ltimo residuo en vez del primero o combinando
ambas. No existe una regla que nos diga que este es mejor.
Se utiliza en muestras pequeas, pero dado que sus propiedades son
asintticas su efecto es prcticamente indiferente.
Mtodo de Durbin-Watson Universidade
de Vigo

El estimador que se obtiene a partir del estadstico de

Durbin-Watson, ya que vimos que ste era una aproximacin
de una funcin del coeficiente de autocorrelacin simple.
Como el estimador d es un estimador consistente del calor
terico del estadstico, el estimador de r de este modo
tambin ser un estimador consistente.
Entonces el estimador, siendo d el estadstico DW, ser:
r= 1- d/2
Este mtodo es una aproximacin, pero tampoco se puede
demostrar que sea mas eficiente que los otros mtodos
Estimacin conjunta Universidade
de Vigo

Se estima a partir de la ecuacin de regresin transformada

yt = (1 - ) + 1 xt - 2 xt -1 + yt -1 + e t
restringida a 1 = 2
Es el mtodo mas eficiente pero tambin el que exige mas
clculo
En la prctica solo se utiliza cuando se buscan estimadores
MV que busca la estimacin de todos los parmetros
conjuntamente.
 Estimacin de RHO Universidade
de Vigo

?ols y x1 x2/resid=e predict=ye rstat dwpvalue noanova

gen1 N=$N
gen1 DW=$DW
gen1 rhodw=1-dw/2
gen1 rho1=$rho
g elag=lag(e) RHO1= 0.6563030
g ee1=(e*elag) RHODW= 0.6690766
g e2=e*e
stat e2/sum=se2a beg=1 end=40
RHO1A= 0.6521211
stat e2/sum=se2b beg=1 end=39 RHO1B= 0.6563030
stat ee1/sum=se1 beg=2 end=40 RHOCJ = 0.65818
gen1 rho1a=se1/se2a
gen1 rho1b=se1/se2b
|_auto y x1 x2 / dn ml noanova iter=2
Conjunta
MAXIMUM LIKELIHOOD ESTIMATION 40 OBSERVATIONS
BY COCHRANE-ORCUTT TYPE PROCEDURE WITH CONVERGENCE = 0.00100
ITERATION RHO LOG L.F. SSE
1 0.00000 -4.43019 2.9227
2 0.65818 8.56528 1.5046
LOG L.F. = 8.56528 AT RHO = 0.65818
Procedimiento de C-O iterativo Universidade
de Vigo

1: Se estiman los residuos, generalmente por OLS.

2: Se estima a partir de la correlacin entre los residuos.
3: Se transforman los datos segn C-O utilizando la matriz G* (por
tanto, se elimina el primer trmino)
4: Se estiman por OLS los coeficientes en el modelo transformado
5: Se reestiman los residuos por OLS entre las variables
transformadas.
6: Se repiten de la Fase 2 a la 4 hasta que los residuos no presenten
autocorrelacin.
La iteracin mejora la eficiencia de los estimadores por lo que los
estimadores iniciales son secundarios, siempre y cuando estn
todos en un entorno cercano al ptimo.
 Problemas de ptimo de Universidade
de Vigo

Mnimo Mnimo
SCE() parcial global

Iniciando ah
converge al mnimo
global

Iniciando ah
converge al mnimo
local parcial 0 *
Estimacin por CO para las telas Universidade
de Vigo

|_auto y x1 x2/drop noanova

REQUIRED MEMORY IS PAR= 7 CURRENT PAR= 4000
DEPENDENT VARIABLE = Y
..NOTE..R-SQUARE,ANOVA,RESIDUALS DONE ON ORIGINAL VARS
LEAST SQUARES ESTIMATION 39 OBSERVATIONS
BY COCHRANE-ORCUTT TYPE PROCEDURE WITH CONVERGENCE = 0.00100
ITERATION RHO LOG L.F. SSE
1 0.00000 -4.81313 2.9227
2 0.65630 9.06698 1.4343
3 0.70292 9.15983 1.4275
4 0.70428 9.15991 1.4275
5 0.70433 9.15991 1.4275
LOG L.F. = 9.15991 AT RHO = 0.70433
ASYMPTOTIC ASYMPTOTIC ASYMPTOTIC
ESTIMATE VARIANCE ST.ERROR T-RATIO
RHO 0.70433 0.01292 0.11367 6.19627
R-SQUARE = 0.9832 R-SQUARE ADJUSTED = 0.9823
VARIANCE OF THE ESTIMATE-SIGMA**2 = 0.39654E-01
STANDARD ERROR OF THE ESTIMATE-SIGMA = 0.19913
SUM OF SQUARED ERRORS-SSE= 1.4275
MEAN OF DEPENDENT VARIABLE = 14.330
LOG OF THE LIKELIHOOD FUNCTION = 9.15991
VARIABLE ESTIMATED STANDARD T-RATIO PARTIAL STANDARDIZED ELASTICITY
NAME COEFFICIENT ERROR 36 DF P-VALUE CORR. COEFFICIENT AT MEANS
X1 0.50315 0.8772E-02 57.36 0.000 0.995 0.9737 0.2455
X2 0.11461 0.1126E-01 10.18 0.000 0.861 0.1737 0.0574
CONSTANT 10.032 0.1466 68.44 0.000 0.996 0.0000 0.7001
Procedimiento de Prais-Winsten Universidade
de Vigo

Consiste en una mejora del procedimiento anterior

trabajando con la matriz G en vez de G*
Por tanto, se tiene en cuenta la primera observacin
Esto mejora la eficiencia en pequeas muestras.
En muestras grandes apenas se nota.
Estimacin por PW para las telas Universidade
de Vigo

|_sample 1 40
|_read Y X1 X2
3 VARIABLES AND 40 OBSERVATIONS STARTING AT OBS 1
|_auto y x1 x2/noanova
REQUIRED MEMORY IS PAR= 7 CURRENT PAR= 4000
DEPENDENT VARIABLE = Y
..NOTE..R-SQUARE,ANOVA,RESIDUALS DONE ON ORIGINAL VARS
LEAST SQUARES ESTIMATION 40 OBSERVATIONS
BY COCHRANE-ORCUTT TYPE PROCEDURE WITH CONVERGENCE = 0.00100
ITERATION RHO LOG L.F. SSE
1 0.00000 -4.43019 2.9227
2 0.65630 8.55719 1.5054
3 0.70231 8.67597 1.4921
4 0.70320 8.67661 1.4920
LOG L.F. = 8.67661 AT RHO = 0.70320
ASYMPTOTIC ASYMPTOTIC ASYMPTOTIC
ESTIMATE VARIANCE ST.ERROR T-RATIO
RHO 0.70320 0.01264 0.11242 6.25532
R-SQUARE = 0.9824 R-SQUARE ADJUSTED = 0.9815
VARIANCE OF THE ESTIMATE-SIGMA**2 = 0.40324E-01
STANDARD ERROR OF THE ESTIMATE-SIGMA = 0.20081
SUM OF SQUARED ERRORS-SSE= 1.4920
MEAN OF DEPENDENT VARIABLE = 14.330
LOG OF THE LIKELIHOOD FUNCTION = 8.67661
VARIABLE ESTIMATED STANDARD T-RATIO PARTIAL STANDARDIZED ELASTICITY
NAME COEFFICIENT ERROR 37 DF P-VALUE CORR. COEFFICIENT AT MEANS
X1 0.50342 0.8848E-02 56.90 0.000 0.994 0.9742 0.2456
X2 0.11307 0.1130E-01 10.01 0.000 0.855 0.1714 0.0567
CONSTANT 9.9919 0.1441 69.35 0.000 0.996 0.0000 0.6973
 Procedimiento de malla Universidade
de Vigo

Es un procedimiento iterativo, que se puede aproximar hasta el error

que se desee.
Normalmente se prefija inicialmente.
Los pasos que se dan son los siguientes
1. Se va variando el valor de desde -1 a +1 con incremento de 0,1 y realizar
para cada uno el primer paso del procedimiento C-O, y calcular la suma de
cuadrados de los residuos.
2. Elegiremos las dos estimaciones consecutivas que minimicen dicha suma.
3. Se repite el procedimiento tomando el paso con incrementos de 0,01 en los
estimadores obtenidos en el paso 2 hasta una nueva minimizacin de la suma
de cuadrados
4. Este proceso se repite hasta obtener el error deseado.
Normalmente exige mucho clculo y no mejora la aproximacin
No obstante sirve para ver si el valor inicial de r nos acerca al
mximo global, ya que cubrimos todo el espectro de valores de
Estimacin por malla para las telas: 1
malla Universidade
de Vigo

REQUIRED MEMORY IS PAR= 7 CURRENT PAR= 4000 Minimizacin de la

DEPENDENT VARIABLE = Y
..NOTE..R-SQUARE,ANOVA,RESIDUALS DONE ON ORIGINAL VARS suma de cuadrados
LEAST SQUARES ESTIMATION 40 OBSERVATIONS de los errores
BY GRID SEARCH TO ACCURACY OF .01
ITERATION RHO LOG L.F. SSE
1 -0.90000 -26.5475 8.4728
2 -0.80000 -24.1327 7.6300
3 -0.70000 -21.7917 6.8466
4 -0.60000 -19.4405 6.1219
5 -0.50000 -17.0538 5.4548
6 -0.40000 -14.6215 4.8439
7 -0.30000 -12.1396 4.2872
8 -0.20000 -9.60824 3.7825
9 -0.10000 -7.03329 3.3281
10 0.00000 -4.43019 2.9227
Maximizacin
11 de la 0.10000 -1.82998 2.5657
12
funcin de 0.20000 0.713450 2.2576
13 0.30000 3.11662 1.9993
verosimilitud
14 0.40000 5.26304 1.7923
15 0.50000 7.00736 1.6379
16 0.60000 8.19174 1.5377
17 0.70000 8.67402 1.4925
18 0.80000 8.35471 1.5034
19 0.90000 7.15689 1.5709
Estimacin por malla para las telas: 2
malla Universidade
de Vigo

ITERATION RHO LOG L.F. SSE

20 0.61000 8.27360 1.5306
21 0.62000 8.34827 1.5242
22 0.63000 8.41565 1.5183
23 0.64000 8.47561 1.5129
24 0.65000 8.52805 1.5081
25
Minimizacin de la 0.66000 8.57286 1.5039
26 0.67000 8.60995 1.5002
suma de 27
cuadrados 0.68000 8.63923 1.4971
de los28
errores 0.69000 8.66061 1.4945
29 0.70000 8.67402 1.4925
30 0.71000 8.67937 1.4911
31 0.72000 8.67659 1.4902
32 0.73000 8.66563 1.4899
Maximizacin
33 de la 0.74000 8.64642 1.4901
funcin
34 de 0.75000 8.61890 1.4909
35
verosimilitud 0.76000 8.58302 1.4923
36 0.77000 8.53871 1.4942
37 0.78000 8.48593 1.4967
38 0.79000 8.42462 1.4998

39 0.73000 8.66563 1.4899

Estimacin por malla para las telas Universidade
de Vigo

LOG L.F. = 8.66563

AT RHO = 0.73000
ASYMPTOTIC ASYMPTOTIC ASYMPTOTIC
ESTIMATE VARIANCE ST.ERROR T-RATIO
RHO 0.73000 0.01168 0.10806 6.75535
R-SQUARE = 0.9825 R-SQUARE ADJUSTED = 0.9815
VARIANCE OF THE ESTIMATE-SIGMA**2 = 0.40267E-01
STANDARD ERROR OF THE ESTIMATE-SIGMA = 0.20067
SUM OF SQUARED ERRORS-SSE= 1.4899
MEAN OF DEPENDENT VARIABLE = 14.330
LOG OF THE LIKELIHOOD FUNCTION = 8.66563
VARIABLE ESTIMATED STANDARD T-RATIO PARTIAL STANDARDIZED ELASTICITY
NAME COEFFICIENT ERROR 37 DF P-VALUE CORR. COEFFICIENT AT MEANS
X1 0.50340 0.8729E-02 57.67 0.000 0.994 0.9742 0.2456
X2 0.11341 0.1115E-01 10.17 0.000 0.858 0.1719 0.0568
CONSTANT 9.9888 0.1495 66.80 0.000 0.996 0.0000 0.6970
Estimador de mxima verosimilitud Universidade
de Vigo

Normalmente el estimador MCG y el de MV coinciden,

bajo normalidad, puesto que la matriz de varianzas
covarianzas es conocida.
No ocurre lo mismo cuando se habla de MCGF y MV,
aunque ambos son asintticamente equivalentes.
Aun suponiendo normalidad al incluir la autocorrelacin,
maximizar la funcin de logverosimilitud no es equivalente a
minimizar la suma de cuadrados.
La causa es que aparece un trmino que depende de que
no se tiene en cuenta al utilizar MCO, por lo tanto no van a
salir exactamente los mismo estimadores, aunque son
equivalentes asintticamente
Estimador de mxima verosimilitud Universidade
de Vigo
Trmino que diferencia la
minimizacin de cuadrados y
La funcin viene dada por la maximizacin de la
funcin
T 1 1
ln L(u ) - ln s e + ln(1 - ) - 2
2 2
e e
2 2 2s e (1 - )
2

Esto hace que los estimadores no coincidan.

Beach y McKinnon (1978) usan un procedimiento para
maximizar esta funcin, similar al de C-O iterativo, que
denominaremos de MV.
Generalmente los estimadores son mas eficientes, si el valor
inicial est bien definido
Estimacin por ML para las telas Universidade
de Vigo

|_auto y x1 x2 / dn ml noanova
REQUIRED MEMORY IS PAR= 7 CURRENT PAR= 4000
DEPENDENT VARIABLE = Y
..NOTE..R-SQUARE,ANOVA,RESIDUALS DONE ON ORIGINAL VARS
DN OPTION IN EFFECT - DIVISOR IS N
MAXIMUM LIKELIHOOD ESTIMATION 40 OBSERVATIONS
BY COCHRANE-ORCUTT TYPE PROCEDURE WITH CONVERGENCE = 0.00100
ITERATION RHO LOG L.F. SSE
1 0.00000 -4.43019 2.9227
2 0.65818 8.56528 1.5046
3 0.71056 8.67943 1.4910
4 0.71158 8.67947 1.4909
5 0.71160 8.67947 1.4909
LOG L.F. = 8.67947 AT RHO = 0.71160
ASYMPTOTIC ASYMPTOTIC ASYMPTOTIC
ESTIMATE VARIANCE ST.ERROR T-RATIO
RHO 0.71160 0.01234 0.11109 6.40570
R-SQUARE = 0.9825 R-SQUARE ADJUSTED = 0.9815
VARIANCE OF THE ESTIMATE-SIGMA**2 = 0.37272E-01
STANDARD ERROR OF THE ESTIMATE-SIGMA = 0.19306
SUM OF SQUARED ERRORS-SSE= 1.4909
MEAN OF DEPENDENT VARIABLE = 14.330
LOG OF THE LIKELIHOOD FUNCTION = 8.67947
ASYMPTOTIC
VARIABLE ESTIMATED STANDARD T-RATIO PARTIAL STANDARDIZED ELASTICITY
NAME COEFFICIENT ERROR -------- P-VALUE CORR. COEFFICIENT AT MEANS
X1 0.50342 0.8473E-02 59.42 0.000 0.995 0.9742 0.2456
X2 0.11318 0.1082E-01 10.46 0.000 0.864 0.1716 0.0567
CONSTANT 9.9910 0.1400 71.34 0.000 0.996 0.0000 0.6972
Comparacin de los estimadores del
coste variable de la tela Universidade
de Vigo

MCO 0.50688
CO2 0.50314
PW2 0.50347
ML2 0.50347
COI 0.50315
PWI 0.50342
Malla 0.50340
MLI 0.50342
Estimacin para modelos
autocorrelados de orden superior Universidade
de Vigo

El mtodo que as fcilmente se generaliza es el de mxima

verosimilitud, pues nicamente consiste en cambiar los parmetros
del modelo que se quiere estimar y el propio ordenador se encarga
de la optimizacin y bsqueda de soluciones, por ese motivo es el
mas usado en la prctica.

Yt = X t +n t
n t = n
1 t -1 + ... + mn t - m + e t

e sigue N (0, s 2 I )
En SHAZAM se hace con la opcin ORDER=m.
Estimacin para orden 3 Universidade
de Vigo

|_auto y x1 x2 / dn ml order=3 noanova

DEPENDENT VARIABLE = Y
..NOTE..R-SQUARE,ANOVA,RESIDUALS DONE ON ORIGINAL VARS

REQUIRED MEMORY IS PAR= 10 CURRENT PAR= 2000

AUTOREGRESSIVE ERROR MODEL, ORDER= 3

..NOTE..USING LEAST SQUARES..ML OPTION NOT AVAILABLE
ITERATION 0 ESTIMATES AND ERROR SUM OF SQUARES
0.50688 0.92323E-01 10.124 0.0000 0.0000
0.0000 2.9227
ITERATION 1 ESTIMATES AND ERROR SUM OF SQUARES
0.49993 0.11789 9.9931 -0.78178 0.18927
-0.16251 1.4942
.

ITERATION 9 ESTIMATES AND ERROR SUM OF SQUARES

0.50171 0.11384 9.9286 -0.87009 0.31328
-0.21063 1.4522
 Estimacin para orden 3 Universidade
de Vigo

|_auto y x1 x2 / dn ml order=3 noanova

DEPENDENT VARIABLE = Y

..NOTE..R-SQUARE,ANOVA,RESIDUALS DONE ON ORIGINAL VARS

REQUIRED MEMORY IS PAR= 10 CURRENT PAR= 2000

RESIDUAL CORRELOGRAM
AUTOREGRESSIVE ERROR MODEL, ORDER= 3
LM-TEST FOR HJ:RHO (J)=0,STATISTIC IS CHI-SQUARE(1)
..NOTE..USING LEAST SQUARES..ML OPTION NOT AVAILABLE LAG RHO STD ERR T-STAT LM-STAT
1 -0.0112 0.1581 -0.0710 0.1425
ITERATION 0 ESTIMATES AND ERROR SUM OF SQUARES

0.50688 0.92323E-01 10.124 0.0000 0.0000

0.0000 2.9227

ITERATION 1 ESTIMATES AND ERROR SUM OF SQUARES

2 0.0062 0.1581 0.0392 0.0313
0.49993

-0.16251
0.11789

1.4942
9.9931 -0.78178 0.18927
3 -0.0122 0.1581 -0.0775 0.0154
ITERATION 2 ESTIMATES AND ERROR SUM OF SQUARES 4 0.0581 0.1581 0.3675 0.3043
0.50166 0.11387 9.9497 -0.82266 0.27993

-0.18358 1.4555 5 0.0990 0.1581 0.6263 0.5254

ITERATION 3 ESTIMATES AND ERROR SUM OF SQUARES

0.50175 0.11377 9.9457 -0.86138 0.31088

6 0.1291 0.1581 0.8167 0.8280
-0.20604 1.4528

ITERATION 4 ESTIMATES AND ERROR SUM OF SQUARES

7 -0.0629 0.1581 -0.3977 0.2222
0.50172 0.11376 9.9340 -0.86145 0.30928
8 -0.2698 0.1581 -1.7064 4.2576
-0.20567 1.4523

ITERATION 5 ESTIMATES AND ERROR SUM OF SQUARES 9 -0.1443 0.1581 -0.9129 1.3788
10 0.0224 0.1581 0.1420 0.0353
0.50171 0.11383 9.9326 -0.86784 0.31242

-0.20946 1.4522

ITERATION 6 ESTIMATES AND ERROR SUM OF SQUARES

0.50171 0.11382 9.9298 -0.86806 0.31235

11 0.1307 0.1581 0.8267 1.1623
-0.20945 1.4522

ITERATION 7 ESTIMATES AND ERROR SUM OF SQUARES

12 -0.0036 0.1581 -0.0229 0.0008
0.50171 0.11383 9.9295 -0.86963 0.31310 CHISQUARE WITH 12 D.F. IS 5.814
-0.21039 1.4522

ITERATION 8 ESTIMATES AND ERROR SUM OF SQUARES

0.50171

-0.21039
0.11383

1.4522
9.9287 -0.86969 0.31308
ASYMPTOTIC
ITERATION 9 ESTIMATES AND ERROR SUM OF SQUARES

0.50171 0.11384 9.9286 -0.87009 0.31328

ESTIMATE VARIANCE ST.ERROR T-RATIO
-0.21063 1.4522 RHO 1 0.87009 0.02553 0.15978 5.44562
RHO 2 -0.31328 0.04228 0.20563 -1.52353
RHO 3 0.21063 0.02679 0.16367 1.28688
Estimacin para orden 3 Universidade
de Vigo

|_auto y x1 x2 / dn ml order=3 noanova

R-SQUARE = 0.9829 R-SQUARE ADJUSTED = 0.9820

VARIANCE OF THE ESTIMATE-SIGMA**2 = 0.36305E-01
STANDARD ERROR OF THE ESTIMATE-SIGMA = 0.19054
SUM OF SQUARED ERRORS-SSE= 1.4522
MEAN OF DEPENDENT VARIABLE = 14.330

ASYMPTOTIC
VARIABLE ESTIMATED STANDARD T-RATIO PARTIAL STANDARDIZED ELASTICITY
NAME COEFFICIENT ERROR -------- P-VALUE CORR. COEFFICIENT AT MEANS
X1 0.50171 0.7437E-02 67.46 0.000 0.996 0.9709 0.2448
X2 0.11384 0.8724E-02 13.05 0.000 0.906 0.1726 0.0570
CONSTANT 9.9286 0.1380 71.92 0.000 0.996 0.0000 0.6928