Documentos de Académico
Documentos de Profesional
Documentos de Cultura
ESTADISTlCA ESPANOLA
nm. 1 16, 1988, p^gs. 87 a 106
RESUMEN
El propsito de esta presentacin es seguir la trayectoria de algunas de
las principales ideas aparecidas en la literatura, en el tema de la estimacin
de los parmetros de los modelos autorregresivos y de promedios mviles,
enfatizando un enfoque en el dominio dei tiempo.
En cada modelo se define la estructura probabilstica y se mencionan
algunas propiedades bsicas. Luego se consideran sugerencias para estimar
los parmetros por el mtodo de los momentos o por mnimos cuadrados.
Se consideran despus los resultados de investigaciones para demostrar las
propiedades asintticas de estas propuestas y se llega al estudio de mtodos
de estimacin por mxima verosimilitud (exacta o aproximada) en el caso
normal.
Se considera brevemente el modelo mixto y algunas propuestas recientes
para implementar la estimacin mximo verosmil en las computadoras. Se
concluye que en los ltimos 65 aos se han producido desarrolios muy
importantes en el rea.
Pala^ras cla^^E^: Autorregresivo, promedios rnviles, estimacin por mnimos cuadrados, estimacin por mxima verosimilitud, propiedades
asintticas.
88
l.
ESTADISTICA ESPAOLA
INTRODUCCION
2.
EL MODELO AUTORREGRESI VO
si tiene esperanza matemtica constante (digamos, Eyt=^c para todo t), varianza constante, positiva y finita, y si para coeficientes ^0-1, ^81, ^Z,...,^Bp satisface la ecuacin
estocstica en diferencias finitas.
^ ^,^1't ;-^) _ (yt-^) + ^1(y^.,-^) +.. .+ ^3p(yt- p-,u) = ut, t = .. .,-1,0,1,...,
^=o
(2.1.1. )
(2.1.2,)
(2.1.3.)
tiene bajo estas condiciones p races w1,...,wp menores que 1 en valor absoluto. A su vez,
podemos "invertir" la expresin ( 2.1.1.), es decir, expresar a yt como funcin de los ut
contemporneo y pasados mediante sucesivos reemplazos, hasta obtener
yt = ^ + ^ Y; ut_^ ,
(2.1.4.)
j=0
( 2.1.5. )
(1) Si fuera Eu; ^, r^! sera la constante 0 con probabilidad 1 y la relacin lineal (2.1.1) indicara
que t^f es " determinstico", lo que queremos descartar. La posibilidad de que el proceso tenga
varianza infinita tambin es descartada, aunque es posible un anlisis estadstico de este caso; ver,
por ejemplo, Yohai y Maronna { 1977}.
90
ESTADtST1CA ESPA^OLA
(2. l .6.)
Estas pueden r^cs^olverse como una ecuacin lineal en diferencias ftnitas (no estocstica),
con condiciones de contorno as=a_t y condicin de escala dada por (2.1.5.).
La transformada de Fourier de la sucesin de autocovarianzas da lugar a la aparicin
de la densidad espectral
^(
{2.1.7.)
{2.1.8,)
2.2. Or^genes
Wold (1954) atribuye a Yule (1927) la introduccin del modelo AR(p) para el anlisis
emprieo de las series cronolgicas. Yule { 1927) utiliz el modelo para el anlisis de los
datos de Wolfer sobre las manchas solares.
Wold (1954) propuso que el proceso (2.1.1.) fuera reconocido con el nombre de
"proceso de Yule", designacin que sin embargo no ha tenido aceptacin generalizada
en la literatura.
En el libro de Wold (19^4) se aplica el modelo AR(2) para analizar empricamente
un ndice de costo de la vida construdo por G. Myrdal, Premio Nobel de Economa.
^.3. Primeras Sugerencias para Estimar los Parmetros
Con un registro finito y^,y,,...,y7, (que denotamos con la mism^ letra que al proceso
terico) podemos estimar a,u mediante la media muestral
i
T
_
Y = T L^ y'r ^
(2.3.
t_^
^
T t=s+l
(2.3.2.)
9^.
C^
.. .
Cp-I
/'1
CI
cl
co
...
cp-z
cz
j.3p
cp
c^,_ f
ep_z
. co
(2.3.3.)
^
t=p+1
(2.3.4,)
92
ESTADISTICA ESPAOLA
^ (Yr'lu) QYr-s-lu) _ ^1
rap+!
^ (Yr-1"l^) (Yr-s"u}
t=p.l
T
'rp
^r-p'lu) ^r-s-lu),
S=1 ,...,f^.
{2.3.5.)
r a p^F J
^u -
Y, +,^, yZ +...+ ^P ^p .
,
{2.3.b.)
1 + ^, ... ^p
si T es grande con respecto a p, poderrYOS reemplazar a^ por y= 1 ^^ J yr. Reemplazando este valor en el sistema (2.3.5.) llegamos a las ecuaciones
T
^ (Yr'Y } (.Yr-s'Y ) - "^I ^
(Yt-1'Y ) {Yr-s'Y)
J : p+l
1: p+J
T
...-^p ^
(Yr-p'Y} {.Yt-s-Y^, s=1 ,...,p,
r=p+J
{2.3.7.)
que difieren de las ecuaciones muestrales de Yule y Walker (2.3.3.) en que todas las
sumas van de p+l a T, en lugar de contener cantidades variables de sumandos como en
{2.3.2.).
E1 reemplazo de ^c por y, e incluso el del parmetro desconocida ^c por uno de sus
estimadores, ^c y, no afectar {en general) los desarrollos asintticos ni las correspondientes propiedades, que san las que se analizan en estos casos; en efecto, tanto ^ como
y son estimadores consistentes de p y en el anlisis de las distribuciones lmites (en
general) es vlido reemplazar a un estimador consistente por otro, o a un parmetro por
uno de sus estimadores consistentes. Esto es particularmente cierto en el caso del
Teorema Central del Lmite, que es una herramienta tpica de anlisis asinttico en
estos casos.
Los estimadores obtenidos de (2.3.7.) son los que se obtienen de un programa regular
de regresin lineal rnltiple, cuando se calcula la regresin de yr en yr_ J,...,yr_p con T-p
conjuntos completos de datos. Sin embargo, las propiedades tradicionales del mtodo de
mnimos cuadrados, por ejemplo las que provienen del Teorema de Gauss y Marcov,
no son vlidas en este caso puesto que los regresores no son fijos sino estocsticos.
Una vez disponibles los estimadores de las i3^ podemos forrnar un estimador de ^
usando los "residuos"; por ejemplo, para (2.3.7.) tendremos
^ ^l'r"Y) + ^t (1'r-r-Y) +...+ ^p {yr_p-Y) ]^ .
T r=p+1
(2.3.8.)
93
(2.5.1 .)
(2.5.2.)
Estas son similares a las ecuaciones (2.3.5.), excepto que las sumas van en todos los
casos desde 1 hasta T. Si al resolver este sistema hacemos y_ p+ f=... = yo = y obtendremos soluciones idnticas a las de (2.3.7,).
ESTADIST^CA ESPAOLA
.,
..
(2. 5. 3 . )
t=1
ti
ti
^^.
(2.5.4.)
^.
9S
t--..., -1,0,1,... .
Yr = -^ Yr-1 + u r ^
(2.6.
1 - ^ ^
P.S = (-I^)'
(2..2.)
-^r< ^1 < ^c .
(2.6,3.)
T
^
t-i
1
^
0
0
0
1
0
1
^
...
...
...
0
0
0
(2.6.4.)
u^r .
t=2,...,T. En resumen
0
0
0
-3vo
0
0
0 ... ^ 1
^yTJ
(2.6.5.)
L^J
^ L. ^'r+l^Y!- !
t-1
(2.6.6.)
(2.6..)
.
^ y't - ^
t=1
96
ESTADISTI('A ESPAtiOLA
g=-
T l
^ ^'r ^^r-1
r-?
^ ^^t l^r+l
7'
T1
^ .^^_ ,
^ y^
f=/
(2.6.8.}
1'r l^r^l
!_/
^ !'ryrt- !
J
^
(2.6.9.)
I^*=-
^
f
`r
i
^ ^^r
/_/
1
1-^' E^x p { _ ----s ^ (1-^ ^)
2 n~
I^
,+T^
^ (^t l^ir-^)
f_^
(2.b.10.)
Los valores de ^3 de ^s`' que hacen mxima esta expresin fueron escritos en forma
explicita por Hasza ( l 980).
3.
(3.1.1.)
donde los yr sotl observables y los u^ son como en el modelo AR(p} ya considerado. Los
q+2 parmetros del rnodelo son ,u,a1,...,a^ y rr'' =^u! (0 ^^r`' c ^}. Aqu y es f nito.
Para t=...,-1,0,1,... (3.1.1.) define un proceso estacionario dbl para cualquier valor
de los a^. S adems la ecuacin polinomial asociada
z9+a,zq-'+...+aq=0
(3.1.2.)
^ ^; (.vr__;-) ,
1= 0
{3.1.3.)
97
donde ^=1. Las representaciones (3.1.1.) y(3.1.3.) son equivalentes ( en media cuadrtica y en probabilidad) y permiten escribir MA(q) = AR( ^ }, advirtiendo que en (3.1.3.)
af-^^(a,,..., ay), funciones de los ar .
El proceso _
tiene autocovarianzas
i
^s = a`
-S ^
^
i^ u
s=o, -- 1, -- 2 , . . . , -- q ,
a, a^.,. I ^ I ^
-0,
( 3 .1.4 . )
I.S^I> u.
La densidad espectral es
^
rr ^
( ^ a/ ^,; ^.; I? ,
f-(^) !
2n ;,^^
_n ^ ^ < n ,
(3 .1. 5. )
3.2. Orgenes
Yule (1921, 192b) y Slutzky (1927, 1937) consideraron esquemas de este tipo. Slutzky
(1937) consider combinaciones lineales de trminos purarnente aleatorios (nuestros u,)
como fuentes de procesos ciclicos.
Wold (1954) propuso que el proceso (3.1. l.) fuera reconocido . con el nambre de
"proceso de Siutzky", designacin que sin embargo no ha tenido aceptacin generalizada en la literatura.
En el libro de Wold (1954) se aplican los modelos MA(1), MA{2} y MA(^4) a los
indices de precios del trigo en Europa Clccidental, 1518-1869, recopilados por V^ .
Beveridge.
T- I
r! _
,
r
(lf-l^),
^
t-1
(3.3.1.)
E:STADISTICA ESPA`^101 A
y resolviendo para a la ecuacin r,=.z ^(1 +a')^ obtenemos como estimador admisible
(menor que 1 en valor absoluto cuando G r, {<
)
2
a* _
'
(3.3.2.)
2r1
(3.4.1.)
T(1- a^)^
(3.4.2.)
T
Los argumentos de ^JVhittle fueron en general de tipo informal, pero luego se proveyeron demostraciones rigurosas de las aseveraciones citadas.
Como conclusin de este anlisis surgi la necesidad de mejorar la estirnacin sugerida por el mtodo de las momentos. U na posibilidad consista (en el caso q=1) en
mejorar la estimacin de r! que entra en (3.3.2.); otra consista en explotar la relacin
MA(q)=AR( ^), pues hemos visto que para el modelo AR(p) las ideas intuitivas del tipo
de las ecuaciones de ^ule-Walker o mnimos cuadrados simples, condujeron a estimadores asintticamente equivalentes a los por mxima verosimilitud.
3.5. Aproximacianes a la Estimacin por Mxima Verosimilitud
Whittle (1951) sugiri un enfoque iterativo para resolver un sistema de ecuaciones
que eran asintticamente equivalentes al mtodo de mxima verosimilitud. Este autor
utiliz sus ideas para estimar los parmetros con datos simulados. Esta sugerencia no
tuvo un gran impacto prctico hasta la difusin del trabajo de Durbin que cornentamos
a continuacin.
99
^
a= -
^-f
^,
^ ,^, ^^+ i
^ =u
(3.5.1.)
^
es el estimador deseado, donde ^3=1. Las propiedades de este estimador fueron analizadas por Durbin (1959) y ms formalmente por Mentz { 1977). Varios autores realizaron
comparaciones para muestras f nitas en pruebas Monte Carlo.
Ntese que en (3.5.1.) el valor de k dehe determinarse explicitamente para una
aplicacin prctica de la propuesta.
^
Walker (1961) sigui un enfoque similar, pero basado en la estimacin de los coeficientes de autocorrelacin. En consecuencia, su propuesta puede considerarse como un
mejoramiento de (3.3.2.) basado en un mejoramiento de r! como estimador de p, (para
q=1), a como una forrnulacin alternativa de la propuesta de Durbin (1959). Si r,,...,r^
son estimadores de las primeras k autocorrelaciones del proceso, defnidos por
r^
_
^ ( ^'^ -1' ) {Y^+, - l' )
t=1
r, _
^^
{^ -^ ),
.s - 1, . . , , k,
(3.5.2.)
(3.5.3.)
i='
^oo
E.STADIT[C'A ESPA!^i()L_A
(^ n)-7- ^
^ V^ ^- ^ c'vh - 12 (v
^ V-^
_ (ti'r-v)
^ ^ ^
.. 7-v)'
(3..1.)
donde v=^^ 1^^^, V=^1 (^^i--v) (t^ j^-v)' . Aqui se desconoce la forma general de V"^ y de
^ V ^, por lo que las posibilidades de operar con la funcin de verosimilitud exacta son
^
escasas. En el caso y=1 Codolphin y de Gooijer derivaron un proeedimiento iterativo
para obtener los estimadores ( exactos) de a y o^ usando expresiones conocidas de los
, y( _V j=(1-^ 7+') 1(1-x) .
componentes de V+^
^
Un resmen ^ de una gran cantidad de propuestas para estimar el parmetro ^ de un
modelo MA(1) aparece en el trabajo de Mentz y Antelo (1977). En el trabajo Anderson
y Mentz ( 1980) se demuestra que si l^l^ ^ 0={0,...,0)' los estimadores correspondientes a
(3..1.) existen.
4.
EL MODELO ^VIIX7'O
Las ideas de una autorregresin que liga a las variables aleatorias observables, defini-
^ Ia^ (^',-;-^) _ ^
aku^-k .
^, ^r^
.
^-o
^ U^
(4.1.)
Para la estacionariedad se requiere que los ^3, hagan que las races de {2.1.3.) sear^ todas
menores que 1 en valor absoluto; en cambio las rz^ pueden tomar valores reales sin
restricciones. Si las races de (2.1.3.) son todas menores que 1 en valor absoluto,
(4.1.) se puede invertir para obtener un promedio mvil infinito: simblicamente,
ARMA(p, q)=MA( ^); si las races de (3. I.2.) son todas menores que 1 en valor
absoluto, (4.1.) se puede invertir para obtener una autorregresin infinita,
ARMA(p, q)=AR( ^). En cada caso tendremos que deducir las relaciones que ligan a
los coeficientes de las repre ^entaciones.
La posibilidad de usar este tipo de rnodelos en la prctica fu enfatizada por Box y
Jenkins en su libro publicado inicialrnente en I 970 ( l 976) y desde entonces atra,^o
considerable inters terico y aplicado.
No es fcil en este caso operar con la sucesin de autocovarianzas, definida nuevamente por E(y^-^c) ( 1^^+,-,u). Resulta interesante destacar que la densidad espectral es
^z
^^ a^^,;^^^
^-^^
(4.2.)
2n
I n
^,
^ ^i
i=U
kST,A[51STIC`A ESPAtiOLA
IO^
5.
CONCLUSIONES
El progreso alcanzado en el campo de la estimacin de los parmetros de los modelos
lO4
ESTADISTICA ESPAOLA
dcada de 1980 debe destacarse la aparicin del texto de Priestley (1981), entre otros de
lo que es ahora una bibliografia muy extensa en el campo de las series cronolgicas.
El rea de la inferencia en procesos estocsticos es comparativamente difcil y quedan
muchas cosas para investig,ar y descubrir. La cantidad de especialistas dedicados al tema
ha aumentado de unos pocos alrededor de 1970, a una cantidad importante en 1980. Es
de confiar que con el transcurso de pocos aos ms, los problemas importantes reconocidos en la actualidad sean resueltos y se desarrollen nuevas y atrayentes reas de
aplicacin.
BIBLIOGRAFIA
A^t, M. 1'vi. (1977), Analysis of autoregressive-moving average models: Estimation and prediction,
Biometrika, 4, 53 5-45.
ANDERSC}N, T. W. {1971), The Statistifal Analysr's of TrmP SPriPS, New York: John Wiley.
ANDERSON, T. W. (1971 a), "The Stationarity of an Estimated Autoregressive Process", Technical
Report N. 7, Department of Statistics, Stanford University.
ANDERSON. T. W. (1975), "Estimation by Maximum Likelihood in Autoregressive Moving Average Models in the Time and Frequency Domains", Technical Report N. 20, Department of
Statistics, Stanford University.
ANDERSO?V, T. W. (1975a), " N[aximum Likelihood Estimation of Parameters of an Autoregressive
Process with Moving Average Residuals and Clther Covariance Matrices with Linear Structure",
^
Annals of Statistics, 3, l 283-4.
ANDERSON, T. W. (197?), "Estimation for Autoregressive Moving Average Models in the Time and
Frequency Domains", .9nnals of Statrstics, 5, 842-85.
ANDERSON. T. W. and R. P. MEt^T7 ( 1980), "On the Structure of the Likelihood Function .of
Autoregressive and Moving Average Models", Joi^rnal c^j^ Trme Series .9nal^^.sls. 1, 83-94.
ANDERSN, T. VW. and R. P. MENTZ ( 1987), Some results on exact maximum likelihood estimation
in time series models, Bulletin aj^the ISl, 19-20.
ANSLEY, C. F. { 1979), " A^n Algorithm for the Exact Likelihood of a Mixed Autoregressive Moving
Average Process", Bi^^mc^triku, 6, 59-65.
A!vsi_EY, C. F. and P. NE.wnoLD ( 1980), "Finite Properties of Estimators for Autoregressive Moving
Average Models", Juurnul uj^F_con^^metrics, 13, 159-183.
BMDP ( 1985}, BMDP Statistical Software, Los Angeles, California.
Box, G. E. P. and G. M. ^ ENK{NS (197), Tirrte SeriE^s .^nulvci.s, F'orPCU.^tinK uncl Contr^^l, Revised
Edition, San Francisco: Holden-Day.
BRIL1._INt^ER, D. R. and G. C. T^AC^ ( editors) ( 1980), I)irc^cti^^n,^^ in Time Seri^.^^, [nstitute of Mathematical Statistics.
DE^Mf'STE_R, A. P., N. M. LAtRn and D. B. Rt,H^w^ (197?), Maximum Likelihood from incomplcte
data via the EM algorithm, J^^t^r^rul r^j^titc^ Ru^^ul.Stc^tititic^ul.Sr ^ c^ic^ti^, Scries 13, 39, 1-38.
DE^^tiT. W. (1977), C^'omputation of the exact Likelihood function of an ARIMA proce^s, J. .S'tuti^t.
C'c^jr^r^. uncl.Si^r^u1. 5, 193-?06.
105
lod
ESTADISTIC'A ESPAtiOLA
StoatQut. M. (1958), "On the Inversion of the Sample C'ovariance Matrix in a Stationary Autoregressive Process", The .9nnals vf .1^tathematic^ul Statistics, 29, 5$5-588.
S[.UTZKY, E. (1927}, "The Summation of Random Causes as the Source of Cyclic Processes",
(Russian with an English summary). Pro.hlems of Economics Conditions, 3, N. 1.
SLUT2KY, E. (193?), " The Summation of Random Causes as the Source of Cyclic Processes",
Econometrica, S, 105.
wALKER, A. M. ( 1961), "Large Sample Estimation of Parameters for Moving Average Models",
Biometrika, 48, 343-357.
WHITTLE, P. (1951), HyputhPSrs TestinR in Tinre Series Analtsis, Uppsala: Almqvist and Wicksells.
WHITTLE, P. (1953), "Estimation and nformation in Stationary Time Series", Arkiv j"^ r ,1^tathematik, 2, 423-424.
W(3LD, H. (1954), A Study in the ,9nalt^sis of Stationarti^ Tirne Sf^ries, 2nd. edtion {first edition of
1938), Stockholm: Almqvist and Wickselis.
4'oHat, V. J. and R. A. MARONNA ( l 977}, Asymptotic behavior of least squares estimates for
autoregressive processes with infinite variances, .4nnuls vf Statistics. Vol 5, 554.
YvLE, G. U. { 1921 }, "On the Time-Correlation Problem, with Special Reference to the variateDif%rence Correlation Method", Journal vf the Rola! Statistical Societ^^, 84, 497-526.
^YULE, G. U. (1926), "Why do we Sometimes get Nonsense-Correlations Between Time-Series? - A
Study in Sampling and the Nature of Time-Series", Journal uf 1lte Rova! Stati.^tical Society, 89,
1-64.
YULE, G. LJ. (1927), "On a Method of lnvestigating Periodicities in Disturbed Series, with special
reference to Wolfer's Sunspot Numbers", Phrlosaphiral Transacti^ns, A 226, 267-29$.