Modelos ARMA

Proceso Ruido Blanco

Una secuencia de variables aleatorias {a
t
} tal que
{ }
0 for 0 ) , (
) (
) 0 te (normalmen ) ( :
2
= =
=
= =
+
k a a Cov
a Var
a E a
k t t
a t
a a t t
o

=
=
=

=
=
=

=
=
=
0 0
0 1
0 0
0 1
0 0
0
acion autocorrel anza y Autocovari
2
k
k
k
k
k
k
kk
k
a
k
|

. . . .
1 2 3 4 k
k

La Descomposicion de Wold
Sea {Z
t
} una serie temporal estacionaria y no deterministica.
Entonces





tico. determinis componente un es } { 5.
y , , de lineales nes combinacio de limite el es . 4
, y para todo 0 ) V , ( . 3
, 0 con ), , 0 ( es } { . 2
, y 1 . 1
donde
, ) (
2 2
0 j
2
j 0
0
t
s t
t s
t
t t t j t
j
j t
V
t s Z a
t s a Cov
WN a
V a L V a Z
s
=
>
< =
+ + = + =

=
o o

Algunos Notas sobre la Descomposicion de Wold

- - -
--
= -

n a Z E
Z Z Z P Z a
j t
n
j
j t
j
t t t t t
cuando 0 ] [
??? significa Que ) (
??? es coeficient los calculan se Como ) (
,...] , | [ ) (
2
0
0 j
2 1

Que no dice la descomposicin de Wold?

a
t
no tiene por que seguir una distribucion normal y por tanto no
tiene por que ser iid
Aunque P[a
t
|Z
t-j
]=0, esto no implica que E[a
t
|Z
t-j
]=0 (piensa en las
posibles consecuencias!!!!)
Los shocks a no necesitan ser los verdaderos del sistema. Cuando
lo sern????
La unicidad del resultado solo dice que la representacion de Wold
es la unica representacion lineal donde los shocks son errores de
prediciones. Representaciones no-lineales o representaciones en
terminos de errores que no sean de prediccion son perfectamente
posibles.
Ejemplo de lineal versus no-lineal
Suponga que Y
t
=X
t
2
+ Z
t
con X
t
y Z
t
N(0, 1) e independientes entre
ellas.
La mejor prediccion dado X
t
es E[Y
t
|X
t
]=X
t
2.
La mejor prediccion lineal o projeccion lineal dado X
t
es
a + b X
t
donde se puede comprobar que a=0 y b=1.
Si calculamos el error cuadratico medio de las dos predicciones:
E[Y
t
-X
t
2
]
2
=E[Z
t
]
2
=1
E[Y
t
-X
t
]
2
=E[X
t
4
]+E[Z
t
]
2
-1=3
Que prediccion es mejor?
.
Nacimiento de los modelos ARMA
) L (
p
) L (
q
) L (
u
O
~ +
Bajo condiciones generales, el polinomio de retardos infinito de
la descomposicion de Wold puede ser aproximado por el cociente
de dos polinomios de retardos finitos:


Entonces

q t
a
q
...
1 t
a
1 t
a
p t
Z
p
...
1 t
Z
1 t
Z
t
a )
q
L
q
... L
1
1 (
t
Z )
p
L
p
... L
1
1 (
t
a ) L (
q t
Z ) L (
p
,
t
a
) L (
p
) L (
q
t
a ) L (
t
Z

u + +

u + =

|
u + + u + = | |
O = u
u
O
~ + =
AR(p) MA(q)
Procesos MA(1)
Sea { }
t
a
un ruido blanco de media cero
)
2
a
, 0 (
t
a o
) 1 ( MA
1 t
a
t
a
t
Z

u + + =
Esperanza
Varianza
Autocovarianza
u = + + =

) ( ) ( ) (
1 t t t
a E a E Z E
) 1 ( ) 2 (
) ( ) ( ) (
2 2
1
2
1
2 2
2
1
2
u o u u
u
+ = + + =
= + = =

a t t t t
t t t t
a a a a E
a a E Z E Z Var
2
2 1
2
2
2
1 1
2 1 1 1
) (
) )( ( ) )(
orden 1
a t t t t t t t
t t t t t t
a a a a a a a E
a a a a E Z E(Z
uo u u u
u u
= + + + =
= + + =


Proceso MA(1) (cont)
1 0 ) (
1 1
2
1 1
> = + + + =

j a a a a a a a a E
j t t j t t j t t j t t
u u u
Autocovarianzas de ordenes mayores
Autocorrelacion
1 0
1 ) 1 (
2 2 2
2
0
1
1
> =
+
=
+
= =
j
j

u
u
o u
uo

= + + =

) )( ( ) )( (
1 1 j t j t t t j t t
a a a a E Z Z E u u
Proceso MA(1) (cont)
MA(1) es un proceso estacionario en covarianzas porque
2 2
) 1 ( ) ( ) ( o u + = =
t t
Z Var Z E
MA(1) es ergodico porque
< + + =

=0
2 2 2
) 1 (
j
j
uo u o
Si fuera Gaussiano, entonces seria ergodico para todos los momentos t
a
t
Z
Grafico de la funcion
2
1
1 u
u

+
=
1 -1
0.5
-0.5
u
1

2 para 4 . 0
5 . 0 para 4 . 0
1 para 5 . 0 ) max(
1
1
1
= =
= =
= =
u
u
u
2 2
1
2
1
1 ) / 1 ( 1
/ 1
,
1
os substituim
1
en Si
u
u
u
u

u u
u

+
=
+
=
+
=

+ =
+ =

1
1
)
1
(
t t t
t t t
a a Z
a a Z
u
u
Ambos procesos comparten
la misma funcion de autocorrelacion
MA(1) no es identificable, excepto para
1 = u
Invertibilidad
Definicin: Un proceso MA(q) definido por la ecuacin
se dice que es invertible si existe una secuencia de constantes
y


t
a ) L (
q t
Z u =
<

=
| | que tales } {
0 j
j
t t
j ,... 1 , 0 t , j t
Z
0 j
j t
a
=

=
t =

Teorema: Sea {Z
t
} un MA(q). Entonces {Z
t
} es invertible si y solo si
Los coeficientes {t
j
} estn determinados
por la relacin
1. | x | such that C x all for 0 ) x ( s e = u
1. | x | ,
) x (
1
j
x
0 j
j
) x ( s
u
=

=
t = t

Identificacin de un MA(1)
Si identificamos el MA(1) a travs de la estructura de
autocorrelaciones, necesitamos decidir que valor de u elegir, el
mayor que uno o el menor que uno. Si requerimos que se
cumpla condicion de invertibilidad (pensad por que???)
elegiramos el valor u<1.
Otra razn por la cual elegimos el valor menor que uno se
encuentra en la varianza de los errores de las dos
representaciones alternativas:

) ( ) (
invertible - no ,
) 1 (
) ( , ) 1 (
invertible ,
) 1 (
) ( , ) 1 (
2
1
0 1
1
2
1
0
1
2
1
-
- -
>
+
= + =
+
= + =
t t
t
t
t
t t t
a V a V
a V a L Z
a V a L Z
u

u
u

u
u
MA(q)
q t q t t t t
a a a a Z

+ + + + + = u u u
2 2 1 1
Momentos
0
1 1
MA(2) Example
for 0
para ) (
) )( (
) 1 ( ) var(
) (
4 3
2
2
2
1
2
2
2
2
2
1
2 1 1
1
1
2
2 2 1 1
0
2
2 2 1 1
1 1 1 1
2 2 2
2
2
1 0
= = = =
+ +
=
+ +
+
=
+ + + +
= =

>
s + + + +
=
+ + + + + + =
+ + + + = =
=

=
+ +
+ +

k
q
i
i
j q q j j j j
j
j q q j j j
j
q j t q j t j t q t q t t j
a q t
t
q j
q j
a a a a a a E
Z
Z E

u u
u

u u
u u u

u
u u u u u u u

o u u u u u u u

u u u u
o u u u

MA(q) es
Estacionario en
covarianzas y
ergodico, por las
mismas
por las que lo es un
MA(1)
MA(infinito)

=

= + =
0
0 t
1 Z
j
j t j
a
Es estacionario en covarianzas?
| |

=
+

=
+

=
=
= =
= =
0
2
0
0
2
0
2 2
) )( (
) ( , ) (
i
i
i
j i i
j
i
j i i j t t j
i
i a t t
Z Z E
Z Var Z E

o
o
El proceso es
estacionario en
covarianzas, si se
cumple que
<

=0
2
i
i

Procesos Causales y Estacionarios

Definicin: Un AR(p) definido por la ecuacin
se dice que es causal, o una funcin causal de {a
t
}, si existe una secuencia de
constantes
y

Causalidad es equivalente a


t
a
t
Z ) L (
p
= |
<

=
| | que tales } {
0 j
j

j ,... 1 , 0 t , j t
a
0 j
j t
Z
=

=
=

1. | x | que tal C x para todo 0 ) ( s e = x |

Definicion: Una solucion estacionaria {Z
t
} de la ecuacion existe
(y es la unica sol. estacionaria) si y solo si

t
a
t
Z ) L (
p
= |
1. | x | que tal C x para todo 0 ) ( = e = x |
Desde ahora en adelante solo trataremos como modelos AR
causales
AR(1)
t t t
a Z c Z + + =
1
|
Substituyendo hacia atras
+ + + + + + + =
= + + + + =


2
2
1
2
1 2
2
) 1 (
t t t
t t t t
a a a c
a a Z c c Z
| | | |
| | |
pogresin geometrica

) ( MA
1 si
1
1
) 2 (
acotada
1
1
1 ) 1 (
1 si
0 0
2
< <

= =

= + + +
<


=

=
|
|
|
|
| |
|
j
j
j
j

Recordad:
<

=0 j
j

es la condicin para causalidad

y ergodicidad
AR(1) (cont)
Por lo tanto, el AR(1) es causal si 1 < |
Alternativamente, considerando la solucion de la ecuacin
caracteristica:
1
1
0 1 > = =
|
| x x
i.e. las raices de esta ecuacin estan fuera del circulo unidad.
Esperanza
|

| |
|

= =
+ + + +

=

1
) (
1
2
2
1
c
Z E
a a a
c
Z
t
t t t t

Varianza
( )
2
2
2 4 2
0
1
1
1
a
o
|
o | |

= + + + =
Autocovarianza de un AR(1) causal
Re-escribiendo el proceso como
t t t
a Z Z + =

) ( ) (
1
|
( )( ) | | ( ) ( )( ) | |
( )( ) ( ) | |
1 1
1


= + =
= + = =
j j t t j t t
j t t t j t t j
Z a Z Z E
Z a Z E Z Z E
| |
|
1
1
> =

j
j j
|
Autocorrelacion de un AR(1) causal
j j
j j j
j
j
o
j
j
j
| | | |
|

= = = = =
> = = =

0 3
3
2
2
1
0
1
1

ACF
PACF: De las ecuaciones de
Yule-Walker
2 0
0
1 1
1
1
1
2
1
2 2
2
1
2
1 2
1
1
2 1
1
22
1 ` 11
> =
=

= =
= =
k
kk
|

| |

|
| |
AR(p)
t p t p t t t
a Z Z Z c Z + + + + =

| | | .......
2 2 1 1
Causal
Todas las p raices de la ecuacion caracteristica
fuera del circulo unidad
ACF

+ + =
+ + =
+ + =
+ + =

0 2 2 1 1
2 0 2 11 1 2
1 1 2 0 1 1
2 2 1 1
......
......
......
......
| | |
| | |
| | |
| | |
p p p p
p p
p p
p k p k k k
.
Sistema para resolver las
primeras p autocorrelations:
p unknowns and p equations
ACF decae como una mixtura de exponenciales y/o sinusoidales,
dependiendo de si las raices son reales o complejas
PACF
p k
kk
> = para 0 |
Relacion entre un AR(p) y un MA(q)
AR(p) Causal
+ =
u
+ + + = + + =
u
=
= u = u
) (
) (
1
....) 1 ( ) ( ) (
) (
1
) .... 1 ( ) ( ) (
2
2 1
2
2 1
L
L
L L L a L a
L
Z
L L L L a Z L
p
t t
p
t
p
p p t t p

| | |
1 ) ( ) ( = + u L L
p
? de obtener Como u +
Ejemplo

+ + =
+ =
=

=
=
=
=

+ + + + +
= + + +
1 2 2
2
1 1 3
2
2
1 2
1 1
1 2 2 1 3
2 1 1 2
1 1
3
1 2
2
2
3
2 1
2
1 1 1
3
3
2
2 1
2
2 1
2
2 1
) (
0
0
0
: polinomios ambos de es coeficient igualando
1 ... ..........
......
...... 1
1 .....) 1 )( 1 ( ) 2 (
| | | | |
| |
|
| |
| |
|
| |
| | |

| |
L L
L L L
L L L
L L L L AR
2
2 2 1 1
> + =

j
j j j
| |
MA(q) Invertible
H =
O
+ + + = H =
O
= H
= O O =
) (
) (
1
....) 1 ( ) (
) (
1
) (
) .... 1 ( ) ( ) (
2
2 1
2
2 1
L
L
L L L a Z
L
Z L
L L L L a L Z
q
t t
q
t
q
q q t q t
t t
u u u
1 ) ( ) ( = H O L L
q
? de obtener Como O H
Transforme un MA(2) en un AR(infinito)
ARMA (p,q)
t t
p
q
t t
q
p
t
q
t q t p
a L a
L
L
a Z
L
L
Z L
x x
x x
a L Z L
) (
) (
) (
Z pura MA cion Representa
) (
) (
) ( pura AR cion Representa
1 0 ) ( of roots Causal
1 0 ) ( de raices Invertible
) ( ) (
t
p
+ =
u
O
=
=
O
u
= H
> = u
> = O
O = u
ARMA(1,1)
1 ) ( (L) puro MA
1 ) ( (L)Z puro AR
1 invertible
1 causal
) 1 ( ) 1 (
1
1
t
> = + =
> = = H
<
<
=

j a Z
j a
a L Z L
j
j t t
j
j t
t t
| u |
u u | t
u
|
u |
ACF de un ARMA(1,1)
k t t k t t k t t k t t
Z a Z a Z Z Z Z

+ =
1 1
u |
Tomando esperanzas
) ( ) (
1 1 k t t k t t k k
Z a E Z a E

+ = u |
1
2
0 1
2 2
1 0
2
1
2
2
1
) (
) ( ) ( ) ( 0

= >
= =
+ =
= = =
k k
a
a a
a t t
a
t t
k
k
Z a E Z a E k
|
uo |
o u | u o |
o u | o

1 0
y para resolver
incognitas 2 y ecuaciones 2 de sistema

( )

>
=
+

=
=

2
1
2 1
1 ) (
0 1
1
2
k
k
k
k
k
|
|u u
|u u |

PACF
l exponencia o decaimient
) 1 , 1 ( ) 1 ( ARMA MA c
ACF
ACF and PACF of an ARMA(1,1)
ACF and PACF of an MA(2)
ACF and PACF of an AR(2)
Apendice: Operador de Retardos L
Definicion
1
=
t t
Z LZ
Propiedades
1 1
1
) ( . 3
) ( . 2
. 1

+ = + = +
= =
=
t t t t t t
t t t
k t t
k
Y Z LY LZ Y Z L
Z LZ Z L
Z Z L
| | |
Ejemplos
t t t t t t
a Z L L a Z Z Z = + + =

) 1 ( . 1
2
2 1 2 2 1 1
| | | |
t t
t t t t
t t
a Z L
a L a a Z
Z L L L Z L L
=
+ + = + + =
+ =

) 1 ( . 4
) 1 ( . 3
) 1 ( ) 1 )( 1 ( . 2
1
2
2 1 2 1 2 1
|
u u
| | | | | |
Apendice: Operador Inverso
Definicion
identidad) (operador ) 1 ( ) 1 ( que tal
) ....... 1 ( lim ) 1 (
0 1
3 3 2 2 1
L L L
L L L L L
j j
j
=
+ + + + =

| |
| | | | |
Observad que :
1 si > | esta definicion no se mantiene porque el limite no existe
Ejemplo:
......
) 1 ( ) 1 ( ) 1 (
) 1 ( ) 1 (
2
2
1
1 1
+ + + =
=
=


t t t t
t t
t t
a a a Z
a L Z L L
a Z L AR
| |
| | |
|
Apendice: Operador Inverso (cont)
Supongamos que tenemos el modelo ARMA
y queremos encontrar la representacion MA .
Se puede intentar hacerlo directamente
pero no es nada divertido. Alternativamente se puede encontrar


e igualar coeficientes en los terminos en L
j
.
t
a ) L (
t
Z ) L ( O = u
t
a ) L (
t
Z + =
) L ( ) L (
1
O

u
) ( ) ( ) ( que tal , ) ( ) ( ) ( ) ( L L L a L L Z L a L
t t t
+ u = O + u = u = O
Example: Suppose .


)
2
L
2
L
1 0
( ) L ( and ) L
1 0
( ) L ( u + u + u = O | + | = u
3. j ;
j 0 1 j 1
0
..... ..........
2
1 0 0 1 1
0 0 0
> | +
+
| =
= u
| + | = u
|
=
u
que se puede resolver recursivamente INTENTALO!!!
j

Apendice: Factorizando Polinomios de retardos

Supongamos que necesitamos invertir
el polinomio
Se puede hacer factorizando:


Ahora invirtiendo cada factor y multiplicando:

)
2
L
2
L
1
1 ( ) L ( | | = u
1 2 1
2 2 1
with ) L
2
1 )( L
1
1 ( )
2
L
2
L
1
1 (
| = +
| =
= | |
j
L )
0 j
j
0 k
k j
2
k
1
(
... L )
2 1
( 1 ( )
0 j
j
L
0 j
j
2
)(
j
L
j
1
(
1
) L
2
1 (
1
) L
1
1 (

= =

= + + + =

=
=

Check the last expression!!!!
Apendice: Algunos trucos
La ultima expresion se puede espresar via la factorizacion parcial.
Encuenta las constantes a y b tal que

) L
2
1 )( L
1
1 (
) L
2
1 ( b ) L
1
1 ( a
) L
2
1 (
b
) L
1
1 (
a
) L
2
1 )( L
1
1 (
1

+
=

+

=

El numerador del lado derecho debe ser 1, asi que
)
) ( ) (
(
) 1 (
1
) ( ) 1 (
1
) ( ) 1 )( 1 (
1
que lo por
, a ,
o, Resolviend
0
1
2
2 1
2
0
1
2 1
1
2 2 1
2
1 2 1
1
2 1
2 1
1
1 2
2
1 2
j
j
j
L L L L
b
b a
b a

=

+

=

=
= +
= +

=
Apendice: Mas sobre Invertibilidad
Considere un MA(1)
( )
t
AR
t
t t t
t
a Z L L L
a a L L Z
L
a L
= + +
= + + = +
+ <
+ + =

_
) (
3 3 2 2
1 1 -
1
t
) .......)( 1 (
) 1 ( ) 1 ( ) ( L) (1
definido esta ) 1 ( , 1 Si
1 Z
u u u
u u u
u u
u
Definicion
Un proceso MA es invertible si se puede re-escribir como un AR( )

Un MA(1) es invertible si ] 1
1
0 1 [ 1 > = = + <
u
u u x x
Un MA(q) es invertible si todas las raices de la ecuacion caracteristica
estan fuera del circulo unidad.
Procesos MA tienen representaciones invertibles y no-invertibles
Representaciones invertibles: prediciones optimas dependen de
informacion pasada.
Representaciones no-invertibles: prediciones dependen del futuro!!!