EYP2905/EYP290i - Time Series

Introduction to Time Series and Forecasting - Brockwell and Davis

Chapter 6: Nonstationary and Seasonal Time Series Models
Springer Texts in Statistics 2016

Prof. Ricardo Olea O.

Facultad de Matemáticas - Departamento de Estadı́stica

Pontificia Universidad Católica de Chile

Segundo Semestre 2023

Contenido I

Series de Tiempo NO Estacionarias y Estacionales

Modelo ARIMA
Test de Raı́z Unitaria
Modelo ARIMA Estacional
Series de Tiempo NO Estacionarias y Estacionales
Modelo ARIMA

Definición
Si d es un entero no negativo, entonces {Xt } es un proceso Au-
toregresivo Integrado de Media Móvil, ARIMA(p, d, q) si el proceso
Yt = (1 − B)d Xt es un proceso ARMA(p, q).
Esta definición satisface la siguiente ecuación:

Φ(B) (1 − B)d Xt = Θ(B) εt

{εt } ∼ RB(0, σ 2 )
Series de Tiempo NO Estacionarias y Estacionales
Modelo ARIMA

Ejemplo
Consideremos {Xt } un proceso ARIMA(1, 1, 0), con |φ| < 1.

(1 − φ B) (1 − B) Xt = εt
{εt } ∼ RB(0, σ 2 )

Este proceso puede ser re-escrito como:

t
X
Xt = X0 + Yt , t≥1
j=1

donde
∞
X
Yt = (1 − B) Xt = φj εt−j
j=0
Series de Tiempo NO Estacionarias y Estacionales
Test de Raı́z Unitaria

Introducción
El problema de la raı́z unitaria surge cuando el polinomio autoregre-
sivo o de media móvil de un modelo ARMA tiene una raı́z cercana al
circulo unitario. Un raı́z unitaria en cualquiera de estos polinomios
tiene importantes implicaciones al modelar.
Por ejemplo, una raı́z cercana a uno de un polinomio autoregresivo
sugiere que los datos deben ser diferenciadas antes de ajustar un
modelos ARMA, mientras que una raı́z cercana a uno en el polinomio
de media móvil indica que los datos están sobre diferenciados.
Series de Tiempo NO Estacionarias y Estacionales
Test de Raı́z Unitaria

Raı́z Unitaria en Autoregresivos

Sean X1 ,. . . , Xn observaciones proveniente de un modelo AR(1)

Xt − µ = φ1 (Xt−1 − µ) + εt
{εt } ∼ RB(0, σ 2 )

donde |φ| < 1 y µ = E (Xt ) para todo t.

Para n grande, se tiene que el estimador máximo verosı́mil de φ1 ,
φ̂1 , distribuye aproximadamente Normal(φ1 , (1 − φ21 )/n). Para el
caso de una raı́z unitaria, esta aproximación no es aplicable, incluso
asintóticamente hablando.
Por esta razón es interesante testear la hipótesis
H0 : φ1 = 1 vs. H1 : φ1 < 1.
Series de Tiempo NO Estacionarias y Estacionales
Test de Raı́z Unitaria

Raı́z Unitaria en Autoregresivos

El test lo podemos construir de la siguiente manera

∇ Xt = Xt − Xt−1 = φ∗0 + φ∗1 Xt−1 + εt ,

con {εt } ∼ RB(0, σ 2 ), φ∗0 = µ (1 − φ1 ) y φ∗1 = φ1 − 1.

Mediante mı́nimos cuadrados, podemos estimar φ∗1 a partir de un
modelo de regresión lineal con intercepto ∇ Xt ∼ Xt−1 . El error
estándar de φ∗1 esta dado por

n
!−1/2
X
c φ̂∗ ) = σ̂
SE( (Xt−1 − X )2 ,
1
t=2
Series de Tiempo NO Estacionarias y Estacionales
Test de Raı́z Unitaria

Raı́z Unitaria en Autoregresivos

donde
n
X
σ̂ 2 = (∇ Xt − φ∗0 − φ∗1 Xt−1 )2 /(n − 3)
t=2

y X el promedio muestral de X1 ,. . . , Xn−1 .

Dickey y Fuller (1976) derivaron la distribución lı́mite cuando n →
∞ de τ̂µ = φ∗1 /SE(
c φ̂∗ ), bajo el supuesto que φ∗ = 0. Esto es
1 1
equivalente a testear la hipótesis H0 : φ1 = 1.
Se rechaza H0 si τ̂µ < τtabla (α, n).
Algunos percentiles teóricos de τ̂µ son
Series de Tiempo NO Estacionarias y Estacionales
Test de Raı́z Unitaria

Distribución Acumulada Empı́rica de τ̂µ para φ1 = 1

Tamaño Muestra Percentil Acumulado (α)

n 0.010 0.025 0.050 0.100 0.900 0.950 0.975 0.990
25 -3.75 -3.33 -3.00 -2.63 -0.37 0.00 0.34 0.72
50 -3.58 -3.22 -2.93 -2.60 -0.40 -0.03 0.29 0.66
100 -3.51 -3.17 -2.89 -2.58 -0.42 -0.05 0.26 0.63
250 -3.46 -3.14 -2.88 -2.57 -0.42 -0.06 0.24 0.62
500 -3.44 -3.13 -2.87 -2.57 -0.43 -0.07 0.24 0.61
∞ -3.43 -3.12 -2.86 -2.57 -0.44 -0.07 0.23 0.60
Series de Tiempo NO Estacionarias y Estacionales
Test de Raı́z Unitaria

Raı́z Unitaria en Autoregresivos

Este resultado se puede extender a un proceso AR(p) como sigue:

Xt − µ = φ1 (Xt−1 − µ) + · · · + φp (Xt−p − µ) + εt
{εt } ∼ RB(0, σ 2 )

El cual puede re-escribirse como

∇ Xt = φ∗0 + φ∗1 Xt−1 + φ∗2 ∇ Xt−1 + · · · + +φ∗p ∇ Xt−p+1 + εt ,

Pp
donde φ0 = µ (1 − φ1 − · · · − φp ), φ∗1 = ∗
i=1 φi − 1, y φj =
Pp
− i=j φi para j = 2, . . . , p.
Series de Tiempo NO Estacionarias y Estacionales
Test de Raı́z Unitaria

Raı́z Unitaria en Autoregresivos

Si el polinomio autoregresivo tiene raı́z unitaria, entonces 0 = Φ(1) =
−φ∗1 , y el proceso {∇ Xt } serı́a un proceso AR(p − 1).
Consecuentemente, testear la hipótesis de raı́z unitaria en el poli-
nomio autoregresivo es equivalente a testear que φ∗1 = 0.
Como en el caso AR(1), podemos estimar φ∗1 mediante una regresión
lineal de ∇ Xt con respecto a los regresores 1, Xt−1 , ∇ Xt−1 ,. . . ,
∇ Xt−p+1 .
El estadı́stico de prueba τ̂µ = φ̂∗1 /SE(
c φ̂∗ ) se contrasta con los val-
1
ores de los percentiles teóricos calculados por Dickey-Fuller presen-
tados anteriormente. Una alternativa, es contrastar el estadı́sticos
de prueba τ̂ = φ∗1 /SE(
c φ̂∗ ), obtenido asumiendo un modelo de re-
1
gresión sin intercepto.
Series de Tiempo NO Estacionarias y Estacionales
Test de Raı́z Unitaria

Distribución Acumulada Empı́rica de τ̂ (Sin intercepto) para

φ1 = 1

Tamaño Muestra Percentil Acumulado (α)

n 0.010 0.025 0.050 0.100 0.900 0.950 0.975 0.990
25 -2.66 -2.26 -1.95 -1.60 0.92 1.33 1.70 2.16
50 -2.62 -2.25 -1.95 -1.61 0.91 1.31 1.66 2.08
100 -2.60 -2.24 -1.95 -1.61 0.90 1.29 1.64 2.03
250 -2.58 -2.23 -1.95 -1.62 0.89 1.29 1.63 2.01
500 -2.58 -2.23 -1.95 -1.62 0.89 1.28 1.62 2.00
Inf -2.58 -2.23 -1.95 -1.62 0.89 1.28 1.62 2.00
Series de Tiempo NO Estacionarias y Estacionales
Test de Raı́z Unitaria

Raı́z Unitaria en Medias Móvil

Una unidad raı́z en el polinomio de media móvil puede tener una
serie de interpretaciones dependiendo de la aplicación de modelado.
Por ejemplo, sea {Xt } un proceso ARMA causal y invertible que
satisface las ecuaciones

φ(B) Xt = θ(B) εt ,

con {εt } ∼ RB(0, σ 2 ). Entonces la serie diferenciada Yt = ∇ Xt es

un proceso ARMA(p, q + 1) no invertible cuyo polinomio de media
móvil es de la forma θ(Z )(1 − Z ).
Consecuentemente, una prueba de raı́z unitaria en el polinomio de
media móvil polinomio es equivalente a test en que la hipótesis es
que la serie ha sido sobre diferenciada.
Series de Tiempo NO Estacionarias y Estacionales
Test de Raı́z Unitaria

Raı́z Unitaria en Medias Móvil

Una segunda aplicación, es posible distinguir entre los modelos

∇k Xt = a + Vt

y
Xt = c0 + c1 t + · · · + ck t k + Wt ,
donde Vt y Wt son procesos ARMA invertibles.
Series de Tiempo NO Estacionarias y Estacionales
Test de Raı́z Unitaria

Raı́z Unitaria en Medias Móvil

El el primer modelo {∇ Xt } no tiene raı́z unitaria en el polinomio
de medias móviles, mientas que para el segundo {∇ Xt } tiene como
factor de media móvil una raı́z unitaria de orden k.
Por lo tanto podemos distinguir entre estos dos modelos utilizando
los valores observados de {∇ Xt } pára testear la presencia de una
raı́z unitaria de media móvil.
Analizaremos solo el caso MA(1) ya que que el caso general es
considerablemente más complicado y aún no resulto completamente.
Series de Tiempo NO Estacionarias y Estacionales
Test de Raı́z Unitaria

Raı́z Unitaria en Medias Móvil

Sean X1 ,. . . , Xn observaciones provenientes de un modelo MA(1)
Xt = θ εt−1 + εt
{εt } ∼ RB(0, σ 2 )

Davis y Dunsmuir (1996) mostraron que bajo el supuesto que θ =

−1, el estadı́stico n (θ̂ + 1) (con θ̂ el estimador máximo verosı́mil
de θ) converge en distribución. Un test para H0 : θ = −1 vs. H1 :
θ > −1 se puede confeccionar con resultados lı́mite rechazando H0
cuando
cα
θ̂ > −1 + ,
n
donde cα corresponde al percentil (1 − α) de la distribución lı́mite
de n (θ̂ + 1) propuestos por Davis, Chen y Dunsmuir (1996).
Series de Tiempo NO Estacionarias y Estacionales
Test de Raı́z Unitaria

Raı́z Unitaria en Medias Móvil

Algunos percentiles son: c0.01 = 11.93, c0.05 = 6.80 y c0.10 = 4.90.
Asumiendo que los datos tienen distribución Gaussiana tenemos que
la regla de rechazo de un test de razón de verosimilitud para la
hipótesis de raı́z unitaria en un proceso MA(1) es:
 
L θ = −1, σ 2 = S[θ=−1]
2
Λ=   < λc ,
L θ = θ̂, σ 2 = S 2
[θ=θ̂]
Series de Tiempo NO Estacionarias y Estacionales
Test de Raı́z Unitaria

Raı́z Unitaria en Medias Móvil

Donde λc es tal que

P(Λ < λc | θ = −1) = α ⇔ P(−2 ln Λ > cL.R, α | θ = −1) = α.

Para n ≥ 50, se rechaza H0 si para −2 ln Λ mayor que cL.R, 0.01 =

4.41, cL.R, 0.05 = 1.94 y cL.R, 0.10 = 1.00.
Ejemplo: Simular un proceso MA(1) con θ = −1 y otro con θ = 0.5.
Para ambos casos teste la hipótesis H0 : θ = −1 vs. H1 : θ > −1.
Series de Tiempo NO Estacionarias y Estacionales
Modelo ARIMA Estacional

Definición
Si d y D son enteros no negativos, entonces {Xt } es un proceso
SARIMA(p, d, q) × (P, D, Q)s si el proceso Yt = (1 − B)d (1 −
B s )D Xt es un proceso ARMA definido como.

φ(B) Φ(B s ) Yt = θ(B) Θ(B s ) εt

{εt } ∼ RB(0, σ 2 )

donde
φ(Z ) = 1 − φ1 Z − · · · − φp Z p
Φ(Z ) = 1 − Φ1 Z − · · · − ΦP Z P
θ(Z ) = 1 + θ1 Z + · · · + θp Z q
Θ(Z ) = 1 + Θ1 Z + · · · + ΘP Z Q
Series de Tiempo NO Estacionarias y Estacionales
Modelo ARIMA Estacional
SARIMA(0, 0, 0) × (1, 0, 0)12

(1 − 0.5 B 12 ) Xt = εt

{εt } ∼ RB(0, σ 2 )
1.0

0.5
0.4
0.8

0.3
0.6

Partial ACF
ACF

0.2
0.4

0.1
0.2

0.0
0.0

0 20 40 60 80 100 120 0 20 40 60 80 100 120

Lag Lag
Series de Tiempo NO Estacionarias y Estacionales
Modelo ARIMA Estacional
SARIMA(0, 0, 0) × (0, 0, 1)12

Xt = (1 + 0.8 B 12 ) εt

{εt } ∼ RB(0, σ 2 )
1.0

0.4
0.8

0.2
0.6

Partial ACF
ACF

0.4

0.0
0.2

−0.2
0.0

0 20 40 60 80 100 120 0 20 40 60 80 100 120

Lag Lag
Series de Tiempo NO Estacionarias y Estacionales
Modelo ARIMA Estacional
SARIMA(0, 0, 0) × (1, 0, 1)12

(1 − 0.5 B 12 ) Xt = (1 + 0.8 B 12 ) εt

{εt } ∼ RB(0, σ 2 )
1.0

0.6
0.8

0.4
0.6

Partial ACF

0.2
ACF

0.4

0.0
0.2

−0.2
−0.4
0.0

0 20 40 60 80 100 120 0 20 40 60 80 100 120

Lag Lag
Series de Tiempo NO Estacionarias y Estacionales
Modelo ARIMA Estacional
SARIMA(1, 0, 0) × (1, 0, 0)12

(1 − 0.6 B) (1 − 0.4 B 12 ) Xt = εt

{εt } ∼ RB(0, σ 2 )
1.0

0.6
0.8

0.4
0.6

Partial ACF

0.2
ACF

0.4

0.0
0.2

−0.2
0.0

0 10 20 30 40 50 0 10 20 30 40 50

Lag Lag
Series de Tiempo NO Estacionarias y Estacionales
Modelo ARIMA Estacional
SARIMA(1, 0, 0) × (0, 0, 1)12

(1 − 0.6 B) Xt = (1 + 0.8 B 12 ) εt

{εt } ∼ RB(0, σ 2 )
1.0

0.6
0.8

0.4
0.6

0.2
Partial ACF
ACF

0.4

0.0
0.2

−0.2
0.0

0 10 20 30 40 50 0 10 20 30 40 50

Lag Lag