ESTIMADORES Y SUS PROPIEDADES

Omar Alexander Rios Saavedra

Universidad del Valle

Escuela de Estadı́stica

noviembre - febrero de 2019

Omar A. Rios S. (Escuela de Estadı́stica) Programa de Estadı́stica Series de Tiempo y Pronóstico 1 / 33

 Función de Autocorrelación FAC o AFC

Como se puede concluir por lo estudiado anteriormente, la forma estructural

de los modelos de series de tiempo vienen definidos por la distribución y/o
comportamiento de la correlación de la serie consigo misma, en el caso
univariado.

Para un proceso estacionario {Zt }, se tiene que E (Zt ) = µ y Var (Zt ) =

σ2 = γ0 , para todo t


γk = Cov (Zt , Zt + k) = E (Zt − µ) Zt +k − µ


Cov Zt , Zt +k γk
ρk = p
=
γ0
q
Var (Zt ) Var Zt +k
Excel

Omar A. Rios S. (Escuela de Estadı́stica) Programa de Estadı́stica Series de Tiempo y Pronóstico 2 / 33

 Serie Estacionaria

0.04
0.00
M4

−0.04

0 50 100 150 200

Time
1.0

0.6
Partial ACF
0.6

0.2
ACF

−0.6 −0.2
0.2
−0.2

0 5 10 15 20 25 30 0 5 10 15 20 25 30

Lag Lag

Omar A. Rios S. (Escuela de Estadı́stica) Programa de Estadı́stica Series de Tiempo y Pronóstico 3 / 33

 Serie Estacionaria

1e−04
M1

−2e−04

0 50 100 150 200

Time

0.10
0.8

Partial ACF

0.00
ACF

0.4
0.0

−0.15

0 5 10 15 20 25 30 0 5 10 15 20 25 30

Lag Lag

Omar A. Rios S. (Escuela de Estadı́stica) Programa de Estadı́stica Series de Tiempo y Pronóstico 4 / 33

 Serie Estacionaria

1e−04
M1

−2e−04

0 50 100 150 200

Time

0.0 0.5 1.0

0.8

Partial ACF
ACF

0.4
0.0

−1.0

0 5 10 15 20 25 30 0 5 10 15 20 25 30

Lag Lag

Omar A. Rios S. (Escuela de Estadı́stica) Programa de Estadı́stica Series de Tiempo y Pronóstico 5 / 33

 Serie No Estacionaria

0.20
M5

0.10
0.00

0 50 100 150 200

Time

1.0
0.9

Partial ACF

0.6
ACF

0.7

0.2
0.5

−0.2

0 5 10 15 20 25 30 0 5 10 15 20 25 30

Lag Lag

Omar A. Rios S. (Escuela de Estadı́stica) Programa de Estadı́stica Series de Tiempo y Pronóstico 6 / 33

 Propiedades de la Autocovarianza y FAC

1. γ0 = Var (Zt ) ⇒ γ0 ≥ 0; ρ0 = 1
2. |γk | ≤ γ0 ; |ρk | ≤ 1
3. γk = γ−k ; ρk = ρ−k para todo k, γk y ρk son funciones pares simétricas
alrededor del rezago k = 0. Dada esta simetrı́a solo es necesario calcular
las funciones para k > 0.
4. Las funciones de autocorrelación y autocovarianza son semidefinidas
positivas.
Nota: No toda función arbitraria que cumpla las propiedades de 1 a 3 es
una función de autocovarianza o FAC para el proceso.

Nota: Una condición necesaria de una función de autocovarianza o FAC de

un proceso es que esta sea semidefinida positiva.

Omar A. Rios S. (Escuela de Estadı́stica) Programa de Estadı́stica Series de Tiempo y Pronóstico 7 / 33

 Propiedades de γk

Una función f : Z → R es semidefinida positiva si para todo n la matriz Fn ,

con (Fn )ij = f (i − j) es semidefinida positiva.

Una matriz Fn ∈ Rn×n es semidefinida positiva si, para todo vector a ∈ Rn ,

a0 Fa ≥ 0

Para probar sobre γk considere la varianza de (Z1 , . . . , Zn ) a

Para cualquier función γ : Z → R, que satisfaga (3) y (4) es una serie de

tiempo estacionaria en covarianza.

Omar A. Rios S. (Escuela de Estadı́stica) Programa de Estadı́stica Series de Tiempo y Pronóstico 8 / 33

 Función de Autocorrelación Parcial, FACP

La F.A.C.P entre Zt y Zt +k , se define como la correlación entre

Zt y Zt +k eliminando los efectos intermedios de los demás rezagos
Zt +1 , Zt +2 , . . . , Zt +k −1 .


ρkk = Corr Zt , Zt +k |Zt +1 , . . . , Zt +k +1

Como se podrá observar su solución se encuentra en Función de F.A.C.

Se puede calcular a partir de dos procedimientos:

1. Sea la dependencia lineal de Zt +k sobre Zt +1 ; Zt +2 . . . , Zt +k −1 definida
como la mejor estimación lineal en términos del error cuadrático medio
(ECM) de Zt +k
2. Considere el modelo de regresión, donde la variable dependiente Zt +k
es función de k variables rezagadas

Omar A. Rios S. (Escuela de Estadı́stica) Programa de Estadı́stica Series de Tiempo y Pronóstico 9 / 33

 Método de la Variable Rezagada

Considere el modelo de regresión, donde la variable dependiente Zt +k es

función de k variables rezagadas Zt +k −1 , Zt +k −2 , . . . , y Zt , es decir,

Zt +k = φk1 Zt +k −1 + φk2 Zt +k −2 + · · · + φkk Zt + et +k ,

donde φki denotan el i-ésimo parámetro de regresión y et +k es un término

de error con media cero e incorrelacionado con Zt +k −j para j = 1, 2, . . . , k.
Multiplicando Zt +k −j en ambos lados de la ecuación de regresión anterior y
tomando valor esperado, se obtiene

γj = φk1 γj −1 + φk2 γj −2 + · · · + φkk γj −k ;

por tanto,
ρj = φk1 ρj −1 + φk2 ρj −2 + · · · + φkk ρj −k .

Omar A. Rios S. (Escuela de Estadı́stica) Programa de Estadı́stica Series de Tiempo y Pronóstico 10 / 33

 Método de la Variable Rezagada

Para j = 1, 2, . . . , k , se obtiene el siguiente sistema de ecuaciones de

Yule-Walker:

ρ1 = φk1 ρ0 + φk2 ρ1 + · · · + φkk ρk −1

ρ2 = φk1 ρ1 + φk2 ρ0 + · · · + φkk ρk −2
..
.
ρk = φk1 ρk −1 + φk2 ρk −2 + · · · + φkk ρ0 .

Omar A. Rios S. (Escuela de Estadı́stica) Programa de Estadı́stica Series de Tiempo y Pronóstico 11 / 33

 Método de la Variable Rezagada

entonces las soluciones al sistema de ecuaciones usando la regla de Kramer

es...

k =1 ρ1 = φ11 ρ0 ⇒ φ11 = ρ1 
 1

ρ1 
ρ1 ρ2 

ρ1 = φ21 ρ0 + φ22 ρ1

k =2 ⇒ φ22 =
ρ2 φ21 ρ1 φ22 ρ0
 
= +  1

ρ1 
ρ1


1 
ρ1 ρ1 
 
 1

ρ 1 ρ2 
 
 1
ρ1 = φ31 ρ0 + φ32 ρ1 + φ33 ρ2 ρ ρ1 ρ3 
 
2
k =3 ρ2 = φ31 ρ1 + φ32 ρ0 + φ33 ρ1 ⇒ φ33 =
ρ1 ρ2 
 
 1
ρ3 = φ31 ρ2 + φ32 ρ1 + φ33 ρ0 
ρ 1 ρ1 
 
 1
ρ ρ1 1
 
2

Omar A. Rios S. (Escuela de Estadı́stica) Programa de Estadı́stica Series de Tiempo y Pronóstico 12 / 33

 Método de la Variable Rezagada

ρ1 ρ2 · · · ρk −2 ρ1
 
 1 
 ρ1 1 ρ1 · · · ρk −3 ρ2
 

 . .. .. .. .. 
 .
 . . . . . 

 ρ ρ ρ · · · ρ ρ 
k −1 k −2 k −3 1 k
φkk =
ρ1 ρ2 · · · ρk −2 ρk −1
 
 1 
 ρ1 1 ρ1 · · · ρk −3 ρk −2
 

 . .. .. .. .. 
 .
 . . . . . 

 ρ ρ ρ · · · ρ 1 
k −1 k −2 k −3 1

Omar A. Rios S. (Escuela de Estadı́stica) Programa de Estadı́stica Series de Tiempo y Pronóstico 13 / 33

 Solución al Sistema de Ecuaciones

Ası́, ρkk = φkk ,Para denotar la k-ésima autocorrelación parcial utilizaremos

φkk . Como función de k, φkk es llamada la función de autocorrelación
parcial. El gráfico de φkk contra k es llamado el correlograma parcial.

La FACP, en el rezago k esta dada por:


ρ̂1
 si k = 1


 k −1
X
ρ̂k − ρ̂k −1,j ρ̂k −j


ρ̂kk = j =1

 k −1
si k = 2, 3 . . .

 X
1− ρ̂k −1,j ρ̂j



j =1

Donde ρ̂kj = ρ̂k −1,j − ρ̂kk ρ̂k −1,k −j

Omar A. Rios S. (Escuela de Estadı́stica) Programa de Estadı́stica Series de Tiempo y Pronóstico 14 / 33

 Elabore la estructura para los primeros 4 rezagos de la
Función de Autocorrelación Parcial

Omar A. Rios S. (Escuela de Estadı́stica) Programa de Estadı́stica Series de Tiempo y Pronóstico 15 / 33

 SOLUCIÓN

ρ̂11 = ρ̂1
2−1
X
ρ̂2 − ρ̂2−1,j ρ̂2−j
j =1 ρ̂2 −ρ̂11 ρ̂1
ρ̂22 = 2−1 = 1−ρ̂11 ρ̂1
X
1− ρ̂2−1,j ρ̂j
j =1
ρ̂21 = ρ̂11 − ρ̂22 ρ̂11
3−1
X
ρ̂3 − ρ̂3−1,j ρ̂3−j
j =1 ρ̂3 −(ρ̂21 ρ̂2 +ρ̂22 ρ̂1 )
ρ̂33 = 3−1 = 1−(ρ̂21 ρ̂1 +ρ̂22 ρ̂2 )
X
1− ρ̂3−1,j ρ̂j
j =1
ρ̂31 = ρ̂21 − ρ̂33 ρ̂22
ρ̂32 = ρ̂22 − ρ̂33 ρ̂21

Omar A. Rios S. (Escuela de Estadı́stica) Programa de Estadı́stica Series de Tiempo y Pronóstico 16 / 33

 SOLUCIÓN

4−1
X
ρ̂4 − ρ̂4−1,j ρ̂4−j
j =1 ρ̂4 −(ρ̂31 ρ̂3 +ρ̂32 ρ̂2 +ρ̂33 ρ̂1 )
ρ̂44 = 4−1 = 1−(ρ̂31 ρ̂1 +ρ̂32 ρ̂2 +ρ̂33 ρ̂3 )
X
1− ρ̂4−1,j ρ̂j
j =1

Omar A. Rios S. (Escuela de Estadı́stica) Programa de Estadı́stica Series de Tiempo y Pronóstico 17 / 33

 Ejercicios Procesos Estocásticos

Para cada uno de los siguientes enunciados, calcule la media y la función de

autocovarianzas, determine si se trata de un proceso estacionario.
1. Suponga que X es una variable aleatoria con media cero. Defina Yt =
(−1)t X como un proceso de series de tiempo. Encuentre la media y la
función de autocovarianzas. Es un proceso estacionario?

Xt t impar
2. Sea {Xt } un proceso estacionario, se define Yt = ,
Xt + 3 t par
muestre que Cov (Yt , Yt −k ) no depende de t para todo k, es {Yt } un
proceso estacionario?
X +X
3. Sea Yn = n 2 n−1 , donde Xn es un proceso Gaussiano IID con media 0
y varianza σ2 . Compruebe que Yn es un proceso Gaussiano débilmente
estacionario y halle su función de autocovarianza.

Omar A. Rios S. (Escuela de Estadı́stica) Programa de Estadı́stica Series de Tiempo y Pronóstico 18 / 33

 El proceso estocástico de Ruido Blanco

Un proceso {at } es llamado un proceso de ruido blanco si es una sucesión de

variables aleatorias incorrelacionadas de una misma distribución con E (at
) =
µa , usualmente asumida como cero, Var (at ) = σa2 , y γk = Cov at , at +k =
0 para todo k 6= 0.
Entonces, por definición, el proceso ruido blanco {at } es estacionario con
función de autocovarianzas,
¨
σa2 , si k = 0,
γk =
0, si k 6= 0,
función de autocorrelación
¨
1, si k = 0,
ρk =
0, 6 0,
si k =

Omar A. Rios S. (Escuela de Estadı́stica) Programa de Estadı́stica Series de Tiempo y Pronóstico 19 / 33

 El proceso estocástico de Ruido Blanco

y función de autocorrelación parcial

¨
1, si k = 0,
φkk =
0, 6 0.
si k =
Aunque este proceso difı́cilmente ocurre en la práctica, juega un papel muy
importante en los modelos de series de tiempo como bloques de construcción
básicos para formular modelos más complejos.

Un proceso ruido blanco es gaussiano si su distribución conjunta es normal.

En adelante, a menos que se indique lo contrario, {at } es un proceso ruido
blanco Gaussiano de media cero

Omar A. Rios S. (Escuela de Estadı́stica) Programa de Estadı́stica Series de Tiempo y Pronóstico 20 / 33

 Proceso Ruido Blanco

1e−27
M6

−1e−27
−3e−27

0 50 100 150 200

Time
1.0

1.0
0.5

0.5
Partial ACF
ACF

0.0

0.0
−0.5

−0.5
−1.0

−1.0

0 5 10 15 20 25 30 0 5 10 15 20 25 30

Omar A. Rios S. (Escuela de Estadı́stica) Programa de Estadı́stica Series de Tiempo y Pronóstico 21 / 33

 Continuación Ejercicios
4. Realice la simulación de los siguientes procesos, y para cada uno
grafique sus valores y las FAC y FAP, explique el comportamiento.
a. Proceso ruido blanco.
b. Proceso AR(2), MA(2), ARMA(1,1), ARIMA(1,1,1)
Para el proceso AR(2), se debe cumplir que:
φ1 + φ2 < 1, φ2 − φ1 < 1, |φ2 | < 1, igual en el proceso
MA(2)
En el proceso AR(2), simule un proceso con dos parámetros
positivos, dos negativos y uno de cada uno, igual en el proceso
MA(2)
En los procesos ARMA(1,1) y ARIMA(1,1,1), ambos
parámetros en valor absoluto deben ser menores que uno.
c. Proceso sinusoidal 2cos (2πt/50 + 0.6π) + RB donde:
RB ∼ N (0, 0)

RB ∼ N 0, σ2 = 1


RB ∼ N 0, σ2 = 25
Omar A. Rios S. (Escuela de Estadı́stica) Programa de Estadı́stica Series de Tiempo y Pronóstico 22 / 33
 Caracterización de los momentos en la Serie de Tiempo

Omar A. Rios S. (Escuela de Estadı́stica) Programa de Estadı́stica Series de Tiempo y Pronóstico 23 / 33

 Propiedades de los Estimadores

Una serie de tiempo estacionaria es caracterizada por su media µ, varianza

σ2 , autocorrelaciones ρk , y autocorrelaciones parciales φkk .

Su valor poblacional se obtiene si se conocen todas sendas de las

realizaciones del proceso estocástico.

Pueden ser estimadas si se tuviesen múltiples realizaciones independientes

del proceso (imposible).

La mayorı́a de las veces solo se tiene una realización, lo que hace imposible
calcular la media del conjunto.

Para procesos estacionarios se puede reemplazar la media del conjunto por

la media de la serie de tiempo si esta corresponde a un estimador ergódico.

Omar A. Rios S. (Escuela de Estadı́stica) Programa de Estadı́stica Series de Tiempo y Pronóstico 24 / 33

 Ergodicidad

Propiedad por la cual las medias a lo largo del tiempo convergen a los valores
esperados poblacionales.
Los procesos ergódicos son importantes, ya que permiten evaluar la
estacionaridad débil de un proceso a partir de sus momentos muestrales. Los
estimadores ergódicos garantizan que en convergencia en media cuadrática
los estimadores muestrales tienden los valores poblacionales.
Existen diferentes tipos de ergodicidad, según la caracterı́stica poblacional
involucrada.
Los procesos ergódicos son importantes ya que permiten evaluar la
estacionaridad en sentido débil de un proceso a partir de sus momentos
muestrales.
Los estimadores ergódicos garantizan que en convergencia de media
cuadrática los estimadores en muestrales, tienden a los valores poblacionales.

Omar A. Rios S. (Escuela de Estadı́stica) Programa de Estadı́stica Series de Tiempo y Pronóstico 25 / 33

 Convergencia en Media Cuadrática

m.s
Se dice que {Xn } converge en media cuadrática1 a X, Xn −→ X , si

lı́m E (Xn − X )2 = 0
 
n→∞

1
Se utiliza la abreviatura m.s (mean square) o L2
Omar A. Rios S. (Escuela de Estadı́stica) Programa de Estadı́stica Series de Tiempo y Pronóstico 26 / 33
 Ergodicidad en Media

Un proceso débilmente estacionario es ergódico en media si la media

temporal converge en media cuadrática a la media del proceso, µ.
T
1 X m.s .
XT = X −→ µ, cuando T → ∞
T t =1 t
Ò

Omar A. Rios S. (Escuela de Estadı́stica) Programa de Estadı́stica Series de Tiempo y Pronóstico 27 / 33

 Propiedades de los Estimadores

Para un proceso estacionario, una alternativa natural es reemplazar el

promedio del conjunto por un promedio en el tiempo.

Dada una realización de un proceso estocástico Z1 , Z2 , . . . , Zn , a

continuación se presentan las condiciones bajo las cuales se pueden estimar
adecuadamente los parámetros que caracterizan la serie de tiempo.
Un estimador natural para la media µ = E (Zt ) de un proceso
estacionario es la media muestral
n
1X
Z= Z.
n t =1 t

Omar A. Rios S. (Escuela de Estadı́stica) Programa de Estadı́stica Series de Tiempo y Pronóstico 28 / 33

 Propiedades de los Estimadores

El estimador de la función de autocovarianza γk es

n −k
1X


γ
bk = Zt − Z Zt +k − Z k = 0 , 1, 2, . . .
n t =1
El estimador de la función de autocorrelación ρk es
Pn−k


γ t =1Zt − Z Zt +k − Z
bk = k =
ρ
b
, k = 0 , 1, 2, . . .
γ Pn
2
b0
t =1 Zt − Z

El estimador φ
Òkk de la función de autocorrelación parcial φkk es
obtenido reemplazando ρi por ρ
bi .

Omar A. Rios S. (Escuela de Estadı́stica) Programa de Estadı́stica Series de Tiempo y Pronóstico 29 / 33

 Propiedades de los Estimadores

Para Z ,


E Z = µ, lo cual implica que Z es un estimador insesgado para µ.
n −1

γ X 
|k |
‹
Var Z = 0 1− ρk . Ası́, si
n n
k =−(n−1)
 
n −1
|k |
X  ‹
lı́m  1− ρk  < ∞,
n→∞ n
k =−(n−1)

entonces Var Z → 0 cuando n → ∞, y Z serı́a un estimador
consistente para µ.

Omar A. Rios S. (Escuela de Estadı́stica) Programa de Estadı́stica Series de Tiempo y Pronóstico 30 / 33

 Propiedades de los Estimadores

Esto significa que:

n
1X
lı́m Zt = µ
n→∞ n
t =1
”
2 —
en media cuadrática, es decir, lı́mn→∞ E Z − µ =0

Entonces el proceso se dice ser ergódico para µ. Una condición suficiente

para que esto se cumpla es que ρk → 0 cuando k → ∞, ya que si es ası́
entonces:
n −1
1 X
lı́m ρk = 0,
n→∞ n
k =−(n−1)

lo cual implica que:

lı́m Var Z = 0.
n→∞

Omar A. Rios S. (Escuela de Estadı́stica) Programa de Estadı́stica Series de Tiempo y Pronóstico 31 / 33

 Propiedades de los Estimadores

Intuitivamente, este resultado simplemente dice que si Zt y Zt +k se

encuentran lo suficientemente separadas, entonces las variables serı́an casi
que incorrelacionadas y ası́ nueva información útil se estarı́a adicionando a
Z para aproximar a µ.

Omar A. Rios S. (Escuela de Estadı́stica) Programa de Estadı́stica Series de Tiempo y Pronóstico 32 / 33

 Propiedades de las autocorrelaciones muestrales I

5. Realice 1000 simulaciones de un proceso ruido blanco {at } con t =

1, . . . , T para verificar si la distribución de ρ̂k , el estimador del
parámetro ρk , con k = 1, . . . , 5 definido como:
T
X −k


(zt − z̄) zt +k − z̄
t =1
ρ̂k = k = 1, . . . , 5
T
X
(zt − z̄)2
t =1

se aproxima a la distribución normal con media cero y varianza 1/T ,

verifique esta aproximación para T = 30, 50, 100, 500. se cumplen
los resultados esperados?. Genere la variable ruido blanco con la
distribución Normal(0,1), t-Student(15), y Gamma asimétrica, compare
estos resultados.

Omar A. Rios S. (Escuela de Estadı́stica) Programa de Estadı́stica Series de Tiempo y Pronóstico 33 / 33