Introducción a la Econometrı́a Bayesiana

Econometrı́a Avanzada: Series de Tiempo

Renato Vassallo

Pontificia Universidad Católica del Perú

Octubre 2020

R. Vassallo (PUCP) Econometrı́a avanzada Octubre 2020 1 / 36

Contenido

1 Introducción

2 Conceptos previos

3 Modelo de Regresión Lineal Bayesiano

4 Aplicaciones Empı́ricas

R. Vassallo (PUCP) Econometrı́a avanzada Octubre 2020 2 / 36

 Introducción

Contenido

1 Introducción

2 Conceptos previos

3 Modelo de Regresión Lineal Bayesiano

4 Aplicaciones Empı́ricas

R. Vassallo (PUCP) Econometrı́a avanzada Octubre 2020 3 / 36

 Introducción

Introducción a la Econometrı́a Bayesiana

Estadı́stica y econometrı́a tı́picamente se refieren a un problema complejo

denominado el problema de la inversión (inverse problem).
An inverse problem refers to the reconstruction of an object ϕ - typically a function
- from indirect noisy observations of it (Florens and Simoni, 2017).
Hay dos escuelas del pensamiento de cómo resolver el problema de la
inversión:
1 Visión clásica (frequentista): evalúa la probabilidad como la frecuencia de
ocurrencia de un evento en experimentos repetidos.
2 Visión Bayesiana: la probabilidad es una postura respecto a cuánto
conocemos de un problema.

R. Vassallo (PUCP) Econometrı́a avanzada Octubre 2020 4 / 36

 Introducción

Enfoque Clásico versus Bayesiano

Fijo versus aleatorio

I Clásicos: tı́picamente la estructura está fija. Lo que es aleatorio es la muestra.
I Bayesianos: lo que está fijo es la muestra, es lo que existe. Se hace un
statement probabilı́stico respecto a la distribución del vector de parámetros.
Estimación
I Clásicos: considera al estimador como aleatorio, lo que es fijo es el parámetro.
I Bayesianos: más que tener un point estimate del parámetro, le interesa tener
una función de densidad del mismo.
Inferencia
I Clásicos: tı́picamente se hace inferencia con p-values: dada nuestra H0 , cuál es
la probabilidad de haber observado estos datos.
I Bayesianos: ¿cuál es la probabilidad de una determinada H0 condicional a los
datos?

R. Vassallo (PUCP) Econometrı́a avanzada Octubre 2020 5 / 36

 Conceptos previos

Contenido

1 Introducción

2 Conceptos previos

3 Modelo de Regresión Lineal Bayesiano

4 Aplicaciones Empı́ricas

R. Vassallo (PUCP) Econometrı́a avanzada Octubre 2020 6 / 36

 Conceptos previos

Teorema de Bayes

Teorema de Bayes justamente invierte el razonamiento clásico que tenemos.

Representa la piedra angular del análisis bayesiano. Para un vector de
parámetros θ y un conjunto de datos y , el Teorema de Bayes puede ser
derivado a partir de definiciones básicas de probabilidades condicionales:

P(θ, y ) P(θ, y ) P(θ) P(θ, y ) P(θ) P(y |θ)P(θ)

P(θ|y ) = = = =
P(y ) P(y ) P(θ) P(θ) P(y ) P(y )

Y como P(y |θ) = f (y |θ), el T. de Bayes se expresa tı́picamente como:

f (y |θ)P(θ)
P(θ|y ) = (1)
P(y )

R. Vassallo (PUCP) Econometrı́a avanzada Octubre 2020 7 / 36

 Conceptos previos

Distribución Posterior

En la práctica utilizaremos:

P(θ|y ) ∝ f (y |θ)P(θ) (2)

La econometrı́a bayesiana consiste en estimar los parámetros (q) de un

modelo (M), utilizando y combinando de manera eficiente dos fuentes de
información:
I Datos de una muestra (y ).
I Información obtenida a priori.
La econometrı́a clásica utiliza sólamente datos de una muestra (y ) para lo
cual se necesita un número de observaciones (T ) suficientemente grande.
En cambio, a través de la econometrı́a bayesiana es posible estimar modelos
con un número de observaciones moderado.

R. Vassallo (PUCP) Econometrı́a avanzada Octubre 2020 8 / 36

 Conceptos previos

Distribución Posterior

En esencia debemos considerar los siguientes elementos:

I Función de Verosimilitud: L(θ|y ) = f (y |θ) ⇒ Lo que dicen los datos sobre θ.
I Distribución A Priori (Prior): P(θ) ⇒ Lo que sabemos de θ
independientemente de los datos.
I Distribución A Posteriori (Posterior): P(θ|y ).
Es esta distribución posterior la que luego se utiliza para realizar inferencia
sobre los valores de los parámetros, calcular estimaciones puntuales, realizar
comparaciones entre modelos, entre otros.

R. Vassallo (PUCP) Econometrı́a avanzada Octubre 2020 9 / 36

 Modelo de Regresión Lineal Bayesiano

Contenido

1 Introducción

2 Conceptos previos

3 Modelo de Regresión Lineal Bayesiano

4 Aplicaciones Empı́ricas

R. Vassallo (PUCP) Econometrı́a avanzada Octubre 2020 10 / 36

 Modelo de Regresión Lineal Bayesiano

La Likelihood

Se tiene el modelo:

yi = βxi + i , i ∼ iidN(0, σ 2 )

La Likelihood f (y |x, β, σ 2 )
I Como i ∼ iidN(0, σ 2 ) entonces f (i |σ 2 ) es Normal:

2
 
1
f (i |σ 2 ) = √ exp − i 2
2πσ 2 2σ

I Como yi ∼ N(βxi , σ 2 ) entonces f (yi |β, σ 2 ) es Normal:

(yi − βxi )2
 
1
f (yi |β, σ 2 ) = √ exp −
2πσ 2 2σ 2
I La Likelihood es:
N
Y
f (y |β, σ 2 ) = f (yi |β, σ 2 )
i=1

R. Vassallo (PUCP) Econometrı́a avanzada Octubre 2020 11 / 36

 Modelo de Regresión Lineal Bayesiano

La Likelihood
Usando la definición de normalidad de f (yi |β, σ 2 ), tenemos que:
N
!
2 1 1 X 2
f (y |β, σ ) = exp − 2 (yi − βxi )
(2π)N/2 σ N 2σ
i=1

En particular:
N
X N 
X   2
(yi − βxi )2 = yi − β̂xi + β − β̂ xi
i=1 i=1
N 
X 2      2 
= yi − β̂xi − 2 β − β̂ xi yi − β̂xi + β − β̂ xi2
i=1

Teniendo en cuenta que:

PN N
xi yi X  
β̂ = Pi=1
N
entonces xi yi − β̂xi = 0
2
i=1 xi i=1

R. Vassallo (PUCP) Econometrı́a avanzada Octubre 2020 12 / 36

 Modelo de Regresión Lineal Bayesiano

La Likelihood

Por tanto:
N
X N 
X N 
2 X 2
(yi − βxi )2 = yi − β̂xi + β − β̂ xi2
i=1 i=1 i=1
N
X
= υs 2 + (β − β̂)2 xi2
i=1

Donde: 2
P
yi − β̂xi
s2 = y υ =N −1
υ
Notar que β̂, s 2 y υ son los estimadores OLS para β, el error estándar y los
grados de libertad, respectivamente.
Asimismo, para facilidad de cálculo, es mucho más sencillo trabajar con el
error de precisión h = s12 , en lugar de la varianza.

R. Vassallo (PUCP) Econometrı́a avanzada Octubre 2020 13 / 36

 Modelo de Regresión Lineal Bayesiano

La Likelihood

Considerando estas definiciones, la Likelihood es reescrita:

 N/2 " N
#  
1 h 2 X h υ
2 N/2 2
f (y |β, σ ) = h exp − β − β̂ xi exp − −2
2π 2 2s
i=1

donde el primer término se asemeja a una densidad Normal para β|h y el

segundo a una densidad Gamma para h|β.
Ası́
!
1
β|h ∼ N β̂, PN
h i=1 xi2
υ − 2 υs 2
 
h−1 |β ∼ IG ,
2 2

R. Vassallo (PUCP) Econometrı́a avanzada Octubre 2020 14 / 36

 Modelo de Regresión Lineal Bayesiano

Prior Difuso (no informativo)

Distribución Posterior:

P(β, h|y ) ∝ L(β, h|y )P(β, h)

Selección de Priors P(β, h) ⇒ Afectará la forma de la densidad Posterior.

Prior Difuso (no informativo):
(
−∞ < β < ∞
P(β, h) ∝ h ⇒
0 < σ2 < ∞

Permite realizar inferencia de forma estándar y produce distribuciones

marginales conocidas, dado que no cambia la forma de la función de
verosimilitud.

R. Vassallo (PUCP) Econometrı́a avanzada Octubre 2020 15 / 36

 Modelo de Regresión Lineal Bayesiano

Prior Natural Conjugada (informativa)

En este caso, asignaremos una distribución a cada parámetro, por lo que
conviene escribir la Prior de la siguiente manera:

P(β, h) = P(β|h)P(h)

Es posible demostrar que si:

β|h ∼ N β, h−1 V

h ∼ G s −2 , υ

entonces la Prior conjunta se distribuye como:

P(β, h) = NG β, V , s −2 , υ

El investigador elige valores particulares a los llamados hyper-parámetros:

β, V , s −2 , υ

R. Vassallo (PUCP) Econometrı́a avanzada Octubre 2020 16 / 36

 Modelo de Regresión Lineal Bayesiano

La Posterior
La densidad Posterior es también de la forma Normal-Gamma, confirmando
ası́ que la Prior es Natural Conjugada:

P (β, h|y ) ∼ NG β, V , s −2 , υ

donde
1
V = −1 PN
V + 2
i=1 xi
N
!
X
−1
β=V V β + β̂ xi2
i=1

υ =υ+N
−2
y donde s se define a través de:
 2
β̂ − β
υs 2 = υs 2 + υs 2 +
V+ PN1
i=1 xi2

R. Vassallo (PUCP) Econometrı́a avanzada Octubre 2020 17 / 36

 Modelo de Regresión Lineal Bayesiano

La Posterior

En el modelamiento de regresión, el coeficiente que usualmente es de interés

es β, por lo tanto E [β|y ], la media posterior, es comúnmente usado como el
estimador puntual. Se calcula como:
ZZ Z
E [β|y ] = βP(β, h|y )dhdβ = βP(β|y )dβ

La varianza posterior var [β|y ] es comúnmente usado como una métrica de la

incertidumbre asociado al estimador puntual.
Por lo tanto:
υs 2
 
β|h, y ∼ N β, V
υ−2

h|y ∼ G s −2 , υ

El Modelo de Regresión Lineal con Prior del tipo Natural Conjugada

Normal-Gamma es un caso donde la simulación Posterior no es requerida.

R. Vassallo (PUCP) Econometrı́a avanzada Octubre 2020 18 / 36

 Modelo de Regresión Lineal Bayesiano

Comparación de Modelos

Supongamos que tenemos dos modelos (Mi , Mj ), entonces formalmente

tenemos:
P(β, h|y , Mi ) = NG β i , V i , s 2i , υ i

P(β, h|y , Mj ) = NG β j , V j , s 2j , υ j

La comparación se realiza mediante el ratio de densidades marginales:

P (y |Mi ) P(Mi )
POij =
P (y |Mj ) P(Mj )

donde en particular tendremos P(Mi ) = P(Mj ):


Vi

− υ2i
ci Vi υ i s 2i
POij = 
Vj

− υ2j
cj Vj υ j s 2j

R. Vassallo (PUCP) Econometrı́a avanzada Octubre 2020 19 / 36

 Aplicaciones Empı́ricas

Contenido

1 Introducción

2 Conceptos previos

3 Modelo de Regresión Lineal Bayesiano

4 Aplicaciones Empı́ricas

R. Vassallo (PUCP) Econometrı́a avanzada Octubre 2020 20 / 36

 Aplicaciones Empı́ricas

Ilustración con datos generados

Se simulan datos artificiales generados por la computadora.

I N = 50.
I Generamos valores para xi ∼ iidN(0, 1), para i = 1, ..., 50.
I Generamos valores para εi ∼ N(0, h−1 ).
I Se calcula la variable dependiente yi = βxi + εi .
I Consideremos como parámetros poblacionales β = 2 y h = 1.
Usaremos las dos Priors estudiadas:
1 La Prior no informativa.
2 La Prior natural conjugada, con β = 1.5, v = 0.25, υ = 10, y s −2 = 1.

R. Vassallo (PUCP) Econometrı́a avanzada Octubre 2020 21 / 36

 Aplicaciones Empı́ricas

Ilustración con datos generados

Prior Posterior
Using Non-informative Using Informative
Informative Prior Prior
Properties of β
Mean 1.50 2.06 1.96
S.D. 0.56 0.24 0.22
Properties of h
Mean 1.00 1.07 1.04
S.D. 0.45 0.21 0.19

Table 1: Prior and Posterior Properties of β and h

Medias Posterior de ambos parámetros utilizando la Prior informativa, se encuentra

entre la media Prior relevante y la media de la Likelihood (es decir, la media
Posterior utilizando una Prior no informativa).

R. Vassallo (PUCP) Econometrı́a avanzada Octubre 2020 22 / 36

 Aplicaciones Empı́ricas

Ilustración con datos generados

0.02
Prior
0.018 Posterior
Likelihood
0.016

0.014

probability density
0.012

0.01

0.008

0.006

0.004

0.002

0
1 1.2 1.4 1.6 1.8 2 2.2 2.4 2.6 2.8 3

Figure 1: Marginal Prior and Posteriors of β

Hemos elegido una Prior que contiene menos información que los datos. Esto se
puede ver en la figura (la Prior tiene mayor dispersión que la Likelihood), o en la
tabla (la S.D. Prior son mayores que las de la Likelihood).

R. Vassallo (PUCP) Econometrı́a avanzada Octubre 2020 23 / 36

 Aplicaciones Empı́ricas

Estimación del factor R asociado al COVID-19 en el Perú

Figure 2: Baldwin y Di Mauro (2020), Mendoza (2020)

R. Vassallo (PUCP) Econometrı́a avanzada Octubre 2020 24 / 36

 Aplicaciones Empı́ricas

Estimación del factor R asociado al COVID-19 en el Perú

¿Qué pasó con el Perú?

El factor R nos dice a cuántas personas puede afectar, en promedio, un
infectado con el COVID-19 (Rt > 1 propagación del virus; Rt = 1 contención;
y Rt < 1 la epidemia tiende a desaparecer).
El valor del Rt nos ayuda de dos maneras:
1 Nos habla de cuán efectivas están siendo nuestras medidas para controlar un
brote.
2 Nos brinda información vital sobre si debemos aumentar o reducir las
restricciones, basadas en nuestros objetivos de crecimiento económico y
seguridad humana.
Objetivo: estimación del factor Rt en tiempo real para Perú, utilizando
herramientas bayesianas para estimar el valor más probable de Rt y generar
un intervalo creı́ble para el verdadero valor.

R. Vassallo (PUCP) Econometrı́a avanzada Octubre 2020 25 / 36

 Aplicaciones Empı́ricas

Paso 1: modelar el proceso de llegada de las infecciones

Una opción muy utilizada en la estadı́stica para la distribución de la llegada

de infecciones es la distribución Poisson.
Si definimos una llegada promedio de λ casos nuevos por dı́a, entonces la
probabilidad de observar k casos nuevos en un dı́a viene dada por:

λk e −λ
P(k|λ) =
k!
La dist. Poisson nos dice que si uno cree que va a tener λ casos por dı́a,
probablemente obtendrá dicha cantidad.
Sin embargo, en la realidad, solo observamos el número de ”llegadas”.
¿Cómo configuramos una distribución de λ a partir del número observado de
llegadas? A través de la Likelihood:

λk e −λ
L(λ|k) =
k!

R. Vassallo (PUCP) Econometrı́a avanzada Octubre 2020 26 / 36

 Aplicaciones Empı́ricas

Paso 1: modelar el proceso de llegada de las infecciones

Figure 3: Probabilidad de k nuevos casos condicional a λ

R. Vassallo (PUCP) Econometrı́a avanzada Octubre 2020 27 / 36

 Aplicaciones Empı́ricas

Paso 1: modelar el proceso de llegada de las infecciones

Figure 4: Likelihood L(λ|k = 20)

R. Vassallo (PUCP) Econometrı́a avanzada Octubre 2020 28 / 36

 Aplicaciones Empı́ricas

Paso 2: conectando λ y Rt

Como habı́amos señalado, el factor Rt es el número de personas que se

infectan por persona infecciosa en el tiempo t. ¿Pero cómo se relaciona con
λ?
De acuerdo a Bettencourt y Ribeiro (2008), la relación es simple:

λ = kt−1 e γ(Rt −1)

donde el parámetro γ representa la inversa del intervalo en serie1 , en este

caso para el COVID-19. Du y otros (2020) estiman este valor en 3.96 dı́as.

1 Periodo de tiempo entre un caso primario (infector) que presenta sı́ntomas y un caso

secundario (infectado) que presenta sı́ntomas.

R. Vassallo (PUCP) Econometrı́a avanzada Octubre 2020 29 / 36
 Aplicaciones Empı́ricas

Paso 2: conectando λ y Rt

Dado que λ = f (Rt ), podemos reformular la Likelihood como una Poisson

parametrizada, con lo cual tendrı́amos:

λk e −λ
L(Rt |k) =
k!
Consideremos un ejemplo sencillo. Fijemos un rango de valores para
Rt ∈ [0, 12] con un paso pequeño de 0.1. Ademas tenemos que γ = 0.25 y
definamos k = 20, 40, 55, 90. Como kt−1 lo conocemos, entonces es sencillo
calcular el vector de λ para cada Rt ∈ [0, 12]. Con esto, ya es posible calcular
la función de verosimilitud condicional a cada uno de los k casos nuevos
observados.

R. Vassallo (PUCP) Econometrı́a avanzada Octubre 2020 30 / 36

 Aplicaciones Empı́ricas

Paso 2: conectando λ y Rt

Figure 5: Likelihood L(Rt |k)

R. Vassallo (PUCP) Econometrı́a avanzada Octubre 2020 31 / 36

 Aplicaciones Empı́ricas

Paso 3: estimación de Rt

Cada dı́a tenemos una conjetura independiente para Rt . El objetivo es

combinar la información que tenemos sobre dı́as anteriores con el dı́a actual.
Para ello, utilizamos el Teorema de Bayes:

P(Rt |kt ) ∝ L(kt |Rt ) ∗ P(Rt )

Intruitivamente, habiendo visto k nuevos casos, nosotros creemos que la

distribución de Rt es proporcional a: (i) las creencias a priori del valor de Rt
sin la data; y, (ii) la Likelihood de ver k nuevos casos dado Rt .
Si utilizamos la distribución Posterior del periodo anterior, P(Rt−1 |kt−1 ),
como Prior P(Rt ) para el periodo actual, entonces:

P(Rt |kt ) ∝ L(kt |Rt ) ∗ P(Rt−1 |kt−1 )

R. Vassallo (PUCP) Econometrı́a avanzada Octubre 2020 32 / 36

 Aplicaciones Empı́ricas

Paso 3: estimación de Rt

Iterando hacia atrás, tenemos:

T
Y
P(Rt |kt ) ∝ L(kt |Rt ) ∗ P(R0 )
t=0

Asumiendo una Prior uniforme P(R0 ), la expresión se reduce a:

T
Y
P(Rt |kt ) ∝ L(kt |Rt )
t=0

Con esta expresión podemos calcular la Posterior con las Likelihoods,

recogiendo información histórica que puede resultar valiosa al momento de la
estimación.

R. Vassallo (PUCP) Econometrı́a avanzada Octubre 2020 33 / 36

 Aplicaciones Empı́ricas

Paso 3: estimación de Rt

Figure 6: Posterior de Rt dado k

R. Vassallo (PUCP) Econometrı́a avanzada Octubre 2020 34 / 36

 Aplicaciones Empı́ricas

Referencias

F. Canova.
Methods for applied macroeconomic research.
Princeton University Press, 2007.
G. Koop.
Bayesian econometrics.
John Wiley and Sons, 2003.
G. Koop, D. Poirier, and J. Tobias.
Bayesian econometric methods.
Cabridge University Press, 2007.

R. Vassallo (PUCP) Econometrı́a avanzada Octubre 2020 35 / 36

 Aplicaciones Empı́ricas

Introducción a la Econometrı́a Bayesiana

Econometrı́a Avanzada: Series de Tiempo

Renato Vassallo

Pontificia Universidad Católica del Perú

Octubre 2020

R. Vassallo (PUCP) Econometrı́a avanzada Octubre 2020 36 / 36