Are Currency Crisis predictable?

A test
Andrew Berg y Caroline Patillo (1999) IMF Staff Papers, 46 (2): 107-138

I. Consideraciones preliminares
Se evalan tres modelos para predecir crisis

cambiarias, propuestos antes de 1997.

Si se hubieran estado utilizando estos modelos a fines

de 1996, cuan bien armados hubiramos estado para predecir la crisis Asitica?
La crisis asitica estimul el trabajo emprico, y

muchos artculos alegaban su capacidad para predecir la incidencia de esta crisis usando datos previos a la crisis.

 Advertencias:

Una cosa es decir que las crisis cambiarias pueden predecirse en general, y otra que modelos economtricos estimados a partir de datos histricos sobre un panel de pases pueden predecir crisis con algn grado de precisin; 2) Las crisis son lo suficientemente similares entre pases y a lo largo del tiempo para permitir generalizaciones de la experiencia pasada?; 3) La posible endogeneidad de la poltica al riesgo de crisis puede limitar la predictibilidad de las crisis.
1)

El frenes de trabajos entre las crisis de 1994 y 1997 y la gran cantidad de crisis observadas en 1997 proporcionan una excelente oportunidad para testear el estado del arte de los sistemas de alerta temprana por

 En ltima instancia, si las crisis pueden predecirse o

no es una cuestin que slo puede decidirse en la prctica. Los trabajos recientes se enfocan exclusivamente en predicciones dentro de la muestra.
Formulacin y estimacin de un modelo utilizando datos sobre un conjunto de crisis, y luego juzgando el xito del modelo a travs de la significatividad de los parmetros estimados y el tamao de los errores de prediccin para ese conjunto de crisis.

La clave sin embargo, no es la capacidad del

modelo para ajustar a un conjunto de observaciones post-facto, sino la prediccin de futuras crisis.

Plan de trabajo
Se evalan tres modelos diferentes para predecir crisis

cambiarias (fundamentos de la eleccin). 1. Se duplican los resultados originales; 2. Se reestiman los modelos utilizando datos hasta 1996, empleando dos muestras: a) La que utiliza el trabajo original; b) Una muestra comn con el propsito de comparar. 3. Se utilizan los modelos para predecir eventos en 1997. 4. Se genera un ranking de pases de acuerdo a la probabilidad predicha de crisis severas en 1997 para cada modelo, y se comparan los rankings reales y predichos

 Kaminsky, Lizondo and Reinhart (1998) Enfoque de seales (KLR)

El modelo original
Monitorean 15 indicadores durante una ventana de 24

meses anteriores a la crisis.

El indicador emite una seal cuando se mueve ms all

de un umbral determinado.
La performance de cada indicador se evala en trminos

de la matriz:
Crisis dentro de los 24 meses NO Crisis dentro de los 24 meses

Se emiti seal
NO Se emiti seal

A
C

B
D

 Para cada indicador se obtiene un umbral ptimo (aquel

que minimiza el ratio ruido sobre seal B/A), calculado en base a los percentiles de la distribucin de la variable en cuestin para cada pas (= entre pases).
Tabla 1.1 Indicadores
(1) Reservas internacionales en U$S (2) Importaciones en U$S (3) Exportaciones en U$S (9) Ratio crdito domstico a PIB

(10) Tasa de inters real sobre depsitos

(11) Ratio de tasas de prstamos nominales a depsitos (12) Stock de depsitos en bancos com. (13) Ratio de dinero extranjero a reservas internacionales netas (14) Un ndice de precio de acciones en U$S (15) Un ndice de producto

(4) Trminos de intercambio

(5) Desviaciones del TC respecto a un patrn temporal determinstico, en % (6) Diferencial entre tipo de inters real extranjero y domstico sobre depsitos (7) Exceso de balances reales M1 (8) Multiplicador monetario de M2

Crisis cambiaria: ocurre cuando el promedio ponderado de las depreciaciones mensuales del tipo de cambio y las disminuciones de reservas exceden su media por ms de tres veces su desviacin estndar. Reestimacin del modelo Tabla 1.2: resultados de la estimacin in-sample, perodo 1970 a abril 1995. 8 indicadores informativos: desviaciones del TCR al patrn, crecimiento de M2 como fraccin de reservas, crecimiento X, cambios en reservas internacionales, exceso de balances M1, crecimiento del crdito domstico como fraccin del PIB, tasa de inters real y el crecimiento de los trminos de intercambio. Resultados similares al modelo original.

Tabla 1.2 Performance de los Indicadores in-sample

Predicciones para 1997 - Timing Una vez calculados los umbrales ptimos, se aplican a los valores de las variables predictivas para el perodo post abril 1995, determinando si emiten o no seales. Tabla 1.3.A.: performance del modelo, punto de corte 50%. Slo el 4% de las veces, la probabilidad estimada de crisis est por encima del 50% antes de la verdadera crisis. Tabla 1.3.B se considera la emisin de alarma cuando la probabilidad estimada de crisis es mayor al 25%. Ahora, el 25% de las veces la probabilidad estimada est por encima del corte, pero el 63% de las alarmas son falsas. Conclusin: no es un buen desempeo, porque la mayora de las crisis se pierden y la mayora de las alarmas son falsas. Sin embargo, la prediccin es mejor que simples conjeturas al azar.

Tabla 1.3.A . Bondad del ajuste Modelo KLR out of sample

Tabla 1.3.B. Bondad del ajuste Modelo KLR out of sample

Predicciones para 1997 - xito cross-sectional Tambin es posible evaluar el xito para identificar qu pases son vulnerables en un perodo de turbulencia financiera como 1997.
El modelo asigna altas probabilidades de crisis a

aquellos pases que tuvieron las mayores crisis?

Tabla 1.4 compara rankings de pases basados en ndices

de crisis reales y predichos. Las predicciones son exitosas. Las probabilidades predichas estn correlacionadas significativamente con los ndices reales de los pases en 1997, y explican el 28% de la varianza.

Tabla 1.4. Correlacin de rankings reales y predichos para KLR

 Frankel and Rose (1996) Modelo Probit (FR)

El modelo original
Utilizan datos anuales para ms de 100 pases en

desarrollo desde 1971-92.

HIPTESIS: Ciertas caractersticas de flujos de capitales

se asocian (+) con la ocurrencia de crisis cambiarias. Crisis cambiaria: ocurre cuando el TC nominal se deprecia al menos 25% y adems excede el cambio del ao anterior en el TC en al menos un 10%.

Tabla 2.1 Lista de variables

Variables macro domsticas (1) Tasa de crecimiento crdito domstico (2) Presupuesto del gobierno % PIB (3) Tasa de crecimiento del PNB Medidas de vulnerabilidad a shock externos (1) Ratio deuda total a PIB (2) Ratio reservas a importaciones (3) Cuenta corriente como % PIB (4) Grado de sobrevaluacin Variables Externas (1) Tasa de crecimiento porcentual del producto real OECD (2) Tasa de inters externa Caractersticas de la composicin de flujos de capital (% deuda externa total) (1) Deuda tomada por bancos comerciales (2) Deuda concesional y de bcos multilat. (3) Deuda a tasa variable (4) Deuda del sector pblico (5) Deuda de corto plazo (6) Flujo de IED (% stock deuda)

Reestimacin del modelo Tabla 2.2: resultados del modelo probit, perodo 1970 a 1996. La bondad de ajuste es razonablemente alta. Predicciones para 1997 No se puede analizar directamente la bondad del ajuste. Comparacin de probabilidades predichas y valores reales de depreciacin del TC para 1997. (Tabla 2.3)

Las predicciones no son exitosas, correlacin del 33%. Explica el 11% varianza. Falla en proveer una gua til sobre probabilidades de crisis en 1997.

Tabla 2.2. Estimacin Probit, 1970-96

Tabla 2.3. Correlacin de rankings reales y predichos para FR

 Sachs, Tornell and Velasco(1996) Regresiones entre pases(STV)

El modelo original
Analizan el impacto de la crisis mexicana de diciembre

1994 sobre otros mercados emergentes en 1995. (No intenta predecir el timing de las crisis). Qu pases tienen ms probabilidad de sufrir serios ataques ante el evento de un cambio en el ambiente global? Potencial atractivo: 1) Pediccin del timing vs incidencia, 2) Determinantes de las crisis, 3) Imposicin de estructura econmica. El modelo fue diseado para explicar eventos en 1995.

ndice de Crisis (IND): suma ponderada del porcentaje de cada de las reservas y el porcentaje de depreciacin del TC, desde noviembre 1994 - abril 1995.
Pases tienen ataques ms severos cuando:

Sistemas bancarios dbiles (LB), 2) TC sobrevaluado (RER) 3) Bajo nivel de reservas (DLR) 4) Fundamentals dbiles (DWF)
1)

Estiman para los i pases de la muestra:

Resultados originales: (1) el efecto de RER es

significativamente negativo, y (2) el efecto de LB es significativamente positivo.

Reestimacin del modelo Tabla 3.1: resultados del modelo, perodo 1994/95. Los coeficientes de la regresin cambian sustancialmente. La hiptesis recibe apoyo mixto. La fragilidad de los rtdos arroja dudas sobre la utilidad de esta especificacin para la crisis asitica.

Predicciones para 1997 Se actualizan las variables y se aplican los coeficientes de las regresiones STV para la crisis mejicana. Comparacin de probabilidades predichas y valores reales de depreciacin del TC para 1997. (Tabla 3.2)
Las predicciones no son exitosas. Explica el 5% varianza.

Tabla 3.1. Regresiones STV 1994-95

Tabla 3.2. Correlacin de rankings reales y predichos para STV

II. Las variables adicionales ayudan? Aun el ms exitoso de los tres modelos (KLR) tiene bajo
poder explicativo. Es posible mejorar la predicciones incorporando variables explicativas? 1) Modelo KLR: omite variables tericamente relevantes. Los resultados mejoran si se adicionan: Ratio dficit cuenta corriente a PIB, M2/reservas. 2) Modelo FR: Si se adicionan: Grado de apertura de la economa M2/reservas. No mejora el desempeo del modelo para predecir crisis 1997.

III. Los modelos se pueden comparar? Los modelos difieren crticamente: definiciones de crisis y
muestras. La comparacin de estadsticas tpicas no ayuda. Bondad del ajuste
Definicin Crisis KLR Mira un ndice de crisis. Informacin sobre variacin de reservas y depreciacin TC. Predice severidad de las crisis (% cambio ndice de crisis). Mide slo el TC. Predice crisis discretas (valores extremos del ndice). Mira un ndice de crisis. Informacin sobre variacin de reservas y depreciacin TC. Muestra Conjunto de pases desarrollados y en desarrollo (que hayan tenido crisis en los ltimos 25 aos).

FR

Muestra ms amplia de pases en desarrollo en 22 aos Datos de pases emergentes en 1995

STV

 Estimando con una muestra comn se encontr: 1) KLR es bastante robusto, 2) FR cambia significativamente,

3) STV es frgil.
Ni FR ni STV hacen buenas predicciones fuera de la

muestra. Adems, los modelos hacen predicciones sobre diferentes horizontes temporales: 1. FR y STV predicen respecto a un ao, 2. KLR: 24 meses. (No es causa del mejor desempeo de KLR).

IV. Conclusin
El ejercicio es out of sample: se estima usando

datos slo hasta 1996 y los modelos fueron especificados antes de 1997. 2 de los 3 modelos proveen predicciones no mejores a conjeturas al azar. KLR alcanza cierto grado de xito: 1) Las probabilidades de crisis son predictoras estadsticamente significativas de la verdadera incidencia de crisis. 2) El ranking predicho es un predictor estadsticamente significativo del verdadero ranking. Sin embargo: explica slo el 28% de la variacin

 Aadiendo variables explicativas, slo mejor el

modelo KLR. Respuesta a la pregunta: s, pero no muy bien 1. S, porque las predicciones de KLR son mejores que puras conjeturas. 2. No muy bien, porque aun KLR emite ms alarmas falsas que advertencias precisas.

La comparacin out of sample proporciona informacin importante sobre el modelado de CC: KLR y FR sobre diferentes muestras han preservado la mayora de los resultados econmicos importantes.

 Hechos estilizados sobre las CC. 3 enfoques

demuestran que la Pr aumenta: a) Crecimiento del crdito domstico es alto, b) TC real est sobrevaluado, c) M2/reservas es alto. d) FR y KLR sugieren que un alto dficit cta cte es un factor de riesgo.
Implican que son relevantes elementos de los

modelos de 1ra y 2da generacin. El ejercicio sugiere que aunque los modelos predictivos pueden ayudar a indicar vulnerabilidad, su poder predictivo puede ser limitado.