Aplicaciones y Técnicas en el uso de Markov.

1. Introducción.

Se conoce como cadena de Márkov a un tipo especial de proceso estocástico

discreto en el que la probabilidad de que ocurra un evento depende del evento
inmediatamente anterior. En efecto, las cadenas de este tipo tienen memoria.
"Recuerdan" el último evento y esto condiciona las posibilidades de los eventos
futuros. Esta dependencia del evento anterior distingue a las cadenas de Márkov de
las series de eventos independientes, como tirar una moneda al aire o un dado.

Es un proceso aleatorio con la propiedad de que dado el valor actual del proceso
Xt, los valores futuros Xs para s > t son independientes de los valores pasados Xu
para u < t. Es decir, que si tenemos la informaci´on presente del proceso, saber
como llego al estado actual no afecta las probabilidades de pasar a otro estado en
el futuro

Cadena de Markov a tiempo discreto

Es una sucesión de variables aleatorias Xn, n ≥ 1 que toman valores en un conjunto

finito o numerable E, conocido como espacio de estados, y que satisface la siguiente
propiedad P(Xn+1 = j|X0 = i0, . . . , Xn−1 = in−1, Xn = in) = P(Xn+1 = j|Xn = in) para
todo n y cualesquiera estados i0, i1, . . . , in, j en E. La propiedad (2.1) se conoce
como la propiedad de Markov.

Cadenas homogéneas y no homogéneas

 Una cadena de Markov se dice homogénea si la probabilidad de ir del estado

i al estado j en un paso no depende del tiempo en el que se encuentra la
cadena, esto es:

para todo n y para

cualquier i, j.
Si para alguna pareja de estados y para algún tiempo n la propiedad antes
mencionada no se cumple diremos que la cadena de Markov es no homogénea.

Probabilidades de transición y matriz de transición

 La probabilidad de ir del estado i al estado j en n unidades de tiempo es

en la probabilidad de transición en un paso se omite el superíndice de modo que

queda

 Un hecho importante es que las probabilidades de transición en n pasos

satisfacen la ecuación de Chapman-Kolmogorov, esto es, para cualquier k tal
que 0 < k < n se cumple que

donde E denota el espacio de estados.

 Cuando la cadena de Markov es homogénea, muchas de sus propiedades

útiles se pueden obtener a través de su matriz de transición, definida entrada

a entrada como

esto es, la entrada i, j corresponde a la probabilidad de ir del estado i a j en un paso.

Del mismo modo se puede obtener la matriz de transición en n pasos como:

, donde .
Vector de probabilidad invariante

 Se define la distribución inicial .

 Diremos que un vector de probabilidad (finito o infinito numerable) es

invariante para una cadena de Markov si

donde P denota la matriz de transición de la cadena de Markov. Al vector de

probabilidad invariante también se le llama distribución estacionaria o distribución
de equilibrio.

Clases de comunicación

 Para dos estados i,j en el espacio de estados E, diremos que de i se accede

a j (y se denotará ) si

para algún n,

si y entonces diremos que i comunica con j y se denotará i↔j.

La propiedad "↔" es una relación de equivalencia. Esta relación induce una

partición en el espacio de estados. A estas clases de equivalencia las llamaremos

clases de comunicación.

Dado un estado x, denotaremos a su clase de comunicación como C(x).

 Diremos que un subconjunto C del espacio de estados (al que denotaremos

E) es cerrado si ningún estado de E-C puede ser accedido desde un estado

 de C, es decir, si para todo x∈C, para todo y∈E-C y para todo

natural m>0.

Tiempos de entrada

Si , definimos el primer tiempo de entrada a C como la variable aleatoria

esto es, denota la primera vez que la cadena entra al conjunto de estados C.

Recurrencia

En una cadena de Markov con espacio de estados E, si x∈E se define

y diremos que:

 x es estado recurrente si .

 x es transitorio si

 x es absorbente si

 Una clase de comunicación es clase recurrente si todos sus estados son

recurrentes.

Sea , si x∈Ediremos que:

 x es cero-recurrente si

 x es positivo-recurrente si
El real se interpreta como el tiempo promedio de recurrencia.

Periodicidad

 El periodo de un estado x∈E se define como:

donde denota el máximo común divisor.

 Si d(x)=1 diremos que x es un estado aperiódico.

Una cadena de Markov se dice aperiódica si todos sus estados son aperiódicos

2. Técnicas

Algoritmo Metropolis Hastings

El algoritmo MH simula de una cadena de Markov cuya distribución estacionaria

es π(θ | x). Se comienza con un valor inicial θ0.

1. Dado el valor actual, θt , simular un valor candidato θ˜, de una densidad

propuesta, q(θ˜ | θt).

3. Calcular la probabilidad de aceptar el valor generado:

4. Simular u de una distribución uniforme .

5. Si u < α, tomar θt+1 = θ˜. Si no, rechazar y tomar θt+1 = θt .

La probabilidad de aceptar, α, no depende de la constante de integración de la

distribución a posteriori, de modo que:

Un caso particular es el algoritmo Metropolis, en el que la densidad propuesta q(θ

˜ | θ) es sim´etrica y la probabilidad de aceptación se reduce a:

El muestreo de Gibbs

Es un caso particular del algoritmo MH por bloques en cual las densidades

propuestas coinciden con las distribuciones a posteriori condicionadas de modo que
la probabilidad de aceptar es siempre uno. Supongamos que el conjunto de
parámetros es θ = (θ1, . . . , θk ) y que para todo i = 1, . . . , k, es fácil simular de la
distribución a posteriori condicional, π (θi | θ1, . . . , θi−1, θi+1, . . . , θk ) Fijar un
valor inicial, (θ1,0, . . . , θk,0). Repetir:

Diagnosis de convergencia
Cuando se ejecuta un algoritmo MCMC, es importante examinar si los valores

simulados, θt , han convergido aproximadamente a la distribución estacionaria,

π(θ | x). Para ello es recomendable:

Existen además numerosos procedimientos en la literatura para estudiar la

convergencia de la cadena. Una posibilidad es ejecutar el algoritmo varias veces

comenzando en distintos valores iniciales y comprobar si el comportamiento de la

distribución estacionaria es la misma.

3.- Aplicaciones

 Comportamiento (sube/baja) del precio de las acciones hoy depende de lo

ocurrido ayer

 Problema de la ruina de un jugador de casino

 Elección de marca: Con qué línea aérea volar a Madrid?

 La ruina del jugador: Supongamos que un jugador A con k unidades de dinero

juega con otro rico, y tiene una probabilidad pk de ganar una unidad y qk = 1

¡ pk, con k ¸ 1, de perder una unidad en cada respuesta o decisión (la decisión

o respuesta en cada etapa del juego puede depender de su fortuna

acumulada hasta entonces), y además r0 = 1 (es decir, toda vez que el

jugador A se queda sin dinero, su contendor no le da crédito) el proceso fXng,

donde Xn representa la fortuna de A despues de n jugadas. Notemos que

una vez que el estado 0 es alcanzado el proceso jamás sale de este estado.

Este proceso es claramente un paseo aleatorio. El paseo aleatorio

correspondiente a pk = p y qk = 1 ¡ p = q para k ¸ 1 y r0 = 1, con p > q, describe

la situación de decisiones idénticas con una ventaja de…nida para el jugador

A en cada jugada. Si p < q entonces la ventaja está a favor del casino, y con

probabilidad 1 el jugador A se arruinará si persiste en jugar tanto como le sea

posible. Lo mismo ocurrirá si p = q = 1=2. Ahora si el jugador A juega contra

un adversario no rico, obtenemos el siguiente ejemplo Los jugadores con

poco dinero. Supongamos dos jugadores que juegan un juego donde se

pierde o se gana, y en cada jugada se apuesta un dólar por jugador. El

jugador A tiene a dólares y el jugador B tiene b dólares. Supongamos que no

hay ventajas para ningún jugador, esto es cada uno tiene las mismas
 opciones de ganar (o perder). Desde el punto de vista de la ganancia del

jugador A, el proceso Xn como la ganancia obtenida por A en la nésima

jugada. Es claro que la ganancia de este jugador antes de una determinada

jugada, dependerá de la ganancia que haya obtenido en la jugada

inmediatamente anterior (esto es, la propiedad markoviana).

 Se presenta el uso de cadenas de Markov para proyectar la población en

áreas geopolíticas menores. El método consiste en proyectar sólo la

distribución relativa que, aplicada a una proyección demográfica previa,

arroja la población en subregiones. Se desarrolla un algoritmo que permite

estimar las probabilidades de transición para la cadena a partir de datos de

fácil disponibilidad: la población total residente en dos o más regiones o

estados en sólo dos momentos en el tiempo. Una vez determinadas esas

probabilidades, su proyección y la correspondiente a la distribución relativa

es directa. La aplicación del método se hace con la Zona Metropolitana de la

Ciudad de México, para la cual se proyecta su población y extensión

territorial. En una segunda aplicación se proyecta sólo la población para tres

contornos en que se ha dividido a la metrópoli.

4.- Bibliografía

http://www.eumed.net/cursecon/ecolat/cu/2011/pdc.htm
2014
Rolando Peguero Pérez
Gisela Maria Riquenes Despaigne
Germán del Río Caballero
http://www.scielo.sa.cr/pdf/tem/v29n1/0379-3982-tem-29-01-00074.pdf
Fecha de recepción: 15 de junio del 2015 Fecha de aprobación: 6 de octubre del
2015
https://www.ull.es/view/institucional/bbtk/Partes_de_un_trabajo/es

HARVEY, Gordon. Cómo se citan las fuentes. Madrid:

Nuer, 2001.

http://intranetua.uantof.cl/facultades/csbasicas/Matematicas/academicos/emartinez
/magister/markov/markov.pdf
Eliseo Martínez 2011
http://tangara.uis.edu.co/biblioweb/tesis/2011/141227.pdf
Julio de 2014