Cadenas de Markov

Una Introduccin

Proceso Estocstico (PE)

Un proceso estocstico es una coleccin de variables

aleatorias.
: tiempo (generalmente)
: estado del proceso en tiempo

Ejemplo

: nmero total de clientes que-han-entrado-a/estndentro-de-un supermercado en el tiempo

: cantidad total de ventas registradas hasta el tiempo

Discreto y Continuo

es el conjunto de ndices del proceso

contable PE discreto
es un PE discreto indexado en enteros no negativos

continuo PE continuo
es un PE continuo indexado en reales no negativos

Espacio de Estados de un PE

Conjunto de todos los posibles valores que puede tomar

la variable aleatoria

Cadena de Markov: Definicin

Sea

un proceso estocstico que asume un nmero finito

o contable de valores. A menos que se diga lo contario,
estos valores sern notados por el conjunto de enteros
no negativos
Si entonces se dice que el proceso est en estado en
tiempo
Si el proceso est en estado hay una probabilidad fija de
que est en estado j en el siguiente punto del tiempo.

Cadena de Markov: Definicin

Si suponemos que:

Para todos los estados y

Tal proceso estocstico se conoce como Cadena de Markov (CM)

PE y CM

En otras palabras, una CM es una clase de PE

La distribucin condicional de un estado futuro dados
estados pasados y el estado actual es independiente de
los estados pasados y depende solo del estado actual


Probabilidad

de que el proceso vaya al estado en el

siguiente paso, dado que est en el estado

Matriz de Probabilidades de
Transicin de Estados (MPTE) de un
Paso

Ejemplo 4.1: Pronstico del Clima

Suponga que la probabilidad de lluvia maana depende

de las condiciones climticas del da de hoy y no estn
relacionadas con las condiciones climticas de los das
anteriores.
Suponga que si llueve hoy, entonces llover maana con
probabilidad y si no llueve hoy, entonces llover maana
con probabilidad

Ejemplo 4.1: Pronstico del Clima

Si decimos que el proceso est en estado cuando llueve

y en estado si no llueve, entonces lo anterior se puede
representar con la MPTE

Diagrama de burbujas

Ejemplo 4.2: Un sistema de

comunicaciones
Considere

un sistema de comunicaciones que transmite

los dgitos 0 y 1. Cada dgito transmitido debe pasar a
travs de varias etapas en cada una de las cuales hay
una probabilidad de que el dgito entrado no ser
cambiado cuando salga.
Sea el dgito entrado en la etapa, entonces es una CM
de dos estados con MPTE

Diagrama de burbujas

Ejemplo 4.3: Estado de nimo

En un da cualquiera, Gary puede estar jovial, regular o

triste. Si est jovial hoy, entonces estar jovial, regular o
triste maana con probabilidades 0.5, 0.4 y 0.1. Si est
regular hoy, entonces estar jovial, regular o triste
maana con probabilidades 0.3, 0.4 y 0.3
respectivamente. Si est triste hoy, entonces estar
jovial, regular o triste maana con probabilidades 0.2, 0.3
y 0.5 respectivamente.

Ejemplo 4.3: Estado de nimo

Si : estado de nimo de Gary en el da entonces es una

CM de tres estados (0: Jovial, 1: regular, 2: triste) con
MPTE

Diagrama de burbujas

Ejemplo 4.4: Transformacin de un

proceso en una CM
Suponga que si llueve o no hoy depende de las
condiciones climticas previas a travs de los ltimos dos
das. Especficamente, suponga que si llovi en los
ltimos dos das, entonces llover maana con
probabilidad 0.7; si llovi hoy pero no ayer, entonces
llover maana con probabilidad 0.5; si llovi ayer pero
no hoy entonces llover maana con probabilidad 0.4; si
no ha llovido en los ltimos dos das, entonces llover
maana con probabilidad 0.2

Ejemplo 4.4: Transformacin de un

proceso en una CM
Estado 0: llovi hoy, llovi ayer (LL)
Estado 1: llovi hoy, no llovi ayer (NL)
Estado 2: no llovi hoy, llovi ayer (LN)
Estado 3: no llovi hoy, no llovi ayer (NN)
ayer hoy maana
L L L
L L N
N L L
N L N

Diagrama de burbujas

Ejemplo 4.5: Un modelo de

caminata aleatoria

Una CM cuyo espacio de estados est dado por los

enteros se conoce como caminata aleatoria si para algn
nmero

Para

Diagrama de burbujas

Ejemplo 4.6: Un modelo de juego

Considere

un jugador que en cada jugada o gana con

probabilidad o pierde con probabilidad Si suponemos
que nuestro jugador termina el juego cuando alcance una
fortuna de o cuando se quiebre, entonces la fortuna del
jugador es una CM con Probabilidades de Transicin

Diagrama de burbujas

Ejemplo 4.7: Una aplicacin a la

industria de seguros
En la mayor parte de Europa y Asia las plizas de seguros
para automvil son determinadas de acuerdo a un
sistema Bonus Malus. A cada asegurado se le asigna un
estado representado por un valor entero y el valor de la
pliza anual es una funcin de ese valor.

Ejemplo 4.7: Una aplicacin a la

industria de seguros
El estado de un asegurado cambia de ao a ao en
respuesta a su nmero de reclamaciones hechas. Debido
a que los estados bajos corresponden a plizas ms
baratas, el estado de un asegurado usualmente
disminuir si no hiciera reclamaciones en el ao anterior
y aumentar si hace una o ms reclamaciones en el ao
anterior.

Ejemplo 4.7: Una aplicacin a la

industria de seguros

No hacer reclamaciones es bueno y usualmente resulta

en plizas ms baratas. Hacer reclamaciones es malo y
usualmente resulta en plizas ms caras.

Ejemplo 4.7: Una aplicacin a la

industria de seguros

Para un sistema Bonus Malus dado, sea:

: el siguiente estado de un asegurado que estaba en
estado el ao anterior y que hizo un total de
reclamaciones en el ao anterior

Ejemplo 4.7: Una aplicacin a la

industria de seguros

Si se supone que el nmero de reclamaciones anuales

hechas por un particular es una variable aleatoria Poisson
con parmetro , entonces los estados sucesivos de este
asegurado consituyen una CM con probabilidades de
transicin:

Ejemplo 4.7: Una aplicacin a la

industria de seguros
En la prctica, usualmente hay ms de 20 estados. Sin
embargo, en este ejemplo se muestran solo 4 estados,
segn la tabla siguiente: Siguiente estado si hace
Estado

Pliza
Anual

0
Reclamacione
s

1
Reclamaci
n

2
Reclamacione
s

Reclamaciones

200

250

400

600

Ejemplo 4.7: Una aplicacin a la

industria de seguros

Si es la probabilidad de que un asegurado haga

reclamaciones en un ao:

Ejemplo 4.7: Una aplicacin a la

industria de seguros

Para el sistema Bonus Malus especificado, la MPTE est

dada por:

Ecuaciones de ChapmanKolmogorov
de transicin de un paso
: probabilidades

: probabilidades de transicin de pasos. Es la probabilidad de

que el proceso, estando en estado alcance el estado despus
de pasos.

Por supuesto

Ecuaciones de ChapmanKolmogorov
Proveen

un mtodo para calcular estas probabilidades de

transicin luego de pasos.

Ecuaciones de ChapmanKolmogorov
En
notacin matricial:
: MPTE de pasos
: MPTE de pasos

Ejemplo 4.8: del ejemplo 4.1 (el del

clima)

cul es la probabilidad de que llover cuatro

das desde hoy dado que hoy est lloviendo?

Ejemplo 4.8: del ejemplo 4.1 (el del

clima)

As

Ejemplo 4.8: del ejemplo 4.1 (el del

clima)

La probabilidad que se busca es

Ejemplo 4.9
Considere

el Ejemplo 4.4, dado que llovi Lunes y Martes,

cul es la probabilidad de que llover el Jueves?
La MPTE de dos pasos est dada por:

Ejemplo 4.9
La
MPTE de dos pasos est dada por:

Como lluvia el Jueves es equivalente a que el proceso

est en el estado o en el estado , la probabilidad
deseada est dada por:

Clasificacin de Estados

El estado es accesible desde el estado si para algn . El estado

es accesible desde el estado si y solo si iniciando en es posible
que el proceso en algn momento entre en
Dos estados
comunican

accesibles mutuamente son estados que se

Cualquier estado se comunica consigo mismo ya que por

definicin

Propiedades de la relacin de
comunicacin

El estado se comunica con el estado para todo

Si el estado se comunica con el estado , entonces el
estado se comunica con el estado
Si el estado se comunica con el estado y el estado se
comunica con el estado entonces el estado se
comunica con el estado

Ms acerca de comunicacin
Dos estados que se comunican estn en la misma clase
Cualquier dos clases de estados de una CM o son la misma o son
disjuntas
El concepto de comunicacin divide el espacio de estados en un
nmero de clases separadas
Una CM es irreducible si solo tiene una clase (todos los estados se
comunican entre s)

Ejemplo 4.14

Considere la CM con 3 estados: 0, 1 y 2 con la siguiente

MPTE:

es una CM irreducible? Justifique.

Ejemplo 4.15
Considere

una CM de 4 estados 0, 1, 2 y 3 con la

siguiente MPTE:

es una CM irreducible? Justifique.

Recurrencia y Transitividad

Consideraciones importantes
: probabilidad
de que iniciando en el estado el proceso en algn

momento regrese a este estado

es recurrente si y es transitorio si
Si es recurrente, el proceso volver a pasar por el estado una y otra
vez de manera infinita
Si es transitorio, cuando el proceso est en el estado , existir una
probabilidad positiva de que el proceso no regrese a este estado

Consideraciones importantes

Iniciando en el estado la probabilidad de que el proceso

estar en el estado por exactamente perodos de
tiempo est dada por

Consideraciones importantes

Si el estado es transitorio, entonces iniciando en el

estado , el nmero esperado de perodos de tiempo que
el proceso est en estado tiene una distribucin
geomtrica con media finita

Conclusin

El estado es recurrente si y solo si, iniciando en el

estado , el nmero esperado de periodos de tiempo que
el proceso est en el estado es infinito

Consideraciones adicionales

Nmero de perodos que el proceso est en estado :

Reflexin

El estado es

Recurrente si
Transitorio

si

Observaciones

Un estado transitorio ser visitado solo un nmero finito

de veces
Un estado recurrente ser visitado un nmero infinito de
veces

En una CM con un nmero finito de

estados, no todos pueden ser transitorios
Suponga
que la CM tiene los estados y suponga que todos son transitorios

Despus de una cantidad finita de tiempo el estado no ser visitado nuevamente

Despus de una cantidad finita de tiempo el estado no ser visitado nuevamente
.
.
.
Despus de una cantidad finita de tiempo el estado no ser visitado nuevamente

En una CM con un nmero finito de

estados, no todos pueden ser transitorios
Despues

de un tiempo finito , ningn est ser visitado!

Pero
el proceso siempre debe estar en algn estado!

En una CM con un nmero finito de

estados, no todos pueden ser transitorios

Alguno de los estados debe ser recurrente!

Corolarios
Si el estado es recurrente, y el estado se comunica con
el estado , entonces el estado es recurrente
La transitividad es una propiedad de clase: si el estado
es transitorio y se comunica con el estado , entonces el
estado tambin debe ser transitorio
Todos los estados de una CM finita irreducible son
recurrentes

Ejemplo 4.16

Considere la CM que consiste de los estados 0, 1, 2 y 3

con la siguiente MPTE

Determine cules estados son transitorios y cules son

recurrentes

Ejemplo 4.16

Diagrama de Burbujas

Ejemplo 4.17

Considere la siguiente CM con los estados 0, 1, 2, 3 y 4

Proporciones en el largo plazo y

probabilidades lmite

recurrente
nmero esperado de transiciones para regresar a
iniciando en

Proporciones en el largo plazo y

probabilidades lmite

Definicin:
El estado recurrente es positivo recurrente si y nulo
recurrente si

Proporciones en el largo plazo y

probabilidades lmite

Si la CM es irreducible recurrente, la proporcin de

tiempo en el largo plazo que el proceso pasa en el estado
es

Sea la probabilidad en el largo plazo de que el proceso

est en el estado

Proporciones en el largo plazo y

probabilidades lmite

Proposicin:
Si la CM es irreducible y recurrente, entonces para
cualquier estado inicial

Proporciones en el largo plazo y

probabilidades lmite

Si es recurrente positivo y adems entonces es

recurrente positivo
La recurrencia nula es una propiedad de clase.

Proporciones en el largo plazo y

probabilidades lmite
: proporcin en el largo plazo de las transiciones que
vienen del estado
: proporcin en el largo plazo de transiciones entre el
estado y el estado
Sumando esta cantidad para todo

Teorema de las proporciones en el

largo plazo
Considere

una CM irreducible, si la cadena es recurrente

positiva, entonces las proporciones en el largo plazo son
la solucin nica de las ecuaciones:

Teorema de las proporciones en el

largo plazo

Si no hay solucin para el sistema de ecuaciones,

entonces la CM o es transitoria, o recurrente nula y todos
los

Ejemplo 4.20
Considere
el ejemplo en el que asumimos que si llueve hoy, llover

maana con probabilidad y si no llueve hoy, llover maana con

probabilidad . Si decimos que el estado es que llueve y el estado
es que no llueve, recordemos la MPTE:

Suponga que y
En el largo plazo, qu proporcin del tiempo llueve?

Ejemplo 4.21
Considere

el ejemplo 4.3 en el cual el genio de una

persona se considera una CM de 3 estados con la
siguiente MPTE:

En el largo plazo, cul es la proporcin del tiempo que el

individuo se encuentra en cada uno de los estados de
nimo?

Ejemplo 4.22: un modelo de

movilidad de clases
Un problema de inters para los socilogos es determinar
las proporciones de las diferentes clases sociales.
Si las transiciones entre las diferentes clases sociales de
generaciones sucesivas de una familia siguen una CM,
podramos asumir que la ocupacin de un nio depende
solo de la ocupacin de su padre.

Ejemplo 4.22: un modelo de

movilidad de clases

Qu proporcin de las generaciones de una familia est

en cada una de las tres clases sociales?

Ejemplo 4.27: Bonus Malus

Para

el sistema de seguros de automviles Bonus Malus

de 4 estados discutido en el ejemplo 4.7, encuentre el
valor anual promedio de la pliza de seguro de un
asegurado cuyo nmero de reclamaciones sigue una
distribucin de Poisson con parmetro
Con , se tienen los siguientes valores:

Ejemplo 4.27: Bonus Malus

Ejemplo 4.27: Bonus Malus

Las
probabilidades estacionarias estn dadas por:

Ejemplo 4.27: Bonus Malus

Los
resultados de resolver dichas ecuaciones son:

Ejemplo 4.27: Bonus Malus

La
pliza Premium anual promedio es:

Tiempo Promedio de Recurrencia

Para una CM de estados (Ergdica) se calcula como:

Ejemplo
Cada ao, durante la temporada de siembra de Marzo a
Septiembre, un jardinero realiza una prueba qumica para
verificar la condicin de la tierra. Segn el resultado de
la prueba, la productividad de la nueva temporada puede
ser uno de tres estados:
1) Buena
2) regular o
3) mala.

Ejemplo
A lo largo de los aos el jardinero ha observado que la
condicin de la tierra del ao anterior afecta la
productividad del ao actual y que la situacin se
describe mediante la siguiente CM

Ejemplo
Las probabilidades de transicin muestran que la
condicin de la tierra puede o deteriorarse o mantenerse
igual pero nunca mejorar.
Por ejemplo: si la condicin de la tierra es buena este ao
(estado 1), hay un 20% de probabilidad de que no
cambie el ao siguiente, 50% de probabilidad de que sea
regular (estado 2) y 30% de probabilidad de que se
deteriorar a una condicin mala (estado 3)

Ejemplo
El jardinero modifica la MPTE utilizando un fertilizante
orgnico y el resultado es el siguiente:

Ejemplo
1. Determine las probabilidades de transicin de estado
estable. Interprete
2. Determine los tiempos promedio de recurrencia.
Interprete

Solucin

Desarrollando:

Solucin

Interpretacin

En el largo plazo, la condicin de la

tierra ser buena el 10% del tiempo,
regular el 52% del tiempo y mala el
38% del tiempo

Tiempo promedio del primer

retorno/Interpretacin

En promedio, se requieren 10 temporadas de siembra para que

la tierra regrese a un buen estado,

2 temporadas de siembra para que regrese a estado regular y

3 para que regrese a un mal estado

Modificacin MPTE

Si se utiliza un mejor fertilizante, la MPTE se modifica

quedando as:

Modificacin MPTE
Con
un mejor fertilizante:

Comparacin de
Escenarios/Discusin
MPTE 1

MPTE 2

y si involucramos costos?
El jardn necesita dos sacos de fertilizante si la tierra es
buena. La cantidad se incrementa en 25% si la tierra es
regular y 60% si la tierra es mala. El costo del fertilizante
es $50/saco. El jardinero estima un rendimiento anual de
$250 si no se utiliza fertilizante y de $420 si se aplica el
fertilizante.
es rentable utilizar el fertilizante?

Solucin
Costo

anual esperado fertilizante

Solucin
Incremento

diferencial del rendimiento con el uso del

fertilizante

Tiempo promedio del primer paso

: Tiempo promedio del primer retorno

: tiempo promedio del primer paso por el estado
iniciando en el estado
Nmero esperado de transiciones para llegar por primera vez al
estado desde el estado .

Consideraciones preliminares
Si se tiene una MPTE con m estados,

: Matriz identidad de
: Matriz sin fila y sin columna estado destino
: Vector columna de con todos los elementos iguales a 1

Ejemplo
Cadena

del jardinero con fertilizantes

Considere el paso de los estados 2 y 3 (regular y malo) al

estado 1 (bueno)

Ejemplo
Cadena

del jardinero con

fertilizantes

Considere el paso de los

estados 2 y 3 (regular y
malo) al estado 1 (bueno)

Ejemplo

Ejemplo

Se requieren, en promedio, 12.5 temporadas para pasar de

tierra regular a tierra buena

Se requieren en promedio 13.34 temporadas para pasar de

tierra mala a tierra buena

Tiempo promedio en estados

transitorios
Cadena

de Markov finita
: conjunto de estados transitorios

MPTE transitorios

Tiempo promedio en estados

transitorios

MPTE transitorios en estados transitorios

De otro modo, sera una clase cerrada de estados

Tiempo promedio en estados

transitorios

Para , dos estados transitorios, sea

: nmero esperado de periodos de tiempo que la cadena
est en estado dado que inicia en el estado

cuando y de otro modo

Tiempo promedio en estados

transitorios

: nmero esperado de pasos de ir desde el estado al

estado pasando por el estado
: nmero esperado de pasos de ir desde el estado i al
estado j pasando por los dems estados transitorios de la
cadena

Tiempo promedio en estados

transitorios

Tiempo promedio en estados

transitorios
Si

Es la matriz de valores

Tiempo promedio en estados

transitorios
En
notacin matricial,

Puede escribirse:

: matriz identidad de tamao

Tiempo promedio en estados

transitorios

Tiempo promedio en estados

transitorios

Resultado:
Las cantidades y se pueden obtener invirtiendo la
matriz

Ejemplo 4.30
Considere

el problema de la ruina del jugador con y .

Comenzando con unidades, determine:
1. La MPTE
2. La matriz
3. El nmero esperado de veces en las que el jugador
tiene unidades
4. El nmero esperado de veces en las que el jugador
tiene unidades

Ejemplo 4.30
La MPTE

Ejemplo 4.30
La
matriz