Cadenas de Markov

1
II.2.2 Cadenas
y Procesos de
Markov
Procesos estocsticos aplicados a finanzas
2
1. El anlisis completo de los procesos estocsticos de
Markov incluye 3 etapas: las cadenas de Markov
(CM), los procesos de Markov (PM) y los procesos de
decisin de Markov (PDM). El estudio de cada etapa
es necesario para entender el conjunto. Los PM son
una extensin en tiempo continuo de las CM, mientras
que los PDM son una combinacin de los PM y las
tcnicas de optimizacin estocsticas. La
caracterstica comn de las tres etapas es que tratan
con eventos cuya probabilidad de ocurrencia en el
futuro es independiente del pasado, dado el presente.
Esta propiedad, llamada propiedad de Markov, ha
llevado a ciertos autores (vease, por ejemplo,
Feldman y Valdez-Flores 1996) a calificar a las CM o a
los PM como procesos sin memoria. Sin embargo ese
calificativo debe contextualizarse, pues tanto las CM
como los PM han sido utilizados para modelar
fenmenos como aprendizaje y difusin (de tcnica
productiva o enfermedades) que implican memoria.
3
Lo que debe entenderse ms bien es que en una CM o
en una PM el estado presente absorbe toda la
informacin relevante para conocer el estado futuro
de una variable aleatoria: el estado pasado no
agrega informacin alguna que no est ya contenida
en el estado presente. En este sentido las CM o los
PM pueden ser considerados como procesos con
memoria absoluta actual.
En finanzas las CM han sido aplicadas para seleccionar
un portafolio de riesgo crediticio (vease Cyert y
Thompson 1968); conductas crediticias (Frydman,
Kallbury y Keo 1985) o captacin de ahorradores
(Rojas. 1994) entre otros temas.
4
CADENAS DE MARKOV
2. Una manera intuitiva de explicar las CM es
apoyandonos en el viejo problema que Galton y
Watson plantearon hace ms de 150 aos . Ambos
investigadores estaban interesados en responder a la
pregunta de cundo y con qu probabilidad se
extinguira el nombre de una familia. No hay que
olvidar que en el siglo XIX, la propagacin o extincin
de los nombres de una familia aristocrtica era muy
importante ya que la propiedad de la tierra y los ttulos
estaban vinculados al nombre.
Galton y Watson supusieron que, en la generacin cero,
el proceso iniciaba con el antecesor. Despus haba
que agregar a todos los hijos (generacin uno), nietos
(segunda generacin) y dems descendientes varones
del antecesor hasta el lmite de la extincin de la
dinasta.
5
El supuesto crucial era que para cada miembro de una
generacin la probabilidad de tener cero, uno, dos, o
ms hijos estaba dado por una funcin de
probabilidad fija y que adems esa funcin era
idntica para cada miembro de cualquier generacin.
En caso de que la dinasta dejara de crecer lo
importante para Galton y Watson era determinar el
nmero de generaciones que tomara su proceso de
extincin.
Un problema de esta naturaleza no es ms que una
cadena de Markov pues el nmero de individuos de
la siguiente generacin es completamente
independiente del nmero de individuos de la
generacin previa, en la medida que el nmero de
individuos de la actual generacin es conocido. La
informacin actual retiene toda la informacin
requerida para determinar la probabilidad de
sobrevivencia de la dinasta en el periodo siguiente.

6
Mas concretamente:
El proceso estocstico contable X = { X
n
; n =0,1,..} es una
cadena de Markov si
Pr { X
n+1
= j / X
0
= i
0
, X
1
= i
1
, ..., X
n
= i
n
}= Pr {X
n+1
= j/ X
n
= i
n

}
para cada uno de los estados i
0
, ..., i
n
as como para cada j e E
(espacio de estado) y n = 0, 1, ... Adems la cadena de
Markov tiene probabilidades de transicin estacionarias si
Pr {X
1
= j / X
0
= i } = Pr [X
n+1
= j / X
n
= i}
La primera ecuacin es la expresin matemtica de la ya
mencionada propiedad de Markov. Para interpretar esta
ecuacin supongamos que n sea el presente. El lado izquierdo
indica la probabilidad de pasar al estado futuro j, dado la
historia de todos los estados pasados. El lado derecho es la
probabilidad de pasar al estado futuro j, dado slo el estado
presente. Ellas son iguales porque los estados pasados no
agregan informacin til al predecir el futuro cuando el
estado presente es conocido.
7
La segunda ecuacin, es decir la propiedad
estacionaria, simplemente indica que la probabilidad
de transicin de una etapa no cambia con el tiempo,
en otras palabras, las probabilidades son las mismas
en el verano que en el invierno. A menos que se diga
lo contrario, aqu trabajaremos con probabilidades
de transicin estacionarias y, por lo mismo, la nica
informacin necesaria para describir cualquier
proceso es: a) las condiciones iniciales (o funcin de
probabilidad para X
0
) y b) las probabilidades de
transicin de una sola etapa.
3. Para representar las probabilidades de transicin se
usa la matriz cuadrada P, donde P( i, j) = Pr {X
1
= j /
X
0
= i }. P, por definicin, es no negativo y se
caracteriza porque la suma de los elementos dentro
de cada rengln es igual a uno. De hecho, cualquier
matriz no negativa con renglones que suman uno es
llamada una matriz de Markov.
8
Ejemplo 1
Considere un agricultor que tiene un viejo tractor que
muy a menudo se encuentra en el taller de
reparacin donde toma un da repararlo. Se ha
observado que el primer da que el tractor deja el
taller funciona bastante bien, pero pasado cierto
tiempo tiene un 10% de probabilidad de fallar y de
ser regresado al taller. Sean X
0
, X
1
, ... las variables
aleatorias que indican la condicin diaria del tractor,
donde 1 denota que el tractor est trabajando y 0
que est descompuesto. Entonces decimos que X
0
,
X
1
, ... es una cadena de Markov con espacio de
estado = {0, 1} y con matriz :
P = 0 0 1
1 0.1 0.9
o grficamente
(Cada estado est representado por un circulo mientras que las probabilidades
de transicin por flechas)
0
1
0.1
1.0
0.9
9
Ejemplo2
Un vendedor vive en el pueblo a y est a cargo de los pueblos a, b
y c. cada semana tiene que visitar un pueblo diferente. Cundo
el se encuentra en su pueblo poco le importa saber qu pueblo
tiene que visitar enseguida, por lo que lo echa a la suerte
lanzando una moneda: si sale cara el va a b pero si sale cruz el
va a c. Sin embargo, despus de pasar una semana fuera de su
casa el prefiere regresar a su pueblo, por lo que cuando est en
b o en c el lanza la moneda dos veces: si salen dos caras el va
al otro pueblo, si no regresa a casa. Los pueblos sucesivos que
visita forman una cadena de Markov con un espacio estado =
{a, b, c}, donde la variable aleatoria X
i
es igual a a, b o c
conforme a su localizacin durante la semana n. La matriz P y el
diagrama de estado correspondiente aparecen enseguida:

a 0 0.5 0.5
P = b 0.75 0 0.25
c 0.75 0.25 0
0.5
0.5
0.25
0.25
0.75
0.75
a
c
b
10
Ejemplo 3
Sea X = {X
n
; n = 0, 1, ...} una cadena de Markov con espacio
estado E = {1, 2, 3, 4} y probabilidades de transicin
dadas por :
1 1 0 0 0
P = 2 0 0.3 0.7 0
3 0 0.5 0.5 0
4 0.2 0 0.1 0.7
La cadena en este ejemplo es estructuralmente diferente a los
otros ejemplos en que se puede empezar en el estado 4, ir al
estado 3 pero nunca ir al estado 1; o empezar en el estado 4 e
ir al 1 y permanecer ah para siempre. Los anteriores ejemplos
involucran transiciones en las cuales siempre era posible
alcanzar cualquier estado.
1
2
3 4
11
4. Despus de que una cadena de Markov ha sido formulada
quedan muchas preguntas por resolver. Por ejemplo en
qu estado estar la cadena de Markov en cinco etapas
despus de ahora?Qu porcentaje de tiempo es
gastado en un estado determinado? Alcanza la cadena
otro estado fijo? Estas preguntas tratarn de responderse
enseguida.
La matriz de Markov provee informacin directa acerca de las
probabilidades de transicin de una etapa a otra y puede,
adems, ser usada para calcular las probabilidades de
transicin de mltiples etapas. Considere, para empezar,
el vendedor del ejemplo 2. La matriz de Markov indica que
la probabilidad de estar en a despus de una etapa (en
una semana) es de 0.75, pero cul es la probabilidad de
que l est en a despus de dos etapas? La figura II.2.2.4
ilustra la trayectoria que va de b a a en dos
etapas(algunas de las trayectorias mostradas tienen
probabilidad cero). Para computar la probabilidad
necesitamos sumar todas las rutas posibles.
12
Pr{ X
2
= a / X
0
= b}=Pr {X
1
= a / X
0
= b } Pr {X
2
= a / X
1
= a }
+ Pr {X
1
= b / X
0
= b } Pr {X
2
= a / X
1
= b }
+ Pr {X
1
= c / X
0
= b } Pr {X
2
= a / X
1
= c }
= P(b,a) P(a,a) +P(b,b) P(b,a) +P(b,c) P(c,a)
Esta ltima ecuacin es la definicin de una multiplicacin
matricial, por lo que:
Pr {X
2
= a / X
0
= b } = P
2
(b,a)
a
b
c
n =1 n =2
Trayectorias posibles de transiciones de 2 etapas de
b a a para una cadena de Markov de tres estados
13
Este resultado es fcilmente generalizable por medio de
la siguiente propiedad.
Sea X ={X
n
, n = 0, 1, ...} una cadena de Markov con
espacio estado E y matriz de Markov P, entonces para
i, j e E y n = 0, 1, ...
Pr {X
n
= j / X
0
= i } = P
n
(i,j)
donde el lado derecho de la ecuacin representa los i-j
simos elementos de la matriz P
n
.
Esta propiedad indica que P
n
(i,j) es la probabilidad de ir
del estado i al estado j en n etapas. Es importante
recordar que la notacin P
n
(i,j) significa que la matriz
es primero elevada a la n-sima potencia y el i-j
simo elemento de la resultante matriz es tomado
como la respuesta.
14
Regresando al ejemplo 2 tenemos que la matriz cuadrada es:
0.75 0.125 0.125
P
2
= 0.1875 0.4375 0.375
0.1875 0.375 0.475
El b-a simo elemento de P
2
es 0.1875 por lo que hay un
18.75% de probabilidades de estar en el pueblo a dos
semanas despus de estar en b.
Las cadenas de Markov son usadas a menudo para analizar el
costo o la ganancia de una operacin; as que sera
conveniente imponer una funcin de costo o ganancia al
proceso. Por ejemplo suponga que en el ejemplo anterior el
vendedor gana por semana en el pueblo a $1,000 en el
pueblo b $1,200 y en el c $1,250. Para conocer la ganancia
esperada despus de la primera semana de estar en el
pueblo a (o la ganancia esperada de las n semanas si el
punto de inicio es a), calculamos la siguiente ecuacin:

15
E[ganancia de la semana n] = P
n
(a,a) 1000 + P
n
(a,b) 1200
+ P
n
(a,c) 1250
lo cual conduce a la segunda propiedad:
Sea X ={X
n
de estado E, matriz de Markov P y funcin de ganancia f, la
ganancia esperada en la n-sima semana esta dada por:

Note otra vez que el lado derecho de la ecuacin, la matriz P
n
,
es multiplicada por el vector f primero con la consecuencia
de que el i-simo componente del vector resultante es la
respuesta. Volviendo al ejemplo:
E[f (X
2
) / X
0
= a] = 0.75 1000 + 0.125 1200 +0.125 1250
= 1056.25

f(i) P ] i X / ) f(X E[
n
0 n
= =
16
Supongamos que el vendedor no est seguro del pueblo en
el que iniciar su recorrido pero estima que hay un 50%
de oportunidad de que el inicie en a, un 30% de
probabilidades de que inicie en b y un 20% de
probabilidades en c. Bajo esta condicin cul es la
probabilidad de que el vendedor est en a en la prxima
semana?
R= Pr{ X
1
= a} = 0.50 0 + 0.30 0.75 + 0.20 0.75
=0.375
Este resultado se inscribe en la tercera propiedad:
Sea X ={X
n
; n = 0, 1, ...} una cadena de Markov con
espacio de estado E, matriz de Markov P y vector de
probabilidad inicial de , entonces
Pr
{X
n
= j} = P
n
(j)
Note que es un subscrito de la probabilidad, en el lado
izquierdo de la ecuacin. El propsito del subscrito es
asegurar que no haya confusin sobre la condicin dada.
17
Otra vez, cuando se interpreta el lado derecho de la ecuacin
debe considerarse que, despus de que sea multiplicado
por P
n
, el j-simo elemento es la respuesta que debe
tomarse del vector resultante.
Sea X ={X
n
espacio de estado E, matriz de Markov P, vector de
probabilidad inicial de y funcin de ganancia f. La ganancia
esperada a la n-sima etapa esta dada por:
Pr
{X
n
= j} = P
n
(j)f
Regresando al ejemplo 2 y usando las probabilidades iniciales
(dada una funcin de ganancia) la ganancia esperada de la
segunda semana es:
0.75 0.125 0.125 1000
0.1875 0.4375 0.375 1200
0.1875 0.375 0.4375 1250
= 1119.375

P
n
f = (0.50, 0.30, 0.20)
18
5. Hay dos posibles estados en una cadena de Markov: estados
transitorios y recurrentes. Para tener una idea ms precisa
de estos estados revisemos antes algunos conceptos claves.
Los primeros conceptos que hay que tener en mente son los
primeros pasajes de tiempo y el nmero de visitas a un
estado fijo. Para describir ambas variables
aleatorias,considere un estado fijo que llamaremos j en el
espacio estado de una cadena de Markov. El primer pasaje
de tiempo es una variable aleatoria , denotada por T
j
que es
igual al tiempo (es decir, nmero de etapas) que toma a la
cadena alcanzar el estado fijo por vez primera.
Matemticamente la variable aleatoria primer pasaje de
tiempo es definida por
T
j
= min{ n > 1 : X
n
= j }
donde el mnimo del conjunto vaco tiende a +. Por ejemplo en
el ejemplo 3, si X
0
= 1 entonces T
2
= , es decir si la cadena
inicia en el estado 1 nunca alcanzar el estado 2.
19
El nmero de visitas a un estado, denotada por N
j
, es
igual al nmero total de visitas (incluyendo el tiempo
cero) que la cadena de Markov hace al estado fijo
durante toda la vida de la cadena. Matemticamente
la variable aleatoria nmero de visitas es definida
por

donde I es la matriz identidad. La matriz identidad es
usada simplemente como un contador. Ya que la
identidad tiene unos en la diagonal y ceros fuera de
ella se sigue que I (X
n
, j) =1 si X
n
=j; si no es as sta
es cero. Note que la suma de la ecuacin de arriba
inicia en 0, de aqu que si X
0
=j entonces N
j
debe ser
al menos uno.

=
=
0 n
n
j
j) , X ( I N
20
Ejemplo 4
Considere la realizacin para la cadena de Markov
descrita en el ejemplo 3. Suponga que la primera
parte de la realizacin (ver figura II.2.2.5) es X
0
= 4,
X
1
=4, X
2
=4, X
3
=3, X
4
=2, X
5
=3, X
6
=2, ...
X
1
=4 X
2
=4
X
3
=3
X
4
=2
X
5
=3
X
6
=2
1 2 3 4 5 6 t
4
3
2
1
T
4
= 1
T
3
=3
T
2
= 4
21
Las variables aleatorias primer pasaje para esta realizacin
son T
1
=, T
2
=4, T
3
=3 y T
4
=1. Para ver por que T
1
=
veamos el diagrama estado del ejemplo. Inspeccionando el
diagrama resulta claro que una vez que la cadena est ya
sea en 2 o en 3 sta nunca alcanzar el estado 1, por lo que
T
1
=.
Usando la misma realizacin tenemos que las variables
aleatorias nmero de visitas son N
1
=0, N
2
=, N
3
= y
N
4
=3. Para explicar N
2
y N
3
basta ver otra vez el diagrama
de estado y observar que una vez que la cadena llega al
estado 2 o 3, sta permanecer en esos estados para
siempre y por lo tanto los visitar un nmero infinito de
veces.
Supongamos ahora que nuestra segunda realizacin toma
valores X
0
= 4, X
1
=4, X
2
=1, X
3
=1, X
4
=1, ... Los nuevos
productos para el primer pasaje son T
1
=2, T
2
= , T
3
= y
T
4
=1, adems N
1
= , N
2
=0, N
3
=0 y N
4
=2. (figura
II.2.2.6).

22
X
1
=4
X
2
=1 X
3
=1
X
4
=1
1 2 3 4 t
4
3
2
1
Un aspecto de primordial inters que est relacionado con los
primeros pasajes es la llamada probabilidad de primeros pasajes.
La principal cuestin de inters es si es posible o no alcanzar un
estado particular desde un estado inicial dado.
Para responder a esta pregunta tenemos que determinar la
probabilidad de primer pasaje, denotada por F (i,j), la cual es la
probabilidad de alcanzar el estado j al menos una vez dado que el
estado inicial fue i.
23
La probabilidad F (i,j) (F por First passage) esta definida por:
F (i,j) = Pr {T
j
< / X
0
= i}
Inspeccionando el diagrama de estado del ejemplo 3 debe ser
obvio que las probabilidades de primer pasaje para la
cadena estn dadas por
1 0 0 0
F = 0 1 1 0
0 1 1 0
<1 <1 <1 <1
El concepto ms importante para la variable aleatoria nmero
de visitas es su valor esperado. El valor esperado de visitas
al estado j dado que el estado inicial fue i es denotado por
R(i,j) (R por Returns o regresos) y es definido por:
R (i,j) = E[N
j
/ X
0
=i]
24
Otra vez el diagrama de estado del ejemplo 3 nos
permite determina algunos de los valores de R:
0 0 0
R = 0 0
0 0
<
Como era de esperarse hay una estrecha relacin entre
R(i,j) y F(i,j) como se demuestra en la siguiente
propiedad:
Sea R (i,j) y F(i,j) dos matrices definidas como arriba,
entonces
1 / [1-F(j,j)] para i = j
R(i,j) = F(i, j) / [1-F(j,j)] para i = j
donde la convencin 0/0 = 0 es usada
25
Estas ideas nos llevan a la definicin de los estados
transitorios y recurrentes. Intuitivamente un estado
es llamado recurrente si vuelve continuamente a su
posicin de partida (la cadena tiene una probabilidad
uno de regresar al estado inicial al menos una vez).
Por oposicin, un estado transitorio es aquel que
nunca regresa a su estado de partida.
Ms formalmente:
Un estado es llamado transitorio si F(j,j) < 1.
Equivalentemente el estado j es transitorio si R (j,j) <
.
Un estado es llamado recurrente si F(j,j) = 1.
Equivalentemente el estado j es recurrente si R(j,j) =
.

26
Ejemplo 5
Sea X ={X
n
espacio de estado E = {1, 2, 3, 4} y probabilidades de
transicin dadas por:
1 1 0 0 0
P = 2 0.01 0.29 0.7 0
3 0 0.5 0.5 0
4 0.2 0 0.1 0.7

Note que no obstante que esta matriz difiere ligeramente
de la del ejemplo 3 hay una radical diferencia entre
ellas (la diferencia entre un cero y un trmino diferente
de cero puede ser muy significativa). La cadena de este
ejemplo tiene un estado recurrente y tres estados
transitorios.

27
Mediante el estudio del diagrama de estado (ver figura
II.2.2.7) podemos calcular;

1 0 0 0
F = 1 <1 <1 0
1 1 <1 0
1 <1 <1 <1

0 0 0
R = < < 0
< < 0
< < <
28
1
2
3
4
Observe que F(3,2) =1 no obstante que tanto el estado 2 como el
estado3 son transitorio. Solamente los elementos diagonales de F y R
son los que determinan si un estado es transitorio o recurrente.
29
Ejemplo 6
Un proceso de manufactura consiste de dos fases
sucesivas. Despus de la primera fase, 20% de las
partes deben ser re-trabajadas, 10 % de las partes
son eliminadas y 70% pasan a la segunda fase.
Despus de la etapa 2, 5% de las partes deben ser
regresadas a la primera fase, 10% deben ser re-
trabajadas y 5% eliminadas; las restantes partes son
vendidas. El diagrama de la figura II.2.2.8 ilustra
este proceso de manufactura.
30
desperdicio
buenas
Etapa 1 Etapa 2
0.05
0.1
0.1
0.2
0.05
0.8
0.7
31
La matriz de Markov asociada a este proceso de
manufactura est dada por:
1 0.2 0.7 0.1 0.0
P = 2 0.05 0.1 0.05 0.8
s 0.0 0.0 1.0 0.0
g 0.0 0.0 0.0 1.0

s= scrap g = good
Considere la mecnica de la cadena. Una parte que ser
manufacturada iniciar el proceso entrando al estado
1. Despus posiblemente de circular por un rato la
parte terminar el proceso entrando a g o al estado
s. Por lo tanto los estados 1 y 2 son transitorios
mientras que los estados g y s son recurrentes.
32
6. Adems de clasificar los estados es necesario que
clasifiquemos los conjuntos de estados. Primero
definiremos a un conjunto cerrado, que se caracteriza
porque una vez que la cadena de Markov ha entrado en
un estado no podr salir de l.
Sea X ={X
n
matriz de Markov P, y sea C el conjunto de estados
contenidos en su espacio estado. Entonces C es cerrado si

Para ilustrar el concepto de conjunto cerrado remitamonos
otra vez al ejemplo 3. Los conjuntos {2, 3, 4}, {2} y {3,4}
no son conjuntos cerrados. El conjunto {1, 2, 3, 4} es
obviamente cerrado pero puede ser reducido a un
conjunto cerrado ms pequeo. El conjunto {1, 2, 3} es
tambin cerrado pero puede ser todava ms pequeo.
Tanto los conjuntos {1} y {2, 3} son cerrados y no
pueden ser ms adelante reducidos. La idea de tomar un
conjunto cerrado y reducirlo es extremadamente
importante pues conduce a la definicin de un conjunto
irreductible.
e
e =
C j
C i 1 j) P(i,
33
Un conjunto cerrado de estados que no contiene
subconjuntos propios, el cual es tambin cerrado, es
llamado irreductible. Un estado que forma un conjunto
irreductible por si mismo es llamado un estado
absorbente.
La cadena de Markov del ejemplo 3 tiene dos conjuntos
irreductibles: el conjunto {1} y el conjunto {2,3}.
Debido a que el primer conjunto irreductible contiene un
solo estado, ese estado es un estado absorbente.
7. Las dos definiciones anteriores son importantes debido
a la siguiente propiedad:
Todos los estados dentro de un conjunto irreductible
son de la misma clasificacin.
Esta propiedad nos dice que si uno encuentra un estado
dentro de un conjunto irreductible que es trasiente,
entonces todos los estados ah contenidos son
trasientes. Del mismo modo es imposible tener un
conjunto irreductible de estados transitorios si el
conjunto contiene slo un nmero finito de estados.
34
Esto es:
Si C es un conjunto irreductible de estados, tal que el
nmero de estados dentro de C es finito, entonces
cada estado dentro de C es recurrente.
Un concepto final, llamado comunicacin entre estados,
es importante tambin como identificador de estados
irreductibles. Decimos que, dos estados i,j, se
comunican si y slo si es posible pasar de i a j y de j
a i. En el ejemplo 3, los estados 2 y 3 se comunican,
pero el 4 y el 2 no. No obstante que el estado 2
puede ser alcanzado desde 4, este no puede ser
alcanzado desde 2. La comunicacin debe ser en
ambos sentidos pero no tiene que ser en una sola
etapa.
35
Por ejemplo, en la cadena de Markov con espacio estado
{a,b,c,d} y con matriz de Markov:

0.5 0.5 0 0
P = 0.2 0.4 0.4 0
0 0.1 0.8 0.1
0 0 0.3 0.7

Todos los estados se comunican entre s. En particular el
estado a se comunica con el estado d, no obstante
que ellos no se pueden alcanzar entre si en una etapa
(ver figura II.2.2.9).

36
a
c
d
b
Diagrama de Estado
37
La nocin de comunicacin es muy usada para
identificar conjuntos irreductibles, como lo estipula la
siguiente propiedad:
El conjunto de estados C es irreducible si y slo si
cada estado dentro de C se comunica con otros
estados dentro de C.
El procedimiento para identificar conjuntos irreducibles
de estados para una cadena de Markov con un
espacio estado finito es: 1)dibujar el diagrama de
estado; 2) seleccionar un estado y 3) identificar
todos los estados que se comunican con l. Si el
conjunto compuesto por ese estado que se comunica
es cerrado, entonces el conjunto es irreducible y
recurrente. Si no es cerrado, entonces el estado
originalmente elegido y todos los estados que se
comunican con el son transitorios.
38
8. Para ilustrar la conducta de largo plazo (steady-state
behavior), regresemos una vez ms al ejemplo 2 y
concentremonos en el estado a. La figura II.2.2.10
muestra una grfica que da la probabilidad de estar
en el estado a al tiempo n, dado que al tiempo cero
la cadena esta en a.
1.0
5 10
En otras palabras, la grfica da los valores de P
n
(a,a) como
funcin de n.
39
No obstante que la grfica vara dramticamente para n
pequeas sta alcanza un valor constante a medida
que n crece. Vemos pues que de la grfica

De hecho si graficamos las probabilidades de estas en
el estado a iniciando en b, en lugar de a ,
descubriremos el mismo valor lmite

Al discutir las condiciones lmites o de equilibrio
(steady-state o estado estable) esto es lo que
debemos tener claro: que pasado cierto tiempo las
probabilidades no cambian respecto al tiempo y no
que las cadenas se paran por cambios abruptos. De
acuerdo con la figura anterior el estado de equilibrio
es independiente de las condiciones iniciales,
aunque esto no sea siempre cierto para todas las
cadenas.
0.42857 a} X a/ {X Pr lim
0 n
n
= = =

0.42857 b} X a/ {X Pr lim
0 n
n
= = =

40
En el ejemplo 3 las condiciones lmites son radicalmente
diferentes cuando la cadena inicia en el estado 1 que
cuando inicia en 2. La consideracin importante en el
anlisis de estas condiciones lmites es la
identificacin de estados recurrentes e irreductibles.
Si el espacio estado de una cadena de Markov forma un
conjunto recurrente e irreductible, la cadena de
Markov es llamada recurrente e irreductible. En este
caso las condiciones lmites son independientes del
estado inicial y no son difciles de computar, como se
desprende de la siguiente propiedad.
Sea X ={X
n
espacio de estado finito E y matriz de Markov P.
Asuma que el espacio de estado entero forma un
conjunto irreductible (en el que todos los estados son
recurrente) y que las probabilidades del estado de
equilibrio son denotadas por el vector H; esto es;
i} X / j {X Pr lim (j)
0 n
n
= = = H

41
Entonces el vector H es la solucin del siguiente
sistema:

Para ilustrar la forma en que se determina H, observe
que la cadena de Markov del ejemplo 2 es recurrente
irreductible. Aplicando la anterior propiedad

Para resolver este sistema (que tiene 4 ecuaciones y 3
variables) eliminamos arbitrariamente una de las primeras
3 ecuaciones (ya que para una matriz de Markov
irreductible siempre hay una ecuacin redundante) y
resolvemos el sistema de 3 3 resultante (nota: nunca se
debe descartar la ecuacin final) lo que produce:
e
= H
H = H
E i
1 (i)
P
1
0.25 0.5
0.25 5 . 0
0.75 0.75
c b a
c b a
b c a
a c b
= H + H + H
H = H + H
H = H + H
H = H + H
7
2

7
2

7
3

c b a
= H = H = H
42
La propiedad anterior no puede, sin embargo, ser
aplicada directamente al ejemplo 3 debido a que el
espacio de estado es no irreducible. Todos los
conjuntos recurrentes irreducibles deben ser
identificados y agrupados a fin de separarlos de los
estados transitorios, de la siguiente forma:

P
1

P
2
P = . *
.
B
1
B
2
. . . Q

Despus de que una cadena est arreglada de esta
forma, cada submatriz P
i
es una cadena de Markov y
puede ser considerada como una cadena
independiente a la que le puede aplicar la propiedad
anterior.
43
Para encontrar el estado de equilibrio del ejemplo 3
debemos pues arreglar primero la matriz en la forma
descrita en *. Ahora, debido a que el estado 1 es
absorbente (esto es, es un conjunto irreductible de
un estado) su probabilidad de estado de equilibrio
asociado es fcil de encontrar; esto esH
1
=1. Los
estados 2 y 3 forman un conjunto irreductible y por
lo tanto la propiedad descrita puede ser aplicada a la
submatriz de esos dos estados, de la siguiente
manera:
0.3 H
2
+ 0.5 H
3
= H
2
0.7 H
2
+ 0.5 H
3
= H
3

H
2
+ H
3
= 1
Lo que produce (despus de descartar una de las
primeras ecuaciones)

12
7

12
5

3 2
= H = H
44
Los valores H
2
y H
3
significan que si se toma una fotografa
instantnea de la cadena, despus de un tiempo de iniciado;
en los estados 2 y 3, entonces hay 5/12 de probabilidad de
que la siguiente fotografa muestre la cadena en el estado 2
y 7/12 de probabilidad en el estado 3.
Otra interpretacin de las probabilidades de estado de equilibrio
es que si registrramos el tiempo invertido en los estados 2 y
3, entonces la fraccin de tiempo invertida en los estados 2 y
3 en el largo plazo sera de 5/12 en el estado 2 y de 7/12 en
el estado 3. Los resultados obtenidos para el estado de
equilibrio pueden ser resumidos en la siguiente propiedad.
Sea X ={X
n
de estado finito E y con k distintos conjuntos irreductibles.
Sea tambin C
l
el l-simo conjunto irreducible y P
l
la matriz
de Markov restringida al l-simo conjunto irreductible.
Finalmente, sea F la matriz de probabilidad de los primeros
pasajes.
45
Si el estado j es transitorio

Si los estados i, j pertenecen al l-simo conjunto
irreductible

Si el estado j es recurrente e i no est en su conjunto
irreducible

donde H es determinado como se seala arriba
Si el estado j es recurrente y X
0
est en el mismo
conjunto irreductible que j

donde I es la matriz identidad
Si el estado j es recurrente
0 i} X / j {X Pr lim
0 n
n
= = =

e

= H H = H
H = = =
l
C i
l
0 n
n
1 (i) y P donde
(j) i} X / j {X Pr lim
(j) j) (i, F i} X / j {X Pr lim
0 n
n
H = = =

=

H =
1 - n
0 m
m
n
(j) j) , (X I
n
1
lim
(j)
1
j] X / [T E
0
j
H
= =
La fraccin de tiempo gastada
en j es igual a la probabilidad
de los estados de equilibrio de
estar en j
46
Como se mencion previamente, la matriz identidad
acta como un contador tal que la suma del lado
izquierdo de la penltima ecuacin es el nmero total
de visitas que la cadena hace al estado j. Esta
propiedad es llamada la propiedad ergdica. La ltima
propiedad indica que el reciproco de las probabilidades
de largo plazo es igual al nmero esperado de etapas
necesarias para regresar al estado. Intuitivamente es
lo que uno esperara, porque entre ms alta sea la
probabilidad ms rpido el regreso.
47
Ejemplo 7
Considere la cadena de Markov con espacio estado [a, ...,
g} y la matriz de Markov:

a 0.3 0.1 0.2 0.2 0.1 0.1 0
b 0 0.5 0 0 0 0 0.5
c 0 0 0.4 0.6 0 0 0
P = d 0 0 0.3 0.2 0 0.5 0
e 0 0 0.2 0.3 0.4 0.1 0
f 0 0 1 0 0 0 0
g 0 0.8 0 0 0 0 0.2
48
a
c
e
b
Al trazar el diagrama de estado ( ver figura II.2.2.11) vemos que
hay dos conjuntos de estados irreductibles recurrentes {b, g} y
{c, d, f}. Los estados a y e son transitorios.
d
f
g
Diagrama de Estado
49
Para determinar la conducta de los estados de equilibrio
primero tenemos que arreglar la matriz, separando los
estados recurrentes de los transitorios. Esto nos da la
siguiente matriz:
b 0.5 0.5
g 0.8 0.2
c 0.4 0.6 0
P = d 0.3 0.2 0.5
f 1 0 0
a 0.1 0 0.2 0.2 0.1 0.3 0.1
e 0 0 0.2 0.3 0.1 0 0.4

Nota: los espacios en blanco son ceros
50
Las probabilidades de los estados de equilibrio de estar
en los estados b o g son encontradas resolviendo:
0.5 H
b
+ 0.8 H
g
= H
b
0.5 H
b
+ 0.2 H
g
= H
g

H
b
+ H
g
= 1
lo que da que

Si la cadena arranca en c, d o f la probabilidad de largo
plazo de estar en b o g es cero, debido a que es
imposible alcanzar el estado irreducible {b, g} desde
cualquier estado del conjunto irreducible {c, d, f}. Las
probabilidades de los estados de equilibrio de estar en
c, d o f iniciando en ese conjunto estn dadas por el
siguiente sistema:
0.4 H
c
+ 0.3 H
d
+ H
f
= H
c
0.6 H
c
+ 0.2 H
d
= H
d
0.5 H
d
= H
f

H
c
+ H
d
+ H
f
= 1
13
5

13
8

g b
= H = H
51
Lo cual produce
Como punto final supongamos que la cadena inicia en c
y que deseamos conocer el nmero esperado de
etapas hasta que la cadena regrese a c. Ya que H
c
=
8/17 se sigue que el nmero esperado de etapas
hasta el primer regreso es 17/8.
8. La determinacin de R es directa para estados
recurrentes. Si los estados i, j estn en el mismo
conjunto irreducible, entonces R (i, j) = . Si i es
recurrente y j es transitorio o est en un diferente
conjunto irreducible entonces R (i, j)=F (i, j)=0. Para
i transitorio y j recurrente entonces R (i, j) = si F
(i, j) > 0 y R (i, j) = 0 si F (i, j) =0. En el caso en el
que i y j sean transitorios tenemos que seguir la
siguiente propiedad.
17
3

17
6

17
8

f d c
= H = H = H
52
Sea X ={X
n
; n = 0, 1, ...} una cadena de Markov y A
el conjunto finito de todos los estados trasientes. Sea
tambin Q la matriz de probabilidades de transicin
restringida al conjunto A. Entonces, para i, j e A
R (i, j) = (I - Q)
-1
(i, j)
Continuando con el ejemplo anterior notemos que Q es:
Q = 0.3 0.1
0 0.4
y evaluando (I - Q)
-1
tenemos que
0 0 0 0 0
0 0 0 0 0
0 0 0 0
R = 0 0 0 0
0 0 0 0
10/7 10/42
0 0 0 10/6
53

El clculo de F es ligeramente ms complicado que
para R. La matriz P debe ser reescrita de tal suerte
que cada conjunto irreducible recurrente sea tratado
como un super estado. Una vez que la cadena de
Markov entra en un conjunto irreductible recurrente
permanecer ah por siempre y todos los estados
contenidos en el conjunto sern visitados
infinitamente. Por lo tanto, al determinar la
probabilidad de alcanzar un estado recurrente desde
un estado trasiente, slo es necesario encontrar la
probabilidad de alcanzar un apropiado conjunto
irreducible. La matriz de transicin, en la cual un
conjunto irreducible es tratado como un simple
estado, es denotado por
1
1
= 1

b
1
b
2
Q

P
donde b
l
es un vector que da la
probabilidad de una etapa de ir de un
estado trasiente i a un conjunto
irreductible l.
54
Esto es;

para i transitorio y C
l
denotando el conjunto l-simo
irreductible.
Esto conduce a otra propiedad.
Sea X ={X
n
; n = 0, 1, ...} una cadena de Markov con un
espacio finito ordenado tal que su matriz de Markov puede
ser reducida a la forma . Entonces para un estado
transitorio i y un estado recurrente j tenemos que:
F (i, j) = ((I - Q)
-1
b
l
)(i)
para cada estado j en el l-simo conjunto irreductible.
Para calcular la F del ejemplo anterior usaremos, primero,
una propiedad ya vista para el caso en que i y j son
transitorios:
1-(1 / R(j,j)) para i = j
F(i,j) = R(i, j) / R(j,j) para i = j
e
=
l
C j
l
j) (i, P (i) b
P

55

Y despus aplicaremos la propiedad anterior
1 0 0 0
0 1 0 0
= 0.1 0.5 0.3 0.1
0 0.6 0 0.4

(I - Q)
-1
b
1
= 1/7
0

((I - Q)
-1
b
2
= 6/7
1

P

56
Ahora combinando estas dos propiedades tenemos que
1 1 0 0 0 0 0
1 1 0 0 0 0 0
0 0 1 1 1 0 0
F = 0 0 1 1 1 0 0
0 0 1 1 1 0 0
1/7 1/7 6/7 6/7 6/7 3/10 1/7
0 0 1 1 1 0 4/10

Finalmente usando los resultados anteriores tenemos que la
matriz de probabilidades lmite es:

8/13 5/13 0 0 0 0 0
8/13 5/13 0 0 0 0 0
0 0 8/17 6/17 3/17 0 0
0 0 8/17 6/17 3/17 0 0
0 0 8/17 6/17 3/17 0 0
8/91 5/91 48/119 36/119 18/119 0 0
0 0 8/17 6/17 3/17 0 0

57
9. El objetivo de la modelacin de varios proyectos es la
determinacin de los ingresos o costos. La propiedad ergdica de
una cadena de Markov irreductible recurrente ofrece una frmula
fcil para calcular los ingresos promedio de largo plazo del
proceso. En el ejemplo 1 supongamos que cada da que el tractor
trabaja da una ganancia de $100. Sin embargo, cada da que est
en el taller cuesta $25. La matriz de Markov del ejemplo1 produce
resultados de estados de equilibrio de H
0
= 1/11 y H
1
= 10/11;
por lo tanto el rendimiento promedio diario en el largo plazo es:
-25 1/11 + 100 10/11 = 88.64
Este resultado nos conduce a la siguiente propiedad.
Sea X ={X
n
; n = 0, 1, ...} una cadena de Markov irreductible con
un espacio de estado finito E y con probabilidades de estado de
equilibrio dadas por H. Si el vector f es una funcin de
ganancia[es decir, f (i) es la ganancia recibida por cada visita al
estado i], entonces (con probabilidad 1) la ganancia promedio del
largo plazo por unidad de tiempo sera:

= e

H =
1 - n
0 k E j
k
n
(j) f j) ( ) (X f
n
1
lim
58
10. Un analista usa algunas veces criterios de costos descontados
en vez de costos promedio en horizontes de planeacin
infinitos. Para determinar el valor esperado del rendimiento
descontado total para una cadena de Markov tenemos que
usar la siguiente propiedad.
Sea X ={X
n
; n = 0, 1, ...} una cadena de Markov con matriz
de Markov P, funcin de rendimiento f y o (0 < o < 1) un
factor de descuento. Entonces el costo descontado total
esperado esta dado por:

Terminaremos usando el ejemplo 7 considerando una funcin de
ganancia asociada. Para tal efecto supondremos que el
espacio estado para el ejemplo es E = {1, 2, 3, 4, 5, 6, 7 }
esto es,: el estado 1 es el estado b, el estado 2 es el estado g,
etc. Tambin supondremos que f es la funcin de ganancia
con f = ( 500, 450, 400, 350, 300, 350, 200)
T
; es decir que
cada visita al estado1 produce $500, $450 en el estado 2 etc.
| | i) ( f ) P - (I i X / ) f(X E
1 -
0
0 n
n
n
o o =
(
=
59
Si la cadena inicia en el estado 1 o 2 , entonces la
ganancia promedio de largo plazo por periodo es:
500 8/13 + 450 5/13 = $480.77
Si la ganancia inicia en los estado 3, 4 o 5, entonces la
ganancia promedio de largo plazo por periodo es:
400 8/17 + 350 6/17 + 300 3/17 = 364.71
Si la cadena inicia en el estado 6, entonces el valor
esperado promedio de largo plazo debe ser un
promedio esperado de los dos resultados ergdicos:
480.77 1/7 +364.71 6/7 = $381.29
Empezar en el estado 7 da el mismo resultado de largo
plazo que empezar en los estados 3, 4 o 5.
Supongamos ahora que se requiere utilizar un factor de
descuento. En otras palabras, se requiere encontrar
la ganancia descontada total en lugar de la ganancia
promedio de largo plazo por periodo.
60
Sea la tasa de rendimiento monetario de 20% por
periodo lo cual da o = 1/1.20 = 5/6, entonces

4.0 2.0 0 0 0 0 0
3.2 2.8 0 0 0 0 0
(I-oP)
-1
= 0 0 3.24 1.95 0.81 0 0
0 0 2.32 2.59 1.08 0 0
0 0 2.70 1.62 1.68 0 0
0.44 0.22 1.76 1.37 0.70 1.33 0.17
0 0 2.02 1.66 0.82 0 1.50

denote el rendimiento total cuando la cadena inicia en
el estado i por h (i). Multiplicando la matriz
precedente por la funcin de ganancia f produce:
h
T
= (2900, 2860, 2221.5, 2151, 2079, 1935)
61
En otras palabras si la cadena inicia en el estado 1,
el valor presente de todas las ganancias futuras
sera de $2900, donde el valor presente de un
dlar en un periodo, a partir de ahora, sera de
83.33 centavos. Si el estado inicial es
desconocido y la distribucin de probabilidades
para los estados iniciales es dada por ,
entonces la ganancia descontada total estara
dada por h.

Cadenas de Markov

Cargado por

Información del documento

Derechos de autor

Formatos disponibles

Compartir este documento

Compartir o incrustar documentos

Opciones para compartir

¿Le pareció útil este documento?

¿Este contenido es inapropiado?

Copyright:

Formatos disponibles

Cadenas de Markov

Cargado por

Copyright:

Formatos disponibles

1

Procesos estocsticos aplicados a finanzas

Procesos estocsticos aplicados a finanzas

También podría gustarte