PROCESOS ESTOCASTICOS

CADENAS DE MARKOV
Ricardo Sepúlveda C.
ricardo.sepulveda@ufrontera.cl
Departamento de Ingeniería de Sistemas
Universidad de La Frontera
Fuente : Material de Apoyo Dr. Aldo Vergara
Ayudante de la Asignatura: Javier Añazco Martínez
Material de Libre disposición en internet
 CADENAS DE MARKOV
Ejemplo N°1: En el Mercado Turístico Lacustre de la Novena Región se ha
analizado la preferencia por las 3 principales termas.
• Si durante la ultima temporada, según catastro tomado por el Municipio y
Sernatur arrojaron que de los turistas que prefirieron visitar las termas de la
localidad , optaron por las termas A,B y C en 45%, 25% y 30%,
respectivamente.
y así mismo de acuerdo a un análisis histórico de años anteriores indica que :
• De las personas que optaron por las termas Tipo A , un 10% cambiara su
preferencia por las Termas B y un 10% por las Termas C.
• De las personas que optaron por las termas Tipo B , un 3 % cambiara su
preferencia por las Termas A y un 2 % por las Termas C.
• De las personas que optaron por las termas Tipo C , un 20 % cambiara su
preferencia por las Termas A y un 5 % por las Termas B.
 CADENAS DE MARKOV

 Represente de manera grafica y matricial las probabilidades de

optar de un conjunto termal a otro cada temporada
 Escriba el vector de preferencias iniciales.
 Cual será el pronostico del comportamiento del mercado
consumidor respecto de los 3 complejos turísticos para el
periodo de alta Demanda en el 2020.
 ¿Cuál es la cuota de mercado en el largo plazo para cada una
de las marcas descritas?.
 CADENAS DE MARKOV
 Represente de manera grafica y matricial las probabilidades de optar de un
conjunto termal a otro cada temporada

0.8 0.1 0.95

1 0.03 2

0.02

0.05
0.2
3
0.75
0.1

 Escriba el vector de preferencias iniciales.

 CADENAS DE MARKOV
 Cual será el pronostico del comportamiento del mercado
consumidor respecto de los 3 complejos turísticos para el
periodo de alta demanda en el 2020.
 CADENAS DE MARKOV
¿Cuál es la cuota de mercado en el largo
plazo para cada una de las marcas descritas?.

πn = πn-1 x P0 = π0 x Pn-1
 CADENAS DE MARKOV
¿Cuál es la cuota de mercado en el largo plazo para cada una de las
marcas descritas?.
πn = πn-1 x P0 = π0 x Pn-1 πn = πn-1 x P0 ----> πn  πn-1

Condición N°1: πnC1 + πnC2 + πnC3 = 1

Condición N°2 : πn = πn x P0
 CADENAS DE MARKOV
Si se durante la temporada alta 2019, según registro provincial proporcionado por
Sernatur, el flujo de turistas que optaron por hospedarse en complejos termales fue
de 12.000 huéspedes/mensuales

Según las cifras proporcionados por el INE y Sernatur el mercado hotelero mensual
ha experimentado un crecimiento sostenido entre temporadas altas de un 5% y se
espera que este crecimiento se mantenga los próximos 10 años

Según lo informado por el Complejo Turístico N°2

• La tarifa oficial es de 80.000 $/día

• Los costos operacionales son 35.000 $/día ( personal adicional contratado, insumos básicos,
gastos generales, alimentación y confort)
 CADENAS DE MARKOV
Dada a que se prevé un incremento sostenido en mercado turístico en la zona , es
posible materializar las siguientes inversiones de ampliación ( terrenos,
infraestructura, estudio de suelos, instalaciones varias, permisos )

¿ Siendo usted el asesor comercial y financiero de complejo turístico, recomendaría

ampliar la capacidad del Complejo, en cuanto recomendaría ampliar esta capacidad?
Asuma una taza de capital de un 10 %
 CADENAS DE MARKOV
Solución
 CADENAS DE MARKOV
Solución
 CADENAS DE MARKOV
Solución
 CADENAS DE MARKOV
Solución
 CADENAS DE MARKOV
Ejemplo N°2
En una Unidad de Cuidados Intensivos en un determinado hospital, cada paciente es clasificado de
acuerdo a un estado crítico, serio o estable. Estas clasificaciones son actualizadas cada mañana por un
médico internista, de acuerdo a la evaluación experimentada por el paciente. Las probabilidades con
las cuales cada paciente se mueve de un estado a otro se resumen en la tabla que sigue

1. Represente de manera grafica las probabilidades de pasar de un estado a otro.

2. ¿Cuál es la probabilidad que un paciente en estado crítico un día Jueves esté
estable el día Sábado?
3. ¿Cuál es la probabilidad que un paciente que está en estado estable el Lunes
experimente alguna complicación y no esté estable nuevamente el Miércoles?
4. ¿Qué porcentaje de la Unidad de Cuidados Intensivos usted diseñaría y equiparía
para pacientes en estado crítico?.
 CADENAS DE MARKOV
1. Represente de manera grafica las 0,6 0,4
0,3
probabilidades de pasar de un
C S
estado a otro.
0,4
0,1 0,4

2. ¿Cuál es la probabilidad que un 0,2

0,1
paciente en estado crítico un día E
Jueves esté estable el día Sábado? 0,5

La probabilidad de que un paciente esté en estado 0,6 0,3 0,4

crítico el día Jueves y que el día Sábado esté estable, C S
está dado por P2CE , es decir, la probabilidad de pasar
0,4
del estado crítico al estado estable al cabo de 2 etapas
(días). 0,1 0,4

P2CE = 0,6 x 0,1 + 0,3 x 0,2 + 0,1 x 0,5 = 0,17 0,2

0,1
E
0,5
 CADENAS DE MARKOV
2. ¿Cuál es la probabilidad que un
0,6 0,3 0,4
paciente en estado crítico un día
Jueves esté estable el día Sábado? C S
0,4
Usando las Ecuaciones de Chapman 0,1 0,4
Kolmogorov y su análisis transiente se tiene
que: 0,2
0,1
E
0,5
Sea :
• π0 = [1, 0, 0 ] …….. Vector que representa estar en estado critico en el instante
inicial (dado que solo toma el caso de pacientes en estado critico)
• P2 = P1 x P1…………Matriz de Transición de 2 pasos ( 2 días )
• π2 = π0 x P2 ………….Vector de Vector que representa estar cualquier estado
transcurrido 2 días
 CADENAS DE MARKOV
2. ¿Cuál es la probabilidad que un paciente en estado crítico un día Jueves
esté estable el día Sábado?
0,6 0,3 0,1 0,6 0,3 0,1 0,49 0,34 0,17
𝑃2 = 0,4 0,4 0,2 × 0,4 0,4 0,2 = 0,42 0,36 0,22
0,1 0,4 0,5 0,1 0,4 0,5 0,27 0,39 0,34

0,49 0,42 0,27

𝜋2 = 𝜋0 × 𝑃2 = 1 0 0 × 0,34 0,36 0,39 = 0,49 0,34 0,17
0,17 0,22 0,34

Partir de un
estado critico Llegar en estado Llegar en estado
critico estable
Llegar en estado
serio
Respuesta:
la probabilidad de pasar del estado crítico al estado estable
al cabo de 2 etapas es de un 17%
 CADENAS DE MARKOV
2. ¿Cuál es la probabilidad que un paciente en estado crítico un día Jueves
esté estable el día Sábado? 1° semana en estado serio 1° Semana
estado estable
Otra Forma 1° Semana estado critico
0,6 0,3 0,1
1 0 1
𝜋 = 𝜋 ×𝑃 = 1 0 0 × 0,4 0,4 0,2 = 0,6 0,3 0,1
0,1 0,4 0,5
Partir de un
estado critico
0,6 0,3 0,1
𝜋 2 = 𝜋 1 × 𝑃1 = 0,6 0,3 0,1 × 0,4 0,4 0,2 = 0,49 0,34 0,17
0,1 0,4 0,5
2° semana
Situación de los pacientes al
2° semana estado estable
cabo de una semana
estado critico Llegar en estado
serio
Respuesta:
la probabilidad de pasar del estado crítico al estado estable
al cabo de 2 etapas es de un 17%
 CADENAS DE MARKOV
3. ¿Cuál es la probabilidad que un paciente que está en estado estable el
Lunes experimente alguna complicación y no esté estable nuevamente el
Miércoles?
0,6 0,3 0,1 0,6 0,4 0,1 0,49 0,34 0,17
2
𝑃 = 0,4 0,4 0,2 × 0,3 0,4 0,4 = 0,42 0,36 0,22
0,1 0,4 0,5 0,1 0,2 0,5 0,27 0,39 0,34
0,49 0,42 0,27
𝜋2 = 𝜋0 × 𝑃2 = 0 0 1 × 0,34 0,36 0,39 = 0,27 0,39 0,34
0,17 0,22 0,34

Partir de un
estado estable Llegar en estado Llegar en estado
critico estable
Llegar en estado
serio
Respuesta:
la probabilidad de pasar del estado estable al estado serio o critico al cabo de 2
etapas es de un (27% + 39% = 66% )
 CADENAS DE MARKOV
4. ¿Qué porcentaje de la Unidad de Cuidados Intensivos usted diseñaría y
equiparía para pacientes en estado crítico?.
πn = πn-1 x P0 = π0 x Pn-1 πn = πn-1 x P0 ----> πn  πn-1
 CADENAS DE MARKOV
4. ¿Qué porcentaje de la Unidad de Cuidados Intensivos usted diseñaría y
equiparía para pacientes en estado crítico?.
πn = πn-1 x P0 = π0 x Pn-1 πn = πn-1 x P0 ----> πn  πn-1
Condición N°1: πnc + πns + πnE = 1

Condición N°2 : πn = πn x P0
CLASIFICACION DE ESTADOS EN LAS 1 0 0 0 0
1−𝑝 0 𝑝 0 0
CADENAS DE MARKOV 𝑃= 0 1−𝑝 0 𝑝 0
0 0 1−𝑝 0 𝑝
Ejercicio N°3 RUINA DE UN JUGADOR. 0 0 0 0 1
En el tiempo 0 tengo $ 2 y en los tiempos 1,2,3,... participo en un juego en el que apuesto
$1. Gano el juego (y gano $1) con probabilidad p y lo pierdo (perdiendo lo apostado) con
probabilidad 1-p. Mi meta es aumentar mi capital hasta $4 y tan pronto lo logre me salgo
del juego. También salgo cuando me arruine (capital $0).
1- p p 1- p p
0 1 2 3 4
1 1- p p 1

¿ Calcule los Periodos de los Estados En definitiva se trata de calcular las Trayectorias
1y3? Retornables al mismo estado.

Para el estado 1 Para el estado 3 MCD =2

1- 2 - 1 : 2 Periodos 3- 2 - 3 : 2 Periodos (Periodo)
1- 2 - 3 - 2 - 1 : 4 Periodos 3- 2 - 1 - 2 - 3 : 4 Periodos
1- 2 - 3 - 2 - 3 - 2 - 1 : 6 Periodos 3- 2 - 1 - 2 - 1 - 2 - 3 : 6 Periodos
CLASIFICACION DE ESTADOS EN LAS
CADENAS DE MARKOV
Ejercicio N°4
De acuerdo a los Planos Reguladores Comunales a nivel Nacional y Datos
Proporcionados por el Instituto Nacional de Estadistas , cada familia a
nivel nacional se clasifica según donde vive como urbana , rural, o
suburbana. Durante un año especifico:
• 15% de las familias urbanas se mudaron a una ubicación suburbana , y
un 5% de las familias a un área rural.
• 6% de las familias suburbanas se mudaron a una ubicación urbana , y
un 4% de las familias a un área rural
• 4% de las familias rurales se mudaron a una ubicación urbana , y un
6% de las familias a un área suburbana.
CLASIFICACION DE ESTADOS EN LAS
CADENAS DE MARKOV
Preguntas
1. Represente de manera grafica las probabilidades de cambio de radio
residencial
2. Si una familia ahora vive en un lugar urbana ¿ Cual es la probabilidad
de que viva en un área urbana 2 años a partir de ahora?¿ Un área
suburbana? ¿Un área rural?
3. Suponga que en el presente , un 40% de las familias vive en un área
suburbana, 35% en un área rural y un 25% viven en el área rural. Dos
años a partir de ahora ¿ Que porcentajes de familias vivirán en el área
urbana?
4. ¿ Cual es la proyección de preferencias habitacionales a largo plazo ?
5. ¿La cadena de Markov es una Cadena Ergodica? Fundamente
CLASIFICACION DE ESTADOS EN LAS
CADENAS DE MARKOV
1. Represente de manera grafica las probabilidades de pasar de un
estado a otro.

0,8 0,15 0,9

U S
0,06
0,05 0,06

0,04
0,04
R
0,9
CLASIFICACION DE ESTADOS EN LAS
CADENAS DE MARKOV
2. Si una familia ahora vive en un lugar urbana ¿ Cual es la probabilidad de que viva en
un área urbana 2 años a partir de ahora?¿ Un área suburbana? ¿Un área rural?

La probabilidad de que una familia tenga residencia urbana actual y al cabo de 2 años
tenga residencia urbana, suburbana y rural esta dada por , está dado por P2UU; P2US ; P2UR
al cabo de 2 años .
CLASIFICACION DE ESTADOS EN LAS
CADENAS DE MARKOV
2. Si una familia ahora vive en un lugar urbana ¿ Cual es la probabilidad de que viva en
un área urbana 2 años a partir de ahora?¿ Un área suburbana? ¿Un área rural?
Usando las Ecuaciones de Chapman Kolmogorov y su análisis transiente se tiene que:
Sea :
• π0 = [1, 0, 0 ] …….. Vector que representa vivir en el radio urbano
• P2 = P1 x P1…………Matriz de Transición de 2 pasos ( 2 días )
• π2 = π0 x P2 ………….Vector de Vector que representa estar cualquier estado transcurrido 2 años

0,80 0,15 0,05 0,80 0,15 0,05 0,651 0,258 0,091

𝑃2 = 0,06 0,90 0,04 × 0,06 0,90 0,04 = 0,105 0,821 0,075
0,04 0,06 0,90 0,04 0,06 0,90 0,072 0,114 0,814
Vivir en radio urbano En radio urbano En radio semiurbano
En radio rural
0,651 0,258 0,091
2 0 2
𝜋 =𝜋 ×𝑃 = 1 0 0 × 0,105 0,821 0,075 = 0,651 0,258 0,091
Respuesta:
0,072 0,114 0,814
la probabilidad vivir en en el radio urbano, semiurbano y rural es de 65,10%; 25,80%, 9,10% ,
despues de haber vivido en el radio urbano 2 años antes
CLASIFICACION DE ESTADOS EN LAS
CADENAS DE MARKOV
4. ¿ Cual es la proyección de preferencias habitacionales a largo plazo ?

Condición N°1: πnU+ πns + πnR = 1

Condición N°2 : πn = πn x P0
CLASIFICACION DE ESTADOS EN LAS
CADENAS DE MARKOV
5. ¿La cadena de Markov es una Cadena Ergodica? Fundamente

Dado que los Estados de la Cadena de Markov:

0,8 0,15 0,9 1. Son Aperiódicos, mínima trayectoria para
U S regresar es un estado (MCD de
0,06 trayectorias de estados) es 1 .
0,05 0,06 2. Son recurrentes ( no transitorios), es decir
cuando se abandona un estado siempre es
0,04 posible regresar a dicho estado.
0,04
R 3. Los estados se comunican entre si.
0,9
4. La Cadena es irreductible (es de una Clase )

Dado lo anterior la matriz es Ergodica !!!!!!

CLASIFICACION DE ESTADOS EN LAS
CADENAS DE MARKOV
Ejercicio N°5: Considere la siguiente Matriz de transición
1 1
0 0 1 0 0 0
0 0 0 0 0 1 1/4 1 3 5
0 0 0 0 1 0 1/2
P= 1 1 0 12 0 0 1
4 4 4
1 0 0 0 0 0
1
0 1 0 0 0 23
1/4 2/3
3 2 6

1/3
1. ¿Qué estados son Transitorios?
2. ¿Cuáles son estados Recurrentes?
3. ¿Identifique los conjuntos cerrado de
estados?
4. ¿Es Ergodica esta matriz?
CLASIFICACION DE ESTADOS EN LAS
CADENAS DE MARKOV 1

3
1

0 0 1 0 0 0 1/4 1 5
0 0 0 0 0 1 1/2
0 0 0 0 1 0 4
1
P= 1 1 0 12 0 0
4 4 1
1/4
1 0 0 0 0 0 2/3

0 1 0 0 0 23 2 6
3
Respuestas: 1/3

1. El estado 4 es transitorio , dado que la probabilidad de regresar a 4 es f4 = ½,

dado que la probabilidad de no regresar está dada por f41 + f42 = ¼ + ¼ = ½
∞ ∞ 2
(𝑛) 1
𝑓4 = =2<∞
2
𝑛=1 𝑛=1

2. Los estado 1,3 y 5 son recurrentes dado que solo existe una trayectoria de
retorno y su probabilidad es 1
∞ ∞
 f1 = f13 x f35 x f51 = 1 x 1 x 1 =1 (𝑛) 𝑛= ∞
 f3 = f35 x f51 x f13 = 1 x 1 x 1 =1 𝑓𝑖 = (1)
 f5 = f51 x f13 x f35 = 1 x 1 x 1 =1 𝑛=1 𝑛=1
CLASIFICACION DE ESTADOS EN LAS
CADENAS DE MARKOV ∞
0 0 1 0 0 0
𝑓2 = 𝑓2𝑛 ℎ𝑎𝑐𝑖𝑒𝑛𝑑𝑜 𝑚 = 𝑛 − 2
0 0 0 0 0 1 ∞ 𝑚
0 0 0 0 1 0 𝑛=1 1 2
𝑓2 =
P= 1 1 0 12 0 0 3 3
4 4 𝑐𝑜𝑚𝑜 𝑓11 = 0 𝑚=0
1 0 0 0 0 0 1 1
𝑓2 = =1
0 1 0 0 0 23 ∞ 3 1−2
3 𝑛−2 3
2 1 ∞ ∞
𝑓2 = 1 𝑓2
(𝑛)
= (1)𝑛 = ∞
3 3
1 1 𝑛=2 𝑛=1 𝑛=1

1/4 1 3 5
1/2
4
1 f6 = f66 + f62 x f26 = 2/3 + 1 x 1/3 = 1
∞ ∞
1/4 1 2/3 (𝑛)
2 6 𝑓6 = (1)𝑛 = ∞
𝑛=1 𝑛=1
1/3

2. Los estados 2 y 6 son recurrentes también .

CLASIFICACION DE ESTADOS EN LAS
CADENAS DE MARKOV 1 1
0 0 1 0 0 0
0 0 0 0 0 1 1/4 1 3 5
0 0 0 0 1 0 1/2
P= 1 1 0 12 0 0 1
4 4 4
1 0 0 0 0 0
0 1 0 0 0 23 1/4 1 2/3
3 2 6

1/3
3. El conjunto {4] no es cerrado dado que los estados 1 y 2 son alcanzables desde el
estado {4}, mientras que los conjuntos {1,3,5} y {2,6} son cerrados dado que no
existen estados que sean alcanzables por algunos de los estados mencionados en
estos dos últimos conjuntos.
4. Puesto que:
El estado 4 es transitorio.
Los Estados 1,3 y 5 son periódicos
La cadena de markov es irreductible dado que el estado 4 no se comunica con
1 y 2 así como tampoco con el resto de los estados
La cadena de markov no es ergodica
CLASIFICACION DE ESTADOS EN LAS
CADENAS DE MARKOV
Ejercicio N°6: Para cada una de las siguientes cadenas, determine si la cadena
de Markov es Ergodica, así mismo determine los estados recurrentes,
transitorios y absorbentes 0.7
No hay estados transitorios
0.8
2
Los Estados 1,2,3 son
0 0.8 0.2 0.3 recurrentes
P = 0.3 0.7 0 1 0.4 0.5 No Hay Estados Absorbentes
0.4 0.5 0.1
Los Estados 1,2,3 son Aperiódicos
0.2
LA CADENA DE MARKOV ES ERGODICA
0.2 0.8 0 0 3
0 0 0.9 0.1 0.1
P=
0.4 0.5 0.1 0 Los estados 1,2,3 son transitorios puesto que por una
0 0 0 1 parte están comunicados directamente o indirectamente
0.1
4 con 2, estado que es transitorio puesto que existe la
0.1
0.8 probabilidad de abandonar el estado 2 para ir a 4 sin
2 posibilidad de retorno

0.2 El estado 4 es recurrente y absolvente ,

puesto que al ingresar a ese estado no existe
1 0.5 0.9
probabilidad de ir fuera de el
0.4 Los 4 estados son aperiódicos
3 Dado que la cadena tiene 2 clases, existen
0.1 estados transitorios
LA CADENA DE MARKOV NO ES ERGODICA
CLASIFICACION DE ESTADOS EN LAS
CADENAS DE MARKOV
Ejercicio N°6: Para cada una de las siguientes cadenas, determine si la cadena
de Markov es Ergodica, así mismo determine los estados recurrentes,
transitorios y absorbentes 0.3
No hay estados transitorios
0.3
2
Los Estados 1,2,3 son
0.4 0 0.6 0.4 recurrentes
P = 0.3 0.3 0.3 1 0.5 No Hay Estados Absorbentes
0.4
0 0.5 0.4
Los Estados 1,2,3 son Aperiódicos
Los Estados 1,2,3 se comunican entre si
0.7 0 0 0.3 0.6 3
0.2 0.2 0.4 0.2 0.4 La cadena de Markov es irreductible
P=
0.6 0.1 0.1 0.2
0.3 LA CADENA DE MARKOV ES ERGODICA
0.2 0 0 0.8
0.2
0.7 Los estados 1,2,3 y 4 son recurrentes
4
1 0.8 Los 4 estados son aperiódicos
0.2 0.2 Se comunican entre si
La cadena de Markov es irreductible
0.6
0.2 0.2 LA CADENA DE MARKOV ES ERGODICA
2 0.4 3
0.1 0.1