EJERCICOS DE CADENA DE MARKOV

1. Una computadora se inspecciona. Se encuentra que está trabajando o que

está descompuesta. En el primer caso, la probabilidad de que siga así la
siguiente hora es de 0.95. Si está descompuesta, se repara, lo que puede llevar
más de una hora. Siempre que la computadora este descompuesta (sin
importar cuánto tiempo pase), la probabilidad de que siga descompuesta una
hora más es de 0.5.

SOLUCION:

0: Computadora se encuentra trabajando.

Xi =
1: Computadora está descompuesta.
2==
==
Diagrama de estados

0.05

0.5
0.95 0 1
0.5

Matriz de Probabilidades de Transición

0 1 0.95 0.05
0 0.95 0.05 P=
0.5 0.5
1 0.5 0.5

2. En un pueblo, al 90% de los días soleados le siguen días soleados, y al 80%

de los días nublados le siguen días nublados. Con esta información modelar el
clima del pueblo como una cadena de Markov.

SOLUCION:

0: Días soleados.
Xi =
1: Días nublados.
2==
Diagrama de estados
== 0.1

0.8
0.9 0 1
0.2
Matriz de Probabilidades de Transición

0 1 0.9 0.1
0 0.9 0.1 P=
0.2 0.8
1 0.2 0.8

3.

4. Una partícula se mueve sobre un círculo por puntos marcados 0; 1; 2; 3; 4

(en el sentido de las manecillas del reloj). La partícula comienza en el punto 0.
En cada paso tiene una probabilidad de 0.5 de moverse un punto en el sentido
de las manecillas del reloj (0 sigue la 4) y una probabilidad de 0.5 de moverse
en un punto en el sentido opuesto a las manecillas del reloj. Sea X t (t>=0) a
localización en el circulo después del paso t; (Xt) es entonces una cadena de
Markov.

a) Encuentre la matriz de transición (de un paso).

Diagrama de estados
0.5
0: Punto 0

1: Punto 1 1 0.5 2
0.5 0.5
Xi = 2: Punto 2 0.5
0.5

2== 3: Punto 3 0 0.5

3
0.5
== 4: Punto 4
0.5
4 0.5

Matriz de Probabilidades de Transición

0 1 2 3 4
0 0 0.5 0 0 0.5 0 0.5 0 0 0.5
1 0.5 0 0.5 0 0
P=
0.5 0 0.5 0 0 P=
2 0 0.5 0 0.5 0 0 0.5 0 0.5 0
3 0 0 0.5 0 0.5 0 0 0.5 0 0.5
4 0.5 0 0 0.5 0 0.5 0 0 0.5 0
b) Determine la matriz de transición de t pasos Pt para t=5; 10; 20; 40; 80

5
0 0.5 0 0 0.5
0.5 0 0.5 0 0
P5 = 0 0.5 0 0.5 0
0 0 0.5 0 0.5
0.5 0 0 0.5 0

10

0 0.5 0 0 0.5
0.5 0 0.5 0 0
PP105 = 0 0.5 0 0.5 0
0 0 0.5 0 0.5
0.5 0 0 0.5 0

20

0 0.5 0 0 0.5
0.5 0 0.5 0 0
P20 = 0 0.5 0 0.5 0
0 0 0.5 0 0.5
0.5 0 0 0.5 0

40
0 0.5 0 0 0.5
0.5 0 0.5 0 0
5
PP40 == 0 0.5 0 0.5 0
0 0 0.5 0 0.5
0.5 0 0 0.5 0

80

0 0.5 0 0 0.5
0.5 0 0.5 0 0
P80 = 0 0.5 0 0.5 0
0 0 0.5 0 0.5
 0.5 0 0 0.5 0

c) Determine las probabilidades de estado.

0 0.5 0 0 0.5
(π0 , π1 , π2 , π3 , π4 ) = (π0 , π1 , π2 , π3 , π4 ) x 0.5 0 0.5 0 0
0 0.5 0 0.5 0
0 0 0.5 0 0.5
0.5 0 0 0.5 0
π0 + π1 + π2 + π3 + π4 = 1

5. El ascensor de un edificio con bajo y dos pisos realiza viajes de uno a otro
piso. El piso en el que finaliza el viaje n-ésimo del ascensor sigue una cadena
de Markov. Se sabe que la mitad de los viajes que parten del bajo se dirigen a
cada uno de los otros dos pisos, mientras que si un viaje comienza en el primer
piso, solo el 25% de las veces finaliza en el segundo. Por ultimo, si un trayecto
comienza en el segundo piso, siempre finaliza en el bajo. Se pide:

a) Calcular la matriz de probabilidad de transición de la cadena

b) Dibujar el grafo asociado.
c) ¿Cuál es la probabilidad de que, a largo plazo, el ascensor se
encuentre en cada uno de los tres pisos.

SOLUCION:

0: Bajo.

Xi = 1: 1º Piso

2== 2: 2º Piso

==
b) Diagrama de estados

0.5
0.5

0 1 2
a) Matriz de Probabilidades de Transición

0 1 2 0 0.5 0.5
0 0 0.5 0.5
P= 0.75 0 0.25
1 0.75 0 0.25
1 0 0
2 1 0 0

c) Estado estable

0 0.5 0.5
(π0 , π1 , π2 ) = (π0 , π1 , π2 ) x 0.75 0 0.25
1 0 0

π0 + π1 + π2 = 1