EJERCICOS DE CADENA DE MARKOV

0.95

1. Una computadora se inspecciona. Se encuentra que est trabajando o que

est descompuesta. En el primer caso, la probabilidad de que siga as la
siguiente hora es de 0.95. Si est descompuesta, se repara, lo que puede llevar
ms de una hora. Siempre que la computadora este descompuesta (sin
importar cunto 0.5
tiempo pase), la probabilidad de que siga descompuesta una
hora ms es de 0.5.
SOLUCION:
0.05
0: Computadora se encuentra trabajando.

Xi
=

1: Computadora est descompuesta.

Diagrama de estados

1
0.5

Matriz de Probabilidades de Transicin

0
0
0.95
1 0.5
0.9

0.95
1
P
0.05
0.5
0.8
0.5 =

0.05
0.5

2. En un pueblo, al 90% de los das soleados le siguen das soleados, y al 80%

0.1
de los das
nublados le siguen das nublados. Con esta informacin modelar el
clima del pueblo como una cadena de Markov.
SOLUCION:

Xi
=

0: Das soleados.
1: Das nublados.

Diagrama de estados

1
0.2

Matriz de Probabilidades de Transicin

0
1

0
0.9
0.2

1
P
0.1
0.8=

0.9

0.1

0.2

0.8

3. Suponga que la probabilidad de lluvia maana es 0.5 si hoy llueve y que la

probabilidad de un da claro (sin lluvia) maana es 0.9 si hoy est claro.
Suponga adems que estas probabilidades no cambian si tambin se
proporciona informacin sobre el clima de das anteriores a hoy.
SOLUCION:
a) Los eventos que ocurran en un estado (da con lluvia) depender de lo
que ocurra
en el otro (da sin lluvia) as sucesivamente, y as ocurrir
0.9
con la probabilidades. Por lo tanto los estados son dependientes lo que
hace que se produzca una cadena de estados respecto al clima.
b) Formule la evolucin del clima como una cadena de Markov definiendo
sus0.5
estados y dando su matriz de transicin.

0.5

Xi
=

0: Da con lluvia.
1: Da sin lluvia (da claro).

Diagrama de estados

1
0.1

Matriz de Probabilidades de Transicin

0
1

0
0.5
0.1

1
P
0.5
0.9=

0.5

0.5

0.1

0.9

4. Una partcula se mueve sobre un crculo por puntos marcados 0; 1; 2; 3; 4

(en el sentido de las manecillas del reloj). La partcula comienza en el punto 0.
En cada paso tiene una probabilidad de 0.5 de moverse un punto en el sentido
de las manecillas del reloj (0 sigue la 4) y una probabilidad de 0.5 de moverse
en un punto en el sentido opuesto a las manecillas del reloj. Sea X t (t>=0) a
localizacin en el circulo despus del paso t; (X t) es entonces una cadena de
Markov.
a) Encuentre la matriz de transicin (de un paso).
Diagrama de estados
0.5

0: Punto 0

1: Punto 1

Xi
=

2: Punto 2

0.5

3: Punto 3

0.5

0.5

0.5

0.5

0.5
0.5

4: Punto 4
0.5

0.5

Matriz de Probabilidades de Transicin

0
1
2
b)
la matriz de transicin de t 3
4
pasos Pt para t=5; 10; 20; 40; 80
0
0.5
05
0
0.5 0
0
0.5 0
0.5 0
0.5 0
0 0.5
0
0.5 0
P5 = 00 0.5
0
0.5 0
0.5
0.5 0
0
0.5 0

P
=
Determine

00.5
0
0.5
0
0
0.5

10
0.5
0
0.5
0
0

20
0
0.5
0
0.5
0

30.5
0
0
0.5
0
0.5

0
0.5
0
0

0.5
0
0.5
0

0
0.5
0
0.5

0
0
0.5
0

10

P10 =

4
0.5
0
0
0.5
0

P
=

P5 =

0
0.5
0
0
0.5

0.5
0
0.5
0
0

0
0.5
0
0.5
0

0
0
0.5
0
0.5

0.5
0
0
0.5
0
20

P20 =

P5 ==
P40

0
0.5
0
0
0.5

0.5
0
0.5
0
0

0
0.5
0
0.5
0

0
0
0.5
0
0.5

0.5
0
0
0.5
0

0
0.5
0
0
0.5

0.5
0
0.5
0
0

0
0.5
0
0.5
0

0
0
0.5
0
0.5

0.5
0
0
0.5
0

40

80

P80 =

0
0.5
0
0
0.5

0.5
0
0.5
0
0

0
0.5
0
0.5
0

0
0
0.5
0
0.5

0.5
0
0
0.5
0

c) Determine las probabilidades de estado.

0
0.5
0
0
0.5

(0 , 1 , 2 , 3 , 4 ) = (0 , 1 , 2 , 3 , 4 ) x

0.5
0
0.5
0
0

0
0.5
0
0.5
0

0
0
0.5
0
0.5

0.5
0
0
0.5
0

0.25
0 + 1 +1 2 + 3 + 4 = 1

5. El ascensor
0.5de un edificio con bajo y dos pisos realiza viajes de uno a otro
piso. El piso en el que finaliza el viaje n-simo del ascensor sigue una cadena
de Markov. Se sabe que la mitad de los viajes que parten del bajo se dirigen a
cada uno de los otros dos pisos, mientras que si un viaje comienza en el primer
piso, solo el 25% de las veces finaliza en el segundo. Por ultimo, si un trayecto
comienza en el segundo piso, siempre finaliza en el bajo. Se pide:
a) Calcular la matriz de probabilidad de transicin de la cadena
b) Dibujar el grafo asociado.
c) Cul es la probabilidad de que, a largo plazo, el ascensor se
encuentre en cada uno de los tres pisos.
SOLUCION:
0: Bajo.
1: 1 Piso
Xi = 2====
2: 2 Piso

0.5
b) Diagrama de estados

1
0.75

a) Matriz de Probabilidades de Transicin

0
1
2

0
0
0.75
1

1
P0.5
=
0
0

2
0.5
0.25
0

0.5

0.5

0.75

0.25

c) Estado estable

(0 , 1 ,

0.5

0.5

0.75

0.25

0 + 1 + 2 = 1

2 ) = (0 , 1 , 2 ) x