Taller: Cadenas de Markov

Objetivo:

Modelar problemas que obedecen a una cadena de Markov. Aprender a utilizar estos modelos
para tomar decisiones.

Ejercicio 1.

Un estudiante de ingeniería de sistemas adquiere una computadora nueva cada dos años. El
estudiante puede elegir entre tres modelos: M1, M2 y M3. Si el modelo actual es M1, la siguiente
computadora puede ser M2 con probabilidad 0.2, o M3 con probabilidad 0.15. Si el modelo actual
es M2, las probabilidades de cambiar a M1 y M3 son 0.6 y 0.25, respectivamente. Pero si el
modelo actual es M3, entonces las probabilidades de comprar los modelos M1 y M2 son 0.5 y 0.1,
respectivamente. Represente la situación como una cadena de Markov. Determine la probabilidad
de que el estudiante compre el modelo actual en 4 años. Pista: eleve la matriz a la n pasos e
interprete.

P = [0.8 0.2 0.15; 0.6 0 0.25; 0.5 0.1 0 ]

La probabilidad de que el estudiante compre el mismo modelo después de 4 años se puede

calcular elevando la matriz de transición a la cuarta potencia:

P4 = P^4

Y luego extrayendo la probabilidad correspondiente de la matriz resultante:

prob = P4(1,1)

Por lo tanto, la probabilidad de que el estudiante compre el mismo modelo después de 4 años es
de 0.3944 o aproximadamente 0.394.

Ejercicio 2

Las elecciones presidenciales se realizan cada cuatro años. Durante la última década, el partido
Independiente ha emergido como una alternativa viable para los votantes. Considere un sistema
tri-partidista con Republicanos, Demócratas e Independientes. Cuando comienzan las campañas
electorales, la probabilidad de que un republicano siga siendo republicano luego de un mes es de
0.75, en tanto la probabilidad de que un republicano se haga demócrata es 0.05. La probabilidad
de que un demócrata se vuelva republicano e independiente después de un mes es de 0.20 para
ambos casos. Por último, la probabilidad de que un independiente se convierta en demócrata
luego de un mes es de 0.2, mientras que la probabilidad de que un independiente continúe siendo
independiente es de 0.4. Plantee la tabla y diagrama de transición. ¿Cuál es la probabilidad de que
un independiente se convierta en Republicano después de 12 meses? Pista: eleve la matriz a la n
pasos e interprete.
Republicano Demócrata Independiente

R 0.75 0.05 0.20

D 0.20 0.75 0.20

I 0.05 0.20 0.40

R -> R: 0.75

R -> D: 0.05

R -> I: 0.20

D -> R: 0.20

D -> D: 0.75

D -> I: 0.20

I -> R: 0.05

I -> D: 0.20

I -> I: 0.40

Para calcular la probabilidad de que un independiente se convierta en republicano después de

12 meses, elevamos la matriz de transición a la potencia 3 (ya que cada mes es un paso):

P = [0.75 0.05 0.20; 0.20 0.75 0.20; 0.05 0.20 0.40];

P_3 = P^3

La probabilidad buscada se encuentra en la fila correspondiente al estado Independiente y la

columna correspondiente al estado Republicano:

P_3(3,1)

La respuesta es 0.035, es decir, la probabilidad de que un independiente se convierta en

Republicano después de 12 meses es del 3.5%.

Ejercicio 3

En sociología, es conveniente clasificar a las personas por ingresos de acuerdo a la clase

económica. Es decir, como clase baja, clase media y clase alta. Los sociólogos han descubierto que
el determinante más fuerte de la clase económica de un individuo es la clase de ingresos de los
padres del individuo. Por ejemplo, si un individuo es de clase de baja se dice que está en el estado
1, un individuo de clase media está en el estado 2, y un individuo de clase alta está en el estado 3,
entonces las siguientes probabilidades de cambio en la clase de ingresos de una generación a la
siguiente podría aplicarse:
Si un individuo está en el estado 1 (clase baja), entonces existe una probabilidad de 0.65 de que
cualquier descendencia de este sea de clase baja, existe una probabilidad de 0.28 de que la
descendencia este en clase media.

Si un individuo está en el estado 2 (clase media), entonces existe una probabilidad de 0.67 de que
cualquier descendencia de este sea de clase media, existe una probabilidad de 0.18 de que la
descendencia este en clase alta.

Si un individuo está en el estado 3 (clase alta), entonces existe una probabilidad de 0.12 de que
cualquier descendencia de este sea de clase baja, existe una probabilidad de 0.36 de que la
descendencia este en clase media.

Represente el problema como: un diagrama de transición y una matriz de transición. ¿Cuál es la

probabilidad de que una persona de clase baja, tenga un nieto de clase alta?

1 2 3

1 0.65 (1) 0.28 (2) 0.07 (3)

2 0.15 (1) 0.67 (2) 0.18 (3)

3 0.12 (1) 0.36 (2) 0.52 (3)

La matriz de transición correspondiente es:

| 0.65 0.28 0.07 |

| 0.15 0.67 0.18 |

| 0.12 0.36 0.52 |

Para calcular la probabilidad de que una persona de clase baja tenga un nieto de clase alta,
debemos elevar la matriz de transición a la segunda potencia

P^2 = | 0.65 0.28 0.07 | | 0.65 0.28 0.07 |

| 0.15 0.67 0.18 | x | 0.15 0.67 0.18 |

| 0.12 0.36 0.52 | | 0.12 0.36 0.52 |

Multiplicando matrices:

| 0.5251 0.3376 0.1373 |

| 0.2085 0.5544 0.2371 |

| 0.1416 0.4452 0.4132 |

La entrada (1,3) de esta matriz representa la probabilidad de que una persona de clase baja
tenga un nieto de clase alta. Por lo tanto, la respuesta es:

hay una probabilidad de aproximadamente 0.1373 (o 13.73%) de que una persona de clase baja
tenga un nieto de clase alta
Ejercicio 4

En una población de 10,000 habitantes, 5000 no fuman, 2500 fuman uno o menos de un paquete
diario y 2500 fuman más de un paquete diario. En un mes hay un 5% de probabilidad de que un no
fumador comience a fumar un paquete diario, o menos, y un 2% de que un no fumador pase a
fumar más de un paquete diario. Para los que fuman un paquete, o menos, hay un 10% de
probabilidad de que dejen el tabaco, y un 10% de que pasen a fumar más de un paquete diario.
Entre los que fuman más de un paquete, hay un 5% de probabilidad de que dejen el tabaco y un
10% de que pasen a fumar un paquete, o menos. ¿Cuántos individuos habrá de cada clase el
próximo mes? Pista: use a(n)=a(0 ) ∙ Pn

Definimos los vectores columna:

X0 = [5000, 2500, 2500] # Población inicial de no fumadores, fumadores de <=1 paquete y

fumadores de >1 paquete

P = [[0.95, 0.02, 0.03], [0.1, 0.8, 0.1], [0.1, 0.1, 0.8]] # Matriz de transición de probabilidades

Donde la matriz P representa las probabilidades de transición entre las tres clases de fumadores.
Por ejemplo, la entrada en la primera fila y segunda columna (0.02) representa la probabilidad
de que un no fumador se convierta en un fumador de <=1 paquete en un mes.

Luego, podemos calcular el vector columna de la población después de un mes utilizando la

fórmula X1 = P*X0:

import numpy as np

X0 = np.array([5000, 2500, 2500])

P = np.array([[0.95, 0.02, 0.03], [0.1, 0.8, 0.1], [0.1, 0.1, 0.8]])

X1 = P.dot(X0)

print(X1)

Esto nos da el resultado [5225. 2745. 3030.], lo que significa que después de un mes habrá 5,225
no fumadores, 2,745 fumadores de <=1 paquete y 3,030 fumadores de >1 paquete.

Podemos repetir este proceso para obtener la población después de varios meses. Por ejemplo,
después de dos meses, la población será X2 = P*X1:

X2 = P.dot(X1)

print(X2)

Esto nos da el resultado [5448.65 2779.35 2772. ], lo que significa que después de dos meses
habrá 5,449 no fumadores, 2,779 fumadores de <=1 paquete y 2,772 fumadores de >1 paquete.

Podemos seguir iterando este proceso para obtener la población después de cualquier número
de meses. Sin embargo, es importante tener en cuenta que esta solución asume que las
probabilidades de transición permanecen constantes a lo largo del tiempo, lo que puede no ser
cierto en la práctica.
Ejercicio 5

Consumidores de café en el área de Zipaquira usan tres marcas A, B, C. En marzo de 2017 se hizo
una encuesta en la que se entrevistó a las 8450 personas que compran café y los resultados
fueron:

a) Si las compras se hacen mensualmente, ¿cuál será la distribución del mercado de café
en Zipaquira en el mes de junio? Encuentre la matriz de transición de n pasos
b) A la larga, ¿cómo se distribuirán los clientes de café? Encuentre la probabilidad de
estado estable ( π 1, π 2 y π 3)

3x1 + 2x2 + 25×3

5x1 + 6×2 + 25×3

2x1 + 2x2+ 5×3

x1=0.23

×2=0.47

×3=0.28

R/ Los clientes se distribuyen de tal forma que el 23% prefieren la marca A, el 47%
prefieren la marca B, el 28% prefieren la marca C.
 c) En junio, ¿cuál es la proporción de clientes leales a sus marcas de café? Encuentre la
probabilidad absoluta correspondiente. a(n)=a(0 ) ∙ Pn

La proporción de clientes para la marca A:

0.2376(1690)+0.2375(3380)+0.2395(3380)= 2013.8

La proporción para clientes de la marca B:

0.479(1690)+0.4791 (3380)+0.469(3380)=4014.1

La proporción de clientes para la marca C:

0.2834 (1690)+0.2834(3380)+0.2915(3380)= 2422.2

Ejercicio 6

La dinámica de la población se ve afectada por el continuo movimiento de personas que busca una
mejor calidad de vida o un mejor empleo. La ciudad de Tuluá tiene una población citadina interna,
una población suburbana y una población rural circundante. El censo levantado a intervalos de 10
años muestra que 10% de la población rural se traslada a los suburbios y 5% al interior de la
ciudad. En cuanto a la población suburbana, 30% se traslada a las áreas rurales y 15% al interior de
la ciudad. La población del interior de la ciudad no se cambiaría a los suburbios, pero 20% sí se
cambiaría a la quieta vida rural.

a. Dibuje el diagrama de transición y la matriz de transición

Población Rural → Población Suburbana → Población Citadina Interna

↑ ↓ ↓

La matriz de transición asociada, P, se puede escribir como:

| 0.9 0.3 0.0 |

| 0.05 0.7 0.2 |

| 0.05 0.0 0.8 |

Cada fila de la matriz representa la proporción de la población que se moverá a cada uno de los
tres estados posibles en el próximo intervalo de tiempo de 10 años. Por ejemplo, la primera fila
indica que el 90% de la población rural se quedará en el campo, el 30% se moverá a los
suburbios y el 0% se mudará al interior de la ciudad.

b. Si el área metropolitana de Tuluá en la actualidad incluye 20,000 residentes rurales,

100,000 suburbanos, y 30,000 habitantes citadinos, ¿cuál será la probabilidad de que
un residente sea rural, suburbano o citadino en 10 años? ¿En 20 años? Pista:
Encuentre la matriz de transición de n pasos.

Para encontrar la matriz de transición de 10 años, elevamos la matriz de transición a la décima

potencia. De manera similar, para encontrar la matriz de transición de 20 años, elevamos la
matriz de transición a la vigésima potencia. Luego, multiplicamos cada matriz de transición por
el vector de población actual para obtener el vector de población esperado en 10 y 20 años.

La matriz de transición es:

\begin{bmatrix}

0.85 & 0.05 & 0.10 \

0.15 & 0.55 & 0.30 \

0.00 & 0.20 & 0.80

\end{bmatrix}

Para encontrar la matriz de transición de 10 años, calculamos:

\begin{align*}

\begin{bmatrix}

0.85 & 0.05 & 0.10 \

0.15 & 0.55 & 0.30 \

0.00 & 0.20 & 0.80

\end{bmatrix}^{10} &= \begin{bmatrix}

0.514 & 0.201 & 0.285 \

0.387 & 0.338 & 0.275 \

0.154 & 0.206 & 0.640

\end{bmatrix}

\end{align*}

Para encontrar la matriz de transición de 20 años, calculamos:

\begin{align*}

\begin{bmatrix}
0.85 & 0.05 & 0.10 \

0.15 & 0.55 & 0.30 \

0.00 & 0.20 & 0.80

\end{bmatrix}^{20} &= \begin{bmatrix}

0.394 & 0.262 & 0.344 \

0.365 & 0.367 & 0.268 \

0.242 & 0.371 & 0.387

\end{bmatrix}

\end{align*}

Luego, multiplicamos cada matriz de transición por el vector de población actual:

Para 10 años:

\begin{align*}

\begin{bmatrix}

0.514 & 0.201 & 0.285 \

0.387 & 0.338 & 0.275 \

0.154 & 0.206 & 0.640

\end{bmatrix} \begin{bmatrix}

20,000 \

100,000 \

30,000

\end{bmatrix} &= \begin{bmatrix}

37,120 \

77,030 \

35,850

\end{bmatrix}

\end{align*}
Por lo tanto, la población esperada en 10 años es de 37,120 residentes rurales, 77,030
suburbanos y 35,850 habitantes citadinos.

Para 20 años:

\begin{align*}

\begin{bmatrix}

0.394 & 0.262 & 0.344 \

0.365 & 0.367 & 0.268 \

0.242 & 0.371 & 0.387

\end{bmatrix} \begin{bmatrix}

20,000 \

100,000 \

30,000

\end{bmatrix} &= \begin{bmatrix}

41,790 \

76,380 \

39,830

\end{bmatrix}

\end{align*}

Por lo tanto, la población esperada en 20 años es de 41,790 residentes rurales, 76,380

suburbanos y 39,830 habitantes citadinos. Para encontrar la matriz de transición de 10 años,
elevamos la matriz de transición a la décima potencia. De manera similar, para encontrar la
matriz de transición de 20 años, elevamos la matriz de transición a la vigésima potencia. Luego,
multiplicamos cada matriz de transición por el vector de población actual para obtener el vector
de población esperado en 10 y 20 años.

La matriz de transición es:

\begin{bmatrix}

0.85 & 0.05 & 0.10 \

0.15 & 0.55 & 0.30 \

0.00 & 0.20 & 0.80

\end{bmatrix}

Para encontrar la matriz de transición de 10 años, calculamos:

\begin{align*}

\begin{bmatrix}

0.85 & 0.05 & 0.10 \

0.15 & 0.55 & 0.30 \

0.00 & 0.20 & 0.80

\end{bmatrix}^{10} &= \begin{bmatrix}

0.514 & 0.201 & 0.285 \

0.387 & 0.338 & 0.275 \

0.154 & 0.206 & 0.640

\end{bmatrix}

\end{align*}

Para encontrar la matriz de transición de 20 años, calculamos:

\begin{align*}

\begin{bmatrix}

0.85 & 0.05 & 0.10 \

0.15 & 0.55 & 0.30 \

0.00 & 0.20 & 0.80

\end{bmatrix}^{20} &= \begin{bmatrix}

0.394 & 0.262 & 0.344 \

0.365 & 0.367 & 0.268 \

0.242 & 0.371 & 0.387

\end{bmatrix}

\end{align*}

Luego, multiplicamos cada matriz de transición por el vector de población actual:

Para 10 años:

\begin{align*}

\begin{bmatrix}

0.514 & 0.201 & 0.285 \

0.387 & 0.338 & 0.275 \

0.154 & 0.206 & 0.640

\end{bmatrix} \begin{bmatrix}

20,000 \

100,000 \

30,000

\end{bmatrix} &= \begin{bmatrix}

37,120 \

77,030 \

35,850

\end{bmatrix}

\end{align*}

Por lo tanto, la población esperada en 10 años es de 37,120 residentes rurales, 77,030

suburbanos y 35,850 habitantes citadinos.

Para 20 años:
\begin{align*}

\begin{bmatrix}

0.394 & 0.262 & 0.344 \

0.365 & 0.367 & 0.268 \

0.242 & 0.371 & 0.387

\end{bmatrix} \begin{bmatrix}

20,000 \

100,000 \

30,000

\end{bmatrix} &= \begin{bmatrix}

41,790 \

76,380 \

39,830

\end{bmatrix}

\end{align*}

Por lo tanto, la población esperada en 20 años es de 41,790 residentes rurales, 76,380

suburbanos y 39,830 habitantes citadinos.

c. Determine el panorama de la población de Tuluá a largo plazo. Para esto encuentre las
probabilidades de estado estable e interprételas.

Para encontrar el panorama de la población de Tuluá a largo plazo, necesitamos calcular las
probabilidades de estado estable para cada una de las tres poblaciones: rural, suburbana y
citadina interna.

Sea R la población rural, S la población suburbana, y C la población citadina interna. Entonces,

las probabilidades de transición a cada población se pueden representar en una matriz de
transición de la siguiente manera:

| 0.9 0.3 0 | | R | | R'|

| 0.05 0.55 0.2 | x | S | = | S'|

| 0 0.15 0.8 | | C | | C'|

donde R', S', y C' representan las poblaciones en el siguiente período.

Para encontrar las probabilidades de estado estable, necesitamos encontrar el vector π tal que:

πP = π

donde P es la matriz de transición y π es el vector de estado estable.

Podemos encontrar este vector resolviendo la siguiente ecuación:

(P - I)π = 0

Resolviendo esta ecuación, obtenemos

π = (0.1754, 0.3246, 0.5)

Esto significa que, a largo plazo, la población de Tuluá estabilizará en aproximadamente 17.54%
rural, 32.46% suburbana y 50% citadina interna.

Podemos interpretar estas probabilidades de estado estable como la proporción de la población

total de Tuluá que se espera que esté en cada población a largo plazo. También podemos ver
que la población citadina interna es la más grande, lo que sugiere que la mayoría de las personas
se sienten atraídas por el estilo de vida urbano en la ciudad de Tuluá. La población rural es la
más pequeña, lo que indica que hay menos oportunidades de empleo y una menor calidad de
vida en las zonas rurales circundantes.

Ejercicio 7

Nos interesa modelar el comportamiento de largo plazo de los estudiantes universitarios de una
Universidad para la elección del almuerzo. La Universidad cuenta con sólo 2 cafeterías. Se asume
que todos los estudiantes comen en uno de estos dos lugares (no llevan almuerzo). Luego de
realizar una encuesta se encontró que el 25% de los estudiantes que comen en Parmesano
regresan a comer allí de nuevo, mientras que los que comen en Taquitos tienen una tasa de
retorno del 93%.

a. Plantee el diagrama de transición y la matriz de transición.

b. Plantee el sistema de ecuaciones y encuentre las probabilidades de estado estable. ( π 1, π 2
y π 3)
c. Escriba una interpretación de las probabilidades de estado estable.
Parmesano Taquitos

o---------->o

/| |

/| |

/ | |

/ | |

o | |

| | |

| o<-----------o

| |

o-----------------o

donde las flechas representan las transiciones de un estado a otro. El estado 1 representa a los
estudiantes que comen en Parmesano y el estado 2 representa a los estudiantes que comen en
Taquitos. El estado 3 es un estado transitorio que representa a los estudiantes que han dejado
temporalmente la universidad y no están comiendo en ninguna de las cafeterías.

La matriz de transición correspondiente se puede escribir como:

| 0.25 0.75 0 |

| 0.07 0.93 0 |

| 0 0 1.0 |

donde el elemento (i,j) representa la probabilidad de transición del estado i al estado j.

Para encontrar las probabilidades de estado estable, necesitamos resolver la ecuación:

πP = π

Expandiendo esta ecuación, obtenemos:

π_1 = 0.25π_1 + 0.07π_2

π_2 = 0.75π_1 + 0.93π_2

π_3 = 0.00π_1 + 0.00π_2 + 1.00π_3

π_1 + π_2 + π_3 = 1

Resolviendo este sistema de ecuaciones, obtenemos las probabilidades de estado estable:

π_1 = 0.1485

π_2 = 0.8515

π_3 = 0.0

[6:13 p. m., 13/3/2023] Jp: Esto significa que, a largo plazo, aproximadamente el 14.85% de los
estudiantes comerán en Parmesano, el 85.15% comerá en Taquitos, y ningún estudiante dejará
temporalmente la universidad y no comerá en ninguna cafetería.

Podemos interpretar estas probabilidades de estado estable como la proporción de estudiantes

que se espera que coman en cada cafetería a largo plazo. La mayoría de los estudiantes, el
85.15%, comerán en Taquitos, lo que sugiere que esta cafetería es la más popular entre los
estudiantes. La probabilidad de que los estudiantes coman en Parmesano es significativamente
menor, lo que indica que esta cafetería es menos popular entre los estudiantes.

Ejercicio 8.

La cervecería más importante de la costa oeste (denotada con la letra A) ha contratado a un

experto en para que analice su posición en el mercado. En especial, la empresa está preocupada
por las actividades de su mayor competidor (denotada con la letra B). El analista piensa que el
cambio de marca se puede modelar como una cadena de Markov que incluya tres estados: los
estados A y B representan a los clientes que beben cerveza que producen las mencionadas
cervecerías y el estado C representa todas las demás marcas. Los datos se toman cada mes y el
analista construye la siguiente matriz de transición (de un paso) con datos históricos.

A B C
A 0.7 0.2 0.1
B 0.2 0.75 0.05
C 0.1 0.1 0.8

¿Cuáles son los porcentajes de mercado en el estado estable de las dos cervecerías grandes? Pista:
encuentre π 1, π 2 y π 3

πP = π

donde π es el vector de probabilidades de estado estable y P es la matriz de transición dada.

Debido a que la suma de las probabilidades en el estado estable es igual a 1, debemos agregar la
restricción adicional de que la suma de las probabilidades debe ser 1:

π_1 + π_2 + π_3 = 1

Podemos escribir este sistema de ecuaciones en forma matricial

⎡π_1⎤ ⎡0.7 0.2 0.1⎤ ⎡π_1⎤

⎢π_2⎥ = ⎢0.2 0.75 0.05⎥ * ⎢π_2⎥

⎣π_3⎦ ⎣0.1 0.1 0.8⎦ ⎣π_3⎦

y con la restricción adicional de que la suma de las probabilidades es igual a 1:

π_1 + π_2 + π_3 = 1

Podemos resolver este sistema de ecuaciones utilizando métodos matriciales estándar. Una
forma común de hacerlo es utilizando la función eig de Python o MATLAB, que devuelve los
vectores y valores propios de la matriz de transición. La probabilidad de estado estable para
cada estado se corresponde con el valor propio igual a 1, y los vectores propios
correspondientes son los vectores de probabilidad para cada estado.

Probabilidades de estado estable:

A: 0.32

B: 0.45

C: 0.23

Por lo tanto, en el estado estable, la cervecería A tiene el 32% del mercado, la cervecería B tiene
el 45% del mercado y las demás marcas tienen el 23% del mercado.

Ejercicio 9.

A Juan le encanta salir a comer a los restaurantes del área. Sus comidas favoritas son la mexicana,
la italiana, la china y la tailandesa. En promedio, Juan paga $10,00 por una comida mexicana,
$15.00 por una comida italiana, $9.00 por una comida china, y $11.00 por una comida tailandesa.
Los hábitos alimenticios de Juan son predecibles: Hay 70% de probabilidad de que la comida de
hoy sea una repetición de la de ayer y probabilidades iguales de que cambie a una de los tres
restantes.

(a) ¿Cuánto paga Juan en promedio por su comida diaria? Pista: encuentre π 1, π 2 y π 3. Luego
multiplique cada π 1, π 2 y π 3 por el respectivo costo de cada comida, sume todo y ese es el pago
promedio.

Ejercicio 10.

En un día soleado, MiniGolf puede tener ingresos de $2000. Si el día está nublado, los ingresos se
reducen 20%. Un día lluvioso reducirá los ingresos en 80%. Si hoy está soleado hay 80% de
probabilidades de que mañana esté soleado sin amenaza de lluvia y 20% de que este nublado. Si
está nublado, hay 20% de probabilidades de que mañana llueva, y 30% de probabilidades de que
esté soleado. Seguirá lloviendo hasta el día siguiente con una probabilidad de 0.8, pero con 10%
de probabilidades de que esté soleado.

(a) Determine los ingresos diarios esperados para MiniGolf.

Pista: encuentre π 1, π 2 y π 3. Luego multiplique cada π 1, π 2 y π 3 por el respectivo ingreso de cada

tipo de día, sume todo y ese es el ingreso diario esperado (ingreso diario promedio).
La matriz tendrá como estados las cuatro opciones de comida (mexicana, italiana, china y
tailandesa), y las probabilidades de transición se derivarán de la información dada sobre los
hábitos alimenticios de Juan.

Primero, podemos usar la información sobre las probabilidades de transición para construir la
matriz de transición:

P = 0.7 0.1 0.1 0.1

0.1 0.7 0.1 0.1

0.1 0.1 0.7 0.1

0.1 0.1 0.1 0.7

Cada fila representa las probabilidades de cambiar de un estado a otro estado. Por ejemplo, la
primera fila indica que hay un 70% de probabilidad de que Juan coma comida mexicana de
nuevo hoy, y un 10% de probabilidad de que cambie a cada una de las otras opciones.

Luego, podemos encontrar las probabilidades de estado estable π_1, π_2, π_3 y π_4 resolviendo
el sistema de ecuaciones πP = π, donde π es el vector de probabilidades de estado estable y la
matriz P es la matriz de transición que acabamos de construir.

π_1 = 0.25

π_2 = 0.25

π_3 = 0.25

π_4 = 0.25

Esto significa que, en el largo plazo, Juan comerá cada tipo de comida con una probabilidad de
0.25. Para calcular el pago promedio de Juan por comida, podemos multiplicar cada
probabilidad de estado estable por el costo correspondiente de la comida y luego sumar los
resultados:

10.00(0.25) + 15.00(0.25) + 9.00(0.25) + 11.00(0.25) = 11.25

Por lo tanto, en promedio, Juan pagará $11.25 por su comida diaria.

Ejercicio 11

El ascensor de un edificio con sótano y dos pisos realiza viajes de uno a otro piso. El piso en el que
finaliza el viaje n-ésimo del ascensor sigue una cadena de Markov. Se sabe que la mitad de los
viajes que parten del sótano se dirigen a cada uno de los otros dos pisos respectivamente,
mientras que, si un viaje comienza en el primer piso, sólo el 25% de las veces finaliza en el
segundo. Por último, si un trayecto comienza en el segundo piso, siempre finaliza en el sótano. Se
pide: a) Calcular la matriz de probabilidades de transición de la cadena b) Dibujar el gráfico
asociado. c) ¿Cuál es la probabilidad de que, a largo plazo, el ascensor se encuentre en cada uno
de los tres pisos? (probabilidad de estado estable, π 1, π 2 y π 3).
a) La matriz de probabilidades de transición es:

| 0.5 0.5 0 |

| 0.25 0 0.75|

|0 0 1 |

b) El gráfico asociado es el siguiente:

+-----+

| |

| |

+---+-----+---+

| | | |

| | | |

| 1 +-----+ 3 |

| | | |

| | | |

+---+-----+---+

| |

| |

+-----+

c) Para encontrar las probabilidades de estado estable, resolvemos el sistema de ecuaciones:

π = πP

donde π es el vector de probabilidades de estado estable y P es la matriz de probabilidades de

transición. Luego, resolviendo el sistema, obtenemos:

π = (0.2, 0.1, 0.7)

Por lo tanto, la probabilidad de que el ascensor se encuentre en el sótano a largo plazo es del
70%, en el primer piso del 20% y en el segundo piso del 10%.

Ejercicio 12
Suponga que un jugador tiene 1 dólar y que cada jugada gana 1 dólar con probabilidad p>0 . 0
pierde 1 dólar con probabilidad 1 – p >0. El juego termina cuando el jugador acumula 3 dólares o
cuando quiebra. Este modelo es una cadena de Markov. Se pide representarla gráficamente y
construir la matriz de transición.

La cadena de Markov puede tener los siguientes estados:

Estado 0: el jugador ha quebrado y no tiene dinero.

Estado 1: el jugador tiene 1 dólar.

Estado 2: el jugador tiene 2 dólares.

Estado 3: el jugador ha ganado y tiene 3 dólares.

El jugador solo puede pasar de un estado a otro adyacente, por lo que la cadena de Markov es
una cadena de Markov de tiempo discreto y con un espacio de estados finito. La matriz de
transición es la siguiente:

| p | 1-p | 0 | 0 |

P= | p | 0 | 1-p | 0 |

| 0 | p | 0 | 1-p |

| 0 | 0 | 0 | 1 |

La primera fila representa la probabilidad de pasar del estado 0 al estado 1, 2 o 3, o de

permanecer en el estado 0. La segunda fila representa la probabilidad de pasar del estado 1 al
estado 2, 3 o 0, o de permanecer en el estado 1. La tercera fila representa la probabilidad de
pasar del estado 2 al estado 3 o 0, o de permanecer en el estado 2. La cuarta fila representa la
probabilidad de permanecer en el estado 3, que es el estado absorbente.
La representación gráfica de la cadena de Markov se muestra a continuación:

+-----+ p +-----+

| 2 +----------> 3 |

+-----+ +-----+

| ^

| 1-p |

v |

+-----+ p +-----+

| 1 +----------> 2 |

+-----+ 1-p +-----+

| |

| |

v |

+-----+ p +-----+

| 0 +----------> 1 |

+-----+ 1-p +-----+

| |

| |

v |

+-----+ 0 +-----+

| 3 |<----------+ 3 |

+-----+ +-----+

Cada estado se representa por un círculo, y las flechas indican las transiciones posibles y su
probabilidad.