CADENAS

DE
MARKOV
 CADENAS DE MARKOV
La probabilidad de un evento
futuro no depende del pasado,
pero si del presente.
 0 1 m
𝑛 𝑛 𝑛
0
𝑋00 𝑋01 𝑋𝑜𝑚
. . .
1
. . .
.
𝑃𝑛 = .
. . .
. . .
.
. . .
m 𝑛 𝑛 𝑛
𝑋𝑚0 𝑋𝑚1 𝑋𝑚𝑚
Donde:
n : # de pasos
Pn : probabilidad de “n” pasos
Eventos: 1,… , m
Xijn: Es la probabilidad dado el estado i ocurre el evento j en n pasos.
CONSTRUCCIÓN DE LA MATRIZ DEL PROBLEMA DEL DÍA
SOLEADO, NUBLADO

Mañana Sol (0,6) pasado mañana

S (0,6)
Hoy N (0,4)
S (0,5)
N (0,4)
N (0,5)
S (0,6)
S (0,5)
N N (0,4)
S (0,5)
N (0,5)
N (0,5)
• Si hoy es soleado la probabilidad de que pasado mañana sea soleado
es:
(0,6)(0,6) + (0,4)(0,5) = 0,56

• Si hoy es nublado la probabilidad de que pasado mañana sea

nublado es:
(0,5)(0,4) + (0,5)(0,5) = 0,45
 N S
N 0,5 0,5 Básico: Identificar eventos
P=
S 0,4 0,6 Nos da aportes no la solución
Ejemplo 1:
En la ciudad de Chimbote existen tres supermercados: A, B y C,
(estados) donde la población puede comprar sus productos; la
cuota de mercado representa (la probabilidad de los estados)
que es para la semana (0): 40% compra en el supermercado A,
30% compra en el supermercado B y 30% compra en el
supermercado C. En la siguiente semana puede ocurrir que, de
la población que compraba en el supermercado A ,el 80% siga
comprando en el supermercado A; el 10% en B y el 10% en C
(probabilidad de transición). Además los que compraban en el
supermercado B, el 10% compra ahora en el supermercado A,
el 70% en el B y el 20% en el C.
También de los que compraban en el supermercado C; el 20%
cambian al supermercado A, el 20% cambian al B y el 60% se
mantienen en C. Se pide:
a) Realizar un diagrama de árbol
Todas las probabilidades de transición se pueden colocar en
una matriz
Matriz de probabilidades de transición
 Matriz de Estado
probabilidades de
transición
b) Para la siguiente semana el vector de probabilidades de estado
es igual al vector de probabilidades inicial por la matriz de
probabilidades de transición. El vector resultante contendrá las
cuotas de mercado o el vector de estado para la siguiente
semana.
De manera general:
Indicaciones para multiplicar matrices:

1. Definir las matrices a multiplicar.

2. Sombrear el área donde iran los resultados.
3. Utilizar la función MMULT.
4. Seguir las indicaciones (M1 x M2)
5. Para aceptar lo realizado presionar control + Shift + Enter.
Ejemplo 2:
Un equipo de futbol tiene jugadores demasiados emotivos y
suele tener resultados que dependen del resultado de su último
encuentro si encaso han ganado “difícilmente” pierde el
siguiente partido, si ganan un 80% de veces. Si empatan la
probabilidad de obtener un resultado positivo es igual a que
pierda o empate, si han perdido su último partido o ganan como
un 30% de probabilidad o pierden con su complemento. Se pide
determinar:
a) La matriz de transición de un paso.
b) ¿Cuál es la probabilidad de que empataron un partido,
después de dos fechas sigan empatando?
Ejemplo 3:
Se tiene 3 dados especiales. El primero tiene tres caras rojas,
dos blancas y una azul; el siguiente tiene dos caras rojas, tres
blancas y una azul; y el tercero tiene una cara roja, dos blancas
y tres azules. Para iniciar el juego. Elabora la matriz de
transición de un paso.
R B A
R 1/2 1/3 1/6
B 1/3 1/2 1/6
𝑃=
A 1/6 1/3 1/2
Ejemplo 4:
Se tiene un sistema de inventarios en la que la secuencia de
eventos durante cada periodo es como sigue. Se observa el
nivel de inventario al principio del periodo. Si i1 se pide 4–i.
Si i2 no se hace pedido. La probabilidad de que nos demande
2 unidades, 1 unidad o nada es 1/3.
Defina un estado de periodo con el nivel de inventario al
principio.
Determine la matriz de transición que pudiera usarse para
modelas este sistema de inventarios como cadenas de Markov.
Solución:

0 1 2 3 4
0 0 0 1/3 1/3 1/3
1 0 0 1/3 1/3 1/3
2 1/3 1/3 1/3 0 0
3 0 1/3 1/3 1/3 0
4 0 0 1/3 1/3 1/3
Ejemplo 5:
Un gerente de crédito estima que el 95% de aquellos que pagan
sus cuentas a tiempo un mes también lo harán el siguiente mes.
Sin embargo de aquellos que tardan solo la mitas pagarán a
tiempo la próxima vez. Establecer la matriz de transición y
encontrar la probabilidad de que una persona que paga a tiempo
ahora lo haga de aca a 4 meses y determinar el porcentaje de
cuentas pagadas y no pagadas el cuarto mes.
Solución:
1 2
Estados: t pasos = 1 mes
1 0.95 0.05 1: paga
P= 2: no paga
2 0.50 0.50

0.92 0.08
P3 =
0.83 0.17
 0 1 2
0 0.1 0.9 0
P= 1 0.8 0.2 0
2 0 0 1

0.2
1
0.1
0
1
2
* Trayectoria ij: Es la probabilidad de pasar del estado i al estado j
(gráficamente es la flecha).
* Un estado j es alcanzable o accesible desde un estado i si hay una
trayectoria que vaya de i a j.
* Dos estados se comunican si j es alcanzable desde i es alcanzable
desde j.
* Un conjunto cerrado es aquel que no puede ser accedido desde otro
grupo de estados. 0.1 0.2
0 1 2 3 0.9
S1 0 1
0 0.1 0.9 0 0 0.8
1 0.8 0.2 0 0 - S1 y S2 son
2 0 0 0.3 0.7 0.3 0.8 cerrados
3 0 0 0.2 0.8 0.7
S2 2 3
0.2
Cuando hay un solo conjunto cerrado la matriz es irreducible.
* Un estado es absorvente si la probabilidad de volver al mismo estado
es 1.
* Un estado i es estado transitorio si hay un estado j alcanzable desde i,
pero el estado i no es alcanzable desde el estado j
1
0 1 2
0 0.1 0.8 0.1 0.1 0.1 2
1 0.8 0.2 0
0
2 0 0 1
0.2
1

0.1 Transitorios
* Si un estado no es transitorio entonces es un estado recurrente.
* Un estado i es periódico con periodo K>1,si K es el menor número tal
que todas las trayectorias que parten del estado i y regresan al estado
i, tienen una longitud múltiplo de K. Si un estado recurrente no es
periódico se le llama Aperiódico.
1 2 3 1 1
0 0 1 0
1 0 0 1 0 1 2
2 1 0 0
1

K=3
Si todos los estados de una cadena son recurrentes, aperiódicos y se
comunican entre sí, entonces es una matriz ergodica.
PROBABILIDADES A LARGO PLAZO O EN TABLAS

πj ෍ πi Pij
i=0

෍ 𝜋𝑗 = 1
Ejemplo 6:
Una agencia de alquiler de autos tiene dos oficinas, una en la ciudad y
otra cerca de la playa. Los carros se pueden devolver en cualquier a de
las dos oficinas. Por experiencia se sabe que el 80% de carros alquilados
en la ciudad de devuelven ahí mismo y el 20% en la playa. El 70% de los
carros alquilados en la oficina de la playa se devuelven ahí, mientras el
resto lo dejan en la ciudad. Se pide:
a) ¿Cómo se debe asignar la flota entre las dos oficinas?
b) ¿Qué supuesto se ha tomado para responder la parte a?
c) Suponga que el 60% de todos los carros se alquila en la oficina de la ciudad y
el 40% en la playa. ¿Cuál sería la proporción de carros que habrá en cada
oficina?
d) Si se estaciona en la oficina de la ciudad, se percibe 500$ y si se estaciona en
la oficina de la playa se percibe 300%. ¿Cuál será la utilidad?
 Solución:
a) C P
C 0.80 0.20
P 0.30 0.70
Matriz Estable
0 = 0.800 + 0.301 ……………….. (1)
1 = 0.20 0 + 0.70 1 ……………….. (2)
1 = 0 + 1 ……………..... (3)
0 = 0.6 ; 1 = 0.4
0.6 0.4
0.6 0.4
b)
Todos los carros que se dejan se sacan.

c)
500 x 0.06 + 300 x 0.4 = 420