4.1 Probabilidades de Equilibrio 4.

2 Tiempos Promedio de Primer Paso

“Probabilidades de Estado Estable”

Unidad 1: “Cadenas de Markov”
Tema #4
A N ÁLISIS DE D ECISIONES

Prof. M.C. Jonathan Batres Romo

jonathan.batres@upa.edu.mx

Ingenierı́a Industrial

Prof. M.C. Jonathan Batres Romo

Tema 4: Probabilidades de Estado Estable
4.1 Probabilidades de Equilibrio 4.2 Tiempos Promedio de Primer Paso

4.1 Probabilidades de Equilibrio

El siguiente resultado es vital para comprender las probabilidades de estado esta-

ble y el comportamiento a largo plazo de las cadenas de Markov.

Teorema
Sea P la matriz de transición de una cadena ergódica de estado estable. Entonces
existe un vector π = (π1 , π2 , . . . , πs ) tal que

π1 π2 ... πs
 
π 1 π2 ... πs 
n
lı́m P =  . .. .. 
 
n→∞  .. . ... .
π1 π2 ... πs

El teorema anterior establece que para cualquier estado inicial i

lı́m Pij (n) = πj

n→∞

Prof. M.C. Jonathan Batres Romo

Tema 4: Probabilidades de Estado Estable
4.1 Probabilidades de Equilibrio 4.2 Tiempos Promedio de Primer Paso

Esto significa que, después de un largo tiempo, la cadena de Markov se estabiliza

(independientemente del estado inicial i) y hay una probabilidad πj de que esté en
el estado j.
El vector π = (π1 , π2 , . . . , πs ) se llama distribución de estado estable o distribución
de equilibrio para la cadena de Markov.
Observemos que, para n grande y para toda i:

Pij (n + 1) ≈ Pij (n) ≈ πj (1)

Puesto que Pij (n + 1) = (renglón i de P n )(columna j de P) entonces

s
X
Pij (n + 1) = Pik (n)pkj (2)
k =1

Si n es grande, sustituyendo (1) en (2) se obtiene

s
X
πj = πk pkj (3)
k =1

Prof. M.C. Jonathan Batres Romo

Tema 4: Probabilidades de Estado Estable
4.1 Probabilidades de Equilibrio 4.2 Tiempos Promedio de Primer Paso

En forma matricial, (3) puede escribirse como

π = πP (4)

El sistema de ecuaciones especificado en (3) tiene una infinidad de soluciones (el

rango de la matriz siempre es menor o igual a s − 1). Para obtener valores únicos
de las probabilidades de estado estable, debemos sustituir cualquier ecuación de
(3) con la ecuación
π1 + π2 + · · · + πs = 1 (5)
Ninguna regla general se puede expresar acerca de qué tan rápido una cadena de
Markov alcanza el estado estable, pero si P contiene muy pocos elementos que
están cerca de cero o cerca de uno, por lo general el estado estable se alcanza
muy rápido.
El comportamiento de una cadena de Markov antes de alcanzar el estado estable
se llama comportamiento transitorio.

Prof. M.C. Jonathan Batres Romo

Tema 4: Probabilidades de Estado Estable
4.1 Probabilidades de Equilibrio 4.2 Tiempos Promedio de Primer Paso

Ejemplo 11
Refresco de Cola II

Ejemplo 11
Calcular las probabilidades de estado estable para el ejemplo 6 cuya matriz de
transición es  
0.90 0.10
P=
0.20 0.80

Prof. M.C. Jonathan Batres Romo

Tema 4: Probabilidades de Estado Estable
4.1 Probabilidades de Equilibrio 4.2 Tiempos Promedio de Primer Paso

Ejemplo 12
Distribución de la Población

Ejemplo 12
Cada familia estadounidense se clasifica según donde vive como urbana, rural o sub-
urbana. Durante un año especı́fico, 15 % de las familias urbanas se mudaron a una
ubicación suburbana, y 5 % se mudaron a un área rural; también, 6 % de las familias
suburbanas se trasladaron a un área urbana y 4 % pasaron a una ubicación rural; por
último, 4 % de las familias rurales se fueron a un área urbana y 6 % se cambiaron a un
lugar suburbano. Determine las probabilidades de estado estable para este problema.

Prof. M.C. Jonathan Batres Romo

Tema 4: Probabilidades de Estado Estable
4.1 Probabilidades de Equilibrio 4.2 Tiempos Promedio de Primer Paso

Ejemplo 13
Refresco de Cola III

Ejemplo 13
Suponga que cada cliente realiza una compra de refresco de cola durante cualquier se-
mana (52 semanas= 1 año). Suponga que hay 100 millones de clientes que consumen
refresco de cola. A la compañı́a le cuesta 1 dólar producir un refresco y lo vende en 2
dólares. Por 500 millones de dólares al año, una empresa publicitaria garantiza dismi-
nuir de 10 a 5 % la fracción de clientes de Cola 1 que cambian a Cola 2 después de una
compra. ¿Debe la compañı́a que fabrica Cola 1 contratar a la empresa publicitaria?

Prof. M.C. Jonathan Batres Romo

Tema 4: Probabilidades de Estado Estable
4.1 Probabilidades de Equilibrio 4.2 Tiempos Promedio de Primer Paso

Ejemplo 14
Ascensor II

Ejemplo 14
Calcule la distribución de estado estable para el ejemplo 5, cuya matriz de estados es
 
0 0.5 0.5
P = 0.75 0 0.25
1 0 0

Prof. M.C. Jonathan Batres Romo

Tema 4: Probabilidades de Estado Estable
4.1 Probabilidades de Equilibrio 4.2 Tiempos Promedio de Primer Paso

4.2 Tiempos Promedio de Primer Paso

Para una cadena ergódica, sea mij el número esperado de transiciones antes de
llegar (primero) al estado j, dado que en la actualidad nos encontramos en el es-
tado i.
Al número mij se llama tiempo promedio de primer paso del estado i al estado j.
Las siguientes ecuaciones nos ayudarán a calcular los tiempos promedio de primer
paso:
X 1
mij = 1 + pik mkj mii = (6)
πi
k 6=j

Prof. M.C. Jonathan Batres Romo

Tema 4: Probabilidades de Estado Estable
4.1 Probabilidades de Equilibrio 4.2 Tiempos Promedio de Primer Paso

Ejemplo 15
Refresco de Cola IV

Ejemplo 15
Calcule los tiempos promedio de primer paso para el ejemplo 6. Interprete estos tiem-
pos promedio según el contexto del problema original.

Prof. M.C. Jonathan Batres Romo

Tema 4: Probabilidades de Estado Estable
4.1 Probabilidades de Equilibrio 4.2 Tiempos Promedio de Primer Paso

Ejemplo 16
Reemplazo de un Auto

Ejemplo 16
Al principio de cada año, mi auto está en bueno, regular o mal estado. Un buen auto será
bueno al inicio del año siguiente con probabilidad de 85 %, regular con probabilidad de
10 % y malo con probabilidad de 5 %. Un auto regular estará regular al principio del año
siguiente con probabilidad del 70 % y malo con probabilidad de 30 %. Cuesta $6000
dólares comprar un buen auto, uno regular se puede conseguir en $2000 dólares; uno
malo no tiene valor de venta y se debe reemplazar de inmediato por uno bueno. Cuesta
$1000 al año el funcionamiento de un buen auto y $1500 el de uno regular. ¿Debo
reemplazar mi auto tan pronto como se vuelva regular o debo esperar hasta que se
vuelva malo? Suponga que el costo de funcionamiento de un auto durante un año
depende del tipo de vehı́culo que se tiene a la mano al principio del año.

Prof. M.C. Jonathan Batres Romo

Tema 4: Probabilidades de Estado Estable