PROPIEDADES DE LA CADENA DE MARKOV A LARGO PLAZO

Un aspecto interesante en una cadena de Markov es su comportamiento a

largo plazo. Intuitivamente, el comportamiento a largo plazo en una cadena
de Markov (en caso de que este exista), es un vector de probabilidades x que
nos indica las probabilidades de estar en cada uno de los estados después
un número grande de repeticiones.

Teorema – Probabilidades de estado estable

Para una cadena de Markov irreducible ergódica

π j =lim P ij(n )
n →∞

1. El límite existe
2. El límite es independiente de i (no depende de la fila)
3. El límite es > 0
Es decir, cuando la matriz de Markov es irreducible ergódica y se eleva a una
potencia muy grande entonces los elementos dentro de cada columna son iguales,
o sea la matriz se vuelve de la forma:

Los estados van del 0 al M. Sin embargo, estos son los mismos que se obtienen
al resolver el sistema π = πP o sea los de la condición de estado estacionario.

- En general, cuando n → ∞, la probabilidad de estar en un estado j es

independiente del estado inicial y se conoce como probabilidad estacionaria
o de estado estable. Estas probabilidades se mantienen constantes
después de dichas transiciones. Las cadenas de Markov con esta
característica se conocen como cadenas ergódicas.

- Se dice que una cadena de Markov es ergódica si todos los estados

son recurrentes y aperiódica (no periódica).
 - Las π J se llaman probabilidades de estado estable de la cadena de Markov.
El termino probabilidad de estado estable significa que la probabilidad de
encontrar el proceso en cierto estado, por ejemplo, j, después de un
numero grande de transiciones tiende al valor π J y es independiente de la
distribución de probabilidad inicial definida para los estados.

- Se puede decir que el estado estable es la distribución de probabilidades

que en cierto punto quedará fija para el vector P y no presentará cambios
en periodos posteriores.

Demostración
Si se empieza de cualquier vector inicial no condicional

Se tiene que

teniendo en cuenta que

Entonces se han encontrado dos formas de encontrar las probabilidades de

estado estacionario:
1. Resolviendo el sistema π = πP
2. Elevando la matriz de Markov a una potencia muy grande (teóricamente
cuando n → ∞)

-Cuando hay costos asociados

Sea ct = (C0,c1, …, cm) la distribución de costos asociados a la Cadena de Markov
(con m estados). El costo de que el sistema se encuentre en el estado j después
de n etapas estará dado por:

E ( c )=at P(n) c t
Esto resultará en el costo esperado del sistema en la etapa n. En caso de no tener
definida la probabilidad inicial a, se supone igual para cada estado j.
Tarheel Computers es una nueva empresa que se especializa en la fabricación de
minicomputadoras. Sin embargo, las condiciones de flujo de efectivo de la
empresa no le permiten fabricar más de dos máquinas por mes. La demanda
durante cada mes será de una, dos o hasta tres máquinas. Existe una
probabilidad de 0.3 que demanden una computadora, de 0.45 para la demanda de
dos computadoras y lo restante equivale a la probabilidad de que la demanda sea
de 3. La Tarheel Computers cuenta con una política de producción para satisfacer
la demanda la cual se presenta a continuación:
Inventario Inicial Producción
0 2
1 2
2 1

Solución:
El Xn es el inventario de minicomputadoras en el mes después de producir y
vender.
Demanda 1 2 3
Probabilidad 0.3 0.45 0.25

Estados: (0,1,2) dado que luego de producir y vender lo máximo que se puede
tener son dos unidades.
Paso 1: Identificar la fórmula a utilizar
Así Xn se puede expresar de la siguiente manera:
X n=X n−1 + Pn−D n

Pn es la producción de minicomputadoras en el mes n

Dn es la demanda de minicomputaadoras en el mes n
Paso 2: Calcular las probabilidades de pasar de un estado a otro
P00=P ( X n / X n−1=0 ) =P ( Dn ≥ 2 ) =0.45+0.25=0.70

P01=P ( X n / X n−1=1 )=P ( D n=1 )=0. 3

P02=0 no es posible ya que siempre nos demandan, se coloca 0

P10=P ( Dn=3 )=0.25

P11 =P ( D n=2 )=0.45

P12=P ( Dn=1 ) =0.3

P20=P ( Dn=3 )=0.25

P21=P ( Dn=2 ) =0.45

P22=P ( Dn=1 ) =0.3

Paso 3: Planteamos la matriz de transición y calculamos las probabilidades de

estado estable

0.7 0.3 0

[ 0.25 0.45 0.3

0.25 0.45 0.3 ]
(Se multiplica la probabilidad de transición por la probabilidad de estado estable)
π 0=0.7 π 0 +0.25 π 1 +0.25 π 2

π 1=0.3 π 0 +0.45 π 1+ 0.45 π 2

π 2=0. 3 π 1+ 0.3 π 2

1=π 0 + π 1 + π 2 (la suma de las probabilidades de estado estable debe ser igual a 1)

π 0=0.45 4

π 1=0.3 82 Probabilidades de estado

estable
π 2=0. 164

Paso 4: Se calculan los costos esperados a largo plazo de la política de

producción
Costo de producción $200,000 /Unidad
Costo de Inventario $30,000 /Unidad
Costo de Capacidad $50,000 /Unidad

Demanda 1 2 3
Probabilidad 0.3 0.45 0.25
C=∑ π n∗C n=π 0 C 0+ π 1 C1 + π 2 C 2

C 0=( 2∗200,000 )+ ( 1∗0.3∗30,000 ) + ( 1∗0.25∗50,000 )=421500

C 1=( 2∗200,000 )+ ( 2∗0.3∗30,000 ) + ( 1∗0.25∗30,000 ) +0=422500

C 2=( 1∗200,000 ) + ( 2∗0.3∗30,000 ) + ( 1∗0.25∗30,000 ) +0=222500

C=∑ π n∗C n=π 0 C 0+ π 1 C1 + π 2 C 2

π 0=0.455

π 1=0.332

π 2=0.213

C 0=421500

C 1=422500

C 2=222500

C=( 0.455∗421,500 ) + ( 0.332∗422,500 ) +(0.213∗222,500)

Costos esperados LP= 379,445
https://www.youtube.com/watch?v=HZBiA-U2mlk

Xn será nuestro inventario Los estados con los que trabajaremos serán los del
inventario in