CADENAS DE MARKOV

Karin Aguilar Imitola

Investigación de Operaciones II
Procesos Estocásticos
Un proceso estocástico (𝑋𝑡 , 𝑡 ∈ 𝑇} es una colección de variables aleatorias.

𝑡: tiempo (generalmente)
𝑋𝑡 representa una característica de interés mensurable en el tiempo t
estado del proceso en el tiempo t

EJEMPLO
𝑋𝑡 : número total de clientes que han entrado a/ están dentro de
un supermercado en el tiempo t
𝑋𝑡 : cantidad total de ventas registradas hasta el tiempo t
Discreto y continuo
𝑇 es el conjunto de índices del proceso
𝑇 contable → PE discreto
{𝑋𝑛 , 𝑛 = 0,1,23, … } es un PE discreto indexado en enteros no negativos

𝑇 continuo → PE continuo
{𝑋𝑡 , 𝑡 ≥ 0} es un PE continuo indexado en reales no negativos
Estados en un PE
Conjunto de todos los posibles valores que puede tomar la variable aleatoria
{𝑋𝑡 }

La condición actual del sistema puede estar en una de M+1 categorías

mutuamente excluyentes llamadas estados

La variable 𝑋𝑡 representa el estado del sistema en el tiempo t

Cadena de Markov : Definición
Sea {𝑋𝑛 , 𝑛 = 0,1,23, … } un proceso estocástico que asume un número finito
contable de valores. A menos que se diga lo contrario, estos valores serán notados
por el conjunto de enteros no negativos {0,1,2,…}

Si 𝑋𝑛 = 𝑖 entonces se dice que el proceso está en estado 𝑖 en tiempo 𝑛

Si el proceso está en estado i hay una probabilidad fija Pij de que esté en estado j en
el siguiente punto del tiempo
Cadena de Markov: Definición
Si suponemos que:

𝑃 𝑋𝑛+1 = 𝑗 𝑋𝑛 = 𝑖, 𝑋𝑛−1 = 𝑖𝑛−1 , 𝑋𝑛−2 = 𝑖𝑛−2 , … , 𝑋1 = 𝑖1 , 𝑋0 = 𝑖0 = 𝑃𝑖𝑗

Para todos los estados 𝑖0 , 𝑖1 , … , 𝑖𝑛−2 , 𝑖𝑛−1 , 𝑖, 𝑗 𝑦 𝑛 ≥ 0

Tal proceso estocástico se conoce como CADENA DE MARKOV (CM)

PE y cadenas de Markov

En otras palabras, una Cadena de Markov es una clase de PE

La distribución condicional de un estado futuro 𝑋𝑛+1 dados estados pasados

𝑋0 , 𝑋1 , … , 𝑋𝑛−1 y el estado actual 𝑋𝑛 es independiente de los estados pasados
y depende solo del estado actual
Cadena de Markov: Definición
𝑃𝑖𝑗
Probabilidad de que el proceso vaya al estado j en el siguiente paso, dado que está en el
estado i
𝑃𝑖𝑗 ≥ 0
𝑖, 𝑗 ≥ 0
∞

𝑃𝑖𝑗 = 1 ∀ 𝑖 = 0,1, …
𝑗=0
Matriz de probabilidades de Transición
de Estados (MPTE) de un paso

 P00 P01 P02 

P P11 P12 
 10 
P 
 
 Pio Pi1 Pi 2 
 
Propiedades
a) la suma de las probabilidades de los estados debe ser igual a 1.
b) la matriz de transición debe ser cuadrada.
c) las probabilidades de transición deben estar entre 0 y 1
Ejemplo 1. Pronostico del clima
Suponga que la probabilidad de lluvia mañana depende de las condiciones
climáticas del día de hoy y no están relacionados con las condiciones climáticas
de los días anteriores

Suponga que si llueve hoy, entonces lloverá mañana con probabilidad 𝛼 y si no

llueve hoy, entonces lloverá mañana con probabilidad 𝛽
Ejemplo 1. Pronostico del clima
Si decimos que el proceso está en estado 0 cuando llueve y en estado 1 si no
llueve, entonces lo anterior se puede representar con la MPTE , P

 1   
P 
  1   

Diagrama de burbujas
Ejemplo 2. Sistema de comunicación
Considere un sistema de comunicaciones que transmite los dígitos 0 y 1. Cada
dígito transmitido debe pasar a través de varias etapas en cada una de las cuales
hay una probabilidad 𝑝 de que el digito entrado no será cambiando cuando salga.

Sea 𝑋𝑛 el digito entrado en la 𝑛 − 𝑒𝑠𝑖𝑚𝑎 etapa, entonces 𝑋𝑛 , 𝑛 ≥ 0 es una CM

de dos estados

 p 1  p
P 
1  p p 
 Ejemplo 3. Estado de animo

En un día cualquiera, Gary puede estar jovial, regular o triste. Si está jovial hoy, entonces
estará jovial, regular o triste mañana con probabilidad 0.5, 0.4 y 0.1. Si está regular hoy,
entonces estará jovial, regular o triste mañana con probabilidades 0.3, 0.4 y 0.3
respectivamente. Si está triste hoy, entonces estará jovial, regular o triste mañana con
probabilidades 0.2, 0.3 y 0.5 respectivamente.
Ejemplo 3. Estado de animo
Si 𝑋𝑛 : estado de animo de Gary en el día 𝑛 entonces {𝑋𝑛 . 𝑛 ≥ 0} es una CM de
tres estados (0: Jovial, 1: Regular, 2: Triste) con MPTE

 0.5 0.4 0.1


P   0.3 0.4 0.3
0.2 0.3 0.5
Diagrama de burbujas
Ejercicio 1
Suponga que en el mercado se consiguen 3 tipos de gaseosas colas que son: coca cola,
Pepsi Cola y Big Cola cuando una persona a comprado coca cola existe una probabilidad
de que la siga consumiendo de el 75%, un 15% de que compre Pepsi cola y un 10% de
que compre Big Cola; cuando el comprador actualmente consume Pepsi existe una
probabilidad de que la siga comprando de 60%, un 25% que compre coca cola y un 15%
big cola; si en la actualidad consuma Big Cola la probabilidad de que la siga consumiendo
es del 50%, un 30% que compre coca cola y 205 Pepsi cola.
Solución

COCA COLA PEPSI BIG COLA

E1 COCACOLA 0.75 0.15 0.1
E2 PEPSI 0.25 0.6 0.15
E3 BIG COLA 0.3 0.2 0.5
 Ejemplo 4. Transformación de un
proceso en una CM
Suponga que si llueve o no hoy depende de las condiciones climáticas previas a través de los
últimos dos días. Específicamente suponga que si llovió en los últimos dos días, entonces
lloverá mañana con probabilidad 0.7; si llovió ayer pero no hoy entonces lloverá mañana con
probabilidad 0.5; si llovió ayer pero no hoy entonces lloverá mañana con probabilidad 0.4; si
no ha llovido en los últimos dos ´días entonces lloverá mañana con probabilidad 0.2

¿Cómo representar con una CM?

Ejemplo 4. Transformación de un
proceso en una CM
Estado 0: llovió hoy, llovío ayer (LL)
Estado 1: llovió hoy, no llovío ayer (NL)
Estado 2: no llovió hoy, llovió ayer (LN)
Estado 3: no llovió hoy, no llovíó ayer (NN)

L L L
0.7 0 0.3 0 
 0.5 0 0.5 0 
P 
L L N
 0 0.4 0 0.6 
N L L  
 0 0.2 0 0.8 
N L N
Ejercicio 2
Suponga ahora que el modelo del mercado de acciones se cambia de manera que
el hecho de que una acción suba o no mañana depende de si subió o no hoy y
ayer. En particular, si la acción subió los dos días, ayer y hoy, la probabilidad de
que suba mañana es de 0.9. Si la acción subió hoy pero ayer bajó, la probabilidad
de que mañana suba es de 0.6. Si la acción bajó hoy pero ayer subió, entonces la
probabilidad de que mañana suba es de 0.5. Por último, si bajó durante estos dos
días, la probabilidad de que mañana suba es de 0.3.
Solución
Estado 0: la acción aumentó hoy y ayer
Estado 1: la acción aumentó hoy y ayer bajó
Estado 2: la acción bajó hoy y ayer aumentó
Estado 3: la acción bajó hoy y ayer

0 0.9 0 0.1 0 

1 0.6 0 0.4 0 
P
2  0 0.5 0 0.5 
 
3  0 0.3 0 0.7 
 Ejemplo 5 Modelo de juego
Suponga que un jugador tiene $1 y considere que en cada jugada o gana $1 con
probabilidad p o pierde $1 con probabilidad 1-p. El juego termina cuando el jugador
acumula $3 o cuando quiebra.

0 1 0 0 0
Pi ,i 1  p  1  Pi ,i 1  1, 2,...N  1 1 1  p 0 p 0 
P
P00  PNN  1 2 0 1 p 0 p
 
3 0 0 0 1
 Ecuaciones de Chapman-Kolmogorov
𝑷𝒊𝒋 : probabilidades de transición de un paso

𝑷𝒏𝒊𝒋 : probabilidades de transición de n pasos. Es la probabilidad de que el proceso en

estado i alcance el estado j después de n pasos

Pijn  P{ X n  k  j | X k  i}, n  0, i, j  0
Por supuesto
Pij1  Pij
Ecuaciones de Chapman-Kolmogorov
Proveen un método para calcular estas probabilidades de transición
luego de n pasos

P nm
ij   P P , n, m  0, i, j
n m
ij kj
k 0
M
P (n)
ij  P ( n 1)
ik P kj
k o
Ecuaciones de Chapman-Kolmogorov
En notación matricial:

𝑃(𝑛) : MPTE de n pasos

𝑃(𝑚) : MPTE de m pasos

𝑃(𝑛+𝑚) = 𝑃(𝑛) ∗ 𝑃(𝑚)

Ecuaciones de Chapman-Kolmogorov
La matriz 𝑃𝑛 se conoce como la matriz de transición de n pasos. Por lo tanto
para determinarla

n 1
P P n
P n

y
nm
P P n
P ,0  m  n
m
Ejemplo 6 del ejemplo 1 (Clima)
 1   
P  𝛼 = 0.7, 𝛽 = 0.4
 1   

¿Cuál es la probabilidad de que lloverá en cuatro días desde hoy

dado que hoy está lloviendo?
Ejemplo 6 del ejemplo 1 (Clima)
0.7 0.3
P 
 0.4 0.6 
Así
0.7 0.3 0.7 0.3
P  P *P  P*P  
2 1 1
 * 
 0.4 0.6   0.4 0.6 
 0.61 0.39 
P 
2

0.52 0.48 
 Ejemplo 6 del ejemplo 1 (Clima)
 0.61 0.39   0.61 0.39 
P  P *P  
4 2 2
 * 
0.52 0.48  0.52 0.48 
0.5749 0.4251
P 
4

 0.5668 0.4332 

La probabilidad que se busca es 𝑃00

4
= 0.5749
Ejemplo 6 del ejemplo 1 (Clima)
¿Cuál es la probabilidad de que lloverá tres días desde hoy dado que hoy
está lloviendo?

¿Cuál es la probabilidad de que lloverá en cinco días desde hoy dado

que hoy está lloviendo?
Ejemplo 7. Pronostico del clima
Considere el ejemplo del pronostico del clima. Dado que llovió Lunes y Martes,
¿Cuál es la probabilidad de que lloverá el jueves?

La MPTTE de dos pasos está dad por:

0.7 0 0.3 0  0.7 0 0.3 0 

 0.5 0 0.5 0   0.5 0 0.5 0 
P2   * 
 0 0.4 0 0.6   0 0.4 0 0.6 
   
 0 0.2 0 0.8   0 0.2 0 0.8 
Ejemplo 7 pronostico del clima
La MPTE de dos pasos está dada por:
0.49 0.12 0.21 0.18 
 0.35 0.2 0.15 0.30 
P2   
0.20 0.12 0.20 0.48 
 
 0.10 0.16 0.10 0.64 

Como lluvia el jueves es equivalente a que el proceso esté en el estado 0 y en el

estado 1, la probabilidad deseada está dada por:

P002  P012  0.49  0.12  0.61

Clasificación de estados
El estado j es accesible desde el estado i si 𝑃𝑖𝑗𝑛 > 0 para algún 𝑛 ≥ 0. El estado j es
accesible desde el estado i si y solo si iniciando en i es posible que el proceso en algún
momento entre en j

Dos estados i y j accesibles mutuamente son estados que se comunican 𝑖 ↔ 𝑗

Cualquier estado se comunica consigo mismo ya que por definición

Pii0  P{ X 0  i | X 0  i}  1
Propiedades de la relación de
comunicación
El estado i se comunica con el estado i ∀ 𝑖 ≥ 0

Si el estado i se comunica con el estado j, entonces el estado j se comunica con el

estado i

Si el estado i se comunica con el estado j y el estado j se comunica con el estado k

entonces el estado i se comunica con el estado k
Acerca de la comunicación
Como resultado de estas propiedades de comunicación, se puede hacer una
partición del espacio de estados en clases separadas, donde se dice que dos
estados que se comunican pertenecen a la misma clase. (Una clase puede
consistir en un solo estado.) Si existe sólo una clase, es decir, si todos los
estados se comunican, se dice que la cadena de Markov es irreducible
Ejemplo 8.
Considere la CM con 3 estados: 0, 1, y 2 con la siguiente MPTE

0.5 0.5 0 
P  0.5 0.25 0.25 
 0 0.33 0.67 

Es una CM irreducible? Justifique.

Ejemplo 9. Pronostico del clima
0.7 0 0.3 0 
 0.5 0 0.5 0 
P 
 0 0.4 0 0.6 
 
 0 0.2 0 0.8 

¿Es una CM irreducible?

Ejemplo 10 del ejemplo Modelo de juego
0 1 0 0 0
1 1  p 0 p 0 
P
2 0 1 p 0 p
 
3 0 0 0 1

¿Es una CM irreducible?

Estados recurrentes y
estados transitorios
 Consideraciones importantes
Con frecuencia es útil saber si un proceso que comienza en un estado regresará alguna vez a él

 𝑓𝑖 : probabilidad de que iniciando en el estado i el proceso en algún momento regrese a este

estado

• i es recurrente si 𝑓𝑖 = 1 y es transitorio si 𝑓𝑖 < 1

• Si i es recurrente, el proceso volverá a pasar por el estado i una y otra vez de manera
infinita

• Si i es transitorio, cuando el proceso esté en el estado i, existirá una probabilidad positiva

1 − 𝑓𝑖 de que el proceso no regrese a este estado.
Consideraciones importantes
Iniciando en el estado i la probabilidad de que el proceso estará en el estado i por
exactamente n periodos de tiempo está dada por

n 1
fi (1  f i ), n  1
 Consideraciones importantes
Si el estado i es transitorio, entonces iniciando en el estado i, el número esperado de
periodos de tiempo que el proceso está en estado i tiene una distribución geométrica
con media finita

1
1  fi
Consideraciones importantes
El estado i es recurrente si y solo si, iniciando el estado i, el número de periodos de
tiempo que el proceso está en el estado i es infinito

El estado i es

Recurrente si Transitorio si
 

 ii  1
P
n0
n
P
n0
n
ii 1

Visitado un número infinito de veces Visitado solo un número finito de veces

Estado Absorbente
Si el proceso entra en cierto estado y permanece en él al siguiente paso, se considera
un regreso a ese estado.

Un estado se llama estado absorbente si, después de haber entrado ahí el

proceso nunca saldrá de él. Por consiguiente, el estado i es un estado
absorbente si y sólo si 𝑃𝑖𝑖 = 1
En una CM con un número finito de
estados, no todos pueden ser transitorios
Suponga que la CM tiene los estados 0,1,2,… M y suponga que todos son
transitorios

Después de una cantidad de tiempo 𝑇0 el estado 0 no será visitado nuevamente

Después de una cantidad de tiempo 𝑇1 el estado 1 no será visitado nuevamente
.
.
.
Después de una cantidad de tiempo 𝑇𝑀 el estado M no será visitado nuevamente
 En una CM con un número finito de
estados, no todos pueden ser transitorios

Despues de un tiempo finito 𝑇 = 𝑀𝑎𝑥{𝑇𝑜 , 𝑇1 , … , 𝑇𝑀 }, ningún estado será

visitado!!

PERO

¡el proceso siempre debe estar en algún estado!

ALGUNO DE LOS ESTADOS DEBE SER RECURRENTE!!!

 Observaciones
Si el estado i es recurrente, y el estado i se comunica con el estado j entonces el estado j es
recurrente

La transitividad es una propiedad de clase: si el estado i es transitorio y se comunica con el

estado j, entonces el estado j también debe ser transitorio

Todos los estados de una CM finita irreducible son recurrentes

Ejemplo 11
Considere la siguiente matriz de transición
0.25 0.75 0 0 0
 0.5 0.5 0 0 0 
 
P 0 0 1 0 0
 
 0 0 0.33 0.67 0 
 1 0 0 0 0 

Cuáles estados son transitorios y cuáles recurrentes?

 Probabilidades de transición
absoluta
Dada la matriz de transición P de una cadena de Markov y el vector de probabilidades iniciales 𝑎(0) =
0 𝑛
{𝑎𝑗 , 𝑗 = 1,2, … , 𝑛}, las probabilidades adsolutas 𝑎 (𝑛) = 𝑎𝑗 , 𝑗 1,2, … , 𝑛} después de n (>0)
transiciones se calculan como sigue

a (1)  a (0) P
a (2)  a (1) P  a (0) PP  a (0) P 2
a (3)  a (2) P  a (0) P 2 P  a (0) P 3

a ( n )  a (0) P n
Ejercicio 3
En una cierta región el tiempo atmosférico sigue la siguiente secuencia: Un día se denomina
soleado (S) si el sol luce más de la mitad del día, y se denomina nublado (N), si lo hace
menos. Por experiencia, se sabe que si hay un día nublado, es igual de probable que el día
siguiente sea también nublado. Si el día es soleado hay una probabilidad de 2/3 de que sea
también soleado.

1. Construye la matriz de transición T de este proceso. 2. Si hoy está nublado,

2. ¿cuál es la probabilidad de que dentro de tres días esté también nublado? ¿y de que
esté soleado?
3. Calcula T5 y T10. ¿Cuál es el comportamiento de T n cuando n → ∞? ¿Cómo se
comporta p(n) cuando n → ∞? ¿Depende el límite de p(0)?
 Ejercicio 4
La demanda diaria de un producto líder de la empresa tiene un comportamiento Poisson con
media de 1 unidad. Por política de la empresa, al final de cada día se revisan las existencias de
este producto y si la existencia es cero, se realiza un pedido por tres unidades. La entrega por
parte del proveedor es inmediata. Si en algún momento la demanda excede las existencias se
entregan las disponibles y las demás ventas se pierden.

1. Al final del día hoy miércoles hay 2 unidades en existencia ¿Qué probabilidad hay de que al
final del día viernes se haga el pedido al proveedor?
2. Que probabilidad hay que en el transcurso del sábado se presenten faltantes, si hoy
miércoles el inventario tiene 2 unidades
3. Número promedio de unidades vendidas el día sábado si hoy miércoles se tienen 2
unidades.
Probabilidades de estado estable
Si n es lo suficientemente grande, todos los renglones de la matriz
tienen elementos idénticos, lo que significa que la probabilidad de
que el sistema esté en cada estado j ya no depende del estado inicial
del sistema. En otras palabras, parece que existe una probabilidad
límite de que el sistema se encuentre en el estado j
Probabilidades de estado estable
En una cadena de Markov ergodica, la probabilidad de estado establece se define como

 j  lim P , j  0,1, 2,...

(n)
ij
n 
Donde las 𝜋𝑗 satisfacen de manera única las siguientes ecuaciones de estado estable
M
 j    i Pij  j  0,1,..., M
i 0

j
j 1

Las 𝜋𝑗 se llaman probabilidades de estado estable de la cadena de Markov

Una cadena de Markov es ergodica si todos sus estados son no nulos, no periódicos y recurrentes.
 Proporciones en el largo plazo
Si la CM es irreducible recurrente, la proporción del tiempo en el largo plazo que
el proceso pasa en el estado j es 1 𝑚𝑗

Siendo 𝜋𝑗 la probabilidad en el largo plazo de que el proceso esté en el estado j

Proposición :

1
Si la CM es irreducible y recurrente, entonces para cualquier estado inicial 𝜋𝑗 =
𝑚𝑗
 Ejemplo 12 del clima
Considere el ejemplo en el que asumimos que si llueve hoy, lloverá mañana con probabilidad 𝛼 y
sino llueve hoy , lloverá mañana con probabilidad 𝛽. Si decimos que el estado 0 es que llueve y el
estado 1 es no llueve . En el largo plazo, qué proporción del tiempo llueve

 1   
P  𝛼 = 0.7, 𝛽 = 0.4
  1   
 Ejemplo 13
Considere el problema de Gary y los estados de animo. Si 𝑋𝑛 : estado de animo
de Gary en el día 𝑛 entonces {𝑋𝑛 . 𝑛 ≥ 0} es una CM de tres estados (0: Jovial, 1:
Regular, 2: Triste) con MPTE
 0.5 0.4 0.1

P   0.3 0.4 0.3
0.2 0.3 0.5

En el largo plazo ¿Cuál es la proporción del tiempo que el individuo se encuentra en

cada uno de los estados de animo?
Tiempo promedio de Recurrencia
Para una CM de n estados (ergodica) se calcula como:

1
 jj  , j  1, 2,..., n
j
 Ejercicio 5.
Cada año, durante la temporada de siembra de Marzo a Septiembre, un jardinero realiza una
prueba química para verificar la condición de la tierra. Según el resultado de la prueba, la
productividad de la nueva temporada puede ser un de tres estados. 1) Buena, 2) Regular ,o
3) Mala.
A lo largo de los años el jardinero ha observado que la condición de la tierra del año anterior
afecta la productividad del año actual y que la situación se describe mediante la siguiente CM

0.2 0.5 0.3


P   0 0.5 0.5 
 0 0 1 
 Ejercicio 5.
Las probabilidades de transición muestran que la condición de la tierra puede o
deteriorarse o mantenerse igual, pero nunca mejorar.

Por ejemplo: si la condición de la tierra es buena esta año (estado 1) hay un 20% de
probabilidad de que no cambien el año siguiente, 50% de probabilidad de que sea
regular (estado 2) y 30% de probabilidad de que se deteriorará a una condición mala
(estado 3)
 Ejercicio 5.
El jardinero modifica la MPTE utilizando un fertilizante orgánico y el resultado es el
siguiente

 0.3 0.6 0.1 


P   0.1 0.6 0.3  
0.05 0.4 0.55

1. Determine las probabilidades de transición de estado estable. Interprete

2. Determine los tiempo promedio de recurrencia. Interprete
Solución Ejercicio 5
1) Probabilidades estado estable
 0.3 0.6 0.1 
 
 1  2  3    1  2  3   0.1 0.6 0.3 
0.05 0.4 0.55
Desarrollando:
 1  0.3 1  0.1 2  0.05 3
 2  0.6 1  0.6 2  0.4 3
 3  0.1 1  0.3 2  0.55 3
1   2   3  1
Solución Ejercicio 5
Igualando y despejando  1  0.1017
 2  0.5254
 3  0.3729

Interpretación: en el largo plazo, la condición de la tierra será buena el 10% del

tiempo, regular el 52% del tiempo y mala el 38% del tiempo.
Solución Ejercicio 5
2) Tiempo promedio del primer retorno

1 En promedio se requieren 10 temporadas de

11   9.83 siembra para que la tierra regrese a un buen estado,
0.1017
1 2 temporadas de siembra para que regrese a estado
22   1.9 regular y
0.5254
1 3 temporadas de siembra para que regrese a un mal
33   2.68 estado
0.3729
 Ejercicio 5B
Ahora considere que el jardinero utiliza un mejor fertilizando con lo que la MPTE se
modifica así:
0.35 0.6 0.05
P   0.3 0.6 0.1 
0.25 0.4 0.35

Compara los resultados obtenidos con ambos fertilizantes y determine cuál es el

mejor
Solución ejercicio 5B
Con un mejor fertilizante:
0.35 0.6 0.05
P   0.3 0.6 0.1 
0.25 0.4 0.35

 1  0.31 11  3.2

 2  0.58 22  1.7
 3  0.11 33  8.9
Comparación de escenarios
MPTE 1 MPTE 2

 0.3 0.6 0.1  0.35 0.6 0.05

P   0.1 0.6 0.3  P   0.3 0.6 0.1 
0.05 0.4 0.55 0.25 0.4 0.35

 1  0.1017 11  9.83  1  0.31 11  3.2

 2  0.5254 22  1.9  2  0.58 22  1.7
 3  0.3729 33  2.68  3  0.11 33  8.9

¿cuál fertilizante elegiría?

Y si involucramos costos?
El jardín necesita dos sacos de fertilizando si la tierra es buena. La cantidad se
incremente en 25% si la tierra es regular y 60% si la tierra es mala. El costo
del fertilizando es $50/saco. El jardinero estima un rendimiento anula de $250
si no se utiliza fertilizante y de $420 si se aplica fertilizante.

Es rentable utilizar el fertilizante?

Solución
Costo anual esperado fertilizante

c f  (2)$50 1  (2 *1.25)$50 2  (1.60 * 2)$50 3

c f  (100)(0.1017)  (125)(0.5254)  (160)(0.3729)
c f  $135.51
Solución
Incremento diferencial del rendimiento con el uso del fertilizante

 Re n dim iento  $420  $250

 Re n dim iento  $170  c f  $135

Es rentable utilizar el fertilizante

 Tiempo promedio del primer paso
𝜇𝑗𝑗 : Tiempo promedio del primer retorno

𝜇𝑖𝑗 : Tiempo promedio del primer paso por el estado j iniciando en el estado i
Número esperado de transiciones para llegar por primera vez al estado j desde el
estado i
Consideraciones preliminares
Si se tiene una MPTE P con m estados,

ij  ( I  N j ) 11, j  i

I : Matriz identidad de m  1
N j : Matriz P sin fija j - esima y sin columna j - esima estado destino
1: Vector columna de (m -1) con todos los elementos iguales a 1
Ejemplo
Cadena del jardinero con fertilizantes

 0.3 0.6 0.1 

P   0.1 0.6 0.3 
0.05 0.4 0.55

Considere el paso de los estados 2 y 3 (regular y malo) al estado 1 (bueno)

 Solución
 0.3 0.6 0.1  j 1

P   0.1 0.6 0.3   0.6 0.3 
N1   
0.05 0.4 0.55 0.4 0.55
1
1  0.4 0.3 
( I  N1 )   
Considere el paso de los estados 2 y  0.4 0.45 
3 (regular y malo) al estado 1 (Bueno)
1  7.5 5.00 
( I  N1 )   
 6.67 6.67 
Solución
Se requieren en promedio, 12,5
 u21   7.5 5.0 1 temporadas para pasar de tierra
    regular a tierra buena
 u31   6.67 6.67 1
 u21  12.50  Se requieren en promedio 13,34
   temporadas para pasar de tierra mala a
 u31  13.34  tierra buena
 Ejercicio Inventarios
Considere el siguiente problema de inventario de sangre al que se enfrenta un
hospital. Se tiene necesidad de un tipo raro de sangre como AB-, la demanda en
pintas para un periodo de tres día tiene el siguiente comportamiento

D P(D)
Suponga que se surte sangre cada tres días, el hospital propone
0 0.4
una política para recibir una pinta cada entrega y usar primero la
1 0.3 mas antigua. Si se requiere mas sangre de la que hay en el banco
2 0.2 disponible se hace un pedido de emergencia por alto costo. La
3 0.1 sangre se descarta si en 21 días no se ha usado.
 Ejercicio Inventarios
1. Si Hoy tenemos en inventario 2 unidades que probabilidad hay de que dentro de 9 días
tengamos 0 unidades?
2. Si hoy tenemos dos unidades en inventario, que probabilidad hay de que en el periodo
comprendido entre el día 9 al 12 tenga que comprar sangre de emergencia?
3. Cual es el número promedio de unidades que se comprarían de emergencia en el
periodo 9-12?
4. Cual es la probabilidad de que en un periodo cualquiera usted tenga que descartar
sangre?
5. El precio normal de la sangre cuando ha sido un periodo programado es de $3000/
unidad, mientras que la sangre de emergencia es de $5000/unidad. Cuál es el costo de la
política actual de inventario?
6. Cuál es el número promedio de unidades a comprar en el periodo de tres días?