Escuela Profesional de

Ingeniería Industrial

Herramientas para la Toma de Desiciones

Sesión N° 6

Cadenas de Markov : Estado Estable – Matriz

Absorvente
Semestre Académico
2022-I
 Escuela Profesional de
Ingeniería Industrial
Contenido

Cadenas de Markov

1. Probabilidades de Estado Estable

2. Tiempos de Retorno Medios
DÍA EL
3. Clasificación de Estados en una Cadena de Markov
4. Casos Prácticos
 Escuela Profesional de

Probabilidades de Estado Estable Ingeniería Industrial

Un estado es estable cuando ya no hay cambios en el sistema, es decir cuando se alcanza el equilibrio.

Una manera de obtener las condiciones del sistema para el estado estable es repetir iterativamente los
cálculos para cada periodo con el fin de hallar el periodo con aquellas probabilidades que se mantienen
constantes (que ya no cambian).

Sin embargo también es posible utilizar un sistemas de ecuaciones que DÍA ELnos permiten encontrar
directamente tales “Probabilidades de Estado Estable” ó “Probabilidades de Largo Plazo”
 Escuela Profesional de

Probabilidades de Estado Estable Ingeniería Industrial

Caso 1 : Operadores de Telefonia Celular :

Un estudio realizado a 3 operadores de telefonía celular : TIGO, MOVISTAR y COMCEL, revela que la
población de consumidores se distribuye de la siguiente manera : Movistar : 30%, Tigo : 30% y Comcel :
40%. El mismo estudio permitió determinar que los individuos que están en Movistar tienen una
probabilidad de 30% de quedarse (para el siguiente año) en la misma operadora, 50% de cambiarse a
Tigo, y un 20% de pasarse a Comcel. Los individuos que están en Tigo, tienen una probabilidad de 70%
de quedarse en la misma operadora, un 10% de cambiarse a Movistar y un 20% de pasarse a Comcel.
Los usuarios de Comcel tienen una probabilidad de 50% de quedarse en la misma operadora, un 30%
de cambiar a Tigo y un 20% de pasarse a Movistar. DÍA EL

a) Como será la distribución de preferencias en Telefonía Celular para el próximo año ?

b) Cuales serán las Probabilidades de Estado Estable para éstas 3 operadoras ?

 Escuela Profesional de

Probabilidades de Estado Estable Ingeniería Industrial

Solucion :
a) Según datos del enunciado establecemos la Matriz de Probabilidades de Transición :

P=

Determinamos el Vector de Probabilidades de Estado Inicial :

DÍA EL
qo =
La distribución de probabilidades para el siguiente periodo será : q1 = qo x P

El siguiente año Movistar tendrá un 20% de los clientes, Tigo 48% y Comcel 32%.
 Escuela Profesional de

Probabilidades de Estado Estable Ingeniería Industrial

Solución :
b) Podriámos seguir encontrando la distribución de preferencias de la población para los siguientes
periodos, de la siguiente forma :

Observamos que a partir del periodo 11, la distribución de preferencia de

los clientes por un operador de telefonía es prácticamente la misma, por
lo cual se asume que el valor del estado estable es :

DÍA EL

A estas probabilidades se las conoce como “Probabilidades de Estado

Estable” ó “Probabilidades de Largo Plazo”
 Escuela Profesional de

Probabilidades de Estado Estable Ingeniería Industrial

Solución :
Pero no siempre es necesario contar con un vector qo para poder hallar el Estado Estable, podemos
establecer un sistema de ecuaciones y resolverlo mediante cualquier método conocido y podríamos
llegar al mismo resultado. Para realizarlo procedemos de la siguiente manera, estableciendo las
variables X, Y, Z como las probabilidades a buscar tendríamos :

De lo cual obtendríamos el siguiente sistema de ecuaciones DÍA EL

No debemos olvidar también que la suma de las probabilidades debe ser igual a 1 por lo tanto debemos
incluir esta restricción en el sistema de ecuaciones
 Escuela Profesional de

Probabilidades de Estado Estable Ingeniería Industrial

Solución :
Para solucionar éste sistema de ecuaciones utilizaremos la herramienta conocida como la Calculadora
de Gauss – Jordan : http://es.onlinemschool.com/math/assistance/equation/gaus/

-0.7X + 0.1Y + 0.2Z = 0 -0.7X + 0.1Y + 0.2Z = 0

0.5X – 0.3Y + 0.3Z = 0 0.5X – 0.3Y + 0.3Z = 0
0.2X + 0.2Y – 0.5Z = 0 X + Y + Z =1
X + Y + Z =1

DÍA EL
 Escuela Profesional de

Probabilidades de Estado Estable Ingeniería Industrial

Solución :
Por lo tanto podríamos decir que en el Largo Plazo, la distribución de la población en cuanto a
preferencias por un Operador de Telefonia Celular será :

X = 0.160714
Y = 0.553571 DÍA EL
Z = 0.285714
 Escuela Profesional de

Probabilidades de Estado Estable Ingeniería Industrial

Caso 2 : Tienda de Computadoras :

Una tienda de computadoras inicia una semana con al menos 3 und en stock. Todas las semanas se
pueden vender 0, 1, 2, 3 ó 4 computadoras. En el cuadro siguiente se muestra las probabilidades de
dichas demandas (la demanda insatisfecha se deja pendiente) :

La política de inventarios indica colocar un pedido al proveedor, cada vezDÍAque

EL el inventario final cae a
menos de 3 und; cada nuevo pedido siempre regresa las existencias a 5 und; el proveedor tiene la
indicación de entregar el pedido nuevo siempre al inicio de la siguiente semana.

a) Exprese la situación como una Cadena de Markov

b) Si una semana inicia con 4 und, cual es la probabilidad de colocar un pedido al final de 2 semanas.
c) Determine la Probabilidad a Largo Plazo de que no se coloque un pedido en cualquier semana.
d) Si el costo fijo de pedir es $200, el costo de mantener inventario $5 und, y el costo por faltante $20
und, determine el costo de inventario esperado por semana.
 Escuela Profesional de

Probabilidades de Estado Estable Ingeniería Industrial

Solución :
o Variable en estudio : Xn = Nivel de Inventario al inicio de la semana n.
o Si cada semana Xn >= 3, entonces el nivel mas bajo de inventario es 3 und.
o Según enunciado : Cuando Xn < 3 pedir lo que falte para llegar a 5 und, por tanto el inventario mas
alto que se puede tener al inicio de cada semana es 5 und.
o Concluimos que Xn puede encontrarse solo en los estados 3, 4 y 5; con ello construiremos la MPT

DÍA EL
 Escuela Profesional de

Probabilidades de Estado Estable Ingeniería Industrial

Solución :

P33 = Probabilidad (Dem. = 0) = 0.15

P34 = No existe tal escenario, Probabilidad = 0
P35 = Probabilidad (Dem. = 1,2,3 ó 4) = 0.20 + 0.35 + 0.25 + 0.05 = 0.85

DÍA EL
La Matriz de Probabilidades de Transición va quedando asi :

Ahora, ud. complete la Matriz de Transición y responda las preguntas : b, c y d

 Escuela Profesional de

Probabilidades de Estado Estable Ingeniería Industrial

Caso 3 : Sistema de Inventarios :

Una empresa maneja un sistema inventarios (r,M) para cierto producto, donde la Política de Reposición
implica pedir una cantidad necesaria para elevar el inventario al nivel M=3 cuando el stock r llega al nivel
de r < 1, en caso contrario no se pide nada. Los pedidos se entregan al inicio de la siguiente semana. La
Demanda Semanal tiene la siguiente distribución de probabilidad :

DÍA EL

a) Encuentre la Matriz de Probabilidades de Transición

b) Encuentre las Probabilidades de Estado Estable
 Escuela Profesional de

Tiempos de Retorno Medios Ingeniería Industrial

Busca determinar el número esperado de transiciones antes de que el sistema regrese a un estado j por
primera vez. Para una Cadena de Markov de n pasos el TRM se calcula con la siguiente expresión :

Por ejm. para el problema de las 3 operadoras de Telefonia Celular (Movistar, Tigo y Comcel) habíamos
encontrado que las Probabilidades de Estado Estable eran :

DÍA EL

Esto quiere decir que, en promedio, deben pasar 6.22 años para que un cliente que estaba con Movistar, regrese a
Movistar por primera vez, 1.81 años para que un cliente que estaba en Tigo, regrese a Tigo por primera vez, y 3.50
años para que un cliente que estaba en Comcel regrese a Comcel por primera vez
 Escuela Profesional de

Clasificación de Estados en Cadenas de Markov Ingeniería Industrial

Seis jóvenes : Veronica (V), Rafal (R), Daniel (D), Alexis (A), Jenny (J) y Oscar (O) juegan a lanzarse la
pelota entre ellos. Si Veronica tiene la pelota tiene 4 posibilidades de lanzarla, y es, igualmente
probable que se la lance a Rafael, a Daniel, a Alexis ó a Jenny. Si Rafael tiene la pelota, es, igualmente
probable que se la lance a Daniel, a Daniel, a Alexis ó a Jenny. Si Daniel tiene la pelota, se la lanza
directamente y con seguridad a Oscar (y solamente a él). Si en algún momento Alexis ó Jenny tienen la
pelota en sus manos, se quedan lanzándola el uno al otro; pero si Oscar llega a obtener la pelota, éste
se vá corriendo con ella y el juego se termina.
DÍA EL

Vamos a modelar este caso como un Proceso

Estocástico.
 Escuela Profesional de

Clasificación de Estados en Cadenas de Markov Ingeniería Industrial

Cual es la variable que se observa periódicamente y se comporta como una Cadena de Markov ?

Xn = Quien tiene la pelota después de cada lanzamiento

Cuales son los estados ó posibles valores en los que se puede encontrar la variable ?

V = Veronica DÍA EL

R = Rafael
D = Daniel
Este es el “espacio de estados” en que se puede encontrar la variable
A = Alexis
J = Jenny
O = Oscar

Observar la persona que tiene la pelota después de cada lanzamiento, viene a ser un “proceso
estocástico”
 Escuela Profesional de

Clasificación de Estados en Cadenas de Markov Ingeniería Industrial

1/4

1/4
1/4 1/3

1/3
1/4 DÍA EL
Establecemos el GRAFO del problema
1

1 1 1/3

1
 Escuela Profesional de

Clasificación de Estados en Cadenas de Markov Ingeniería Industrial

Estado Accesible : El estado j es accesible desde el estado i si existe una probabilidad positiva de pasar
de i a j (Pij > 0).

Ejms :
• El estado R es accesible desde el estado V
• El estado A es accesible desde el estado R, pero el
estado R no es accesible desde A
DÍA EL
• J es accesible desde V, R y A

Estados Que Se Comunican : Dos estados se comunican si son accesibles el uno al otro (no
necesariamente en el mismo número de pasos), es decir cuando Pij > 0 y Pji > 0. Ejm : J y A son
estados que se comunican entre si.

Los Estados que se comunican entre si forman una CLASE

 Escuela Profesional de

Clasificación de Estados en Cadenas de Markov Ingeniería Industrial

En el GRAFO, distinguimos las siguientes Clases :

• Clase {J, A} : Se comunican entre miembros

• Clase {O} : Se comunica con ella misma
• Clase {V} : No hay comunicación con nada
• Clase {R} : No hay comunicación con nada
• Clase {D} : No hay comunicación
DÍA ELcon nada

Estado Recurrente : Un estado i es RECURRENTE si iniciando el proceso en él (ósea saliendo de él)

existe una total certeza de regresar a él mismo. Por ejm. : J y A son estados recurrentes, porque de
ambos hay salida y también hay retorno (la probabilidad de regresar de nuevo al estado i es 100%, no
importa cuando).

Los estados de una misma clase tienen las mismas propiedades, ejm : A y J pertenecen a la misma
clase, si A es recurrente entonces J también será recurrente.
 Escuela Profesional de

Clasificación de Estados en Cadenas de Markov Ingeniería Industrial

Estado Transitorio : Un estado i es TRANSITORIO si y solo si, existe una probabilidad positiva de irse de
él y ya no retornar a él nunca. Por ejm, el estado V sale a otros estados (con probabilidades postivas) pero
ya no regresa al mismo estado. Por lo tanto V es un Estado Transitorio.

• Clase {J, A} : Recurrente

Reclasificando las Clases :
• Clase {O} : Recurrente
• Clase {V} : Transitoria
• Clase {R} : Transitoria
DÍA EL
• Clase {D} : Transitoria

Si una clase recurrente está formada por un solo estado, este estado se denomina “Absorvente”. Por ejm. O
es un estado absorvente, porque es un solo elemento el que está formando la clase.

Estado Absorvente : Un estado i es ABSORVENTE si al llegar a él ya no se puede salir, solamente puede

permanecer en dicho estado (retorno a si mismo). En una clase absorvente i : Pii = 1. Ademas {O} es una
clase absorvente además de ser siempre recurrente.
 Escuela Profesional de

Clasificación de Estados en Cadenas de Markov Ingeniería Industrial

Caso 1 : Estados Transitorios y Absorventes

Clasifique los estados de las siguientes Cadenas de Markov

“Un Estado Transitorio sirve de paso ó

puede ser visitado (ó recorrido) un
número finito de veces”
DÍA EL

“Los Estados Transitorios van de la mano con

los estados absorbentes; ….. Si existe un
absorvente es por que los otros son
transitorios”
 Escuela Profesional de

Clasificación de Estados en Cadenas de Markov Ingeniería Industrial

Caso 2 : Estados Recurrentes

Dadas las siguientes Matrices de Transicion (de un paso) de una CDM, determine las Clases de la
CDM y si son Recurrentes ó no.

DÍA EL

• 1 y 2 es una Clase ó conjunto cerrado : además los estados {1,2} son recurrentes (si salimos de 1 o 2 estamos
completamente seguros de regresar a 1 y 2)
• 3 es un estado Transitorio (de el se sale pero ya no se regresa)
• 0 es un estado Absorvente (una vez llegado a ese estado, ya no se puede salir, es un “agujero negro”. Ser
Absorvente también le da la característica de Recurrente, pues una ves llegado allí sale y vuelve pero allí mismo
 Escuela Profesional de

Clasificación de Estados en Cadenas de Markov Ingeniería Industrial

Caso 3 : Estados Recurrentes

DÍA EL
 Escuela Profesional de

Casos Propuestos Ingeniería Industrial

Caso 1 : Clasificación de Estados

DÍA EL
 Escuela Profesional de

Casos Propuestos Ingeniería Industrial

Caso 2 : Clasificación de Estados

DÍA EL
 Escuela Profesional de

Casos Propuestos Ingeniería Industrial

Caso 3 : Clasificación de Estados

DÍA EL
 Escuela Profesional de
Ingeniería Industrial

GRACIAS POR SU ATENCION.

DÍA EL