Cadenas de Markov

Gestión de Investigación de Operaciones

Luis G. Acosta Espejo

Contenido

 Introducción
 Procesos estocásticos
 Cadenas de Markov
 Probabilidades de estado de estable
 Estados absorbentes

1
 Introducción

 Comenzaremos a estudiar modelos para describir el

comportamiento de un sistema en funcionamiento durante un
periodo de tiempo.
 Específicamente sistemas (procesos) cuya evolución en el
tiempo es de una manera probabilística - procesos
estocásticos.
 Veremos un tipo especial de sistemas modelados a través de
una cadena de Markov.

Proceso Estocástico
 Es una colección indexada de variables aleatorias {Xt},
donde tT.
 Frecuentemente:
 T: es el conjunto de los enteros no negativos.
 Xt: representa una característica de interés medible en el
tiempo t.
 Ejemplo: Nivel de inventario del producto A al final de la
semana t.
 T={0,1,2,…} semanas
 Característica: nivel de inventario
 Xt: número de unidades del producto A que están en
inventario al final de la semana t.
4

2
Proceso Estocástico - Estructura

… Exhaustivos
0 1 2 M Estados
Excluyentes

 Xt: estado del sistema en el tiempo t, t=0,1,2,…

 Xt  {0, 1, 2, …, M}.

 Proceso estocástico {Xt} = {X0, X1, X2,…}

Representación matemática de cómo el estado del sistema
físico evoluciona a lo largo del tiempo

 {Xt} es un proceso estocástico de tiempo discreto con

espacio de estado finito.
5

Procesos de Markov

 Los modelos del proceso de Markov son útiles para estudiar

la evolución de sistemas en una secuencia de periodos de
tiempo o estados.
 Las aplicaciones pueden ser por ejm., describir la
probabilidad que:
– Un cliente que compra una marca A en un período
compre la marca B en el próximo período.
– Una máquina que está funcionando en un periodo
continúe funcionando o falle en el próximo período.

3
 Propiedad Markoviana y cadena de Markov
Estamos interesados en conocer la distribución conjunta de:
X0, X1,…

 Se dice que un proceso estocástico {Xt} tiene la propiedad

markoviana si:
P{Xt+1=j | X0=K0, X1=K1,…, Xt-1=Kt-1, Xt=i } = P{Xt+1=j | Xt=i },
para t = 0,1,2,… y toda sucesión i, j, k0,k1,…,kt-1.

Cadena de Markov
Un proceso estocástico {Xt} es una cadena de Markov si
tiene la propiedad markoviana.

Probabilidades de Transición

 Las probabilidades condicionales P{Xt+1= j | Xt=i } se llaman

probabilidades de transición (de un paso).
 Las Probabilidades de Transición gobiernan la manera en
la cual el estado del sistema cambia de un estado a otro.

Probabilidad de transición estacionaria

 Una probabilidad de transición de un paso es estacionaria
si para cada i, j:
P{Xt+1= j | Xt=i }= P{X1= j | X0=i }, para toda t=1,2,…
– Esto es, las probabilidades de transición no cambian con el tiempo.
 Comúnmente son representados en una matriz de
transición, P.
8

4
Cadena de Markov finita con probabilidades
de transición estacionaria

Un sistema tiene una cadena de Markov finita con

probabilidades de transición estacionaria si:
 Hay un número finito de estados.
 Las probabilidades de transición permanecen constantes
de un estado a otro estado (es estacionario), y
 Para el sistema, la probabilidad de que esté en un estado
particular en la etapa n+1 está completamente
determinado por el estado del proceso en el estado n (y
no el estado n -1). (Propiedad markoviana - falta de
memoria).

Probabilidades de estado estable

 La probabilidad de estado en cualquier etapa del

proceso puede ser calculada a partir de las
probabilidades del estado inicial y la matriz de
probabilidades de transición.
 La probabilidad de que el sistema esté en un estado
particular después de una gran cantidad de estados es
llamado la probabilidad de estado estable.

10

5
Probabilidades de estado estable (2)
 La probabilidad de estado estable puede ser obtenida
resolviendo el sistema de ecuaciones:
P = 
junto con la condición para las probabilidades:
i = 1.
– La matriz P es la matriz de probabilidades de transición.
– El vector  es el vector de probabilidades de estado
estable.
 En resumen, la probabilidad de que le proceso se encuentre
en cierto estado, digamos j, después de un gran número de
transiciones tiende al valor j, y es independiente de la
distribución de probabilidad inicial definida para los estados.
11

Estados absorbentes

 Un estado absorbente es uno en el cual la probabilidad

de que el proceso permanezca en este estado es 1.
 Si hay más de un estado absorbente, entonces no existe
la condición de estado estable que sea independiente
del estado inicial.

12

6
Matriz de transición con Submatrices
 Si una cadena de Markov tiene estados absorbentes y
estados no absorbentes, los estados pueden ser
reordenados de manera tal que la matriz de transición
pueda ser escrita como la composición de cuatro
submatrices: I, 0, R y Q:
I = una matriz de identidad que indica que si
llegamos a un estado absorbente siempre se
permanece en éste estado.
I 0 0 = una matriz cero que representa la probabilidad
P= 0 de ir de un estado absorbente a un estado no
absorbente
R Q
R = probabilidad de transición desde un estado no
absorbente a un estado absorbente
Q = La probabilidad de transición entre estados no
absorbentes
13

Matriz Fundamental

• La matriz fundamental, N, es la inversa de la diferencia

entre la una matriz identidad (de dimensión apropiada) y
la matriz Q :

N = (I - Q )-1

• Si se está en el estado transitorio ti, el número esperado

de períodos que se pasa en un estado transitorio tj antes
de la absorción es el ij-ésimo elemento de la matriz N.

14

7
 Matriz NR

 La matriz NR es el producto de la matriz fundamental (N) y

la matriz R.
 Esta matriz entrega las probabilidades de eventualmente
moverse de un estado no absorbente a cada estado
absorbente.
 Multiplicando cualquier vector de probabilidades de un
estado no absorbente por NR se obtiene el vector de
probabilidades que el proceso eventualmente llegue a cada
uno de los estados absorbentes.
 Estos cálculos posibilitan realizar análisis económicos de
sistemas y políticas.

15

Lectura recomendada
 Capítulo 16 de Hillier F. S. y Lieberman G. J., Introducción a
la Investigación de Operaciones. (Novena edición) McGraw
Hill, 2010.
 Capítulo 17 de Winston, W. Operations Research:
Applications and algorithms. Thomson. 2004.

16