CADENAS DE MARKOV

Definición: (proceso estocástico) Un proceso estocástico es una colección

indexada de variables aleatorias: { Xt } donde tT (conjunto de enteros no
negativos) y XtZ (Z = conjunto de características medibles en t =
conjunto de estados)

Definición: (cadena de Markov) Una cadena de Markov de tiempo

discreto, con espacio de estados {0, 1, 2,…} es un proceso estocástico
que cumple la siguiente propiedad (llamada propiedad Markoviana)

P[Xt+1 = j X0 = k0, X1 = k1, …, Xt-1 = kt-1, Xt = i] = P[Xt+1 = j Xt = i],

para todo t=0, 1,… y cualesquiera estados i, j, k r  Z; a la probabilidad

P[Xt+1 = j Xt = i] = pij la llamaremos probabilidad de transición del estado i
al estado j.

Aquí hemos representado el conjunto de estados por el conjunto {0, 1,

2,…} sin pérdida de generalidad.

Las probabilidades de transición pij se presentan mediante el arreglo

matricial:

Normalmente en esta matriz P se omite escribir los estados 0, 1, 2,…

Existen otras formas de expresar la propiedad Markoviana. Se puede

demostrar que lo anterior es equivalente a poder calcular la distribución
conjunta de las v. a. X0, X1, X2, …, Xn de la siguiente forma:

P[X0 = x0, X1 = x1, X2 = x2,…, Xn = xn] = P(X0)P(X1x0)P(X2x1)… P(Xnxn-1)

Esto implica que una cadena de Markov queda especificada conociendo
las probabilidades de transición y la distribución inicial P(X0)

Definición: Si se cumple que P[Xt+1 = j Xt = i] = P[X1 = j X0 = i] para todo

i, j  Z. y todo t = 0,1,… entonces se dice que las probabilidades de
transición, de un paso, son estacionarias.

Se puede demostrar que lo anterior implica que

P[Xt+n = j Xt = i] = P[Xn = j X0 = i], para todo t = 0,1,…

Esta probabilidad la denotamos pij(n) = probabilidad de transición de n

pasos, la cual cumple además que:
M

1) pij (n)
 0, 2) p
j 0
(n)
ij  1; i,

las cuales se presentan en la Matriz de probabilidades de transición

 p (n)
00 p (n)
01  p (n)
0M

 (n) (n) (n) 
 p10 p11  p1M 
     
 (n) 
p M0 p (n)
M1 MM 
 p (n) 

Ejemplo: Al final de un día dado, se registra el precio de una acción. Si la

acción subió la probabilidad de que suba mañana es 0.7. Si la acción
bajó, la probabilidad de que suba mañana es 0.5. Hacer una
representación de este caso utilizando un modelo de Markov (cadena de
Markov).

Otro Ejemplo: Supongamos ahora que el modelo de mercado cambia de

la siguiente manera. El que una acción suba o no mañana depende de si
subió hoy y ayer. Si la acción subió los dos días la probabilidad de que
suba mañana es de 0.9. Si la acción subió hoy y ayer bajó, mañana
subirá con probabilidad de 0.6. Si la acción bajó hoy pero ayer subió,
entonces mañana subirá con probabilidad de 0.5. Si la acción bajó los dos
días, la probabilidad de que mañana suba es de 0.3
Si se definen los siguientes estados, entonces el fenómeno de mercado
accionario se puede modelar mediante una cadena de Markov:

Estado 0: La acción aumenta hoy y ayer

Estado 1: La acción aumenta hoy y ayer bajó
Estado 2: La acción baja hoy y ayer aumentó
Estado 3: La acción bajó hoy y ayer.
PROCESOS ESTOCASTICOS. QUIZ 2.

1) Suponga que un modelo de mercado accionario cambia de la siguiente

manera. El que una acción suba o no mañana depende de si subió hoy y
ayer. Si la acción subió los dos días la probabilidad de que suba mañana
es de 0.9. Si la acción subió hoy y ayer bajó, mañana subirá con
probabilidad de 0.6. Si la acción bajó hoy pero ayer subió, entonces
mañana subirá con probabilidad de 0.5. Si la acción bajó los dos días, la
probabilidad de que mañana suba es de 0.3

a) Especifique un modelo de cadenas de Markov para este problema.

b) Construya la matriz de probabilidades de transición de un paso

c) Calcule la matriz de probabilidades de transición de tres pasos.

Interprete estas probabilidades.

d) Apóyese en las ecuaciones de Chapman – Kolmorov para explicar la

forma en que construyó la matriz del numeral c).

2) Considere el siguiente PE:

Xt = Xt-1 + t, con x0 = 1. Para cada t, t sigue una distribución N(0, 2 = 1 )

a) Realice cinco iteraciones y grafíquelas.

b) ¿Es este PE estacionario débil? Explique.
c) ¿Es este PE estacionario fuerte? Explique.
PROCESOS ESTOCASTICOS. QUIZ 1.

1) Suponga que un modelo de mercado accionario cambia de la siguiente manera.

El que una acción suba o no mañana depende de si subió hoy y ayer. Si la acción
subió los dos días la probabilidad de que suba mañana es de 1. Si la acción subió
hoy y ayer bajó, mañana subirá con probabilidad de 2. Si la acción bajó hoy pero
ayer subió, entonces mañana subirá con probabilidad de 3. Si la acción bajó los
dos días, la probabilidad de que mañana suba es de 4.

a) Defina estados adecuados de tal manera que este caso se pueda modelar
mediante una cadena de Markov [apóyese en las ideas dadas en los ejemplos
discutidos en clase]. b) ¿Por qué la definición de los estados que usted hizo pueden
definir una cadena de Markov? c) Especifique su modelo de cadenas de Markov
para este problema. d) Construya la matriz de probabilidades de transición de un
paso

2) Apóyese en el punto anterior y suponga ahora de que la acción suba mañana

depende de si subió o no hoy, ayer y antier. a) ¿Puede este problema formularse
como una cadena de Markov?. b) Si se puede ¿Cuáles son los estados posible? c)
Explique porque estos estados dan al proceso la propiedad markoviana.

3) Una partícula se mueve sobre un círculo por los puntos 0, 1, 2, 3, 4. La partícula

comienza a moverse en el punto 0. En cada paso tiene un probabilidad de 0.5 de
moverse un punto en el sentido de las manecillas del reloj (0 sigue a 4) y una
probabilidad de 0.5 de moverse un punto en contra de las manecillas del reloj. Sea
Xn (n  0) la localización en el círculo después del paso n. a) ¿Porqué { Xn } define
una cadena de Markov? b) Encuentre la matriz de transición de un paso. Explique
sus cálculos.
ECUACIONES CHAPMAN-KOLMOGOROV:

La siguiente relación se cumple para las probabilidades de una cadena de

Markov finita con probabilidades estacionarias:
Interpretar
M
p (n)
ij   p ik(m)p nkjm ; i, j, n,0  m  n
k 0

Para m = 1 tenemos p
(n)
ij   p ik p nkj1 ; resulta que las probabilidades de
k 0

transición de n pasos las podemos obtener a partir de las probabilidades

de transición de un paso de manera recursiva. Por ejemplo para n = 2
M

tenemos: p
(2)
ij   p ik p kj ; que corresponde a la expresión que calcula, por
k 0

definición, el producto de matrices. Por lo tanto P(2) = PxP = P2. Por

inducción obtenemos P(n) = PxPn-1 = Pn.

EJEMPLO: Una red de comunicaciones transmite dígitos binarios, 0 ó 1.

Cada dígito se transmite muchas veces sucesivamente. Durante cada
transmisión la probabilidad de que el respectivo dígito se transmita
correctamente es de 0.99. Si X0 denota el dígito binario que entra al
sistema, X1 el dígito binario registrado después de la primera transmisión,
X2 el dígito binario registrado después de la segunda transmisión, …, así
que {Xn} se puede considerar como una cadena de Markov. a) Determine
la matriz de probabilidades de transición de un paso. b) Encuentre la
matriz de transición de 10 pasos. ¿Qué significado tendrán estas
probabilidades? c) Si la red se rediseña para mejorar la probabilidad de
una sola transmisión de 0.99 a 0.999. Repita el inciso b) para encontrar
las probabilidades de transición de 10 pasos.

PROBABILIDADES NO CONDICIONALES DE UN ESTADO

En una cadena de Markov, las probabilidades de transición son

probabilidades condicionales. Si se desea la probabilidad no condicional
PXn = j ¿cómo se calcularía?
CLASIFICACION DE ESTADOS:

Definiciones: 1) El estado j es accesible desde el estado i si existe n tal

que pij(n) > 0.

2) Si i es accesible desde j y j es accesible desde i se dice que i y j se

comunican (i C j)

La relación C cumple las siguientes propiedades:

· iCi
· si i C j entonces j C i
· si i C j y j C k entonces i C k.

Recordar que si A es un conjunto no vacío y R es una relación en A, se

dice que R es una relación de equivalencia en A si R es reflexiva,
simétrica y transitiva. Además toda relación de equivalencia induce una
partición en el conjunto donde se define.

C es una relación de equivalencia en el conjunto de estados de una

cadena de Markov, entonces ella define clases (o una partición) en dicho
conjunto de estados.

3) Si existe solo una clase entonces se dice que la cadena de Markov es

irreducible

4) ¿Un proceso que está en estado i regresará a él?

Sea fii la probabilidad de que un proceso regrese al estado i estando en

dicho estado.

i se llama recurrente si fii = 1

i se llama transitorio si fii < 1

i se llama absorbente si pii = 1

PROPIEDADES DE fii

· El número esperado de períodos que el proceso está en estado i es

infinito si un estado es recurrente.

· Si un estado es transitorio y la probabilidad de que regrese al estado i

es fii entonces la probabilidad de que no regrese al estado i será 1 - fii y
el número esperado de períodos en que el proceso está en estado i es
1/(1 - fii). ¿Por qué?

· La recurrencia es una propiedad de clase es decir todos los estados de

una clase son recurrentes (o transitorios).

· No todos los estados pueden ser transitorios. Esto implica que en una
cadena de Markov irreducible todos los estados son recurrentes.
 
Proposición: El estado i es recurrente si  p iin  y es transitorio si  p iin   .
n 1 n 1

Explicar

Corolario: Si el estado i es recurrente y se comunica con el estado j

entonces j es recurrente.

PROPIEDADES A LARGO PLAZO:

Consideramos dos propiedades adicionales de las cadenas de Markov.

Definición: El estado i se dice que tiene período d si Piin  0 cuando quiera

que n no es divisible por d y d es el mayor entero con esta propiedad. Un
estado con período 1 se dice que es aperiódico. Se puede demostrar que
la periodicidad es una propiedad de clase, es decir, si el estado i tiene
período d y los estado i y j se comunican entonces j también tiene período
d.

Estados recurrentes, aperiódicos son llamados ergódicos.

Enunciado: (¿Esto que es?)
Para una cadena de Markov irreducible y ergódica el lim pij(n)  π j existe y
n

es independiente de i. Además J es solución única no negativa de:

M M
π j  π i p ij ; j  0,1,2,..., M , así como
i 0
π
j 0
j 1

Los π j se llaman probabilidades de estado estable de la cadena de

1
Markov y se cumple que π j  donde μ JJ es el tiempo esperado de
μ jj
recurrencia.
EJERCICIO DE CLASE: En una fábrica de jabón las ventas fluctúan
entre dos niveles (bajo y alto) y dependen de dos factores: 1) si hacen o
no publicidad. 2) Si los competidores anuncian y comercializan nuevos
productos. El segundo factor está fuera de control de la compañía, pero
quieren determinar cuál puede ser su propia política publicitaria. Por
ejemplo el gerente propone hacer publicidad cuando las ventas están
bajas y no hacerla cuando están altas. La publicidad que se hace en un
trimestre dado del año tiene su impacto el siguiente trimestre. De
cualquier manera al principio de cada trimestre se dispone de la
información necesaria para pronosticar con exactitud si las ventas serán
altas o bajas ese trimestre y decidir si hacer publicidad o no.

El costo de la publicidad es de 1 millón de pesos cada trimestre del año

que se haga. Cuando se hace publicidad en un trimestre, la probabilidad
de tener ventas altas el siguiente trimestre es de 0.5 ó 0.75 según si en el
trimestre actual se tienen ventas bajas o altas. Las probabilidades bajan a
0.25 y 0.5 cuando no se hace publicidad en el trimestre actual. Las
ganancias trimestrales de la compañía (sin los costos de publicidad) son
de 4 millones de pesos cuando las ventas son altas pero solo de 2
millones cuando son bajas.

a) Construya la matriz de transición de un paso para cada una de las

siguientes estrategias de publicidad: i) nunca hacer publicidad, ii) siempre
hacer publicidad, iii) seguir la propuesta del gerente.

b) Determine las probabilidades de estado estable en los tres casos del

inciso a)

c) encuentre la ganancia promedio a la larga por trimestre para cada una

de las estrategias del inciso a). ¿Cuál de estas estrategias es la mejor
según esta medida de desempeño?
TIEMPOS DE PRIMERA PASADA

Algunas veces es necesario referirse al número de transiciones que hace

el proceso al ir del estado i al estado j por primera vez a este lapso de
tiempo se le llama tiempo de primera pasada. Si i = j se llama tiempo de
recurrencia del estado i.

Los tiempos de primera pasada son variables aleatorias cuyas

distribuciones de probabilidad dependen de las probabilidades de
transición.

Si fij(n) denota la probabilidad de que el tiempo de primera pasada del

estado i al estado j es n, tenemos las siguientes fórmulas recursivas:

fij(1) = pij(1) = pij ; fij(2) =  p ik f kj(1) ; fij(n) =  p ik f kj(n-1)

k j k j

Para i y j fijos fij(n) son números no negativos tales que  f ijn 1
n 1

El tiempo esperado de primera pasada del estado al estado j, se define

así:

 

  , si f ij(n)  1
μ ij    n 1

 nf ij , si f ij(n)  1
(n)
 n 1 n 1


Siempre que  f ijn 1 ij satisface la ecuación μ ij  1   p ik μ kj . Lo que significa
n 1 k j

que la primera transición desde el estado i puede ser al estado j o algún

otro estado k. Si es al estado j el tiempo de primera pasada es 1. Ahora si
la primera transición es a un estado k, (k  j) lo que ocurre con
probabilidad pik, el tiempo esperado de primera pasada condicional del
estado i al estado j es 1 + pikkJ, al sumar todas las posibilidades se
obtiene la fórmula: μ ij  1   p ik μ kj
k j
UNIVERSIDAD DEL VALLE. FACULTAD DE INGENIERIA
ESCUELA DE INGENIERIA INDUSTRIAL Y ESTADISTICA
CURSO : PROCESOS ESTOCASTICOS.
PROFESORES: DANIEL ARBELAEZ Y GABRIEL CONDE

EJEMPLO DE PROCESO ESTOCASTICO:

UN PROBLEMA DE INVENTARIOS. Tomado del libro Introducción a la

Investigación de Operaciones. De Hillier y Lieberman (2001).

Una tienda de cámaras tiene en almacén un modelo especial de cámara que se

puede ordenar cada semana. Sean D1, D2, … las demandas de ésta cámara durante
la primera, segunda, …., semana, respectivamente. Se supone que las Di son
variables aleatorias independientes e idénticamente distribuidas con distribución
conocida. Sea X0 el número de cámaras que se tienen en el momento de iniciar el
proceso, X1 el número de cámaras que se tienen al finalizar la semana 1, X2 el
número de cámaras que se tienen al finalizar la semana 2, etc. El sábado en la
noche la tienda hace un pedido que le entregan el lunes en el momento de abrir la
tienda. La tienda usa la siguiente política para ordenar: si el número de cámaras en
inventario al final de la semana es menor que uno entonces ordena 3 cámaras. De
otra manera no coloca la orden. Se supone que las ventas se pierden cuando la
demanda excede el inventario. Entonces la serie { Xt , t = 0, 1, ….} define lo que se
llama un proceso estocástico. Los estados posibles del proceso son los enteros 0, 1,
2, 3 que representan el número posible de cámaras en inventario al final de la
semana. Las variables aleatorias Xt son dependientes y se pueden evaluar en forma
iterativa por medio de la expresión:

Máx {(3 – Dt+1), 0 } si Xt < 1

Xt+1 =
Máx {( Xt – Dt+1), 0 } si Xt  1

Para t = 0, 1, 2, …. Podemos estar interesados en preguntas tales como ¿ Cual es

la probabilidad de que hayan tres cámaras en inventario dos semanas después de
que el sistema se puso en marcha? O ¿cuál es le estado del inventario después de
un tiempo determinado?. Esta y otras preguntas podrán ser contestadas utilizando
los modelos de Markov que serán parte del desarrollo del curso.
 COLAS O LINEAS

Sistema de cola con c servidores en paralelo

Hay dos actores principales que conforman el sistema: los clientes y los
servidores. Estos sistemas se consideran como casos especiales de un
estudio más general: simulación de eventos discretos. Así que
consideraremos el sistema como < la fila más los servidores >

En estos casos hay tres variables que se utilizan: 1) de tiempo, 2) de

conteo y 3) las variables de estado del sistema. Cuando ocurre un
“evento” los valores de estas variables se modifican

Características:

· La llegada de los clientes se genera de una fuente entrando en el

sistema. (Población de clientes = finita o infinita)
· Se consideran dos variables temporales: 1) tiempo entre llegadas de
los clientes y 2) tiempo de servicio por cliente.
· Tamaño de la cola : finita o infinita
· La disciplina de la cola: orden en que se seleccionan los clientes de la
cola, (FIFO = FCFS, LIFO = LCFS, SIRO, Prioridad)
· Pueden haber uno o varios servidores. En paralelo, en serie o en red.
· Los modelos más sencillos y más utilizados constan de una cola y
varios servidores.
Cantidades en que usualmente podremos estar interesados en un estudio
de colas (las cuales llamaremos “medidas de desempeño del sistema”):

· Estado del sistema = n = número de clientes en el sistema.

· Longitud de la cola = número de clientes que esperan servicio.
· Ls = número esperado de clientes en el sistema.
· Lq = número esperado de clientes en la cola.
· ws = tiempo aproximado de espera en el sistema.
· wq = tiempo aproximado de espera en la cola.
· c = número esperado de servidores ocupados.
· Pn = probabilidad de que n clientes estén en el sistema.

Nota: Estas cantidades son relativamente fáciles de calcular cuando el

sistema entra en lo que llamaremos “estado estable” que se presenta
después de que ha transcurrido un tiempo suficientemente grande. En
contraste está el “estado transitorio” las cuales prevalecen cuando el
comportamiento del sistema depende del tiempo.

MODELO GENERALIZADO DE POISSON

Usamos tasa de llegada (n) y tasa de servicio (n) dependientes del

estado del sistema (n).

Aclaración de tasa dependiente del estado del sistema:

Si  representa la “tasa unitaria” de llegada entonces dicha tasa puede

permanecer constante o depender de n, por ejemplo cuando hay n
clientes en el sistema la tasa de llegada puede ser:

n = n.

Si un sistema de colas tiene c servidores en paralelo y  es la tasa de

servicio “por servidor”, para n clientes en el sistema la tasa de salida del
sistema puede ser:
 nμ , si n  c
μn  
cμ , si n  c

Se quiere deducir una expresión para el cálculo de la probabilidad (de

estado estable) pn de n clientes en el sistema.

Ojo! de esta probabilidad dependen prácticamente todas las medidas de

desempeño del sistema.

Deducción de una expresión para pn

Diagrama de tasas de transición:

El sistema se considera una cadena de Markov donde n = 0, 1, 2, ....

(número de clientes en el sistema) representa los estados del sistema.

Si Tn es la tasa esperada de flujo para el estado n, entonces

Tn = n-1pn-1 + n+1pn+1

Desde otro lado: Tn = (n + n)pn

Entonces la “ecuación de equilibrio” será:

n-1pn-1 + n+1pn+1 = (n + n)pn , n > 1

Según el diagrama siguiente para n = 0 tenemos: 0p0 = 1p1.

Actuando recursivamente obtenemos:
λ0 λ1λ 0 λ n 1λ n 2 λ1λ 0
p  p p 
si n = 0, 1 μ 0 ; si n = 1, 1 μ μ p 0 y pn  p0
1 2 1 μ n μ n 1 μ 2 μ1


Utilizando p
n 0
n  1 podemos calcular p0 y después los pi i
 COLAS ESPECIALIZADAS DE POISSON

Una notación muy usada para representar un sistema de colas es la

siguiente:
 MEDIDAS DE DESEMPEÑO DE ESTADO ESTABLE

Teniendo en cuenta la notación anteriormente establecida deducimos las

siguientes relaciones importantes:
 
L s   nPn ; Lq   (n - c)Pn ; Ls = efws ; Lq = efwq
n 1 n c 1

· n = tasa media de llegadas de clientes cuando hay n clientes en el

sistema. (n =  si es constante).


· ef = tasa promedio efectiva = λ

n 0
n pn

· n = tasa media de servicio cuando hay n clientes en el sistema (n = 

si es constante).

Además: ws = wq + 1/ de donde Ls = Lq + ef/ y c = Ls - Lq = ef/

Modelos con un servidor

(M/M/1):(DG//)

Suponemos n =  y n = , n y definimos además  = /

Las expresiones del modelo generalizado se reducen a:

pn = np0 n = 0, 1, 2 .... ;

sabiendo que: p0(1 +  + 2 + .... ) = 1 y suponiendo que  < 1 entonces:

 1 
p 0    1 o sea p0 = 1 - . De aquí que: pn = (1 - )pn; n = 0, 1, 2, ...
1 ρ 
que es una distribución geométrica.

Para las medidas de desempeño se obtiene: [Demostrar!]

 ρ λ ρ2 LS 1 Lq ρ
L s  E(n)  ; Lq  Ls   ; WS   ; Wq  
1 ρ μ 1 ρ λ μ(1  ρ) λ μ(1  ρ)

(M/M/1)(DG/N/)

Si hay N clientes en el sistema, se impide nuevas llegadas. En términos

del modelo generalizado esto se traduce en :

λ; n  0,1,2, , N  1
λn  
 0; n  N, N  1, 
μn  μ
Haciendo  = / obtenemos las siguientes relaciones para pn y las
diferentes medidas de desempeño

 1 ρ n  ρ{1  (n  1)ρ N  Nρ N1}

1  ρ N 1 ρ , ρ  1  ,ρ 1
(1  ρ)(1  ρ N 1 )
pn   Ls  
 1 , ρ 1 N , ρ 1
 N  1  2

λ ef λ(1  p N )
λ ef  λ(1  p N ) L q  Ls   Ls 
μ μ
Lq Lq 1 Ls
Wq   Ws  Wq  
λ ef λ(1  p N ) μ λ(1  p N )

Ver desarrollos de estas expresiones en el libro “Investigación de

Operaciones”, Taha H. A. referenciado en el programa del curso con [4]

(M/M/c)(DG//)

Características:
- Los clientes llegan con una tasa constante , por lo que ef = 
- Un máximo c de clientes pueden ser atendidos simultáneamente
- La tasa de servicio , en cada servidor, es también constante
- Usar c servidores paralelos = acelerar la tasa de servicio. Así que:

nμ , si n  c
λ n  λ n  0 y μ n  
cμ , si n  c
Las expresiones para pn y las medidas de desempeño pueden verse en
[4].

(M/M/c)(DG/N/), c  N

Caracterìsticas:
Difiere del caso anterior en que se impone un límite para la capacidad del
sistema (tamaño máximo de la cola es N – c).
Del modelo generalizado tenemos entonces que:

λ, si 0  n  N  nμ , si 0  n  c
λn   y μn  
 0, si n  N cμ , si c  n  N

Ver en [4] las expresiones para pn y las medidas de desempeño

Tarea: Estudiar los siguientes modelos de colas:

(M/M/)(DG//), Modelo de autoservicio

(M/M/R)(DG/K/K), R < K, Modelo de servicio de máquinas

(M/G/1)(DG//)

(M/G/1)(NPRP//)

(M/G/c)(NPRP//)