Universidad Nacional de Colombia

Sede Medellín

Clase # 4

Tiempos de primera pasada y

propiedades a largo plazo de las
cadenas de Markov
Diseño: Andrés Gómez 4-1
Tiempos de primera pasada

Con frecuencia es conveniente poder hacer

afirmaciones en términos de probabilidades
sobre el número de transiciones que hace el
proceso al ir de un estado i a un estado j por
primera vez.

Este lapso se llama tiempo de primera pasada al

ir del estado i al estado j.

Diseño: Andrés Gómez 4-2

 Cuando j = i, este tiempo de primera pasada es
justo el número de transiciones hasta que el
proceso regresa al estado inicial i.

Ejemplo

Recordemos el caso del almacén de cámaras donde

Xt representaba el número de cámaras al iniciar la
semana t. {Xt} para t=1,2,...,n es un proceso
estocástico.

Diseño: Andrés Gómez 4-3

 El número posible de cámaras en
inventario al final de la semana t son

0
Estados posibles del
1
sistema
2
3

Suponga que ocurrió lo siguiente:

X0 = 3, X1 = 2, X2 = 1, X3 = 0, X4 = 3, X5 = 1

Diseño: Andrés Gómez 4-4

En este caso, el tiempo de primera pasada para
ir del estado 3 al estado 1 es dos semanas, el
tiempo de primera pasada para ir del estado 3 al
estado 0 es tres semanas y el tiempo de
recurrencia del estado 3 es cuatro semanas.

En general los tiempo de primera pasada son

variables aleatorias y por lo tanto tienen una
distribución de probabilidad asociada a ellos.

Diseño: Andrés Gómez 4-5

 fij(n) denota la probabilidad de que el tiempo de
primera pasada del estado i al estado j sea n.

pij(1) = fij(1) = pij

n

Para n>1 pij(n) =  fij(k) * pjj(n-k)

k=1

pij(2) = fij(2) + fij(1) * pjj

pij(n) = fij(1) * pjj(n-1) + fij(2) * pjj(n-2) +...+ fij(n-1) * pjj + fij(n)

Diseño: Andrés Gómez 4-6
fij(1) = pij(1) = pij
fij(2) = pij(2) - fij(1) * pjj

fij(n) = pij(n) - fij(1) * pjj(n-1) - fij(2) * pjj(n-2) -...- fij(n-1) * pjj

Se puede calcular la probabilidad de un tiempo de

primera pasada del estado i al j en n pasos, de
manera recursiva, a partir de las probabilidades de
transición de un paso

Diseño: Andrés Gómez 4-7

 En el ejemplo del almacén de cámaras la
distribución de probabilidad de tiempos de
primera pasada del estado 3 al 0 se obtiene así:

0.080 0.184 0.368 0.368

f30(1) = 0.08 0.632 0.368 0 0 
P
f30(2) = p30(2) - f30(1) * p00 0.264 0.368 0.368 0 
 
f30(2) = 0.249 - (0.08*0.08) = 0.243 0.080 0.184 0.368 0.368

Para i y j fijos las fij son números no negativos tales


que
 fij(n)  1
n=1

Diseño: Andrés Gómez 4-8

 
Si  fij(n) <1 Un proceso que al iniciar en i
n=1 puede no llegar nunca al estado j

Las fij(n) para n=1,2,.. pueden



considerarse como una
Si fij(n) =1 distribución de probabilidad
n=1
para la variable aleatoria, el
tiempo de primera pasada

Diseño: Andrés Gómez 4-9

Mientras que puede ser difícil calcular fij(n) para
toda n, es relativamente sencillo obtener el
tiempo esperado de primera pasada del estado i
al estado j.

 Si 
n=1
fij(n) <1
ij =  

n=1
n fij(n) Si 
n=1
fij(n) =1

Diseño: Andrés Gómez 4-10

 
Ij satisface satisface de
Siempre que 
n=1
fij (n) =1
manera única la ecuación

ij = 1 +  pik kj

kj

Cuando i=j ii se denomina tiempo esperado de

recurrencia para el estado i .

Diseño: Andrés Gómez 4-11

 0.080 0.184 0.368 0.368
0.632 0 
Ejemplo P
0.368 0
0.264 0.368 0.368 0 
 
0.080 0.184 0.368 0.368

Para calcular el tiempo esperado hasta que ya no se

tengan cámaras en el almacén podemos usar las
anteriores ecuaciones 
ij = 1 +  pik kj
kj

30 = 1+p3110 + p3220 + p3330

20 = 1+p2110 + p2220 + p2330
10 = 1+p1110 + p1220 + p1330

Diseño: Andrés Gómez 4-12

La solución simultánea a este sistema es

10 = 1.58 semanas

20 = 2.51 semanas
30 = 3.50 semanas

El tiempo esperado para que el almacén se

quede sin cámaras es 1.58, 2.51 y 3.50
semanas, dado que el proceso inicia con 1, 2 o
3 cámaras respectivamente.

Diseño: Andrés Gómez 4-13

Definición.

Condición de estado estacionario es la condición

en la que la probabilidad de encontrarse en
cualquier estado no varía de un período a otro.

Ejemplo.

Recordemos en el ejemplo de los inventarios la

matriz de transición de cuatro pasos que
obtuvimos.

Sigue
Diseño: Andrés Gómez 4-14
 0.289 0.286 0.261 0.164
0.282 0.285 0.268 0.166
P 4   
0.284 0.283 0.263 0.171
 
0.289 0.286 0.261 0.164

La matriz de transición de paso 8 es:

0.286 0.285 0.264 0.166 La probabilidad de

0.286 0.285 0.264 0.166 estar en el estado j
P8   después de 8
0.286 0.285 0.264 0.166 semanas parece ser
 
0.286 0.285 0.264 0.166 independiente del
inventario inicial

Diseño: Andrés Gómez 4-15

Teorema.

Para una cadena de Markov irreducible ergódica

el Lim Pij(n) existe y es independiente de i
n 

Mas aún

Lim Pij(n) = j > 0

n 

Sigue
Diseño: Andrés Gómez 4-16
 Como se vio en probabilidad incondicional
 
QX n  QX 0 * P (n)

O sea para n=1

QX 1  QX 0 * P

Si hacemos QX1  QX 0   tenemos

= P
Diseño: Andrés Gómez 4-17
Las j satisfacen las siguientes ecuaciones
de estado estable

j =  i Pij para j= 0,1,...,M

i=0
M

i=0
j = 1

M
= P y 
i=0
j = 1

Diseño: Andrés Gómez 4-18

Las j se llaman probabilidades de estado
estable de la cadena de Markov y son
iguales al inverso del tiempo esperado de
recurrencia

1
j = 
jj
para j= 0,1,...,M

Diseño: Andrés Gómez 4-19

 La probabilidad de
encontrar el proceso en un
Probabilidad de cierto estado, por ejemplo j,
estado estable después de un número
grande de transiciones
tiende el valor j

0 1 2 M 
 1 2  M 
Puesto que  0
P   1 2 M 
Lim Pij(n) = j 0
n   
  0 1 2  M 
Diseño: Andrés Gómez 4-20
 0 1 2 M 
 1 2  M 
Entonces    0
QX n  QX 0 *  1 2 M 
0
 
  0 1 2  M 


QX n  ( 0 ,1,...,  M )
M
ya que 
i=0
Qx (i) = 1
o

Este valor es independiente de la

distribución de probabilidad inicial
definida para los estados

Diseño: Andrés Gómez 4-21

Las ecuaciones de estado estable consisten en M+2
ecuaciones con M+1 incógnitas

j =  i Pij para j= 0,1,...,M

i=0
M

i=0
j = 1

Una de las ecuaciones es redundante, y se puede eliminar.

Ojo: Esta es la única ecuación que no puede eliminarse

Diseño: Andrés Gómez 4-22

Ejemplo.

Hallemos las probabilidades de estado estable

para el problema de los inventarios

La matriz de transición de un paso estaba dada

por:
0.080 0.184 0.368 0.368
0.632 0.368 0 0 
P
0.264 0.368 0.368 0 
 
0.080 0.184 0.368 0.368

Diseño: Andrés Gómez 4-23

Las ecuaciones de estado estable son:

 = P (0, 1, 2) = (0, 1, 2)*P

0 = 0P00 + 1P10 + 2P20 + 3P30

1 = 0P01 + 1P11 + 2P21 + 3P31
2 = 0P02 + 1P12 + 2P22 + 3P32
3 = 0P03 + 1P13 + 2P23 + 3P33
1 = 0 + 1 + 2 + 3
Donde  = (0, 1, 2)
Sigue
Diseño: Andrés Gómez 4-24
 Reemplazando los Pij obtenemos:

0 = 00.080 + 10.632+ 20.264 + 30.080

1 = 00.184 + 10.368 + 20.368 + 30.184 Recuerde

que una de
2 = 00.368 + 10 + 20.368 + 30.368 estas es es
redundante
3 = 00.368 + 10 + 20 + 30.368

1 = 0 + 1 + 2 + 3

Diseño: Andrés Gómez 4-25

Resolviendo las ecuaciones obtenemos valores:

0 = 0.285 2 = 0.264
1 = 0.285 3 = 0.166

Después de muchas semanas, la probabilidad de

encontrar cero, una, dos y tres en el almacén
tiende a 0.285, 0.285, 0.264, 0.166 respectivamente.

Diseño: Andrés Gómez 4-26

Los tiempos esperados de recurrencia son:

 00 = 3.51  22 = 3.79
 11 = 3.51  33 = 6.02

1
j = 
Recuerde jj
para j= 0,1,...,M

Se requieren de 3.51, 3.51, 3.79 y 6.02 semanas en

promedio para que el proceso empezando del
estado i regrese por primera vez al i con i =1,2,3,4.

Diseño: Andrés Gómez 4-27

Conclusiones.

Existen otros resultados importantes respecto a

las probabilidades de estado estable.

En particular, si i y j son estados recurrentes que

pertenecen a distintas clases entonces

Pij(n) = 0 para toda n

Este resultado es consecuencia de la definición

de clase

Diseño: Andrés Gómez 4-28

De manera parecida, si j es un estado transitorio,
entonces

Lim Pij(n) = 0 para toda i

n 

Este resultado significa que la probabilidad de

encontrar el proceso en un estado transitorio
después de un número grande de transiciones es
cero.

Diseño: Andrés Gómez 4-29

Ejemplo.

Estudiemos el caso de la movilidad de clases

sociales. Supongamos que en la sociedad sólo
existen los estratos socioeconómicos alto, medio y
bajo.
Veremos a continuación la matriz de transición
de un paso, es decir las probabilidades de pasar
en una generación una clase social a otra.

Estado 0: Clase alta

Estado 1: Clase media
Estado 2: Clase baja
Sigue
Diseño: Andrés Gómez 4-30
 0.45 0.48 0.07
A

P M 0.05 0.70 0.25 

  Hijos
B 
0.01 0.50 0.49
Padres

A M B

Por ejemplo el 1% de las personas que tuvieron

padres de clases baja logran llegar a ser personas
de clase alta.
Diseño: Andrés Gómez 4-31
 Recuerde  =  P
0.45 0.48 0.07
(A, M , B ) = (A, M , B ) 
0.05 0.70 0.25
 
0.01 0.50 0.49

Las ecuaciones de estado estable son:

A = APAA + MPMA + BPBA

M = APAM + MPMM + BPBM

B = APAB + MPMB + BPBB

1 = A + M + B
Sigue
Diseño: Andrés Gómez 4-32
Reemplazando los Pij obtenemos:

A = A0.45 + M0.05 + B0.01

Recuerde
que una de
M = A0.48 + M0.70 + B0.50
estas es es
redundante
B = A0.07 + M0.25 + B0.49

1 = A + M + B

Sigue
Diseño: Andrés Gómez 4-33
Resolviendo las ecuaciones obtenemos valores:

A = 0.07 B = 0.31 M = 0.62

Después de muchas generaciones, la probabilidad

de pertenecer a la clase alta, media y baja tiende a
0.07, 0.62, 0.31 respectivamente, es decir así se
estabiliza la sociedad.
Diseño: Andrés Gómez 4-34
Ejemplo.

Veamos ahora el caso de una constructora que

utiliza camiones para el transporte de materiales
y escombros. Se sabe que el problema más
común de los camiones es que se les obstruya el
filtro de aire.

El filtro puede estar limpio, parcialmente

obstruido o completamente obstruido. El costo
de reparación de un camión con el filtro
totalmente obstruido es $120/camión-día
Sigue
Diseño: Andrés Gómez 4-35
 L0.10 0.80 0.10

P  Po  0 0.50 0.50  Hoy en la
noche
O 
Hoy en
la  1 0 0 
mañana L Po O

Por ejemplo la probabilidad de que el camión

salga en la mañana con el filtro parcialmente
obstruido y llegue en la noche con el filtro limpio
es cero
Diseño: Andrés Gómez 4-36
Recuerde  =  P
0.10 0.80 0.10
(L, Po , O ) = (L, Po , O ) 
0 0.5 0.5 
 
 1 0 0 

Las ecuaciones de estado estable son:

L = LPLL + PoPPoL + OPOL

Po = LPLPo + PoPPoPo + OPOPo
O = LPLO + PoPPoO + OPOO
1 = L + Po + O
Sigue
Diseño: Andrés Gómez 4-37
Reemplazando los Pij obtenemos:

L = L0.10+ Po0+ O1

Po = L0.80+ Po0.50+ O0

O = L0.1 + Po0.50+ O0

1 = L + Po + O

Sigue
Diseño: Andrés Gómez 4-38
Resolviendo las ecuaciones obtenemos valores:

L = 0.286 Po = 0.457 O = 0.257

Después de un tiempo, al final de un día el 28.6%

de los camiones tienen el filtro limpio, el 45.7% lo
tienen parcialmente obstruido y el 25.7%
totalmente obstruido

Diseño: Andrés Gómez 4-39

Bajo estas circunstancias el costo del
mantenimiento correctivo sería

25.7% * $120/camión-día = $30.84/camión-día

Existe la posibilidad de hacer un mantenimiento

preventivo. El costo de reparación de un camión
con el filtro parcialmente obstruido sería
$20/camión-día

Veamos como quedaría la matriz de transición en

este caso
Sigue
Diseño: Andrés Gómez 4-40
 0.10 0.80 0.10
L

P Po  1 0 0  Hoy en la
  noche
O 0 
Hoy en
la  1 0
mañana L Po O

Por ejemplo la probabilidad de que el camión

salga en la mañana con el filtro limpio y llegue en
la noche con el filtro totalmente obstruido es 0.10

Diseño: Andrés Gómez 4-41

Recuerde  =  P
0.10 0.80 0.10
(L, Po , O ) = (L, Po , O ) 
1 0 0 
 
 1 0 0 

Las ecuaciones de estado estable son:

L = LPLL + PoPPoL + OPOL

Po = LPLPo + PoPPoPo + OPOPo
O = LPLO + PoPPoO + OPOO
1 = L + Po + O
Sigue
Diseño: Andrés Gómez 4-42
Reemplazando los Pij obtenemos:

L = L0.10+ Po1+ O1

Po = L0.80+ Po0+ O0

O = L0.1 + Po0+ O0

1 = L + Po + O

Sigue
Diseño: Andrés Gómez 4-43
Resolviendo las ecuaciones obtenemos valores:

L = 0.53 Po = 0.42 O = 0.05

Después de un tiempo, al final de un día el 53% de
los camiones tienen el filtro limpio, el 42% lo
tienen parcialmente obstruido y el 5% totalmente
obstruido

Bajo estas circunstancias el costo del

mantenimiento total sería

42% * $20/camión-día + 5% * $120/camión-día =

$14.4/camión-día
Diseño: Andrés Gómez 4-44