Universidad Nacional de Colombia Sede Medelln

Ecuaciones de Chapman-Kolmogorov. Habamos dicho que Pij(n) es la probabilidad condicional de que la variable aleatoria X, comenzando en el estado i se encuentre en el estado j despus de n pasos

Clase # 2

Ecuaciones de Chapman-Kolmogorov
2-1

Las ecuaciones de Chapman-Kolmogorov proporcionan un mtodo para calcular estas probabilidades de transicin de n pasos
2-2

Pij(n) =

Pik(m) Pkj(n-m) k=0

para toda i,j, n y 0 m n

Demostracin Sabemos que Pij(n) = P {Xn = j / X0 = i} Pij(n+m) = P {Xn+m = j / X0 = i}

entonces Al ir del estado i al estado j en n pasos el proceso estar en algn estado k despus de exactamente m pasos. Es slo la probabilidad condicional de que, si se comienza en el estado i el proceso vaya al estado k despus de m pasos y despus al estado j en n-m pasos.
2-3

Pij(n+m) =

k=0

P {X n+m = j , Xn = k / X0 = i}

2-4

Llamemos A: X n+m = j Llamemos B: Xn = k Llamemos C: X0 = i =

Pij(n+m) =

k=0

P {Xn+m = j , Xn = k / X0 = i}

k=0

P {Xn+m = j / Xn = k , X0 = i} * P {Xn = k / X0 = i}
No influye por ser Markoviano el proceso

Sabemos que

P (AB) = P(A/B) * P(B) P (AB /C) = P(A/B /C) * P(B /C) P ((AB)/C) = P(A/(B C)) * P(B/C)

k=0 M

P {Xn+m = j / Xn = k} * P {Xn = k / X0 = i}
M

Sigue
2-5

k=0

Pkj(m) Pik (n)

k=0
2-6

Pik (n) Pkj(m)

Si hacemos

P (n)

p00 ( n ) = p (n) M0
para n=0,1,.....
M

(n) pMM p0 M
(n)

Para m=n=1

P (2) = P (1)* P (1) = P2

Si asumimos por induccin P (n-1) = P n-1

Pij(n+m) = Pik (n) Pkj(m)

k=0

Para m = 1 y n = r-1 P (r-1+1) = P ( r ) = P (r-1) P (1) = Pr-1 P = Pr

P(n+m)

P(n) P(m)
2-7 2-8

Nota: El producto de 2 matrices de Markov siempre es una matriz de Markov

La matriz de probabilidades de transicin de n pasos se puede obtener calculando la n-sima potencia de la matriz de transicin de un paso

0 Pij 1 Es decir

j=0

Pij = 1

Cuando n no es muy grande la matriz de transicin de n pasos se puede calcular fcilmente, pero si n es muy grande los clculos resultan tediosos y los errores de redondeo pueden causar inexactitudes

2-9

2-10

Ejemplo Para el problema de inventarios donde la matriz de transicin de un paso estaba dada por:

La matriz de transicin de 2 pasos se obtiene :

0.080 0.632 P= 0.264 0.080

0.184 0.368 0.368 0.368 0 0 0.368 0.368 0 0.184 0.368 0.368

Sigue
2-11

0.080 0.632 P (2 ) = P 2 = 0.264 0.080

0.184 0.368 0.368 0.368 0 0 0.368 0.368 0 0.184 0.368 0.368

0.080 0.632 0.264 0.080

0.184 0.368 0.368 0.368 0 0 0.368 0.368 0 0.184 0.368 0.368

0.249 0.283 P (2 ) = 0.351 0.249

0.286 0.300 0.165 0.252 0.233 0.233 0.319 0.233 0.097 0.286 0.300 0.165
2-12

La matriz de transicin de 4 pasos se obtiene :

Ejemplo Consideremos el estado del tiempo, donde el llover maana , depende si llovi o no ayer y hoy. Estado 0 Estado 1 Estado 2 Estado 3
2-13

0.249 0.283 (4 ) 4 P =P = 0.351 0.249

0.286 0.300 0.165 0.252 0.233 0.233 0.319 0.233 0.097 0.286 0.300 0.165

0.249 0.283 0.351 0.249

0.286 0.300 0.165 0.252 0.233 0.233 0.319 0.233 0.097 0.286 0.300 0.165

Llovi ayer y hoy No llovi ayer y llovi hoy Llovi ayer y no llovi hoy No llovi ni ayer ni hoy
2-14

0.289 0.282 P (4 ) = 0.284 0.289

0.286 0.261 0.164 0.285 0.268 0.166 0.283 0.263 0.171 0.286 0.261 0.164

Las probabilidades son las siguientes La matriz de transicin de un paso es la siguiente

P ( llueva maana dado que llovi ayer y hoy ) = 0.7
0 = LL

P ( llueva maana dado que no llovi ayer y llovi hoy ) = 0.5 P ( llueva maana dado que llovi ayer y no llovi hoy ) = 0.4

P =

1 = NL 2 = LN 3 = NN

P ( llueva maana dado que no llovi ayer y no llovi hoy ) = 0.2

2-15

Ayer y hoy (Filas)

0 .7 0 .5 0 0

0 0 0 .4 0 .2

0 .3 0 .5 0 0

0 0 Hoy 0 .6 y 0 . 8 Maana

0 = LL 1 = NL 2 = LN 3 = NN

(Columnas)
2-16

Suponga que le preguntan Cul es la probabilidad de que llueva pasado maana, dado que llovi ayer y hoy ?
0 .7 0 .5 = 0 0 0 0 0 .4 0 .2 0 .3 0 .5 0 0
0 . 49 0 . 35 0 . 20 0 . 10
LL

P ( llueva pasado maana/ llovi ayer y hoy) = P ( llueva maana y pasado maana / llovi ayer y hoy) + P ( no llueva maana y llueva pasado maana/ llovi ayer y hoy) = 0.49 +0.12 = 0.61
LL

0 0 0 .6 0 .8
0 . 12 0 . 20 0 . 12 0 . 16
NL

0 .7 0 .5 0 0
0 . 21 0 . 15 0 . 20 0 . 10
LN

0 0 0 .4 0 .2

0 .3 0 .5 0 0

0 0 0 .6 0 .8

LL

P2 =
Ayer y hoy

NL LN NN

0 . 18 Maana y 0 . 30 0 . 48 Pasado maana 0 . 64

NN
2-17

P2 =
Ayer y hoy

NL LN NN

0 . 49 0 . 35 0 . 20 0 . 10
LL

0 . 12 0 . 20 0 . 12 0 . 16
NL

0 . 21 0 . 15 0 . 20 0 . 10
LN

0 . 30 0 . 48 0 . 64
NN

0 . 18 Maana y Pasado maana

2-18

Distribuciones no condicionales Las probabilidades de transicin de 1 o n pasos son probabilidades condicionales; por ejemplo Pij(n) = P {Xn = j / X0 = i} Si se desea la probabilidad incondicional P {Xn = j}

Denotemos esta distribucin por QX0(i) donde: QX0(i) = P{X0 = i} para i = 0,1,....M

r Q X 0 = {Q X 0 (1), Q X 0 ( 2),...Q X 0 ( M )}
Demostracin

Es necesario que se especifique la distribucin de probabilidad del estado inicial

2-19

r QX n = {Q Xn (1), Q Xn (2),...QXn ( M )}
2-20

Q Xn ( j ) = P { X

= j} =

P{ X

= j , X 0 = i}

=
=

P{ X
Pij
(n )

= j / X 0 = i} P { X

= i}

En el ejemplo de inventarios se supuso que inicialmente se tenan 3 unidades en el almacn.

Q X 0 ( i ) = Q X 0 ( i ) Pij
i

(n )

QX0(0)= QX0(1) = QX0(2)=0 QX0(3)= 1

En forma matricial

r r (n) Q X n = Q X n Pij
2-21

2-22

La probabilidad incondicional de que haya tres cmaras en inventario dos semanas despus de que el sistema se puso en marcha es:

Si en lugar de lo anterior la probabilidad de tener 0,1,2 o 3 cmaras de inventario inicial fuera la misma, entonces QX0(i)= 1/4 para i=0,1,2,3

P{X2 = 3} = QX0(0) P03(2) + QX0(1) P13(2) + QX0(2) P23(2) + QX0(2) P33(2) =0 *0.165+ 0*0.233 + 0*0.097 + 1*0.165 = 0.165

P{X2 = 3} = QX0(0) P03(2) + QX0(1) P13(2) + QX0(2) P23(2) + QX0(2) P33(2) = *0.165+ *0.233 + *0.097 + *0.165 = 0.165 Resultado coincidencial
2-23 2-24