Documentos de Académico
Documentos de Profesional
Documentos de Cultura
Captulo 2
2.1. Introduccin
25
________________________________________________________________________________
P { X1 = j | X0 = i } = Pi{ X1 = j }
Las probabilidades de transicin pij satisfacen
pij = 1 .
pij 0, i, j 0 y
j E
0 p00
1 p10
2 p20
1
p01
p11
p21
2
p02
p12
p22
=P
Definicin 2.3. Una matriz P se llama estocstica si cada uno de sus elementos, pij 0,
i, j 0 y pij = 1 , es decir cada uno de los elementos de la matriz es mayor o igual
j E
Definicin 2.4. Una matriz P se llama doblemente estocstica si cada uno de sus elementos
pij 0 , i, j 0 , pij = 1 y pij = 1
j E
i E
La definicin 2.4 nos dice que una matriz es doblemente estocstica si tanto sus
columnas como sus renglones suman uno.
Ejemplo 2.1. Supngase que la posibilidad de que el da de maana llueva slo depende
de la situacin climatolgica de hoy y no de das previos, adems supongamos que si
llueve hoy, la probabilidad de que maana llueva es y si hoy no llueve, la
probabilidad de que llueva maana es , esto quiere decir que si hoy llueve, entonces
maana no llover con probabilidad 1 y si hoy no llueve, la probabilidad de que
maana tampoco sera 1 , si consideramos que el estado 0 es que llueva y al estado 1
Captulo 2
Cadenas de Markov
________________________________________________________________________________
26
que no llueva, claramente bajo los supuestos que hemos hecho ste ejemplo es una
cadena de Markov con la siguiente matriz de transicin,
P=
1
1
Ejemplo 2.2. Un apostador tiene $N , en cada juego que apuesta tiene la probabilidad p
de ganar $1 o perder $1 con probabilidad 1 p , el jugador se retirar cuando se quede
sin dinero o bien cuando haya duplicado su dinero original $N.
Si consideramos Xn como el dinero que tienen el apostador despus de la n-sima
vez que apuesta, Xn claramente es una cadena de Markov, ya que lo que va apostar
nicamente depender del dinero que tenga actualmente y no de lo que haya jugado
antes, Xn tienen espacio de estados E = {0, 1 , 2, , 2N}, sus probabilidades de
transicin son
pij = p
con j = i +1 , i = 1, 2, , 2N 1
pij = 1 p con j = i 1, i = 1, 2, , 2N 1 y
p00 = p2N,2N = 1
los estados 0 y 2N son estados absorbentes, este concepto lo definiremos ms adelante,
de aqu obtenemos la siguiente matriz de transicin
0
1
1 p
0
0
1 p
P=
0
0
0
0
0
p
0
0
0
p
0
0
0
0
0
0
0
0
0
0
1 p 0
0
0
0
0
0
+ Yn
si n = 0
si n = 1, 2,
Captulo 2
2.1. Introduccin
27
________________________________________________________________________________
P= 0
p1
p0
0
0
p2
p1
p0
0
p3
p2
p1
p0
Teorema 2.1. Sea {Xn; n T , n 0} una cadena de Markov, para todo m, n T , con
m, n 0 y i0, i1, , im E
P{ Xn+1 = i1, , Xn+m = im | Xn = i0 } = pi 0i1 pi1i 2
pi m 1i m
Demostracin.
P{ Xn+1 = i1, , Xn+m = im | Xn = i0 }
= P{ Xn+2 = i2, , Xn+m = im | Xn = i0, Xn+1 = i1} P{ Xn+1 = i1| Xn = i0 }
por ser {Xn; n T , n 0} una cadena de Markov y por definicin de probabilidad de
transicin
= P{ Xn+2 = i2, , Xn+m = im |Xn+1 = i1} pi 0i1
repitiendo el primer paso
= P{ Xn+3 = i3, , Xn+m = im |Xn+1 = i1, Xn+2 = i2} pi 0i1 P{ Xn+2 = i2|Xn+1 = i1}
= P{ Xn+3 = i3, , Xn+m = im |Xn+2 = i2} pi 0i1 pi1i 2
Captulo 2
Cadenas de Markov
________________________________________________________________________________
28
pi m 1i m
pin 1in
Demostracin.
P{ X0 = i0, X1 = i1, , Xn = in } = P{ X1 = i1, , Xn = in | X0 = i0 } P{ X0 = i0 }
Del teorema 2.1 y de la definicin de distribucin inicial
P{ X0 = i0, X1 = i1, , Xn = in }= (i0) pi 0i1 pi1i 2
pin 1in
P{X n +l +1 =
kE
j , X n +l = k | X n = i }
Captulo 2
2.1. Introduccin
29
________________________________________________________________________________
= P{X n +l +1 = j | X n +l = k , X n = i }P{X n +l = k | X n = i }
kE
= P{X n +l +1 = j | X n +l = k}P{X n +l = k | X n = i }
kE
pkj pikl
kE
pikl pkj
kE
= pijl +1
para todo j E .
Demostracin.
P{ Xn = j }=
P{X n =
i E
j , X 0 = i}
P{X 0 = i }P{X n =
i E
j | X 0 = i}
P{X 0 = i } pijn
i E
pikn pkjm
kE
Captulo 2
Cadenas de Markov
________________________________________________________________________________
30
Demostracin.
pijn + m = P { Xn+m = j | X0 = i }
=
P{X n +m =
j , X m = k| X 0 = i}
P{X n +m =
j | X m = k , X 0 = i }P{X m = k | X 0 = i }
kE
kE
= P{X n + m = j | X m = k}P{X m = k | X 0 = i }
kE
pikm pkjn
kE
Ejemplo 2.4. Del ejemplo 2.1, consideremos que = 0.7 (la probabilidad de que maana
llueva dado que hoy llueve) y = 0.4 (la probabilidad de que maana llueva dado que
hoy no llueva), entonces la matriz de transicin es:
0.7 0.3
P=
0.4 0.6
Cul es la probabilidad de que llueva en 4 das dado que hoy est lloviendo?
4
Tenemos que calcular p00
, para obtenerlo calculemos la matriz de transicin P4 ,
luego entonces
0.61 0.39
P2 = P P =
0.52 0.48
0.5749 0.4251
P4 = P2 P2 =
0.5668 0.4332
por tanto la probabilidad de que llueva dentro de 4 das dado que est lloviendo hoy es
0.5749.
Captulo 2
2.2. Clasificacin de estados.
31
________________________________________________________________________________
Definicin 2.5. Si la probabilidad pijn es no cero para alguna n 1 se dice que el estado
i lleva al estado j o tambin que j es alcanzado o accesible desde el estado i se denota por
i j.
Definicin 2.6. Se dice que los estados i, j se comunican si i j y j i , se denota
por i j .
Definicin 2.7. Una cadena de Markov es irreducible si todos los estados se comunican.
La definicin anterior nos dice que una cadena de Markov es irreducible si cada
estado es alcanzado desde cualquier otro, en algn nmero de pasos.
pirn prkn
1
r E
Captulo 2
Cadenas de Markov
________________________________________________________________________________
32
y EiEj = para i j,
Captulo 2
2.2. Clasificacin de estados.
33
________________________________________________________________________________
Definicin 2.10. Un conjunto C de estados se dice que es cerrado si pijn = 0, para alguna
n 1 y para todo i C y j C.
Definicin 2.11. j es un estado absorbente si, p njj = 1 y p njk = 0 para toda n 1 y para
todo j k.
La definicin anterior nos dice que, si un conjunto cerrado C contiene solamente
un estado, entonces se le llama absorbente.
A partir de las definiciones es claro que si un proceso no contiene conjuntos
cerrados ser irreducible.
Definamos a
fij = Pi{ Tj < } =
m =1
m =1
Pi {T j = m} = f ijm
Captulo 2
Cadenas de Markov
________________________________________________________________________________
34
k{E j }
pik f kj .
f ijm
m =1
pij
=
pik f kjm 1 m 2
k{E j }
I {X k = j }
Nj =
k =0
(f )
m 1
jj
1 f ij
2) Pi {Nj = m }=
f ij f jj
( 1 fjj ) , m = 1, 2,
m=0
( ) (1 f )
(f )
jj
m 1
m 1
jj
m = 1, 2,
para i j.
Captulo 2
2.2. Clasificacin de estados.
35
________________________________________________________________________________
( )
( 1 fjj ) = f jj
m 1
( 1 fjj ).
Ahora demostremos 2), para m = 0, significa que j nunca ser alcanzado desde i,
es decir
Pi {Nj = 0 }= Pi {Tj = } = 1 Pi {Tj < } = 1 fij .
Para m 0, la diferencia con el inciso anterior es que ya estamos en el estado j ( con
probabilidad uno ) luego entonces slo hace falta considerar la probabilidad de pasar
de i a j por primera vez, esto suceder con probabilidad
Pi {Tj < } = fij
tenemos entonces que
( )
Pi {Nj = m }= fij f jj
m 1
( 1 fjj )
Definicin 2.16.
1) j es recurrente si Pj{ Tj < } = 1 , significa que si estamos en el estado j, la
probabilidad de que el proceso regrese alguna vez al estado j es uno.
2) Si no es recurrente se dice que es transitorio. Es decir Pj{ Tj = } > 0.
3) Si j es recurrente y Ej( Tj ) = se dice que j es cero recurrente o recurrente nulo.
4) Si j es recurrente y Ej( Tj ) < se dice que es recurrente positivo.
Si fjj = 1 entonces j es recurrente, que fjj = 1 significa que tendremos un nmero
infinito de llegadas a j, P{Nj = } = 1 y que para todo m, P{ Nj = m }= 0, tambin
podemos ver que Ej( Nj ) = .
Captulo 2
Cadenas de Markov
________________________________________________________________________________
36
Si fjj <1, tenemos que Pj{ Tj < } <1, lo que significa que Pj{ Tj = } > 0, esto
significa que existe la probabilidad de nunca regresar a j, es decir, que j es transitorio.
Tambin podemos ver que si fjj <1, del teorema 2.9 es claro que la distribucin de Nj
cuando empieza en j es una geomtrica con parmetro 1 fjj.
Teorema 2.10. Si fjj <1 entonces Nj iniciando en j se distribuye como una geomtrica
con parmetro 1 fjj.
Definicin 2.17. Sea R, la matriz con elementos rij = Ei( Nj ) con i, j E, a la matriz
R se le llama matriz potencia.
rij = Ei( Nj ) = Ei I {X n = j }
n =0
= Pi {X n = j }
n =0
= pijn
n =o
1
1 f jj
1
1 f jj
Captulo 2
2.2. Clasificacin de estados.
37
________________________________________________________________________________
rij =
mPi {N j = m}
m =1
mf ij (1 f jj ) ( f jj )
m 1
m =1
( )
= fij m(1 f jj ) f jj
m =1
m 1
= fij Ej( Nj )
= fij rjj
Teorema 2.12.
1)
Si j es transitorio o recurrente nulo, entonces para todo i E
lim pijn = 0.
2)
y tambin
lim pijn = fij ( j )
para todo i E.
Demostracin.
Aqu probaremos el caso cuando j es transitorio, para una demostracin de j
recurrente nulo y el inciso 2 puede encontrarse en inlar [ 1975, p. 301].
Si j es transitorio entonces rjj = Ej( Nj ) < , entonces
rij = fij rjj < rjj <
Captulo 2
Cadenas de Markov
________________________________________________________________________________
38
P {B} = ( 1 fkj )
Captulo 2
2.2. Clasificacin de estados.
39
________________________________________________________________________________
m +n +l
= Pk{ Xm+n+l = k} = pkim pikn +l
pkk
i E
pkim pikn +l
i E
es decir, que
m +n +l
pkjm p njj p ljk
pkk
(1)
rkk = Ek( Nk ) =
Pk {X n = k}
n =0
n
= pkk
n =0
n = m +l
n
pkk
n + m +l
= pkk
n =0
por (1)
pkkn +m +l
n =0
Captulo 2
Cadenas de Markov
________________________________________________________________________________
40
Teorema 2.16. Los estados recurrentes se dividen en una manera nica en conjuntos
cerrados e irreducibles.
Teorema 2.17. Si {Xn; n T , n 0} es una cadena de Markov, con E irreducible
entonces.
1) Todos los estados son recurrentes.
2) Todos los estados son transitorios.
Demostracin.
1) Por el teorema anterior y el teorema 2.14 si j es recurrente y E es irreducible,
entonces todo elemento de E debe ser recurrente.
2) Por el teorema 2.14, sabemos que para j, k E, si j es recurrente y j k entonces k
es recurrente, negando ambas proposiciones, tenemos que, si k es transitorio entonces j
es transitorio, k j .
Captulo 2
2.2. Clasificacin de estados.
41
________________________________________________________________________________
pkjs p njj p rjk =0, pero como pkjs p rjk > 0 entonces p njj =0, es una contradiccin ya que n
es un mltiplo de d( j ), entonces, por tanto d( k ) = d( j ).
pijn
= 1, entonces
j C
1= lim
pijn
j C
pijn =0
nlim
j C
P=
1
0
0
0
Captulo 2
Cadenas de Markov
________________________________________________________________________________
42
Dado que p13 >0 y p31 >0 y p12 = p14 = p32 = p34 = 0, los estados {1, 3} son cerrados e
irreducibles, son recurrentes positivos por que son finitos, esto es por el teorema 2.19,
los estados 2 y 4 son transitorios.
0.2
0.8
3
1
0.3
0.3
0.4
fij > 0
y si
i j
fij = 0
rij = 0.
Captulo 2
2.2. Clasificacin de estados.
43
________________________________________________________________________________
K 0
P=
L Q
de manera similar tendramos, para m 0 en los enteros
Km
P =
L
m
0
,
Qm
m =0
m
R = P =
m =0
L m
m =0
con
S=
Qm = I + Q + Q
K' 0
=
L' S
m
Q
m =0
m =0
tenemos que,
SQ = Q + Q2 + Q 3 +
= QS
SQ = QS = S I
( I Q )S = I y S(I Q) = I
Si D es finita entonces S es la inversa de I Q . Si no es finita podemos tener muchas
soluciones.
Captulo 2
Cadenas de Markov
________________________________________________________________________________
44
= I + Q( I + QY)
= I + Q + Q2 Y
y sustituyendo Y sucesivamente
Y = I + Q + Q2 +
+ Qn + Qn+1 Y,
tenemos que
Y I + Q + Q2 +
+ Qn
S=
Qm Y.
m =0
Captulo 2
2.2. Clasificacin de estados.
45
________________________________________________________________________________
0.4
0
0.5
0
P=
0
0
0.4
0.1
0.3 0.3 0
0
0
0
0
0.6 0.4 0
0
0
0
0
0.5 0
0
0
0
0
0
0
0
0
1
0
0
0
0
0 0.8 0.2 0
0
0
0
0
0
0 0.4 0.6 0
0.4 0
0
0
0
0 0.2
0 0.3 0
0 0.6 0
0
o bien,
P=
0
1
0.8 0.2
0
0
0
0.4 0.4 0
0.1 0 0.3
0.4 0.6 0
0
0 0.2
0.6 0
0
Q= 0
0 0.2
0.6 0
0
Captulo 2
Cadenas de Markov
________________________________________________________________________________
46
0
125 75 15
0.6 0.6
1
S = (I Q ) 1 = 0
0.2 = 15 75 15 ,
1
66
0.6
0
1
75 45 75
R=
125
15
75
66
66
66
75
75
45
66
66
66
15
15
75
66
66
66
1
1 f jj
rjj ( 1 fjj ) = 1
rjj 1 = rjjfjj
fjj = 1
1
r jj
Captulo 2
2.2. Clasificacin de estados.
47
________________________________________________________________________________
rij = fijrjj
fij =
rij
r jj
0
P= 0
Q Q
2
1
0
0
P3
Q3
0
0
0 .
P =0 0
b b
2
1
0
0
1
b3
0
0
0
Captulo 2
Cadenas de Markov
________________________________________________________________________________
48
kC j
pik , con i D
o ms simple
I 0
P =
B Q
con B = ( b1, b2, , bm), los elementos de B son bij =
kC j
I
Pn =
Bn
donde Bn =(I + Q + Q2 +
Qn
= lim bn + 1ij
n
k
= Q B
k =0
=SB
luego entonces si i es transitorio, fik = (sb)ij , para todo k Cj , por el teorema anterior
podemos definir
Captulo 2
2.2. Clasificacin de estados.
49
________________________________________________________________________________
Lema 2.1. Sea i un estado transitorio desde el cul nicamente un nmero finito de
estados transitorios puede ser alcanzado. Adems, supngase que hay nicamente una
clase C de estados recurrentes, que puede ser alcanzado desde i. Entonces fij = 1 para
todo j C.
Demostracin.
Al existir nicamente un conjunto de estados recurrentes que son alcanzados a
partir del conjunto de estados transitorios D, tenemos que la matriz B se convierte en
un vector columna, por definicin pij = 1 , es decir, si 1 es el vector columna
j E
+ Qn-1 )B
+ Qn-1 )( 1 Q1 )
=I 1+ Q1 + Q2 1+
+ Qn-1 1 Q1 Q2 1
Qn 1
= 1 Qn 1
As si tomamos el lmite
lim Bn = lim ( 1 Qn 1 )
dado que
lim Q
Qn < , entonces n
Captulo 2
Cadenas de Markov
________________________________________________________________________________
50
Ejemplo 2.7. Ahora calculemos la matriz F de la cadena del ejemplo 2.6, si i, j son
recurrentes y pertenecen a la misma clase entonces fij = 1, cuando pertenecen a
diferentes clases fij = 0, si i es recurrente y j es transitorio fij = 0. Si i, j son transitorios
usamos los resultados de R para calcular
rij
1
fjj = 1
, fij =
r jj
r jj
por ejemplo sea i = 6, j = 7, del ejemplo 2.6 r67 =
75
66
y r77 =
75
luego entonces
66
f67 = 1.
Y usando el lema 2.1 para el caso en que i es transitorio y j es recurrente fij = 1, as
1
1
1
F=
1
1
1 1
1 1
1 1
0
1 1
1 1
1 1
1 1
1 1
0.472
0.20
0.12
0.12
0.20
0.60
0.60
0.12
Captulo 2
2.3. Distribucin estacionaria
51
________________________________________________________________________________
2) = P, es decir, ( j ) =
( i ) pij
para toda j E.
iE
( j ) = 1
j E
tiene una solucin . Si existe una solucin esta es positiva, ( j ) > 0 para toda j,
es nica y
( j ) = lim pijn
para todo i, j E.
Demostracin.
Si j es recurrente positivo y aperidico por el teorema 2.12
lim pijn = ( j ) >0
j E
j E
= lim pijn = 1
n
es una distribucin.
Sea pijn +1 =
pikn pkj
kE
( j ) = lim pijn +1
n
kE
pikn pkj
nlim
kE
( k ) pkj
kE
j E
Captulo 2
Cadenas de Markov
________________________________________________________________________________
52
= P
Todava nos hace falta revisar su unicidad, sea otra solucin
= P
= PP
= PPP
= Pn
( j ) =
( i ) pijn
para todo j E
iE
= lim ( i ) pijn
n
i E
pijn
( i ) nlim
i E
( i ) ( j )
iE
= ( j )
( i )
iE
=(j)
Ahora demostremos la otra parte del teorema, es decir, hay que probar que la
existencia de una solucin al sistema de arriba implica que todos los estados son
recurrentes positivos.
Sea una distribucin estacionaria
= P = Pn
( j ) =
( i ) pijn
para todo j E.
i E
entonces
( j ) = lim ( i ) pijn =
n
i E
pijn
( i ) nlim
i E
=0
Captulo 2
2.3. Distribucin estacionaria
53
________________________________________________________________________________
( j )
j E
recurrentes positivos.
P= 0
0
0
0.1
0.8
0.3
0
0
0
0.1
0.1
0
0
0
0
0
0
0
0
0
0
0.3 0.5 0.2 0
0
0.6 0 0.4 0
0
0 0.4 0.6 0
0
podemos ver que los estados {0, 1} forman una clase de conjunto de recurrencia C1, los
estados {2,3,4} forman otra clase de conjunto de recurrencia C2, ambos conjuntos est
formado por estados aperidicos y los estados {5, 6} son transitorios. Calculemos la
matriz lim Pn , para calcularla usamos el teorema 2.12.2 lim pijn = fij ( j ) y el resultado
n
0.2 0.8
P1 =
0.7 0.3
para calcularla tenemos que resolver el siguiente sistema de ecuaciones
(0) = 0.2(0)+0.7(1)
(1) = 0.8(0)+0.3(1)
(0) + (1) = 1
de la primera ecuacin (0) =
0.7
(1), sustituyendo en la ltima ecuacin
0.8
0.7
(1)+(1) = 1
0.8
Captulo 2
Cadenas de Markov
________________________________________________________________________________
54
de aqu
(1)=
7
8
y (0) =
15
15
P2 = 0.6 0 0.4
0 0.4 0.6
+0.4(4)
7
(2)
6
5
5
y (4) = (3) (2)
2
4
ya que los estados son recurrentes y aperidicos, sabemos que el sistema tiene solucin
7
10
nica, hacemos (2)=1, obtenemos que (3)= y (4)= , sumamos las tres
6
6
23
cantidades (2) + (3) + (4) =
y luego las dividimos entre la suma para hacer que
6
6
7
10
y (4)= , para
se cumpla la ltima condicin, obtenemos que (2)= , (3) =
23
23
23
n
calcular por completo la matriz lim P , nos hace falta calcular la matriz F, para esto
n
0.2 0.4
Captulo 2
2.3. Distribucin estacionaria
55
________________________________________________________________________________
S = (I Q )-1 =
=
0.5 1.75 ,
0.2 0.6
R=
1.5 0.25
0.5 1.75
0
entonces,
1 1
1 1
F=
0
0.2 0.2
0.4 0.4
1 1 1
1 1 1
1 1 1
1
3
1
3
1
7
3
7
Captulo 2
Cadenas de Markov
________________________________________________________________________________
56
lim Pn =
n
7
15
7
15
8
15
8
15
0
1.4
15
2.8
15
1.6
15
3.2
15
0 0
0 0
6
23
6
23
6
23
7
23
7
23
7
23
10
23
10
23
10
23
4.8
23
3.6
23
5.6
23
4.2
23
8
23
6
23
Veamos ahora que ocurre en caso de que los estados sean peridicos.
Teorema 2.23. Sea X una cadena de Markov, irreducible con estados peridicos y
recurrentes con periodo , entonces los estados pueden ser divididos en conjuntos
disjuntos B1, B2, ,B tal que pij =0 a no ser que i B1 y j B2 o i B2 y j B3 o
o i B y j B1.
Demostracin
Sin prdida de generalidad tomemos los estados 0 y j, dado que la cadena es
irreducible 0 j y j 0, es decir, existen enteros r, s tal que
p0r j >0 y = p sj 0 >0
m +s
= p0mj p sj 0 = p0mj
p00
m +s
como el estado 0 tiene periodo , p00
>0 si m + s = k, si p0mj >0 entonces m =k s
Teorema 2.24. Sea P la matriz de transicin de una cadena de Markov irreducible con
estados peridicos, con periodo y B1, B2, , B definidos como el teorema anterior.
Captulo 2
2.3. Distribucin estacionaria
57
________________________________________________________________________________
Entonces en la cadena de Markov con matriz de transicin P = P , las clases B1, B2,
, B son conjuntos cerrados e irreducibles de estados aperidicos.
Demostracin.
En pasos la cadena se mueve de B1 a B1, de B2 a B2 , , de B a B, veamos esto
paso por paso, en un paso slo podemos llegar al conjunto inmediato a l, esto es, pij
=0 a no ser que i B1 y j B2 o i B2 y j B3 o o i B y j B1, en dos paso
ocurrira lo siguiente, pij2 =0 a no ser que i B1 y j B3 o i B2 y j B4 o o i B
y j B2, en 1 pasos, ocurrira lo siguiente, pij 1 =0 a no ser que i B1 y j B o
iB2 y j B1 o o i B y j B1, entonces como podemos ver en pasos, pij =0
a no ser que i B1 y j B1 o i B2 y j B2 o o i B y j B, como se asevero
al inicio, la matriz de transicin en pasos la podemos poner de la siguiente forma,
P1
P =P =
P2
analicemos que ocurre con los estados de esta matriz de transicin, podemos ver que
cada una de las clases de conjuntos forman un conjunto cerrado e irreducible, adems
son aperidicos, p ij > 0 para i, j B, recordemos que ya no trabajamos con la matriz
P, ahora estamos trabajando sobre la matriz P .
n , excepto, cuando para todos los estados pij = 0 , sin embargo los lmites de
Pn +m existen cuando n, pero dependen del estado inicial i. Con el siguiente
teorema terminaremos con el estudio de los estados peridicos, slo se demuestra la
primera parte del teorema, la otra parte de la demostracin se puede consultar en inlar
[ 1975, p. 163].
Captulo 2
Cadenas de Markov
________________________________________________________________________________
58
( j ) si i B , j B , = + m(mod )
lim pijn + m =
n
cualquier otro caso
0
( j ), j E, son la nica solucin de
( j ) =
( i ) pij
iE
( j ) = ,
j E.
j E
Demostracin.
Del teorema 2.24 la cadena correspondiente a P = P , tiene clases de
conjuntos, de estados recurrentes positivos y aperidicos. Sea 1, 2, ,, la
distribucin lmite correspondiente de B1, B2, B y ( j ) = ( j ) si j B.
Sea m { 0, 1, , 1} un valor fijo, supngase que i B, y sea = +m(mod ).
Tenemos,
pijn + m =
pikm pkjnp
k
pikm pkjn si j B
= kB
0
cualquier otro caso
dado que pikm =0 excepto si k B , y para k B , pkjn = 0 a no ser que j B
tambin. Para k, j B , lim pkjn = ( j ), independiente de k, tomando el lmite en
n
Con este ltimo teorema y junto con el teorema 2.22 podemos enunciar el
siguiente resultado.
Captulo 2
2.3. Distribucin estacionaria
59
________________________________________________________________________________
( j ) =
( i ) pij , j E
iE
Entonces todos los estados son recurrentes no nulos o positivos, si, y slo si, existe una
solucin con
( j ) = 1
j E
qii qij
i 1A
y en general Qn sera,
qijn =
qii qi i
i 1A i 2 A
i n A
1 2
qin j
= Pi { X1 A, X2 A, , Xn1 A, Xn = j }
qijn =
Pi { X1 A, X2 A, , Xn1 A, Xn A }
j A
Si n crece, decrece
qijn
porque
j A
Captulo 2
Cadenas de Markov
________________________________________________________________________________
60
Sea
qijn = lim Pi { X1 A, X2 A, , Xn1 A, Xn A }
n
n
f( i ) = lim
j A
0 h 1,
Demostracin.
Sea fn( i ) = qijn = Pi {X1 A, X2 A, , Xn1 A, Xn A }
j A
f 1 f2 f 3
y
f = lim fn
n
tenemos que
fn+1( i ) =
qikfn ( k )
kA
tomando el lmite
f( i ) =
qikf(k )
kA
luego entonces f es una solucin a h = Qh, ahora probemos que es una solucin
mxima. Sea h otra solucin, h 1
h = Qh entonces h = Qn h Qn 1 = fn
haciendo n , h f, por tanto f es una solucin mxima.
Captulo 2
2.3. Distribucin estacionaria
61
________________________________________________________________________________
Slo hace falta probar la ltima parte, para f = 0 es trivial, sea c = sup f( i )
i A
Teorema 2.27. Sea X una cadena de Markov irreducible con matriz de transicin P, y
Q es la matriz que obtenemos a partir de P al eliminar la fila y columna k, k E.
Todos los estados son recurrentes, si, y slo si, la nica solucin de h = Qh es h = 0.
Demostracin.
Sea A = E{ k }, como la cadena es irreducible de k podemos ir a A, y sea
f( i ) = lim Pi { X1 A, X2 A, , Xn1 A, Xn A }
n
0 q 0 p
P=
0 0 . .
0 0 0 .
0 0 0 0
Captulo 2
Cadenas de Markov
________________________________________________________________________________
62
1
(0)
q
(2) =
1
q
1
(3) =
q
1
p
(0) (0) = 2 (0)
q
q
p
p2
p
2 (0) (0) = 3 (0)
q
q
q
p
<1 y
q
p
q
j 1
p j 1
(0) = j (0) para j = 1, 2, 3,
q
Captulo 2
2.3. Distribucin estacionaria
63
________________________________________________________________________________
1 p j 1
1 1
0)
=
+
(
j
)
=
1
(
1+
q
q
j
0
j =0
=
q 1 q
2q
(0)
(0) =
haciendo
(0) =
p
q p
1
= 1
2
q
2q
(2.1)
(2.2)
por el teorema 2.22. podemos decir que para p < q los estados son recurrentes no nulos
o positivos.
Si p q la serie converge nicamente si (0) = 0, sabemos que para p q los
estados no son recurrentes positivos, entonces los estados deben ser, recurrentes nulos
o transitorios, para distinguir entre estos dos casos usaremos el teorema 2.27,
excluyendo de P la fila y la columna del estado cero, obtenemos la siguiente matriz
0
q
0
Q=
0
0
p
0
q
0
0
0
0
p
0
.
0
0
0 0
0 0
p 0
. .
. .
0 .
Captulo 2
Cadenas de Markov
________________________________________________________________________________
64
q
q
h(3) h(2) =
(h(2) h(1)) = h(1)
p
p
q
q
h(4) h(3) = (h(2) h(1)) = h(1)
p
p
i 1
q
(h(2) h(1)) = h(1) , i = 2, 3,
p
luego entonces,
h( i +1) = (h( i +1) h( i ))+(h( i ) h( i 1 )) +
q i q i 1
= + +
p p
+(h(2) h(1))+h(1)
q
+ 1 h(1)
p
q
+ 1 c ,
p
i = 1, 2, 3,
Captulo 2
2.3. Distribucin estacionaria
65
________________________________________________________________________________
q
< 1, la suma de lo que est dentro de los parntesis
p
sera
q
S =
p
tomando a c = 1
q
1
q
p
+ + 1=
q
p
1
p
i 1
q
, se cumple que 0 h( i ) 1, para toda i = 1, 2, 3, . Tenemos
p
que
i
q
h( i ) = 1 , para toda i = 1, 2, 3,
p
entonces en este caso por el teorema 2.27 los estados son transitorios.
En este ejemplo ya vimos como clasificar los estados, ahora calculemos la
distribucin lmite para la cadena. Para p < q, ya vimos que los estados son recurrentes
no nulos y peridicos con periodo = 2, tenemos dos clases de conjuntos B1={ 0, 2,
4,} y B2 = {1, 3, 5, }, ya resolvimos el sistema = P, la nica variante que habra
( j ) =
2 y no
j =0
q p
p
= 1
q
q
( j ) =1
j =0
como lo
Captulo 2
Cadenas de Markov
________________________________________________________________________________
66
si j = 0
1 q
( j ) =
j 1
1 1 p p
si j 1
q
q q
luego entonces la distribucin invariante para B1 y B2 es:
p p p3
( (0), (2), (4), ) = 1 1, 2 , 4 ,
q q q
p 1 p2 p4
( (1), (3), (5), ) = 1 , 3 , 5 ,
q q q q
lim P2n
1 0
1
0 q
1 0
p
= 1
q 0 1
. .
. .
. .
p
q2
p3
q4
p2
q3
p4
q5
p
q2
p3
q4
p2
q3
p4
q5
.
.
.
.
.
.
.
.
.
.
.
.
p2
q3
p4
q5
p
q2
p3
q4
p2
q3
p4
q5
p
q2
p3
q4
.
.
.
.
.
.
.
.
.
.
.
.
lim P2n+1
0 1
q
1 0
0 q1
p
= 1
q 1 0
. .
. .
. .
2.4 Ejercicios.
Ejemplo 2.10. Un artculo se almacena en una bodega de tal manera que se pueda
satisfacer la demanda del artculo, la bodega puede almacenar hasta S artculos, si hay sm
artculos entonces se llena la bodega hasta S, si la cantidad de artculos est entre
[sm+1,S] no se hace nada, la demanda de artculos en la semana n es de Dn, y
suponemos que {Dn} son variables aleatorias independientes e idnticamente
distribuidas e independientes de la cantidad inicial X0 de artculos, la demanda de k
unidades en la semana sucede con una probabilidad pk y consideremos a Xn como el
nivel de la bodega al principio de la semana, cada semana se realiza la inspeccin en la
bodega y en caso de que se requiera llenar la bodega, esta se llenar inmediatamente
para iniciar la semana n con la bodega llena si es necesario. Tenemos el siguiente
conjunto de estados E = {S, S-1, , sm+1}, es decir, los valores que puede asumir el
proceso en la semana n + 1, es;
X n Dn X n Dn > s m
Xn+1 =
X n Dn s m
S
Es claro que Xn+1 nicamente depende de Xn y Dn es independiente de los niveles de la
bodega.
La probabilidad de pasar de tener Xn = i artculos en la semana n en la bodega
a tener Xn+1 = j artculos la calculamos de la siguiente manera:
Para i S:
Si sm + 1 j i entonces tenemos que Dn = Xn Xn+1 = i j, por tanto pij
= pi j y para Xn+1 = j = S tenemos que, Xn Dn sm o bien Xn sm Dn , esta
ocurra con la siguiente probabilidad
P{ i sm Dn } =
k i s m
pk
Para i = S :
Si sm + 1 j S 1 entonces tenemos que Dn = Xn Xn+1 = S j, por tanto
pij = pS j y para Xn+1 = j = S pueden pasar dos cosas si hay demanda, tenemos que, Xn
Dn sm o bien Xn sm Dn, esto ocurre con la siguiente probabilidad
P{ S sm Dn } =
k S s m
pk
Captulo 2
Cadenas de Markov
________________________________________________________________________________
68
y la otra es que no tengamos demanda en toda la semana y esto ocurre con probabilidad
p0 ambos eventos son disjuntos, entonces la probabilidad de que Xn+1 = S dado que
Xn = S es :
p0 +
k S s m
pk
pij =
pk para j = S
k
i s m
Si i = S:
para s m j S 1
pS j
pij = p +
pk para j = S
0 k
S s m
Por construccin todos los estados se intercomunican, todos son accesibles uno
del otro, tenemos que E < , cerrado e irreducible y los estados son por tanto
recurrentes positivos, esto es por el teorema 2.19.
Ejemplo 2.11. A Mark Goldman, vicepresidente de NBS TV, se le encarg determinar
una poltica de programacin para la cadena. La NBS compite para captar televidentes
con las cadena ABS y CBC. Al principio de cada temporada cada una de las cadenas
intenta captar una mayor cantidad de televidentes, incluyendo nuevos programas y
volviendo a programar otros.
Goldman se encontraba en problemas por que la NBS haba tenido un mal
desempeo en las ltimas dos temporadas con el formato de sus programas. Tambin
haban surgido crticas porque la cadena tenda a cancelar sus programas con mucha
rapidez si el nmero de televidentes era inicialmente bajo. Como resultado de las
crticas se haba decidido no cancelar ningn programa hasta que fuera evidente que
seguira teniendo un nmero reducido de televidentes.
Dado que los televidentes normales con bastante frecuencia tenderan a cambiar
de cadena al principio de cada temporada con el objeto de ver programas nuevos o de
Captulo 2
2.4. Ejercicios
69
________________________________________________________________________________
( i ) pij
, obtenemos
iE
Captulo 2
Cadenas de Markov
________________________________________________________________________________
70
1
, ambas deben sumar uno, sumamos las
+ 1
, luego para que nos sumen uno las dividimos entre su suma,
nos queda,
(0) =
y
1+
Captulo 2
2.4. Ejercicios
71
________________________________________________________________________________
(1) =
1
1+
con j = i +1 , i = 1, 2, , N 1
pij = 1 p con j = i 1, i = 1, 2, , N 1 y
p00 = pNN = 1
Esta cadena de Markov la podemos separar en tres clases {0}, { 1, 2, , N 1}, y
{N}, la primera y la ltima (el estado 0 y N ) son recurrentes y la otra es una clase de
estados transitorios, esto significa que en algn momento dado el apostador o bien se
queda arruinado o bien llega a ganar $N y se retira del juego.
Sea i la probabilidad de empezar en i y que se alcance en algn momento el
estado N, es decir, i = Pi{TN < } = fiN , es claro que una vez que entremos al
estado 0 no podremos llegar nunca a N, por tanto 0 = 0, para obtener para el resto
de los estados usaremos el teorema 2.8 que nos dice que
fi N = piN +
k{E N }
pik f kN
Captulo 2
Cadenas de Markov
________________________________________________________________________________
72
o bien
q
( i i-1 )
p
q
q
( 1 0 ) = 1
p
p
2
q
q
q q
3 2 = ( 2 1 ) =
1 = 1
p
p p
p
q
q
i+1 i = ( i i-1 ) =
p
p
N N 1
i 1
q
q
= ( N 1 N 2 ) =
p
p
N 1
q
+
p
i 1
Captulo 2
2.4. Ejercicios
73
________________________________________________________________________________
( )
( )
q
1
p
1
q
P1 si 1, o bien p
2
p
i = 1
p
q
1
iP
si = 1, o bien p =
1
p
2
( )
( )
1 q
p
N
1 q
1 =
p
1
N
si
1
q
1, o bien p
2
p
si
1
q
= 1, o bien p =
2
p
( )
( )
q
1
p
q
i = 1
p
i
N
si
1
q
1, o bien p
2
p
si
1
q
= 1, o bien p =
2
p
( )
q
1
p
i =
0
1
2
1
si p
2
si p >
Problemas de
Ampliacin de estadstica.
a)Un grupo de cuatro nios juega a un juego que consiste en lanzarse una pelota de uno a otro. En
cada momento el nio que tiene la pelota tiene la misma predisposicin para lanzar la pelota a
cualquiera de los otros tres nios. Sea X0 la variable que describe el nio que tiene la pelota
inicialmente, y para n 1, Xn es el nio que tiene la pelota despus del ensimo lanzamiento.
b) Se colocan dos bolas blancas y dos bolas negras en dos urnas de forma que cada urna contenga
dos bolas. En cada extraccin se saca al azar una bola de cada urna. Las dos bolas extradas se
intercambian de urna. Sea X0 el nmero de bolas blancas que hay inicialmente en la primera urna.
Para n 1, se define Xn como el nmero de bolas blancas que hay en la primera urna despus de
haberse efectuado n extracciones, y por lo tanto n intercambios.
c) Considrese una partcula que realiza un recorrido aleatorio sobre una circunferencia en la que se
han marcado 4 puntos (representados por 0,1,2 y 3) en el sentido de las agujas del reloj. La partcula
tiene una probabilidad p de moverse al punto de su izquierda y 1-p de moverse al punto de su
derecha(sentido contrario a las agujas del reloj). Sea X0 la posicin inicial de la partcula y, para n
1, Xn describe la posicin de la partcula despus de n movimientos.
d)Una fbrica tiene dos mquinas, de las que slo utiliza una en cada uno de los periodos de
tiempos considerados. La probabilidad de que se avere una mquina en un da determinado es p.
Slo hay un operario encargado de la reparacin, que tarda dos das en repara una mquina, el
operario encargado de su reparacin no acude a repararla hasta el da siguiente. Sea (Xn, Yn) el par
de variables que describen, respectivamente, el nmero de mquinas en condiciones de trabajar al
acabar el da n e Yn la variable que describe si el trabajo de este da se ha utilizado en repara una
mquina averiada que no ha sido totalmente reparada o no.
M2.
a)
M3.
-1-
Problemas de
Ampliacin de estadstica.
Un petrolero realiza las travesas entre una Plataforma Petrolfera y una refinera y
viceversa de forma interrumpida tardando 12 horas en cada viaje. El barco es propulsado por dos
motores, cada uno de los cuales puede sufrir una avera durante el trayecto con una probabilidad de
0.1. El barco puede navegar con un motor averiado. En este caso, el mecnico de a bordo intenta
reparar el motor averiado, con una probabilidad de xito de 0.6 en cada travesa. Si se averan los
dos motores, el barco es remolcado a su destino y debe permanecer amarrado en el puerto durante
24 horas (el tiempo de realizar dos viajes) para ser reparado por completo. Inicialmente el barco
navega en perfectas condiciones.
a)
M5.
de salir cara y probabilidad q=1-p de salir cruz. Consideremos el proceso estocstico {Xn, n3}
dnde Xn es una variable aleatoria que registra el nmero total de caras obtenidas en los
lanzamientos (n-2), (n-1) y ensimo de la moneda. Discutir si este proceso estocstico es no una
cadena de Markov.
M6.
Se realiza una sucesin de experimentos que consiste cada uno de ellos en lanzar una bola
en una de tres cajas. La bola no puede caer fuera de alguna de estas cajas y la probabilidad de que la
bola caiga en cada una de ellas es 1/3. Sea Xn, n 1 la variable aleatoria que describe el nmero de
cajas no vacas despus del ensimo lanzamiento. Obtener la matriz de probabilidades de transicin
y la matriz de probabilidades de transicin de n pasos de la cadena.
M7.
P1 =
P2 =
0.4
0.6
0.2
0.8
0.3
0.2
0.5
1/4
1/4
1/2
1/2
1/2
-2-
Problemas de
P3 =
P4 =
P5 =
M8.
0.4
0.1
0.5
0.5
0.2
0.3
0.4
0.2
0.4
0.5
0.1
0.3
0.1
0.4
0.1
0.4
0.1
0.1
0.2
0.2
0.5
0.6
0.2
0.2
0.2
0.4
0.1
0.3
1/4
3/4
1/4
1/2
1/4
1/2
1/2
Ampliacin de estadstica.
transicin:
P=
1/8
1/8
3/4
1/2
1/4
1/4
3/4
1/4
0 =
0 ,
0 ,
simultneamente; la tarea A requiere 2 das y la B 1 da. Los posibles estados del taller son pues:
1 = ninguna tarea,
2 = primer da de la tarea A
4 = tarea B
-3-
Problemas de
Ampliacin de estadstica.
final de un da y tiene la posibilidad de empezar al da siguiente con una tarea A o una B. Las dos
polticas son posibles:
1) Empezar siempre con una tarea A con preferencia a una B
2) Empezar siempre con una tarea B con preferencia a una A
a) Demostrar que para la poltica 1 la matriz de probabilidades de transicin es:
(1- a) (1- b)
b (1- a)
(1- a) (1- b)
b (1- a)
(1- a) (1- b)
b ( 1- a)
P=
P=
0.5
0.5
0.4
0.6
0.2
0.8
213 o 233
c) El proceso entre en el estado 2 exactamente una vez en las tres primeras transiciones
d) El proceso realice la transicin
1 2
transiciones
e) El nmero esperado de veces que el proceso entrar en el estado 2
durante
M11.
Supongamos que la probabilidad de que maana llueva si hoy est lloviendo es 0.6, y que
la probabilidad de que maana haga buen tiempo si hoy hace buen tiempo es 0.4.
a) Determinar la matriz de probabilidades de transicin de la cadena de
Markov correspondiente.
b) Hallar la distribucin de probabilidad del estado estacionario.
-4-
M12.
a)
M13.
Problemas de
Ampliacin de estadstica.
Determinar las clases de las siguientes cadenas de Markov y decir si son o no recurrentes
1/2
1/2
1/2
1/2
1/2
1/2
1/3
2/3
b)
Consideremos el siguiente juego: un jugador apuesta una unidad en cada partida. Tiene
X n+1 =
Xn + 1
con probabilidad p
Xn - 1
con probabilidad q = 1 - p
Xn+1 = Xn
0 < Xn < T
Xn = 0 T
X n es una cadena de Markov. Supongamos que las sucesivas partidas del juego son
independientes y que la fortuna inicial del jugador es X0
a) Determinar la matriz de probabilidades de transicin de 1 paso de la
cadena de Markov
b) Hallar las clases de la cadena de Markov
M14.
la red, existe una probabilidad q de que el dgito binario se reciba de forma incorrecta en el siguiente
paso. Si X0 denota un dgito binario que entra en el sistema, X1 el dgito recibido despus de la
primera transicin, X2 el dgito recibido despus de la segunda transicin, ... Xn , entonces es una
cadena de Markov.
Hallar la matriz de probabilidades de transicin y la distribucin de probabilidad del
estado estacionario.
M15.
-5-
Problemas de
Ampliacin de estadstica.
Si Xn-1-Dn<1
(n=1,2,3,....)
Si Xn-1-Dn >=1
contrario.
para regular la cuenca de uno de sus ros con el objetivo de satisfacer los requerimientos de agua
para regado. La capacidad mxima del embalse previsto ser de 4.000.000 m3, o, de manera
abreviada 4 unidades de agua (1 unidad de agua = 1.000.000 m3 ).
Antes de proceder a la construccin el Servicio deseara tener alguna idea sobre la
efectividad del mismo a largo plazo. Para ello se ha llevado a cabo un estudio sobre los volmenes
semanales de agua aportados por el ro, encontrndose con que pueden aproximarse por medio de la
siguiente distribucin de probabilidad discreta:
Aportacin semanal
en unidades de agua
------------------------------------------------------------------Probabilidad
0.3
-6-
0.4
0.2
0.1
Problemas de
Ampliacin de estadstica.
M17.
Una tienda de venta de ordenadores personales tiene un modelo particular cuyo stock
=2. Supongamos
a) Encontrar una expresin que permita evaluar iterativamente las variables aleatorias Xt.
-7-
Problemas de
Ampliacin de estadstica.
M18.
Una mquina tiene dos piezas colocadas en paralelo de manera que para funcionar utiliza
solo una de ellas, quedando la otra de repuesto para reemplazar a la que trabaja cuando esta se
estropea, si est en condiciones de trabajar. Las piezas trabajan de manera que se estropean durante
un periodo de tiempo dado con una probabilidad q.
Supongamos que la pieza que est trabajando, en caso de que se estropee, lo hace al final
de un periodo, de manera que la pieza de repuesto empieza a trabajar, si est en condiciones de
hacerlo, al principio del periodo siguiente. Hay un nico mecnico para reparar las piezas
estropeadas, que tarda dos periodos en reparar una pieza estropeada.
El proceso puede describirse mediante un vector Xt de dos componentes U y V, donde U
representa el nmero de piezas hbiles, trabajando o en condiciones de trabajar, al final del periodo
t-simo, y V toma el valor 1 si el mecnico requiere nicamente un periodo adicional para completar
una reparacin, si ya est procediendo a ella, y 0 en caso contrario. Por lo tanto, el espacio de
estados consta de cuatro estados:
(2,0), (1,0), (0,1), y (1,1)
(Por ejemplo, el estado (1,1) implica que una componente opera y la otra necesita un periodo
adicional para acabar de ser reparada).
Denotemos los cuatro estados por 0,1,2 y 3 respectivamente (Es decir Xt = 0 quiere decir Xt =
(2,0), por ejemplo).
a) Comprobar que X t , t=0,1,2,......, es una cadena de Markov.
Hallar la matriz de probabilidades de transicin.
b) Hallar la distribucin de probabilidad del estado estacionario.
M19.
Las familias de cierto pas se clasifican segn residan en reas rurales, urbanas o
-8-
Problemas de
Ampliacin de estadstica.
a) Cul es la probabilidad de que una familia que vive ahora en un rea urbana siga
viviendo en un rea urbana dentro de dos aos?. Y en una suburbana?. Y en una
rural?.
b) Supongamos que en el presente el 40% de las familias del pas viven en reas urbanas,
el 35% en suburbanas y el 25% en rurales. Qu porcentaje de familias vivir en reas
urbanas dentro de dos aos?.
c) Qu distribucin de poblacin es de prever en el futuro si las tendencias no cambian?.
M20.
Un bosque consta de dos tipos de rboles: jvenes (entre 0 y 3 mts de altura) y adultos
(ms de 3 mts). Cada ao, el 30% de los rboles jvenes muere, el 10% se vende por $20 cada uno,
el 20% se mantiene entre 0 y 3 mts y el 40% crece superando los 3 mts. Cada ao, el 40% de los
rboles adultos se vende por $50, el 20% se vende por $20, el 30% permanece en el bosque y un
10% muere.
a)
b)
Si plantar un rbol joven cuesta $5, cul es el beneficio esperado para cada rbol
joven plantado ?
Soluciones:
M1.
1 1 1
0 3 3 3
1 0 1 1
3
3 3
a) S={0,2,3},a=(0.25,0.25,0.25,0.25), P =
1 1
1
0
3
3 3
1 1 1
3 3 3
1
0
0
1
0
0
1 p
0
p
0
p
0
1 p
0
c) S={0,1,2,3},a=(0.25,0.25,0.25,0.25), P =
p
0
1 p
0
0
p
0
1 p
d) S={(0,0),(1,0),(1,1),(2,0),(2,1)},a=(p2,2*p*(1-p),0,(1-p)2,0),
-9-
Problemas de
P=
(0,0)
(0, 0)
0
(1, 0)
0
(1,1)
(2, 0)
(2,1)
p
p2
p2
Ampliacin de estadstica.
(1, 0)
0
0
(1,1)
1
p
(2, 0)
0
0
(2,1)
0
1 p
1 p
2 p (1 p )
2 p (1 p )
0
0
0
0
(1 p ) 2
(1 p ) 2
0
0
0
M2.
a) p00(3)=0.2215562
b) p00(2)=0.332667
M3.
a) Irreducible y aperidica. P{Xn=1|X0=1},P{Xn=1}.Los dos son 0.666 ya que no importa el
estado inicial.
b) P{Xn=1,Xn-1=2, Xn-2=1|X0=1} =p21*p12*p01(n).Aplicando Chapman-Kolgomorv.
E{Xn}=0.999999, E{Xn|Xn-1=1}=1.aplicando definicin de esperanza.
M4.
a) S={0,1,2,3}
0 Dos motores funcionando.
1 Un motor funcionando.
2 Amarrado en el puerto dia 1.
3 Amarrado en el puerto dia 2.
P=
0
0
1
0
0
0
0
1
b) Irreducible y aperidica.
M5.
Si.
M6.
1
3
P = 0
M7.
a)
b)
c)
d)
e)
2
3
2
3
0
1
3
1
M8.
a)32=52/3,b)T=(9/20,3/40,19/40)
- 10 -
Problemas de
Ampliacin de estadstica.
M9.
a) 1=(1-a)(1-b)/(1+a), 2=3=a/(1+a), 4=b(1-a)/(1+a)
AB aB 0 b
0
0 1 0
, A = (1 a ), B = (1 b)
P=
AB aB 0 b
AB aB 0 b
b)
c)
Mejor la poltica 2.
M10.
a) p13(3)=0.72
b) 0.68
c) 0.2
d) 0.4
e) 0.75
M11.
a)
0.6 0.4
P=
0.6 0.4
b) 0=0.6, 1=0.4
M12.
a) Una nica clase de equivalencia peridica de periodo 3.
b) Estados {2,3} clase comunicante cerrada, la 1 es absorbente y la 4 es transitoria.
M13.
0 1
0
0
0
p
1 1 p
0
0
2 0
1 p 0
p
a) P = M
O O
O
1 p
0
T 2
1 p
T 1
0
0
T
b) C(0)={0}, C(1)={1,2,3,...,T-1}, C(T)=T
M14.
a)
q
1 q
P=
q 1 q
b)0=0.5,1=0.5.
M15.
a)
0.6 0.4
P=
0.4 0.6
b)0=0.5,1=0.5.
c)0.91
M16.
- 11 -
0
0
p
0
0
0
0
p
1
Problemas de
a) P =
0 0.3 0.4 0.3
0 0.3 0.7
0
b)24=10 semanas
c)11=5 semanas
d)p31(2)=0.09
M17.
X i +1 = max {0, X i Di } + Pi ( X i Di ).
a) Pi ( X i
Di ) = 3 si X i Di < 2
Pi ( X i Di ) = 0 si X i Di 0
b)Nmero finito de estados, verifica hiptesis Markoviana y estacionaria.
0.3233
0.1428
c) P = 0.5940
0.3233
0.1428
0.2707
0.1805
0.2707
0.2707
0.1805
0.2707
0.2707
0.1353
0.2707
0.2707
0.1353
0 0
0.2707 0.1353 1
0
0 2
0.1353
0 3
0.2707 0.1353 4
d)30=2.97 semanas
e)389.9 ptas/semana.
M18.
(2,0) 1 q
(1,0) 0
a) P =
(0,1) 0
(1,1) 1 q
q
0
1
q
0
0
q 1 q
0
0
0
0
b)
M19.
Nomenclatura de los estados: U=0,SU=1,R=2.
a)p22(2)=0.8144
b)0.31456
c) U 38/183,SU 90/183,R 55/183
M20.
a)0.446
b)14.69 $
- 12 -
Ampliacin de estadstica.
Pgina 1
transicin: P =
0,2 0,8
2) El ascensor de un edificio con bajo y dos pisos realiza viajes de uno a otro piso.
El piso en el que finaliza el viaje n-simo del ascensor sigue una cadena de Markov.
Se sabe que la mitad de los viajes que parten del bajo se dirigen a cada uno de los
otros dos pisos, mientras que si un viaje comienza en el primer piso, slo el 25% de
las veces finaliza en el segundo. Por ltimo, si un trayecto comienza en el segundo
piso, siempre finaliza en el bajo. Se pide:
a) Calcular la matriz de probabilidades de transicin de la cadena
b) Dibujar el grafo asociado
c) Cul es la probabilidad de que, a largo plazo, el ascensor se encuentre
en cada uno de los tres pisos.
SOLUCIN:
a) Los estados de la cadena los denotaremos por { 0, 1 , 2} haciendo
corresponder el 0 al bajo y 1 y 2 al primer y segundo piso respectivamente.
Las probabilidades de transicin son:
p00 = P(Rn=0 / Rn-1=0), esto es la probabilidad de que el ascensor se encuentre en
la planta baja si en la etapa anterior estaba en la planta baja. Obviamente es 0,
porque se supone que de etapa a etapa el ascensor se mueve.
p01 = P(Rn=1 / Rn-1=0), esto es la probabilidad de que el ascensor se encuentre en
la planta primera si en la etapa anterior estaba en la planta baja. Obviamente es
. Basta leer el enunciado.
Y as sucesivamente vamos obteniendo las distintas probabilidades de transicin
cuya matriz es:
p 01 p 02 0 12 12
p 00
P = p 10
p 11
p 12 = 34 0 14
p 20
p 21 p 22 1 0 0
b)
0
Pgina 2
c)
r
r
q.P = q , siendo q = (x,y,z) los valores de las probabilidades pedidas, aadiendo
la ecuacin x+y+z = 1
0 12 12
4x 3 y 4z = 0
x 2y = 0
2x + y 4z = 0
x + y + z =1
SOLUCIN:
La matriz de transicin P es la siguiente para el orden A,B,C
0,1 0,3 0,6
trmino que ocupa la fila 3 y la columna 3 de la matriz P4. lo cual se obtiene con la fila
3 y la columna 3 de P2, cuyos valores son:
0,48
P =
0,48 ,
por
tanto
0,18 0,30 0,52
0,18.0,48+0,30.0,48+0,52.0,52= 0,5008
2
el
trmino
buscado
es:
Pgina 3
c) Nos piden las probabilidades estacionarias. Para ello hay que resolver el
siguiente sistema:
6
x
+
6
y
6
z
=
0
x + y + z = 1
dos ltimas : 12z=6 ; de ambas se deduce que x =2/11=0,1818
y = 7/22=0.3181
z = 0,5. En porcentajes seran el 18,18% para la ciudad A, el 31,81 para B y el 50% para
la ciudad C.
4) Suponga que toda la industria de refresco produce dos colas: Coca Cola y Pepsi
Cola. Cuando una persona ha comprado Coca Cola hay una probabilidad de 90% de que
siga comprndola la vez siguiente. Si una persona compr Pepsi, hay 80% de que repita
la vez siguiente. Se pide:
a) Si una persona actualmente es comprador de Pepsi. Cul es la probabilidad de
que compre Coca Cola pasadas dos compras a partir de hoy?
b) Si en la actualidad una persona es comprador de Coca Cola. Cul es la
probabilidad de que compre Coca Cola pasadas tres compras a partir de ahora?
c) Supongamos que el 60% de toda la gente toma hoy Coca Cola y el 40% Pepsi. A
tres compras a partir de ahora, Qu fraccin de los compradores estar tomando
Coca Cola.
d) Determinar el estado estable.
SOLUCIN: La situacin se puede modelar como una cadena de Markov con dos
estados {Coca-Cola, Pepsi-Cola}= {C,P}
La matriz de transicin para el orden C,P, es:
0,9 0,1
P =
0,2 0,8
;
en fila 1 y columna 1 para la matriz P3. La matriz es P 3 =
1000 438 562
esto quiere decir que la solucin al problema es 0,781
Pgina 4
tanto
P3 =
1 781 219
,
1000 438 562
entonces
el
1 83 17
,
100 34 66
resultado
solicitado
es
1
(6438 3562) = (06438 , 03562) ; esto es que al cabo de tres compras el
10000
6438% comprar Coca Cola y el 3562% comprar Pepsi Cola.
d) El estado estable se determina resolviendo el sistema de ecuaciones:
0,9 0,1
= ( x, y ) aadiendo la ecuacin x+y = 1, siendo x la probabilidad de
( x, y )
0,2 0,8
que una persona compre Coca Cola a largo plazo e y lo mismo de que compre Pepsi
Cola.
x + 2 y = 0
El sistema resultante es: x 2 y = 0 , obsrvese que las dos primeras ecuaciones son
x + y =1
la misma por tanto quedmonos con las dos ltimas, obteniendo como solucin:
x = 2/3 ; y = 1/3.
Pgina 5
SOLUCIN:
Tres estados {G, H, I}
El problema consiste en resolver el sistema formado por las ecuaciones
siguientes:
( x, y, z ).P = ( x, y, z ); x + y + z = 1 , siendo x la probabilidad de que el consumidor
compre G, y de que el consumidor compre H y z la del que consumidor compre I.
De ambas expresiones se obtiene el siguiente sistema:
3x + 2 y + z = 0
20 x 25 y + 10 z = 0
10 x + 5 y 20 z = 0
x+ y + z =1
z = 7/26
SOLUCIN:
0
0,9 0,1
1 1 5 2 1 1 5
P =
0,8575 0,0975 0,045 = (0,8158 0,0958 0,0883)
4 3 12
4 3 12
Pgina 6
6
z
=
0
x + y + z =1
7) Los consumidores de caf en el rea de Pontevedra usan tres marcas A, B, C. En
marzo de 1995 se hizo una encuesta en lo que entrevist a las 8450 personas que
compran caf y los resultados fueron:
Compra actual
Marca A = 1690
Marca B = 3380
Marca C = 3380
TOTALES
TOTALES
1690
3380
3380
8450
SOLUCIN:
a) A la vista de las frecuencias anteriores, las probabilidades de transicin, conservando
el mismo orden que la tabla (A,B,C) es:
0,3 0,5 0,2
probabilidades de transicin al cabo de 4 meses, las que vendrn dada por los
coeficientes de P4
24 50
1
P =
23 51
100
25 40
0,2376 0,4790
0,2375 0,4791
0,2395 0,469
26
26
35
1
P =
2375 4791 2834
10000
0,2834
0,2834
0,2915
(x
z) ;
x + y + z =1
Pgina 7
7 x + 2 y + 2,5 z = 0
5 x 4 y + 2,5 z = 0
2x + 2 y 5z = 0
x + y + z =1
(0,24 0,44 0,32) 0,2 0,6 0.2 = (0,24 0,464 0,296) , es decir 24% para A,
0,25 0,25 0,5