Procesos Estocasticos.

Justifica completa y cuidadosamente todas tus respuestas. En donde haya cualquier afirmacion, si es cierta
demuestrala y si es falsa, da un contraejemplo. Notacion: Si no se hace explcito de otro modo, {Xn }nN es
una cadena de Markov homogenea con espacio de estados finito o numerable S.
1. Sean x, y estados distintos de una cadena de Markov en un espacio de estados S con d N elementos,
y supongamos que x lleva a y. Sea n0 el mnimo entero positivo tal que P n0 (x, y) > 0, y sean
x1 , x2 , . . . , xn0 1 estados en S tales que

P (x, x1 )P (x1 , x2 ) . . . P (xn0 1 , y) > 0.

Entonces
(a) Existen el natural n0 1 y los estados x1 , x2 , . . . , xn0 1 .
(b) los estados x1 , x2 , . . . , xn0 1 son todos distintos entre s y distintos a x y a y,
(c) n0 < d 1, y
(d) Px [Ty < d 1] > 0.
2. Decir si es cierto o falso, si es falso modifcalo para que sea cierto, y en ambos casos probar:
(a) X
Px [Ty < n + 1] = P (x, y) + P (x, z)Pz [Ty n], n > 0.
z6=y

(b) X
xy = P (x, y) + P (x, z)zy .
z6=y

3. Para la cadena de Ehrenfest con tres estados (d = 3),

(a) Encuentra Px [T0 = n], para todo x S y n = 1, 2, 3.
(b) Encuentra las matrices de transicion P, P 2 y P 3 .
4. Definimos la probabilidades de transicion de la cadena en N, para x, y N, como

p
si y = x + 1,
P (x, y) = 1 p si y = 0

0 en cualquier otro caso.

(a) Catalogar los estados de la cadena,

(b) Decidir cuales estan comunicados,
(c) Encontrar P0 (T0 = n) para cada n N.
5. Si y es transitorio, entonces
X
X
n
P (x, y) P n (y, y).
n=0 n=0

6. Para la cadena de Markov con dos estados, calcula

(a) P[X1 = 0|X0 = 0, X2 = 0] ,
(b) P[X1 6= X2 ],
(c) P[Xn = 0, Xi 6= 0, i = 1, 2, . . . n 1|X0 = 0], y
(d) P[Xn = 1, Xi 6= 1, i = 1, 2, . . . n 1|X0 = 0].
7. Hay 2d bolas, d rojas y d negras. Se distribuyen en dos urnas, de tal modo que en cada urna haya
d bolas. En cada tiempo se elige una bola de cada urna y se intercambian. Describe el proceso que
cuenta las bolas negras en la primera urna como un proceso de Markov y encuentra las probabilidades
de transicion.
8. Para eventos en un espacio de probabilidad (, F, P), decide si es cierto que:
Si (Di )i son disjuntos,
(a) Si ademas P[C|Di ] = p para toda i, entonces P[C| i Di ] = p.
 P
(b) P[i Di |C] = i P[Di |C]
(c) Si ademas i Di = , entonces
X
P[A|B] = P[Di |B]P[A|Di B].
i

(d) Si ademas P[A|Di ] = P[B|Di ], para toda i, entonces P[A| i Di ] = P[B| i Di ],

9. Sea P la matriz de transicion de una cadena de Markov con espacio de estados S, finito. La entrada
(n)
pij de la matriz Pn da la probabilidad de que, empezando en el estado si , se pase al estado sj en n
pasos.
10. Sea Xn , n 0, una cadena de Markov con espacio de estados S. Supongamos que A S es tal que
P{Xn+1 = xn+1 |Xn = xn } = 0 si xn+1 / A y xn A. Entonces Xn |A, la cadena con las mismas
transiciones pero en el espacio de estados A en vez de S, es una cadena de Markov.
11. Sigue siendo valido lo anterior si suprimimos la hipotesis de que P{Xn+1 = xn+1 |Xn = xn } = 0 si
xn+1 / A y xn A?.
12. Sean x, y1 , y2 , . . . , ym S y A0 , A1 , . . . , An1 subconjuntos de S. Entonces

P[Xn+1 = y1 , . . . , Xn+m = ym |X0 A0 , . . . , Xn1 An1 , Xn = x]

= P (x, y1 )P (y1 , y2 ) P (ym1 , ym ).

13. Sean x S, B1 , B2 , . . . , Bm y A0 , A1 , . . . , An1 subconjuntos de S. Entonces

P[Xn+1 B1 , . . . , Xn+m Bm | X0 A0 , . . . , Xn1 An1 , Xn = x]

P P
= y1 B1 . . . ym Bm P (x, y1 ) P (ym1 , ym ).

14. En la cadena de dos estados con probabilidades de transicion P con p+q > 0, encuentra explcitamente
P n.
15. Modifica el ejemplo de la cola de tal forma que, al inicio de cada tiempo, si hay gente formada esperando
para ser atendida, entonces se atiende a un cliente con probabilidad p y no se atiende con probabilidad
1 p. Cual es la matriz de transicion para esta nueva cadena?
16. Si la cadena de Ehrenfest con d bolas tiene distribucion inicial binomial(d, 1/2), encuentra la distribu-
cion de X1 , X2 y de X3 .