Está en la página 1de 7

Procesos Estoc

asticos 1. Tarea 1
Prof. Daniel Cervantes Filoteo
Ayud. Guillermo Rolando Rosas Figueroa

1. Se lanza un dado repetidas veces. Diga cual de los siguientes procesos es una cadena de Markov y
cual es su matriz de transici
on de probabilidades.

a) El n
umero m
as grande obtenido hasta el lanzamiento n.
b) El n
umero de veces que se obtuvo seis en n lanzamientos.
c) El n
umero de lanzamientos efectuados desde el seis mas reciente.
d ) Al tiempo n, el tiempo transcurrido hasta el proximo seis.

2. Una partcula se mueve en {1, 2, ..., c + d}, con c y d enteros positivos. En cada tiempo n, si la
partcula est
a en uno los primeros c estados, salta a uno de los u
ltimos d estados uniformemente (con
probabilidad 1/d), y si esta en cualquiera de los d ultimos estados la partcula salta uniformemente
(con probabilidad 1/c) a cualquiera de los primeros c estados. Para cada n 1 sea Xn la posici on de
la partcula al tiempo n. Calcule la matriz de probabilidades de transicion de la cadena de Markov
Xn , n 1.

3. Cadena de fila de espera: Consideremos la ventanilla de un banco. En este tipo de lugares la gente
llega de manera aleatoria a solicitar un servicio, y es despachada tambien de manera aleatoria, lo
que provoca la formacion de una fila de espera. Existen varias formas de modelar este fenomeno,
consideremos una de las mas basicas.
Consideremos la medici on del tiempo en periodos de un minuto. Supongamos que si hay gente en
la fila al inicio de un periodo entonces se atiende a una persona durante el mismo. Si no hay gente
en la fila al inicio del periodo, nadie sera atendido durante este. Sea n el n umero de clientes que
llegan durante el n-esimo periodo. Supongamos que 1 , 2 , ... son variables aleatorias i.i.d. que toman
valores en Z+ .
Supongamos que X0 denota el n umero de clientes en la fila al inicio, y sea Xn el n
umero de clientes
presentes en la fila al final del n-esimo periodo. Cual es el espacio de estados de esta cadena?,
Muestra la matriz de probabilidades de trancision del modelo. Justifica tu respuesta.

4. Sea {Xn }n0 una cadena de Markov con probabilidades de transicion Pi,j . Sea m > 0 un ente-
ro fijo. Demuestre que los siguientes procesos son cadenas de Markov y encuentre su funci
on de
probabilidades de transici
on.

a) Yn = Xn+m
b) Zn = Xnm

5. Considere un experimento donde inicialmente se tienen 2 cajas y 2d bolas, d bolas de color negro
y d bolas de color blanco, en la caja 1 hay d bolas (no necesariamente del mismo color) y en la
segunda caja las restantes. Tomaremos aleatoriamente una bola de cada caja y se colocar an en la
caja opuesta de donde se tomaron. Realizaremos estos ensayos varias veces consecutivas. Denotamos
por Xn al n
umero de bolas negras en la caja 1 despues del ensayo n.

Demuestre que Xn es una cadena de Markov y encuentre su matriz de probabilidades de transici


on.

1
6. Una partcula se mueve en {0, 1, 2, . . . , k}, del siguiente modo: si se encuentra en el estado k, entonces
pasa, con distribuci
on uniforme a alg un estado del conjunto {0, 1, 2, . . . , k 1}. Se detendr
a cuando
llegue al estado 0. Encuentre el n umero esperado de pasos en los que la partcula alcanza el estado
0 iniciando en k.

7. Considera la cadena Markov con espacio de estados E = {0, 1, 2} con matriz de transicion:

0.4 0.3 0.3
P= 0.3 0.2 0.5
0.7 0 0.3

Calcule:

a) P [X2 = 0, X1 = 0|X0 = 1]
b) P [X3 = 0, X2 = 0|X0 = 1]
c) P [X3 = 0
o X3 = 1|X0 = 0]
d ) P [X4 = 0] considera una distribucion inicial uniforme.

8. Considera la cadena Markov con espacio de estados E = {0, 1, 2, 3, 4, 5} con matriz de transici
on:

1/2 1/2 0 0 0 0

1/3 2/3 0 0 0 0
0 0 1/8 0 7/8 0
P=

1/4 1/4 0 0 1/4 1/4

0 0 3/4 0 1/4 0
0 1/5 0 1/5 1/5 2/5

a) Clasifica los estados en recurrentes y transitorios.


b) Encuentra {0,1} (i), i = 0, . . . , 5.

9. Determine los estados transitorios y recurrentes para la siguiente matriz de transicion y calcule 0i
para i = 0, 1, ..., 6.
1/2 0 1/8 1/4 1/8 0 0
0 0 1 0 0 0 0

0 0 0 1 0 0 0

P= 0 1 0
0 0 0 0
0 0 0 0 1/2 0 1/2

0 0 0 0 1/2 1/2 0
0 0 0 0 0 1/2 1/2

10. Considere un cadena de Ehrenfest con N = 3. Encuentre:

a) Pi (T0 = n), 1 n 3, para cualquier i en el conjunto de estados.


b) P, P2 y P3 .
 
1 1 1 1
c) 1 , 2 y 3 , suponga 0 = , , , .
4 4 4 4

2
11. Considere una cadena de Markov sobre los enteros no negativos con matriz de transicion:

q0 p o 0 0 0 0 ...
q1 0 p 1 0 0 0 ...

P = 0 q2 0 p2 0 0 ...


0 0 q3 0 p3 0 ...

..
.
Demuestre que si pi qi para i 1, entonces la cadena es recurrente.

12. Una cadena de Markov que surge de los estudios de genetica tiene espacio de estados E = 0, 1, ..., d
y funcion de transici
on:
   j 
i dj

d i
Pi,j = 1
j d d
Encuentre 0 (i), 0 < i < d

13. Considere una Cadena de Markov con espacio de estados E = {0, 1, 2, 3, 4} y matriz de probabili-
dades de transici
on:
1 0 0 0 0
0 1/2 1/2 0 0

1/5 1/5 1/5 2/5 0

0 0 0 0 1
0 0 0 1/2 1/2
a) Encuentre todos los conjuntos cerrados irreducibles.
b) Sea C un conjunto cerrado irreducible y

nf{n > 0|Xn C}, si {n > 0|Xn C} =
6 ,
TC =
, en otro caso .

Calcule C (2) = P (Tc < |X0 = 2) para cada conjunto cerrado irreducible C del inciso
anterior.

14. Cadena de Rachas: Considera una cadena de Markov con espacio de estados E = {0, 1, ...}. Si la
cadena est
a en el estado i, puede ir al estdo i+1 con probabilidad p o al estado cero con probabilidad
1 p.

a) Calcula P0 [T0 = n].


b) Demuestra que la cadena es irreducible y recurrente.

15. Sea {Xn }n0 una cadena de Markov con espacio de estados E, un subconjunto de los naturales, y
con funcion de transici
on de probabilidades P , que cumple:
X
jPi,j = Ai + B; iE
j

Para algunas A y B constantes. Demuestre que:

a) E[Xn+1 ] = AE[Xn ] + B
b) Si A 6= 1, entonces:  
B n B
E[Xn ] = + A E[X0 ]
1A 1A

3
16. Sea {Xn }n0 una cadena de ramificacion con variable asociada u y con E[u] = . Demuestre que:
Ei [Xn ] = in
Ayuda: Use el ejercicio anterior
17. Sea {Xn }n0 una cadena de ramificacion con variable asociada u de varianza finita, con V ar[u] = 2
y E[u] = . Demuestre que:
2 |X = i] = i 2 + i2 2
a) E[Xn+1 n
b) Ei [Xn+1 ] = in 2 + 2 Ei [Xn2 ]
2

c) Ei [Xn2 ] = i 2 (n1 + ... + 2(n1) ) + i2 2n


d ) Si hay i partculas inicialmente entonces:

1 n
 
2 n1 si 6= 1
i


1
V ar[Xn ] =


in 2 si = 1

Ayuda: Use el ejercicio anterior


18. Si i,j = Pi [Tj < ], verifica las siguientes identidades:
P
a) Pi [Tj n + 1] = Pij + k6=j Pk [Tj n] Pi,k
P
b) i,j = Pi,j + k6=j k,j Pi,k
19. Sea {Xn }1n es una cadena de Markov con espacio de estados E = {0, 1, 2, ..., d} con funci
on de
transicion P tal que:
Xd
jPij = i; iE
j=0

a) Calcula E [Xn+1 |X0 = i0 , ..., Xn = in ].


b) Demuestra que 0 y d son estados absorbentes.
c) Supongamos que 0 y d son los u nicos estados absorbentes. Demuestra que los demas estados
son transitorios.
20. Una pulga amaestrada brinca aleatoriamente (uniformemente) en los vertices de un triangulo (en
cada salto siempre cambia de lugar). Cual es la probabilidad de que despues de n saltos la pulga
regrese a su punto de partida?
21. Demuestre que ij > 0 Pijn > 0 para alg
un entero positivo n.
22. Demuestre que
ii = Pi [Ti < ] = 1 P [ m N|Piim = 1] = 1,
es decir, existen dos formas de decir que i es recurrente.
23. Se dice que dos estados (distintos) de una cadena de Markov son simetricos si:
Pi [Tj < Ti ] = Pj [Ti < Tj ]
Sean i y j dos estados simetricos. Demuestra que, dado X0 = i, el n umero esperado de visitas al
estado j antes de que la cadena vuelva a visitar el estado i es igual a uno.

4
24. Sea {Xn }n0 una cadena de Markov con espacio de estados E y i, j E. Demuestre que:

a) i,j > 0 si y s n > 0 para alguna n 1.


olo si Pi,j
b) i,j > 0 y j,k > 0, entonces i,k > 0.

25. En Hong Kong y en otros lugares del mundo, se usa un sistema para fijar las primas de seguro de
automovil conocido como Bonus-Malus que consiste de 6 clases de tarificacion, de 1 a 6, que se rige
por las siguientes reglas: si un asegurado no tuvo siniestros durante el periodo, entonces pasa de la
ax {1, i 1}, si el asegurado tiene al menos un siniestro entonces pasa de
categora i a la categora m
la categora i a la 6.

Si Xn denota la categora en cual se encuentra un individuo al periodo n entonces Xn es una


cadena de Markov con espacio de estados E = {1, 2, ..., 6}. Encuentre la matriz de transici
on de
probabilidades asociada.

Supongamos que la prima que paga el asegurado en un periodo es una funcion, C, del estado
en que se encuentra, dada por:  
i
C(i) = k
6
Calcule la prima promedio que paga un asegurado. (Un asegurado inicia en el el estado 1)

26. Considere una cadena de Markov tal que P (x, y) = y , para todo x, y , donde y son constantes
que dependen de y. Muestre que la cadena tiene una u nica distribucion estacionaria dada por
(y) = y .

27. En un laboratorio se observa, en cada periodo de tiempo, el n umero de partculas que entran en un
cuerpo solido. Las observaciones se consideran variables aleatorias a cada tiempo (independientes
e identicamente distribuidas para cada tiempo) con distribucion P oisson(). El tiempo de vida de
las partculas, que se supone independiente, es de distribucion Geometrica(p). Tomemos por Xn el
numero de partculas que se encuentran en el cuerpo a tiempo n. Demuestre que Xn es una cadena
de Markov y encuentre su distribuci on estacionaria.

Realice un algoritmo en R que replique la cadena, y sim ulela (escoja los parametros de las dis-
tribuciones a su gusto). Estime por simulacion la distribucion estacionaria.

28. Sea una distribuci


on estacionaria para una cadena de Markov. Demuestre que, si (x) > 0 y
x y, entonces (y) > 0

29. Diga si son ciertas o falsas las siguientes afirmaciones. En caso de no ser ciertas, de un contraejemplo.

on {P n }n>0 de una matriz de transicion de una cadena de Markov P siempre converge.


a) La sucesi
b) En cualquier cadena de Markov siempre existe una distribucion estacionaria.
c) En caso de que en una cadena de Markov exista una distribucion estacionaria, entonces es
u
nica.

30. Demuestre que la cadena de rachas tiene una u nica distribucion estacionaria y calc
ulela. Realice un
algoritmo en R que replique la cadena, y sim ulela (escoja los parametros de las distribuciones a su
gusto). Estime por simulaci
on la distribucion estacionaria.

5
31. Considere la caminata aleatoria simple y simetrica, {Xn : n N}, sobre Z con X0 = 0 y el siguiente
tiempo aleatorio:
T = mn{n 3 : Xn > Xn1 > Xn2 }
Estime por simulaci
on E[T ].

32. Considere la siguiente cadena de Markov con matriz de transicion de probabilidades:



1/2 0 1/8 1/4 1/8 0 0
0 0 1 0 0 0 0

0 0 0 1 0 0 0

P= 0 1 0
0 0 0 0

0 0 0 0 1/2 0 1/2

0 0 0 0 1/2 1/2 0
0 0 0 0 0 1/2 1/2

a) Encuentre todas las distribuciones estacionarias de esta cadena.


b) Encuentre:
n
Ni,j
lm ; i, j E
n n

c) Dise
ne un algoritmo en el paquete R que simule esta cadena.
d ) Realice simulaciones de 1000 y 10000 tiempos de la cadena iniciando en alg
un estado i y calcule:

NjM V isitas al estado j en M tiempos


=
M M
33. Demuestre que toda matriz doblemente estocastica, finita e irreducible tiene una u
nica distribuci
on
estacionaria dada por la distribuci
on uniforme.

34. Considere una cadena de Markov con espacio de estados finito y tal que para cada estado j los
siguientes lmites existen y no dependen del estado i

lm pi,j (n) = j ; i, j E
n

Demuestre que = {j } es una distribucion estacionaria.

35. Una persona se traslada todos los das de su casa a la oficina en la ma


nana, y de la oficina a su casa
por la tarde. Esta persona tiene un coche que usa en cualquiera de estos dos viajes en caso de lluvia,
siempre y cuando tenga el coche disponible. No siempre tiene el coche disponible pues ha decidido
dejarlo en la casa o en la oficina e irse caminando cuando al salir de alguno de estos lugares no esta
lloviendo. La probabilidad de lluvia por la ma nana o por la tarde es p, independiente un evento del
otro.

a) Encuentre la proporci
on de viajes a largo plazo en los cuales la persona se moja por la lluvia.
b) Dise
ne un algoritmo en el paquete R que simule esta cadena.
c) Realice simulaciones de 1000 y 10000 tiempos de la cadena iniciando en alg
un estado i y calcule:

NjM V isitas al estado j en M tiempos


=
M M

6
d ) Que pasa cuando la persona tiene r coches (solo sobre a))?

36. Se lanza una moneda equilibrada. Considere el proceso {Xn }n0 con: Xn = S si cae sol.en el
lanzamiento n y Xn = A si cae .aguila.en el lanzamiento n. Encuentre el n
umero esperado de
lanzamientos para obtener la secuencia:

a) S
b) SSS

37. Considere {Xn }n0 una cadena de Markov con espacio de estados E = {0, 1, 2} y con matriz de
probabilidades de transici
on:
1/3 1/2 1/6
P = 1/2 1/2 0
1/6 0 5/6
Calcule lm n Pn .

asticas de dimension n n. Demuestre que son matrices estoc


38. Sean P y Q dos matrices estoc asticas:

a) P Q
b) P + (1 )Q, con 0 1