PROBLEMAS DE CADENAS DE MARKOV

M1. Estudiar los procesos estocsticos definidos por las matrices:

0.4

0.2

0.3
0.6

0.8

0.2
0

0

0.5
P
1
=
0

1/4

0
1

1/4

1/2
0

1/2

1/2
P
2
=
0.4

0

0.4

0.5
0.1

0.5

0.2

0.1
0.5

0.2

0

0.3
P
3
=
0

0.3

0.4

0.1
0.4

0.1

0.6

0.2
0.1

0.2

0

0.4
0.4

0.2

0.2

0.1
P
4
=
0.1

0.5

0.2

0.3
1/4

1/4

1/2
0

1/2

0
3/4

1/4

1/2
P
5
=
Problemes de MEIO 1
M2. Considerar un proceso markoviano con la siguiente matriz de
probabilidades de transicin:
1/8

1/2

3/4
1/8

1/4

0
3/4

1/4

1/4
P =
a) Cual es el tiempo medio de primer paso de ! a "#
b) Cuales deberian ser las probabilidades iniciales de estado
$ %
1
$ &
"
$ &
!
$

para 'ue el proceso entrase en estado
estacionario despues de una transicion#
M3. (n taller de reparaciones puede efectuar el traba)o * o el traba)o + pero no
los dos simultaneamente, la tarea * re'uiere " dias - la + 1 dia. /os posibles
estados del taller son pues:
1 % ninguna tarea& " % primer dia de la tarea *
! % segundo dia de la tarea * 0 % tarea +
/a probabilidad de una nueva demanda de tarea * al principio de cada dia
es a, la de la tarea + es b. 1o 2a- colas& si el taller est a mitad de e)ecucin de una
tarea *& la llegada de una nueva demanda se pierde. /a 3nica ambig4edad se plantea
cuando el taller termina un traba)o al final de un dia - tiene la posibilidad de empezar
al dia siguiente con una tarea * o una +. /as dos pol5ticas son posibles:
16 Empezar siempre con una tarea * con preferencia a una +
"6 Empezar siempre con una tarea + con preferencia a una *
a) 7emostrar 'ue para la pol5tica 1 la matriz de probabilidades de transicion es:
a

0

a

a
0

1

0

0
P =
(1- a) (1- b)

0

(1- a) (1- b)

(1- a) (1- b)
b (1- a)

0

b (1- a)

b ( 1- a)
b) Encontrar las probabilidades l5mite de estados para este proceso
c) Encontrar la matriz de probabilidades de transicin para la pol5tica "
d) Cual es la relacin entre los porcenta)es l5mite de dias de desocupacin de
ambas pol5ticas#
Problemes de MEIO "
M4. El siguiente proceso de Markov empieza en el estado 1
0

0.4

0
0.5

0

0.2
0.5

0.6

0.8
P =
Encontrar las probabilidades de 'ue:
a) El proceso est8 en el estado ! despues de tres transiciones
b) El proceso llegue al estado ! por primera vez despu8s de n transiciones
c) El proceso no 2a-a llegado a3n al estado " despu8s de n transiciones
d) 7espu8s de la tercera transicin desde el estado ! 2asta el " las dos
transiciones siguientes sean " 1 ! o " ! !
e) El proceso entre en el estado " e9actamente una vez en las tres primeras
transiciones
f) El proceso realice la transicin 1 "

e9actamente una vez en las tres
primeras transiciones
g) El n3mero esperado de veces 'ue el proceso entrar en el estado "
durante las tres primeras transiciones.
M5. :upongamos 'ue la probabilidad de 'ue ma;ana llueva si 2o- est lloviendo
es $.<& - 'ue la probabilidad de 'ue ma;ana 2aga buen tiempo si 2o- 2ace buen
tiempo es $.0.
a) 7eterminar la matriz de probabilidades de transicin de la cadena de
Markov correspondiente.
b) =allar la distribucin de probabilidad del estado estacionario.
M6. 7eterminar las clases de las siguientes cadenas de Markov - decir si son o
no recurrentes
0

1

0

0
0

0

1

1
1/3

0

0

0
a)
2/3

0

0

0
1

0

0

1/2
0

1/2

1/2

0
0

1/2

1/2

0
b)
0

0

0

1/2
Problemes de MEIO !
M7. Consideremos el siguiente )uego: un )ugador apuesta una unidad en cada
partida. >iene una probabilidad p de ganar - '%1?p de perder. seguir )ugando
2asta 'ue se arruina o alcanza una fortuna de > unidades.
:ea @
n
la fortuna del )ugador en la n?8sima partida.
@
nA1

%

@n A 1 con probabilidad p
@n ? 1 con probabilidad ' % 1 ? p
$ B @
n
B >
@
nA1
% @
n
@
n
% $ >
@
n

es una cadena de Markov. :upongamos 'ue las sucesivas partidas
del )uego son independientes - 'ue la fortuna inicial del )ugador es @
$
a) 7eterminar la matriz de probabilidades de transicin de 1 paso de la
cadena de Markov
b) =allar las clases de la cadena de Markov
c) :ean > % ! - p % $.! =allar
10
,
1
,
20
,
2
d) :ean > % ! - p % $.C =allar
10
,
1
,
20
,
2
Du8 se puede deducir de c6 - d6#
M. :upongamos 'ue una red de comunicaciones transmite d5gitos binarios $ o
1. *l recorrer la red& e9iste una probabilidad ' de 'ue el d5gito binario se reciba de
forma incorrecta en el siguiente paso. :i @
$
denota un d5gito binario 'ue entra en el
sistema& @
1
el d5gito recibido despu8s de la primera transicin& @
"
el d5gito recibido
despu8s de la segunda transicin& ... @
n
& entonces es una cadena de Markov.
=allar la matriz de probabilidades de transicin - la distribucin de
probabilidad del estado estacionario.
Problemes de MEIO 0
M!. Considerar la siguiente pol5tica Ek&D6 de gestin de inventarios. :ean
7
1
&7
"
&... las demandas de un producto en los per5odos 1&"&....& respectivamente.:i la
demanda durante un periodo e9cede el n3mero de items disponibles& la demanda
insatisfec2a es retenida& de manera 'ue se satisface cuando llega el siguiente pedido
de reposicin del inventario. 7enotemos por F
n
En%$&1&"&...6 la cantidad de
inventario disponible menos el n3mero de unidades retenidas antes de efectuar un
pedido de reposicin de inventario al final del periodo n EF
$
%$6. :i F
n
es cero o
positivo& no se retienen rdenes. :i F
n
es negativo& entonces ?F
n
representa el
n3mero de unidades de demanda retrasada - no 'ueda inventario disponible. :i al
principio del periodo n& F
n
Bk%1& se efectua un pedido de reposicin de "m EDm en
el caso general6 unidades& donde m es el menor entero tal 'ue F
n
A"mG%1. E/a
cantidad pedida es el menor m3ltiplo entero de "& 'ue lleva el nivel de inventario
2asta al menos una unidad6. :ean 7
n
variables aleatorias independientes e
identicamente distribuidas 'ue toman cada uno de los valores $&1&"&!&0 con
probabilidad 1HI. 7enotemos por @
n
el valor del stock disponible despu8s de
efectuar el pedido al final del periodo n E@
$
%"6. Jesulta entonces:
@
n
% @
n?1
? 7
n
A"m& :i @
n?1
?7
n
B1
En%1&"&!&....6
@
n
% @
n?1
? 7
n
& :i @
n?1
?7
n
G%1
- @n es una cadena de Markov con solo dos estados: 1&".
a) Encontrar la Matriz de >ransiciones
b) Encontrar las probabilidades del estado estacionario
c) :uponer 'ue el coste de efectuar un pedido de reposicin es E!A!m6.
El coste de mantenimiento del stock es F
n
& si F
n
G%$& - cero en caso
contrario.
El coste de ruptura del stock es ?0F
n
& si F
n
B$. Encontrar el coste medio
esperado por unidad de tiempo.
d) Comprobar 'ue& en general& para una politica Ek&D6 los estados posibles
son k&kA1&kA"&......&kAD?1.
Problemes de MEIO I
M1". El :ervicio =idrolgico de la Comunidad *utnoma de @ planea construir
un embalse para regular la cuenca de uno de sus rios con el ob)etivo de satisfacer los
re'uerimientos de agua para regad5o. /a capacidad m9ima del embalse previsto
ser de 0.$$$.$$$ m
!
& o& de manera abreviada 0 unidades de agua E1 unidad de agua
% 1.$$$.$$$ m
!
6.
*ntes de proceder a la construccin el :ervicio desearia tener alguna idea
sobre la efectividad del mismo a largo plazo. Para ello se 2a llevado a cabo un
estudio sobre los vol3menes semanales de agua aportados por el r5o& encontrndose
con 'ue ppueden apro9imarse por medio de la siguiente distribucin de probabilidad
discreta:
*portacin semanal
en unidades de agua " ! 0 I
???????????????????????????????????????????????????????????????????
Probabilidad $.! $.0 $." $.1
El :ervicio est considerando la posibilidad de contratos de regad5o 'ue
re'ueriran el consumo de " unidades de agua por semana& pero adicionalmente& para
mantener los estndares de calidad del agua para otros usos& deber de)ar salir al
menos 1 unidad de agua por semana. Por lo tanto el ob)etivo semanal ser de)ar salir
! unidades de agua. :i el estado del embalse Enivel del embalse6 ms la aportacin de
agua del rio es menor 'ue esta cantidad se tendr 'ue de)ar salir menos agua&
afectando la carencia a los regadios. :i el embalse est lleno& cual'uier e9ceso ser
vertido por los aliviaderos. El nivel m5nimo admitido del embalse Eestado m5nimo6
no podr ser inferior a una unidad de agua.
a) Jepresentar el diagrama de transiciones& encontrar la matriz de
probabilidades de transicin& - comprobar 'ue se trata de un proceso
markoviano.
b) Cual ser el n3mero medio de semanas transcurrido desde 'ue el embalse
se encuentra en el estado con " unidades de agua 2asta 'ue est8 totalmente
lleno#
c) :upuesto el embalse en el estado m5nimo con 1 unidad de agua& Cuantas
semanas tardar& en promedio& en volver a estar en la misma situacin#
d) :uponiendo 'ue la primera semana partimos de una situacin en la 'ue se
embalsaban ! unidades de agua Cual es la probabilidad de 'ue dos
semanas despu8s se encuentre al m5nimo#.
Problemes de MEIO <
M11. (na tienda de venta de ordenadores personales tiene un modelo particular
cu-o stock puede reponerse semanalmente.
Jepresentemos por 7
1
& 7
"
&.....& la demanda de este modelo durante la
primera semana& la segunda& etc.. :uponemos 'ue las demandas 7
i
son variables
aleatorias independientes e identicamente distribuidas& 'ue tienen una distribucin de
Poison de parmetro %". :upongamos 'ue @
$
representa el n3mero de unidades
del modelo en el momento inicial& @
1
el n3mero de unidades disponibles al final de
la primera semana& @
"
el n3mero de unidades disponibles al final de la segunda
semana& - as5 sucesivamente. :upongamos 'ue @
$
%!.
El sbado por la noc2e la tienda efect3a un pedido al almac8n central 'ue le
es servido el lunes por la ma;ana aprimera 2ora. /a tienda utiliza la siguiente
pol5tica de gestin de stocks: si el n3mero de unidades disponibles al final de la
semana es menor de " unidades& la tienda efect3a un pedido de reposicin de !
unidades. En caso contrario no efectua ning3n pedido. :e supone 'ue las ventas se
pierden cuando la demanda es superior al inventario disponible. /os posibles estados
del proceso son los enteros @
t
'ue representan el n3mero de unidades disponibles al
final de cada semana. :e pide:
a) Encontrar una e9presin 'ue permita evaluar iterativamente las variables
aleatorias @
t
.
b) Comprobar 'ue las @
t
& t%$&1&"&....& constitu-en una cadena de Markov.
c) Calcular la matriz de probabilidades de transicin.
d) Partiendo de un estado con tres unidades disponibles& Cual es el tiempo
medio 2asta 'ue el stock es cero.
e) :uponiendo 'ue cada unidad en stock comporta un coste semanal de !$$
pts.& Cual seria el coste medio semanal esperado a largo plazo#.
Problemes de MEIO C
M12. (na m'uina tiene dos piezas colocadas en paralelo de manera 'ue para
funcionar utiliza solo una de ellas& 'uedando la otra de repuesto para reemplazar a la
'ue traba)a cuando esta se estropea& si est en condiciones de traba)ar. /as piezas
traba)an de manera 'ue se estropean durante un periodo de tiempo dado con una
probabilidad '.
:upongamos 'ue la pieza 'ue est traba)ando& en caso de 'ue se estropee&
lo 2ace al final de un periodo& de manera 'ue la pieza de repuesto empieza a traba)ar&
si est en condiciones de 2acrlo& al principio del periodo siguiente. =a- un 5nico
mecnico para reparar las piezas estropeadas& 'ue tarda dos periodos en reparar una
pieza estropeada.
El proceso puede describirse mediante un vector @
t
de dos componentes (
- K& donde ( representa el n3mero de piezas 2biles& traba)ando o en condiciones de
traba)ar& al final del periodo t?8simo& - K toma el valor 1 si el mecnico re'uier
3nicamente un periodo adicional para completar una reparacion& si -a est
procediendo a ella& - $ en caso contrario. Por lo tanto& el espacio de estados consta
de cuatro estados:
E"&$6& E1&$6& E$&16& - E1&16
EPor e)emplo& el estado E1&16 implica 'ue una componente opera - la otra necesita un
periodo adicional para acabar de ser reparada6.
7enotemos los cuatro estados por $&1&" - ! respectivamente EEs decir @
t
% $
'uiere decir @
t
% E"&$6& por e)emplo6.
a) Comprobar 'ue
@
t
& t%$&1&"&......& es una cadena de Markov.
7escribir el diagrama de transiciones - 2allar la matriz de probabilidades
de transicin.
b) =allar la distribucin de probabilidad del estado estacionario.
Problemes de MEIO L
M13. /as familias de cierto pa5s se clasifican seg3n residan en reas rurales&
urbanas o suburbanas. /os estudios de movilidad demogrfica estiman 'ue& en
promedio& en el curso de un a;o& el 1IM de las familias urbanas cambia de residencia
- se traslada a un rea suburbana& - el IM a un rea rural, mientras 'ue el <M de las
familias residentes en reas suburbanas se traslada a reas urbanas& - el 0M a reas
rurales& - finalmente el 0M de las familias rurales migra a las reas urbanas - el <M a
las suburbanas.
a) C3al es la probabilidad de 'ue una familia 'ue vive a2ora en un rea
urbana siga viviendo en un rea urbana dentro de dos a;os#. N en una
suburbana#. N en una rural#.
b) :upongamos 'ue en el presente el 0$M de las familias del pa5s viven en
reas urbanas& el !IM en suburbanas - el "IM en rurales. Du8
porcenta)e de familias vivir en reas urbanas dentro de dos a;os#.
c) Du8 distribucin de poblacin es de prever en el futuro si las tendencias
no cambian#.
M14. (n bos'ue consta de dos tipos de rboles: )venes Eentre $ - ! mts de
altura6 - adultos Ems de ! mts6. Cada a;o& el !$M de los rboles )venes muere& el
1$M se vende por O"$ cada uno& el "$M se mantine entre $ - ! mts - el 0$M crece
superando los ! mts. Cada a;o& el 0$M de los rboles adultos se vende por OI$& el
"$M se vende por O"$& el !$M permanece en el bos'ue - un 1$M muere.
a) Cul es la probabilidad de 'ue un rbol )oven muera antes de ser
vendido #
b) :i plantar un rbol )oven cuesta OI& cul es el beneficio esperado para
cada rbol )oven plantado #
M1I? :ea la siguiente matriz de probabilidades de transicin:


Problemes de MEIO P
Con su vector de probabilidades iniciales en t % $: E.L& .1& .16.


Encontrar:


a. El vector de probabilidades en el momento t % "
b. /a probabilidad de 'ue en los momentos t % $& 1& "& !& la cadena asuma los
estados 1& !& !& "& respectivamente.
c. El vector l5mite estacionario& si e9iste.
7ibu)ar el grfico de estados.
M1<. :ea @Et6& t % $& 1& "& Q una cadena de Markov cu-a matriz de probabilidades de
transicin es:



- adems: PR@E$6 % 1S % 1
:upongamos 'ue:
NEt6 % 1& si 9Et6 % 1
NEt6 % "& si 9Et6 1
7emostrar 'ue NEt6& t % $& 1& "& Q es tambi8n una cadena de Markov. Encontrar
su matriz de probabilidades de transicin.

M1C. :ea @Et6& t % $& 1& "& Q una sucesin de variables aleatorias independientes
- binarias& as5:
PR9Et6 % 1S % p& p G $
PR9Et6 % ?1S % 1?p
:upongamos 'ue NE$6 % $& NEtA16 % NEt6 A @EtA16& ser NEt6& t % $& 1& "& Q una
cadena de Markov#
=allar PRNEt6 % mS& m % $& 1& "& Q
Problemes de MEIO 1$


M1L. :ea 9Et6& t % 1& "& Q una sucesin de variables aleatorias independientes -
binarias con:
PR9Et6 % 1S % p& p G $
PR9Et6 % ?1S % '& p A ' % 1
*nalice si las siguientes sucesiones son cadenas de Markov.
a6 NEt6 % 9Et6 9Et A 16
b6 NEt6 % 9E16 9E"6Q 9Et6
c6 NEt6 % fE9Et6& 9 EtA166 con: fE?1& ?16 % 1& fE?1& 16 % "& fE1& ?16 % !& fE1& 16
% 0
:i la respuesta es afirmativa& 2allar la matriz de probabilidades de transicin.


M1P. >enemos 1 urnas inicialmente vac5as. *l azar - sucesivamente vamos
depositando bolas. :ea 9En6 el n3mero de urnas 'ue permanecen vac5as cuando
-a se 2an sorteado n bolas& n % 1& "& Q
7emostrar 'ue la sucesin 9En6& n % 1& " es una cadena de Markov. =allar la
matriz de probabilidades de transicin.
M"$. 1uevamente& en las 1 urnas vac5as vamos sorteando al azar lotes de m
bolas& uno tras otro. /as bolas de cada lote se sortean una tras otra con
independencia - e'uiprobabilidad.
:ea 9En6& n % 1& "Q el n3mero de urnas 'ue permanecen vac5as cuando -a se 2an
sorteado n lotes.
7emostrar 'ue la sucesin 9En6& n % 1& "Q es una cadena de Markov - 2allar la
matriz de probabilidades de transicin.

M"1. :ea P%Ep
i)
& i& ) % 1& n6 una matriz de probabilidades de transicin. 7ecimos
'ue es doblemente estocstica si adems de cumplir la
propiedad cumple tambi8n
7emostrar 'ue en este caso el vector estacionario es e'uiprobable.

M"". :ea 9Et6& t % $& 1& "Q una cadena de Markov cu-o espacio fase es :%T1& "&
!U - su vector estacionario es E1H!& 1H!& 1H!6& mostrar 'ue si P
11
% P
""
% P
!!
% $&
entonces: P
1"
% P
"!
% P
!1
% P
1!
% P
"1
% P
!"


M"!. 7espu8s de lanzar un dado apareci el resultado VseisV. /uego se 2ace
girar para 'ue salga alguna de las cuatro caras vecinas& al azar. 7e esta manera se
2acen giros sucesivos. =allar el l5mite de la probabilidad de 'ue vuelva a salir el
seis& si el n3mero de giros tiende a infinito.

Problemes de MEIO 11
M"0. En cierta ciudad los 2abitantes pueden tener alguna de las profesiones *&
+& C. En cada caso los 2i)os tienden a seguir la profesin del padre con
probabilidades !HI& "H! - W respectivamente. Duienes no siguen la tradicin del
padre eligen e'uiprobablemente alguna de las otras dos.
=allar:
a6 /a distribucin porcentual de las profesiones en la pr9ima generacin& si
actualmente es de "$M para *& !$M para + - I$M para C.
b6 /a distribucin l5mite de las generaciones cuando transcurren muc2as
generaciones.
c6 (na cierta distribucin porcentual de las profesiones 'ue no cambie de una
generacin a otra.

M"I. En la urna 1 tenemos P bolas blancas - 1 bola negra. En la urna " tenemos
P bolas negras - una blanca. E9traemos una bola al azar de la urna 1. :i es
negra& la regresamos a la urna. :i es blanca& la cambiamos por otra bola de la
urna " 'ue se e9trae al azar.
:ea 9Et6& t % $& 1& "Q el n3mero de bolas en la urna 1 despu8s de cada
e9perimento.
7emostrar 'ue 9Et6 es una cadena de Markov.
7ibu)ar el grfico de estados.
=allar la distribucin l5mite.

M"<. /a matriz de probabilidades de transicin - el vector de probabilidades
iniciales de una cadena de Markov& son:
M
E$6
% E1H"& 1H"& $& $& $& $6
=allar:
a6 /os estados transientes
b6 /a esperanza matemtica del tiempo transcurrido para abandonar los
estados transientes.
c6 :ean las subclases % T!&0U& % TI&<U - supongamos 'ue el estado
inicial i T1&"U

M"C.7ada la matriz de probabilidades de transicin de una cadena de
Markov:
Problemes de MEIO 1"
=allar - la distribucin l5mite - estacionaria de las probabilidades.


M"L. (na part5cula realiza una caminata aleatoria por una cuadr5cula infinita. En
cada paso avanza a alg3n nodo vecino.
Para escoger el siguiente paso tiene tres opciones e'uiprobables:
o Continuar en la direccin 'ue tra5a
o 7esviarse a la iz'uierda
o 7esviarse a la derec2a
:ea @En6 % E@
1
En6& @
"
En66 las coordenadas en el momento n.
@
1
En6 es la abcisa en el momento n
@
"
En6 es la ordenada en el momento n

=allar ER9En6S& a partir de: @E$6 % E@
1
E$6& @
"
E$66 % E$& $6
@E16 % E@
1
E16& @
"
E166 % E1& $6
Problemes de MEIO 1!