PROBLEMAS DE CADENAS DE MARKOV

M1.

Estudiar los procesos estocsticos definidos por las matrices:

0.4 0.6 0.8 0.2 0 0 0.5

P1 =

0.2 0.3

1 1/4 1/2

0 1/2 1/2

P2 =

1/4 0

0.4

0.1 0.5 0.2 0.1

0.5 0.2 0 0.3

0 0.3 0.4 0.1

P3 =

0 0.4 0.5

0.4

0.1 0.2 0 0.4

0.4 0.2 0.2 0.1

0.1 0.5 0.2 0.3

P4 =

0.1 0.6 0.2

1/4

0 1/2 0

3/4 1/4 1/2

P5 =

1/4 1/2

Problemes de MEIO

M2. Considerar un proceso probabilidades de transicin:

1/8 1/8 1/4 0

markoviano con la siguiente matriz de

3/4 1/4 1/4

P=

1/2 3/4

a) Cual es el tiempo medio de primer paso de ! a "# b) Cuales deberian ser las probabilidades iniciales de estado $ % 1 $ & " $ & ! $ para 'ue el proceso entrase en estado estacionario despues de una transicion# M3. (n taller de reparaciones puede efectuar el traba)o * o el traba)o + pero no los dos simultaneamente, la tarea * re'uiere " dias - la + 1 dia. /os posibles estados del taller son pues: 1 % ninguna tarea& " % primer dia de la tarea * ! % segundo dia de la tarea * 0 % tarea + /a probabilidad de una nueva demanda de tarea * al principio de cada dia es a, la de la tarea + es b. 1o 2a- colas& si el taller est a mitad de e)ecucin de una tarea *& la llegada de una nueva demanda se pierde. /a 3nica ambig4edad se plantea cuando el taller termina un traba)o al final de un dia - tiene la posibilidad de empezar al dia siguiente con una tarea * o una +. /as dos pol5ticas son posibles: 16 Empezar siempre con una tarea * con preferencia a una + "6 Empezar siempre con una tarea + con preferencia a una * a) 7emostrar 'ue para la pol5tica 1 la matriz de probabilidades de transicion es:
(1- a) (1- b) a 0 a a 0 1 0 0 b (1- a) 0 b (1- a) b ( 1- a)

P=

0 (1- a) (1- b) (1- a) (1- b)

b) Encontrar las probabilidades l5mite de estados para este proceso c) Encontrar la matriz de probabilidades de transicin para la pol5tica " d) Cual es la relacin entre los porcenta)es l5mite de dias de desocupacin de ambas pol5ticas#

Problemes de MEIO

"

M4.

El siguiente proceso de Markov empieza en el estado 1

0 0.5 0 0.2 0.5 0.6 0.8

P=

0.4 0

Encontrar las probabilidades de 'ue: a) El proceso est8 en el estado ! despues de tres transiciones b) El proceso llegue al estado ! por primera vez despu8s de n transiciones c) El proceso no 2a-a llegado a3n al estado " despu8s de n transiciones d) 7espu8s de la tercera transicin desde el estado ! 2asta el " las dos transiciones siguientes sean " 1 ! o " ! ! e) El proceso entre en el estado " e9actamente una vez en las tres primeras transiciones f) El proceso realice la transicin 1 " e9actamente una vez en las tres primeras transiciones g) El n3mero esperado de veces 'ue el proceso entrar en el estado " durante las tres primeras transiciones. M5. :upongamos 'ue la probabilidad de 'ue ma;ana llueva si 2o- est lloviendo es $.<& - 'ue la probabilidad de 'ue ma;ana 2aga buen tiempo si 2o- 2ace buen tiempo es $.0. a) 7eterminar la matriz de probabilidades de transicin de la cadena de Markov correspondiente. b) =allar la distribucin de probabilidad del estado estacionario. M6. 7eterminar las clases de las siguientes cadenas de Markov - decir si son o no recurrentes
0 0 0 1 1 1/3 0 0 0 2/3 0 0 0 1 0 1/2 1/2 0 0 1/2 1/2 0 0 0 0 1/2

a)

1 0 0

b)

0 0 1/2

Problemes de MEIO

M7. Consideremos el siguiente )uego: un )ugador apuesta una unidad en cada partida. >iene una probabilidad p de ganar - '%1?p de perder. seguir )ugando 2asta 'ue se arruina o alcanza una fortuna de > unidades. :ea @n la fortuna del )ugador en la n?8sima partida.

@n A 1
@ nA1

con probabilidad p con probabilidad ' % 1 ? p

@n ? 1

$ B @n B >

@nA1 % @n

@n % $ >

es una cadena de Markov. :upongamos 'ue las sucesivas partidas del )uego son independientes - 'ue la fortuna inicial del )ugador es @$ a) 7eterminar la matriz de probabilidades de transicin de 1 paso de la cadena de Markov b) =allar las clases de la cadena de Markov c) :ean > % ! - p % $.! =allar 10, 1, 20, 2 d) :ean > % ! - p % $.C Du8 se puede deducir de c6 - d6# =allar 10, 1, 20, 2

@n

M . :upongamos 'ue una red de comunicaciones transmite d5gitos binarios $ o 1. *l recorrer la red& e9iste una probabilidad ' de 'ue el d5gito binario se reciba de forma incorrecta en el siguiente paso. :i @ $ denota un d5gito binario 'ue entra en el sistema& @1 el d5gito recibido despu8s de la primera transicin& @ " el d5gito recibido despu8s de la segunda transicin& ... @n & entonces es una cadena de Markov. =allar la matriz de probabilidades probabilidad del estado estacionario. de transicin - la distribucin de

Problemes de MEIO

M!. Considerar la siguiente pol5tica Ek&D6 de gestin de inventarios. :ean 71&7"&... las demandas de un producto en los per5odos 1&"&....& respectivamente.:i la demanda durante un periodo e9cede el n3mero de items disponibles& la demanda insatisfec2a es retenida& de manera 'ue se satisface cuando llega el siguiente pedido de reposicin del inventario. 7enotemos por Fn En%$&1&"&...6 la cantidad de inventario disponible menos el n3mero de unidades retenidas antes de efectuar un pedido de reposicin de inventario al final del periodo n EF $%$6. :i Fn es cero o positivo& no se retienen rdenes. :i Fn es negativo& entonces ?Fn representa el n3mero de unidades de demanda retrasada - no 'ueda inventario disponible. :i al principio del periodo n& FnBk%1& se efectua un pedido de reposicin de "m EDm en el caso general6 unidades& donde m es el menor entero tal 'ue F nA"mG%1. E/a cantidad pedida es el menor m3ltiplo entero de "& 'ue lleva el nivel de inventario 2asta al menos una unidad6. :ean 7n variables aleatorias independientes e identicamente distribuidas 'ue toman cada uno de los valores $&1&"&!&0 con probabilidad 1HI. 7enotemos por @n el valor del stock disponible despu8s de efectuar el pedido al final del periodo n E@$%"6. Jesulta entonces: @ n% @n?1 ? 7nA"m& @n% @n?1 ? 7n& :i @n?1?7nB1 En%1&"&!&....6 :i @n?1?7n G%1

- @n es una cadena de Markov con solo dos estados: 1&". a) Encontrar la Matriz de >ransiciones b) Encontrar las probabilidades del estado estacionario c) :uponer 'ue el coste de efectuar un pedido de reposicin es E!A!m6. El coste de mantenimiento del stock es Fn& si FnG%$& - cero en caso contrario. El coste de ruptura del stock es ?0Fn& si FnB$. Encontrar el coste medio esperado por unidad de tiempo. d) Comprobar 'ue& en general& para una politica Ek&D6 los estados posibles son k&kA1&kA"&......&kAD?1.

Problemes de MEIO

M1". El :ervicio =idrolgico de la Comunidad *utnoma de @ planea construir un embalse para regular la cuenca de uno de sus rios con el ob)etivo de satisfacer los re'uerimientos de agua para regad5o. /a capacidad m9ima del embalse previsto ser de 0.$$$.$$$ m!& o& de manera abreviada 0 unidades de agua E1 unidad de agua % 1.$$$.$$$ m! 6. *ntes de proceder a la construccin el :ervicio desearia tener alguna idea sobre la efectividad del mismo a largo plazo. Para ello se 2a llevado a cabo un estudio sobre los vol3menes semanales de agua aportados por el r5o& encontrndose con 'ue ppueden apro9imarse por medio de la siguiente distribucin de probabilidad discreta: *portacin semanal en unidades de agua " ! 0 I ??????????????????????????????????????????????????????????????????? Probabilidad $.! $.0 $." $.1 El :ervicio est considerando la posibilidad de contratos de regad5o 'ue re'ueriran el consumo de " unidades de agua por semana& pero adicionalmente& para mantener los estndares de calidad del agua para otros usos& deber de)ar salir al menos 1 unidad de agua por semana. Por lo tanto el ob)etivo semanal ser de)ar salir ! unidades de agua. :i el estado del embalse Enivel del embalse6 ms la aportacin de agua del rio es menor 'ue esta cantidad se tendr 'ue de)ar salir menos agua& afectando la carencia a los regadios. :i el embalse est lleno& cual'uier e9ceso ser vertido por los aliviaderos. El nivel m5nimo admitido del embalse Eestado m5nimo6 no podr ser inferior a una unidad de agua. a) Jepresentar el diagrama de transiciones& encontrar la matriz de probabilidades de transicin& - comprobar 'ue se trata de un proceso markoviano. b) Cual ser el n3mero medio de semanas transcurrido desde 'ue el embalse se encuentra en el estado con " unidades de agua 2asta 'ue est8 totalmente lleno# c) :upuesto el embalse en el estado m5nimo con 1 unidad de agua& Cuantas semanas tardar& en promedio& en volver a estar en la misma situacin# d) :uponiendo 'ue la primera semana partimos de una situacin en la 'ue se embalsaban ! unidades de agua Cual es la probabilidad de 'ue dos semanas despu8s se encuentre al m5nimo#.

Problemes de MEIO

<

M11. (na tienda de venta de ordenadores personales tiene un modelo particular cu-o stock puede reponerse semanalmente. Jepresentemos por 71& 7"&.....& la demanda de este modelo durante la primera semana& la segunda& etc.. :uponemos 'ue las demandas 7 i son variables aleatorias independientes e identicamente distribuidas& 'ue tienen una distribucin de Poison de parmetro %". :upongamos 'ue @$ representa el n3mero de unidades del modelo en el momento inicial& @1 el n3mero de unidades disponibles al final de la primera semana& @" el n3mero de unidades disponibles al final de la segunda semana& - as5 sucesivamente. :upongamos 'ue @$%!. El sbado por la noc2e la tienda efect3a un pedido al almac8n central 'ue le es servido el lunes por la ma;ana aprimera 2ora. /a tienda utiliza la siguiente pol5tica de gestin de stocks: si el n3mero de unidades disponibles al final de la semana es menor de " unidades& la tienda efect3a un pedido de reposicin de ! unidades. En caso contrario no efectua ning3n pedido. :e supone 'ue las ventas se pierden cuando la demanda es superior al inventario disponible. /os posibles estados del proceso son los enteros @t 'ue representan el n3mero de unidades disponibles al final de cada semana. :e pide: a) Encontrar una e9presin 'ue permita evaluar iterativamente las variables aleatorias @t. b) Comprobar 'ue las @t& t%$&1&"&....& constitu-en una cadena de Markov. c) Calcular la matriz de probabilidades de transicin. d) Partiendo de un estado con tres unidades disponibles& Cual es el tiempo medio 2asta 'ue el stock es cero. e) :uponiendo 'ue cada unidad en stock comporta un coste semanal de !$$ pts.& Cual seria el coste medio semanal esperado a largo plazo#.

Problemes de MEIO

M12. (na m'uina tiene dos piezas colocadas en paralelo de manera 'ue para funcionar utiliza solo una de ellas& 'uedando la otra de repuesto para reemplazar a la 'ue traba)a cuando esta se estropea& si est en condiciones de traba)ar. /as piezas traba)an de manera 'ue se estropean durante un periodo de tiempo dado con una probabilidad '. :upongamos 'ue la pieza 'ue est traba)ando& en caso de 'ue se estropee& lo 2ace al final de un periodo& de manera 'ue la pieza de repuesto empieza a traba)ar& si est en condiciones de 2acrlo& al principio del periodo siguiente. =a- un 5nico mecnico para reparar las piezas estropeadas& 'ue tarda dos periodos en reparar una pieza estropeada. El proceso puede describirse mediante un vector @t de dos componentes ( - K& donde ( representa el n3mero de piezas 2biles& traba)ando o en condiciones de traba)ar& al final del periodo t?8simo& - K toma el valor 1 si el mecnico re'uier 3nicamente un periodo adicional para completar una reparacion& si -a est procediendo a ella& - $ en caso contrario. Por lo tanto& el espacio de estados consta de cuatro estados: E"&$6& E1&$6& E$&16& - E1&16 EPor e)emplo& el estado E1&16 implica 'ue una componente opera - la otra necesita un periodo adicional para acabar de ser reparada6. 7enotemos los cuatro estados por $&1&" - ! respectivamente EEs decir @ t % $ 'uiere decir @t % E"&$6& por e)emplo6. a) Comprobar 'ue @ t & t%$&1&"&......& es una cadena de Markov. 7escribir el diagrama de transiciones - 2allar la matriz de probabilidades de transicin. b) =allar la distribucin de probabilidad del estado estacionario.

Problemes de MEIO

M13. /as familias de cierto pa5s se clasifican seg3n residan en reas rurales& urbanas o suburbanas. /os estudios de movilidad demogrfica estiman 'ue& en promedio& en el curso de un a;o& el 1IM de las familias urbanas cambia de residencia - se traslada a un rea suburbana& - el IM a un rea rural, mientras 'ue el <M de las familias residentes en reas suburbanas se traslada a reas urbanas& - el 0M a reas rurales& - finalmente el 0M de las familias rurales migra a las reas urbanas - el <M a las suburbanas. a) C3al es la probabilidad de 'ue una familia 'ue vive a2ora en un rea urbana siga viviendo en un rea urbana dentro de dos a;os#. N en una suburbana#. N en una rural#. b) :upongamos 'ue en el presente el 0$M de las familias del pa5s viven en reas urbanas& el !IM en suburbanas - el "IM en rurales. Du8 porcenta)e de familias vivir en reas urbanas dentro de dos a;os#. c) Du8 distribucin de poblacin es de prever en el futuro si las tendencias no cambian#.

M14. (n bos'ue consta de dos tipos de rboles: )venes Eentre $ - ! mts de altura6 - adultos Ems de ! mts6. Cada a;o& el !$M de los rboles )venes muere& el 1$M se vende por O"$ cada uno& el "$M se mantine entre $ - ! mts - el 0$M crece superando los ! mts. Cada a;o& el 0$M de los rboles adultos se vende por OI$& el "$M se vende por O"$& el !$M permanece en el bos'ue - un 1$M muere. a) Cul es la probabilidad de 'ue un rbol )oven muera antes de ser vendido # b) :i plantar un rbol )oven cuesta OI& cul es el beneficio esperado para cada rbol )oven plantado # M1I? :ea la siguiente matriz de probabilidades de transicin:

Problemes de MEIO

Con su vector de probabilidades iniciales en t % $: E.L& .1& .16.

Encontrar:

a. El vector de probabilidades en el momento t % " b. /a probabilidad de 'ue en los momentos t % $& 1& "& !& la cadena asuma los estados 1& !& !& "& respectivamente. c. El vector l5mite estacionario& si e9iste.

7ibu)ar el grfico de estados.

M1<. :ea @Et6& t % $& 1& "& Q una cadena de Markov cu-a matriz de probabilidades de transicin es:

- adems: PR@E$6 % 1S % 1 :upongamos 'ue: NEt6 % 1& si 9Et6 % 1 NEt6 % "& si 9Et6 1 7emostrar 'ue NEt6& t % $& 1& "& Q es tambi8n una cadena de Markov. Encontrar su matriz de probabilidades de transicin. M1C. :ea @Et6& t % $& 1& "& Q una sucesin de variables aleatorias independientes - binarias& as5: PR9Et6 % 1S % p& p G $ PR9Et6 % ?1S % 1?p :upongamos 'ue NE$6 % $& NEtA16 % NEt6 A @EtA16& ser NEt6& t % $& 1& "& Q una cadena de Markov# =allar PRNEt6 % mS& m % $& 1& "& Q

Problemes de MEIO

1$

M1L. :ea 9Et6& t % 1& "& Q una sucesin de variables aleatorias independientes binarias con: PR9Et6 % 1S % p& p G $ PR9Et6 % ?1S % '& p A ' % 1 *nalice si las siguientes sucesiones son cadenas de Markov. a6 NEt6 % 9Et6 9Et A 16 b6 NEt6 % 9E16 9E"6Q 9Et6 c6 NEt6 % fE9Et6& 9 EtA166 con: fE?1& ?16 % 1& fE?1& 16 % "& fE1& ?16 % !& fE1& 16 %0 :i la respuesta es afirmativa& 2allar la matriz de probabilidades de transicin.

M1P. >enemos 1 urnas inicialmente vac5as. *l azar - sucesivamente vamos depositando bolas. :ea 9En6 el n3mero de urnas 'ue permanecen vac5as cuando -a se 2an sorteado n bolas& n % 1& "& Q 7emostrar 'ue la sucesin 9En6& n % 1& " es una cadena de Markov. =allar la matriz de probabilidades de transicin. M"$. 1uevamente& en las 1 urnas vac5as vamos sorteando al azar lotes de m bolas& uno tras otro. /as bolas de cada lote se sortean una tras otra con independencia - e'uiprobabilidad. :ea 9En6& n % 1& "Q el n3mero de urnas 'ue permanecen vac5as cuando -a se 2an sorteado n lotes. 7emostrar 'ue la sucesin 9En6& n % 1& "Q es una cadena de Markov - 2allar la matriz de probabilidades de transicin. M"1. :ea P%Epi)& i& ) % 1& n6 una matriz de probabilidades de transicin. 7ecimos 'ue es doblemente estocstica si adems de cumplir la propiedad cumple tambi8n

7emostrar 'ue en este caso el vector estacionario es e'uiprobable. M"". :ea 9Et6& t % $& 1& "Q una cadena de Markov cu-o espacio fase es :%T1& "& !U - su vector estacionario es E1H!& 1H!& 1H!6& mostrar 'ue si P 11 % P"" % P!! % $& entonces: P1" % P"! % P!1 % P1! % P"1 % P!" M"!. 7espu8s de lanzar un dado apareci el resultado VseisV. /uego se 2ace girar para 'ue salga alguna de las cuatro caras vecinas& al azar. 7e esta manera se 2acen giros sucesivos. =allar el l5mite de la probabilidad de 'ue vuelva a salir el seis& si el n3mero de giros tiende a infinito.

Problemes de MEIO

11

M"0. En cierta ciudad los 2abitantes pueden tener alguna de las profesiones *& +& C. En cada caso los 2i)os tienden a seguir la profesin del padre con probabilidades !HI& "H! - W respectivamente. Duienes no siguen la tradicin del padre eligen e'uiprobablemente alguna de las otras dos. =allar: a6 /a distribucin porcentual de las profesiones en la pr9ima generacin& si actualmente es de "$M para *& !$M para + - I$M para C. b6 /a distribucin l5mite de las generaciones cuando transcurren muc2as generaciones. c6 (na cierta distribucin porcentual de las profesiones 'ue no cambie de una generacin a otra. M"I. En la urna 1 tenemos P bolas blancas - 1 bola negra. En la urna " tenemos P bolas negras - una blanca. E9traemos una bola al azar de la urna 1. :i es negra& la regresamos a la urna. :i es blanca& la cambiamos por otra bola de la urna " 'ue se e9trae al azar. :ea 9Et6& t % $& 1& "Q el n3mero de bolas en la urna 1 despu8s de cada e9perimento. 7emostrar 'ue 9Et6 es una cadena de Markov. 7ibu)ar el grfico de estados. =allar la distribucin l5mite. M"<. /a matriz de probabilidades de transicin - el vector de probabilidades iniciales de una cadena de Markov& son:

ME$6 % E1H"& 1H"& $& $& $& $6 =allar: a6 /os estados transientes b6 /a esperanza matemtica del tiempo transcurrido para abandonar los estados transientes. c6 :ean las subclases % T!&0U& % TI&<U - supongamos 'ue el estado inicial i T1&"U M"C.7ada la matriz de probabilidades de transicin de una cadena de Markov:

Problemes de MEIO

1"

=allar

- la distribucin l5mite - estacionaria de las probabilidades.

M"L. (na part5cula realiza una caminata aleatoria por una cuadr5cula infinita. En cada paso avanza a alg3n nodo vecino. Para escoger el siguiente paso tiene tres opciones e'uiprobables:
o o o

Continuar en la direccin 'ue tra5a 7esviarse a la iz'uierda 7esviarse a la derec2a

:ea @En6 % E@1En6& @"En66 las coordenadas en el momento n. @1En6 es la abcisa en el momento n @"En6 es la ordenada en el momento n =allar ER9En6S& a partir de: @E$6 % E@1E$6& @"E$66 % E$& $6 @E16 % E@1E16& @"E166 % E1& $6

Problemes de MEIO

1!