M1. Estudiar los procesos estocsticos definidos por las matrices:
0.4
0.2
0.3 0.6
0.8
0.2 0
0
0.5 P 1 = 0
1/4
0 1
1/4
1/2 0
1/2
1/2 P 2 = 0.4
0
0.4
0.5 0.1
0.5
0.2
0.1 0.5
0.2
0
0.3 P 3 = 0
0.3
0.4
0.1 0.4
0.1
0.6
0.2 0.1
0.2
0
0.4 0.4
0.2
0.2
0.1 P 4 = 0.1
0.5
0.2
0.3 1/4
1/4
1/2 0
1/2
0 3/4
1/4
1/2 P 5 = Problemes de MEIO 1 M2. Considerar un proceso markoviano con la siguiente matriz de probabilidades de transicin: 1/8
1/2
3/4 1/8
1/4
0 3/4
1/4
1/4 P = a) Cual es el tiempo medio de primer paso de ! a "# b) Cuales deberian ser las probabilidades iniciales de estado $ % 1 $ & " $ & ! $
para 'ue el proceso entrase en estado estacionario despues de una transicion# M3. (n taller de reparaciones puede efectuar el traba)o * o el traba)o + pero no los dos simultaneamente, la tarea * re'uiere " dias - la + 1 dia. /os posibles estados del taller son pues: 1 % ninguna tarea& " % primer dia de la tarea * ! % segundo dia de la tarea * 0 % tarea + /a probabilidad de una nueva demanda de tarea * al principio de cada dia es a, la de la tarea + es b. 1o 2a- colas& si el taller est a mitad de e)ecucin de una tarea *& la llegada de una nueva demanda se pierde. /a 3nica ambig4edad se plantea cuando el taller termina un traba)o al final de un dia - tiene la posibilidad de empezar al dia siguiente con una tarea * o una +. /as dos pol5ticas son posibles: 16 Empezar siempre con una tarea * con preferencia a una + "6 Empezar siempre con una tarea + con preferencia a una * a) 7emostrar 'ue para la pol5tica 1 la matriz de probabilidades de transicion es: a
0
a
a 0
1
0
0 P = (1- a) (1- b)
0
(1- a) (1- b)
(1- a) (1- b) b (1- a)
0
b (1- a)
b ( 1- a) b) Encontrar las probabilidades l5mite de estados para este proceso c) Encontrar la matriz de probabilidades de transicin para la pol5tica " d) Cual es la relacin entre los porcenta)es l5mite de dias de desocupacin de ambas pol5ticas# Problemes de MEIO " M4. El siguiente proceso de Markov empieza en el estado 1 0
0.4
0 0.5
0
0.2 0.5
0.6
0.8 P = Encontrar las probabilidades de 'ue: a) El proceso est8 en el estado ! despues de tres transiciones b) El proceso llegue al estado ! por primera vez despu8s de n transiciones c) El proceso no 2a-a llegado a3n al estado " despu8s de n transiciones d) 7espu8s de la tercera transicin desde el estado ! 2asta el " las dos transiciones siguientes sean " 1 ! o " ! ! e) El proceso entre en el estado " e9actamente una vez en las tres primeras transiciones f) El proceso realice la transicin 1 "
e9actamente una vez en las tres primeras transiciones g) El n3mero esperado de veces 'ue el proceso entrar en el estado " durante las tres primeras transiciones. M5. :upongamos 'ue la probabilidad de 'ue ma;ana llueva si 2o- est lloviendo es $.<& - 'ue la probabilidad de 'ue ma;ana 2aga buen tiempo si 2o- 2ace buen tiempo es $.0. a) 7eterminar la matriz de probabilidades de transicin de la cadena de Markov correspondiente. b) =allar la distribucin de probabilidad del estado estacionario. M6. 7eterminar las clases de las siguientes cadenas de Markov - decir si son o no recurrentes 0
1
0
0 0
0
1
1 1/3
0
0
0 a) 2/3
0
0
0 1
0
0
1/2 0
1/2
1/2
0 0
1/2
1/2
0 b) 0
0
0
1/2 Problemes de MEIO ! M7. Consideremos el siguiente )uego: un )ugador apuesta una unidad en cada partida. >iene una probabilidad p de ganar - '%1?p de perder. seguir )ugando 2asta 'ue se arruina o alcanza una fortuna de > unidades. :ea @ n la fortuna del )ugador en la n?8sima partida. @ nA1
%
@n A 1 con probabilidad p @n ? 1 con probabilidad ' % 1 ? p $ B @ n B > @ nA1 % @ n @ n % $ > @ n
es una cadena de Markov. :upongamos 'ue las sucesivas partidas del )uego son independientes - 'ue la fortuna inicial del )ugador es @ $ a) 7eterminar la matriz de probabilidades de transicin de 1 paso de la cadena de Markov b) =allar las clases de la cadena de Markov c) :ean > % ! - p % $.! =allar 10 , 1 , 20 , 2 d) :ean > % ! - p % $.C =allar 10 , 1 , 20 , 2 Du8 se puede deducir de c6 - d6# M. :upongamos 'ue una red de comunicaciones transmite d5gitos binarios $ o 1. *l recorrer la red& e9iste una probabilidad ' de 'ue el d5gito binario se reciba de forma incorrecta en el siguiente paso. :i @ $ denota un d5gito binario 'ue entra en el sistema& @ 1 el d5gito recibido despu8s de la primera transicin& @ " el d5gito recibido despu8s de la segunda transicin& ... @ n & entonces es una cadena de Markov. =allar la matriz de probabilidades de transicin - la distribucin de probabilidad del estado estacionario. Problemes de MEIO 0 M!. Considerar la siguiente pol5tica Ek&D6 de gestin de inventarios. :ean 7 1 &7 " &... las demandas de un producto en los per5odos 1&"&....& respectivamente.:i la demanda durante un periodo e9cede el n3mero de items disponibles& la demanda insatisfec2a es retenida& de manera 'ue se satisface cuando llega el siguiente pedido de reposicin del inventario. 7enotemos por F n En%$&1&"&...6 la cantidad de inventario disponible menos el n3mero de unidades retenidas antes de efectuar un pedido de reposicin de inventario al final del periodo n EF $ %$6. :i F n es cero o positivo& no se retienen rdenes. :i F n es negativo& entonces ?F n representa el n3mero de unidades de demanda retrasada - no 'ueda inventario disponible. :i al principio del periodo n& F n Bk%1& se efectua un pedido de reposicin de "m EDm en el caso general6 unidades& donde m es el menor entero tal 'ue F n A"mG%1. E/a cantidad pedida es el menor m3ltiplo entero de "& 'ue lleva el nivel de inventario 2asta al menos una unidad6. :ean 7 n variables aleatorias independientes e identicamente distribuidas 'ue toman cada uno de los valores $&1&"&!&0 con probabilidad 1HI. 7enotemos por @ n el valor del stock disponible despu8s de efectuar el pedido al final del periodo n E@ $ %"6. Jesulta entonces: @ n % @ n?1 ? 7 n A"m& :i @ n?1 ?7 n B1 En%1&"&!&....6 @ n % @ n?1 ? 7 n & :i @ n?1 ?7 n G%1 - @n es una cadena de Markov con solo dos estados: 1&". a) Encontrar la Matriz de >ransiciones b) Encontrar las probabilidades del estado estacionario c) :uponer 'ue el coste de efectuar un pedido de reposicin es E!A!m6. El coste de mantenimiento del stock es F n & si F n G%$& - cero en caso contrario. El coste de ruptura del stock es ?0F n & si F n B$. Encontrar el coste medio esperado por unidad de tiempo. d) Comprobar 'ue& en general& para una politica Ek&D6 los estados posibles son k&kA1&kA"&......&kAD?1. Problemes de MEIO I M1". El :ervicio =idrolgico de la Comunidad *utnoma de @ planea construir un embalse para regular la cuenca de uno de sus rios con el ob)etivo de satisfacer los re'uerimientos de agua para regad5o. /a capacidad m9ima del embalse previsto ser de 0.$$$.$$$ m ! & o& de manera abreviada 0 unidades de agua E1 unidad de agua % 1.$$$.$$$ m ! 6. *ntes de proceder a la construccin el :ervicio desearia tener alguna idea sobre la efectividad del mismo a largo plazo. Para ello se 2a llevado a cabo un estudio sobre los vol3menes semanales de agua aportados por el r5o& encontrndose con 'ue ppueden apro9imarse por medio de la siguiente distribucin de probabilidad discreta: *portacin semanal en unidades de agua " ! 0 I ??????????????????????????????????????????????????????????????????? Probabilidad $.! $.0 $." $.1 El :ervicio est considerando la posibilidad de contratos de regad5o 'ue re'ueriran el consumo de " unidades de agua por semana& pero adicionalmente& para mantener los estndares de calidad del agua para otros usos& deber de)ar salir al menos 1 unidad de agua por semana. Por lo tanto el ob)etivo semanal ser de)ar salir ! unidades de agua. :i el estado del embalse Enivel del embalse6 ms la aportacin de agua del rio es menor 'ue esta cantidad se tendr 'ue de)ar salir menos agua& afectando la carencia a los regadios. :i el embalse est lleno& cual'uier e9ceso ser vertido por los aliviaderos. El nivel m5nimo admitido del embalse Eestado m5nimo6 no podr ser inferior a una unidad de agua. a) Jepresentar el diagrama de transiciones& encontrar la matriz de probabilidades de transicin& - comprobar 'ue se trata de un proceso markoviano. b) Cual ser el n3mero medio de semanas transcurrido desde 'ue el embalse se encuentra en el estado con " unidades de agua 2asta 'ue est8 totalmente lleno# c) :upuesto el embalse en el estado m5nimo con 1 unidad de agua& Cuantas semanas tardar& en promedio& en volver a estar en la misma situacin# d) :uponiendo 'ue la primera semana partimos de una situacin en la 'ue se embalsaban ! unidades de agua Cual es la probabilidad de 'ue dos semanas despu8s se encuentre al m5nimo#. Problemes de MEIO < M11. (na tienda de venta de ordenadores personales tiene un modelo particular cu-o stock puede reponerse semanalmente. Jepresentemos por 7 1 & 7 " &.....& la demanda de este modelo durante la primera semana& la segunda& etc.. :uponemos 'ue las demandas 7 i son variables aleatorias independientes e identicamente distribuidas& 'ue tienen una distribucin de Poison de parmetro %". :upongamos 'ue @ $ representa el n3mero de unidades del modelo en el momento inicial& @ 1 el n3mero de unidades disponibles al final de la primera semana& @ " el n3mero de unidades disponibles al final de la segunda semana& - as5 sucesivamente. :upongamos 'ue @ $ %!. El sbado por la noc2e la tienda efect3a un pedido al almac8n central 'ue le es servido el lunes por la ma;ana aprimera 2ora. /a tienda utiliza la siguiente pol5tica de gestin de stocks: si el n3mero de unidades disponibles al final de la semana es menor de " unidades& la tienda efect3a un pedido de reposicin de ! unidades. En caso contrario no efectua ning3n pedido. :e supone 'ue las ventas se pierden cuando la demanda es superior al inventario disponible. /os posibles estados del proceso son los enteros @ t 'ue representan el n3mero de unidades disponibles al final de cada semana. :e pide: a) Encontrar una e9presin 'ue permita evaluar iterativamente las variables aleatorias @ t . b) Comprobar 'ue las @ t & t%$&1&"&....& constitu-en una cadena de Markov. c) Calcular la matriz de probabilidades de transicin. d) Partiendo de un estado con tres unidades disponibles& Cual es el tiempo medio 2asta 'ue el stock es cero. e) :uponiendo 'ue cada unidad en stock comporta un coste semanal de !$$ pts.& Cual seria el coste medio semanal esperado a largo plazo#. Problemes de MEIO C M12. (na m'uina tiene dos piezas colocadas en paralelo de manera 'ue para funcionar utiliza solo una de ellas& 'uedando la otra de repuesto para reemplazar a la 'ue traba)a cuando esta se estropea& si est en condiciones de traba)ar. /as piezas traba)an de manera 'ue se estropean durante un periodo de tiempo dado con una probabilidad '. :upongamos 'ue la pieza 'ue est traba)ando& en caso de 'ue se estropee& lo 2ace al final de un periodo& de manera 'ue la pieza de repuesto empieza a traba)ar& si est en condiciones de 2acrlo& al principio del periodo siguiente. =a- un 5nico mecnico para reparar las piezas estropeadas& 'ue tarda dos periodos en reparar una pieza estropeada. El proceso puede describirse mediante un vector @ t de dos componentes ( - K& donde ( representa el n3mero de piezas 2biles& traba)ando o en condiciones de traba)ar& al final del periodo t?8simo& - K toma el valor 1 si el mecnico re'uier 3nicamente un periodo adicional para completar una reparacion& si -a est procediendo a ella& - $ en caso contrario. Por lo tanto& el espacio de estados consta de cuatro estados: E"&$6& E1&$6& E$&16& - E1&16 EPor e)emplo& el estado E1&16 implica 'ue una componente opera - la otra necesita un periodo adicional para acabar de ser reparada6. 7enotemos los cuatro estados por $&1&" - ! respectivamente EEs decir @ t % $ 'uiere decir @ t % E"&$6& por e)emplo6. a) Comprobar 'ue @ t & t%$&1&"&......& es una cadena de Markov. 7escribir el diagrama de transiciones - 2allar la matriz de probabilidades de transicin. b) =allar la distribucin de probabilidad del estado estacionario. Problemes de MEIO L M13. /as familias de cierto pa5s se clasifican seg3n residan en reas rurales& urbanas o suburbanas. /os estudios de movilidad demogrfica estiman 'ue& en promedio& en el curso de un a;o& el 1IM de las familias urbanas cambia de residencia - se traslada a un rea suburbana& - el IM a un rea rural, mientras 'ue el <M de las familias residentes en reas suburbanas se traslada a reas urbanas& - el 0M a reas rurales& - finalmente el 0M de las familias rurales migra a las reas urbanas - el <M a las suburbanas. a) C3al es la probabilidad de 'ue una familia 'ue vive a2ora en un rea urbana siga viviendo en un rea urbana dentro de dos a;os#. N en una suburbana#. N en una rural#. b) :upongamos 'ue en el presente el 0$M de las familias del pa5s viven en reas urbanas& el !IM en suburbanas - el "IM en rurales. Du8 porcenta)e de familias vivir en reas urbanas dentro de dos a;os#. c) Du8 distribucin de poblacin es de prever en el futuro si las tendencias no cambian#. M14. (n bos'ue consta de dos tipos de rboles: )venes Eentre $ - ! mts de altura6 - adultos Ems de ! mts6. Cada a;o& el !$M de los rboles )venes muere& el 1$M se vende por O"$ cada uno& el "$M se mantine entre $ - ! mts - el 0$M crece superando los ! mts. Cada a;o& el 0$M de los rboles adultos se vende por OI$& el "$M se vende por O"$& el !$M permanece en el bos'ue - un 1$M muere. a) Cul es la probabilidad de 'ue un rbol )oven muera antes de ser vendido # b) :i plantar un rbol )oven cuesta OI& cul es el beneficio esperado para cada rbol )oven plantado # M1I? :ea la siguiente matriz de probabilidades de transicin:
Problemes de MEIO P Con su vector de probabilidades iniciales en t % $: E.L& .1& .16.
Encontrar:
a. El vector de probabilidades en el momento t % " b. /a probabilidad de 'ue en los momentos t % $& 1& "& !& la cadena asuma los estados 1& !& !& "& respectivamente. c. El vector l5mite estacionario& si e9iste. 7ibu)ar el grfico de estados. M1<. :ea @Et6& t % $& 1& "& Q una cadena de Markov cu-a matriz de probabilidades de transicin es:
- adems: PR@E$6 % 1S % 1 :upongamos 'ue: NEt6 % 1& si 9Et6 % 1 NEt6 % "& si 9Et6 1 7emostrar 'ue NEt6& t % $& 1& "& Q es tambi8n una cadena de Markov. Encontrar su matriz de probabilidades de transicin.
M1C. :ea @Et6& t % $& 1& "& Q una sucesin de variables aleatorias independientes - binarias& as5: PR9Et6 % 1S % p& p G $ PR9Et6 % ?1S % 1?p :upongamos 'ue NE$6 % $& NEtA16 % NEt6 A @EtA16& ser NEt6& t % $& 1& "& Q una cadena de Markov# =allar PRNEt6 % mS& m % $& 1& "& Q Problemes de MEIO 1$
M1L. :ea 9Et6& t % 1& "& Q una sucesin de variables aleatorias independientes - binarias con: PR9Et6 % 1S % p& p G $ PR9Et6 % ?1S % '& p A ' % 1 *nalice si las siguientes sucesiones son cadenas de Markov. a6 NEt6 % 9Et6 9Et A 16 b6 NEt6 % 9E16 9E"6Q 9Et6 c6 NEt6 % fE9Et6& 9 EtA166 con: fE?1& ?16 % 1& fE?1& 16 % "& fE1& ?16 % !& fE1& 16 % 0 :i la respuesta es afirmativa& 2allar la matriz de probabilidades de transicin.
M1P. >enemos 1 urnas inicialmente vac5as. *l azar - sucesivamente vamos depositando bolas. :ea 9En6 el n3mero de urnas 'ue permanecen vac5as cuando -a se 2an sorteado n bolas& n % 1& "& Q 7emostrar 'ue la sucesin 9En6& n % 1& " es una cadena de Markov. =allar la matriz de probabilidades de transicin. M"$. 1uevamente& en las 1 urnas vac5as vamos sorteando al azar lotes de m bolas& uno tras otro. /as bolas de cada lote se sortean una tras otra con independencia - e'uiprobabilidad. :ea 9En6& n % 1& "Q el n3mero de urnas 'ue permanecen vac5as cuando -a se 2an sorteado n lotes. 7emostrar 'ue la sucesin 9En6& n % 1& "Q es una cadena de Markov - 2allar la matriz de probabilidades de transicin.
M"1. :ea P%Ep i) & i& ) % 1& n6 una matriz de probabilidades de transicin. 7ecimos 'ue es doblemente estocstica si adems de cumplir la propiedad cumple tambi8n 7emostrar 'ue en este caso el vector estacionario es e'uiprobable.
M"". :ea 9Et6& t % $& 1& "Q una cadena de Markov cu-o espacio fase es :%T1& "& !U - su vector estacionario es E1H!& 1H!& 1H!6& mostrar 'ue si P 11 % P "" % P !! % $& entonces: P 1" % P "! % P !1 % P 1! % P "1 % P !"
M"!. 7espu8s de lanzar un dado apareci el resultado VseisV. /uego se 2ace girar para 'ue salga alguna de las cuatro caras vecinas& al azar. 7e esta manera se 2acen giros sucesivos. =allar el l5mite de la probabilidad de 'ue vuelva a salir el seis& si el n3mero de giros tiende a infinito.
Problemes de MEIO 11 M"0. En cierta ciudad los 2abitantes pueden tener alguna de las profesiones *& +& C. En cada caso los 2i)os tienden a seguir la profesin del padre con probabilidades !HI& "H! - W respectivamente. Duienes no siguen la tradicin del padre eligen e'uiprobablemente alguna de las otras dos. =allar: a6 /a distribucin porcentual de las profesiones en la pr9ima generacin& si actualmente es de "$M para *& !$M para + - I$M para C. b6 /a distribucin l5mite de las generaciones cuando transcurren muc2as generaciones. c6 (na cierta distribucin porcentual de las profesiones 'ue no cambie de una generacin a otra.
M"I. En la urna 1 tenemos P bolas blancas - 1 bola negra. En la urna " tenemos P bolas negras - una blanca. E9traemos una bola al azar de la urna 1. :i es negra& la regresamos a la urna. :i es blanca& la cambiamos por otra bola de la urna " 'ue se e9trae al azar. :ea 9Et6& t % $& 1& "Q el n3mero de bolas en la urna 1 despu8s de cada e9perimento. 7emostrar 'ue 9Et6 es una cadena de Markov. 7ibu)ar el grfico de estados. =allar la distribucin l5mite.
M"<. /a matriz de probabilidades de transicin - el vector de probabilidades iniciales de una cadena de Markov& son: M E$6 % E1H"& 1H"& $& $& $& $6 =allar: a6 /os estados transientes b6 /a esperanza matemtica del tiempo transcurrido para abandonar los estados transientes. c6 :ean las subclases % T!&0U& % TI&<U - supongamos 'ue el estado inicial i T1&"U
M"C.7ada la matriz de probabilidades de transicin de una cadena de Markov: Problemes de MEIO 1" =allar - la distribucin l5mite - estacionaria de las probabilidades.
M"L. (na part5cula realiza una caminata aleatoria por una cuadr5cula infinita. En cada paso avanza a alg3n nodo vecino. Para escoger el siguiente paso tiene tres opciones e'uiprobables: o Continuar en la direccin 'ue tra5a o 7esviarse a la iz'uierda o 7esviarse a la derec2a :ea @En6 % E@ 1 En6& @ " En66 las coordenadas en el momento n. @ 1 En6 es la abcisa en el momento n @ " En6 es la ordenada en el momento n
=allar ER9En6S& a partir de: @E$6 % E@ 1 E$6& @ " E$66 % E$& $6 @E16 % E@ 1 E16& @ " E166 % E1& $6 Problemes de MEIO 1!