Cadenas de Markov

INVESTIGACION DE OPERACIONES II
INSTITUTO TECNOLOGICO SUPERIOR DE CALKINI EN EL ESTADO DE CAMPECHE INGENIERIA INDUSTRIAL MATERIA: INVESTIGACIN DE OPERACIONES II INC INC-1019 TRABAJO DOCUMENTAL PROFRE: GOMEZ KU RICARDO 7 SEMESTRE GRUPO: A
CALKINI, CAMP., 20 DE SEPTIEMBRE DE 2010
UNIDAD 4: CADENAS DE MARKOV
NDICE CAPITULO I OBJETIVOS Y/O COMPETENCIAS....3
CAPITULO II INTRODUCCIN.4
CAPITULO III 4. CADENAS DE MARKOV6
4.1. INTRODUCCIN A LAS CADENAS DE MARKOV...6
4.2. PROBABILIDAD DE TRANSICIONES ESTACIONARIAS DE N PASOS.9
4.3. ESTADO ESTABLE16 4.4. ESTADOS ABSORBENTES..23
4.5. USO DE SOFTWARE
CONCLUSIN..28
BIBLIOGRAFIA.29
CAPITULO I
Competencia especifica a desarrollar Utilizar las cadenas de Markov para la resolucin de problemas. Utilizacin de software
Actividades de Aprendizaje Identificar las caractersticas de los modelos y problemas de Cadenas de Markov. Formular y resolver problemas en sistemas que se pueden modelar por el mtodo de cadenas de Markov. Establecer y explicar las conclusiones y recomendaciones para sistemas de este tipo.
CAPITULO II INTRODUCCIN En las cadenas de Markov considera ciertos puntos discretos en el tiempo , para toma valores de 1, 2, 3,. Y la variable aleatoria que caracteriza al sistema . Y la familia de las variables aleatorias forma un proceso llamado proceso estocstico. Entonces las cadenas de Markov se usan para estudiar ciertos comportamientos de largo y cortos plazos de sistemas estocsticos. Para un proceso de Markov es un sistema estocstico siempre que cumpla con la propiedad Markoviana.
Los estados en el tiempo representan situacin exhaustiva y mutuamente excluyentes del sistema en un tiempo especfico. Adems el nmero de estado puede ser finito o infinito. Un ejemplo es el juego de lanzar la moneda. Por lo general una cadena de Markov describe el comportamiento de transicin de un sistema en intervalos de tiempo igualmente espaciados. Sin embargo, existen situaciones donde los espaciamientos temporales dependen de las caractersticas del sistema y por ello, pueden no ser iguales entre s. Estos casos se denominan cadenas de Markov incrustadas. Con las probabilidades absolutas y de transicin podremos hacer predicciones de comportamientos futuros como las que se observaron en las situaciones anteriores. As, si llamamos estados a cada una de estas posibilidades que se pueden presentar en un experimento o situacin especfica, entonces podemos visualizar en las Cadenas de Markov una herramienta que nos permitira conocer a corto y largo plazo los estados en que se encontraran en periodos o tiempos futuros y tomar decisiones que afectarn o favorecern nuestros intereses. Las probabilidades absolutas y de transicin son exhaustivas y mutuamente excluyentes de un experimento aleatorio en cualquier tiempo. Las cadenas de Markov son modelos probabilsticos que se usan para predecir la evolucin y el comportamiento a corto y a largo plazo de determinados sistemas. Ejemplos: reparto del mercado entre marcas; dinmica de las averas de mquinas para decidir poltica de mantenimiento; evolucin de una enfermedad. Las cadenas de Markov se pueden aplicar en reas como la educacin, comercializacin, servicios de salud, finanzas, contabilidad y produccin. En este captulo se analizan las ideas bsicas necesarias para entender las cadenas de Markov.
Muchas de las aplicaciones interesantes de las cadenas de Markov tienen que ver con cadenas en las que algunos de los estados son absorbentes y el resto son estados transitorios Estado estable es una matriz de transicin de una cadena ergodiga, en la cual existe un vector, = [ 1 , 2 n ] que tambin es llamado distribucin de estado estable o distribucin de equilibrio, para la cadena de Markov. Cuenta con interpretacin intuitiva de probabilidades el cual se obtiene restando de ambos lados de la ecuacin de probabilidad.
CAPITULO III 4. CADENAS DE MARKOV 4.1-. INTRODUCCIN A LAS CADENAS DE MARKOV LAS CADENAS DE MARKOV Considere los puntos discretos en el tiempo para 1,2 y sea la variable aleatoria que caracteriza el estado del sistema . La familia de variables aleatorias forma un proceso estocstico. Los estados en el tiempo representan realmente las situaciones (exhaustiva y mutuamente excluyentes) del sistema en ese tiempo especfico. El nmero de estados puede ser entonces finito o infinito. Por ejemplo, la distribucin de Poissn
!
Representa un proceso estocstico con un nmero infinito de estados. Variable aleatoria n representa aqu el numero de sucesos entre o y t (suponiendo que el sistema comienza en el tiempo 0). Los estados del sistema en cualquier tiempo t estn dados por 0,1,2
Otro ejemplo: es el juego de lanzar la moneda con k lanzamientos. cada lanzamiento se puede interpretar como un punto en el tiempo. La secuencia resultante de lanzamientos constituye un proceso estocstico. El estado del sistema en cualquier lanzamiento es guila o sol, o bien, cara o cruz. Una cadena de Markov es en realidad un caso especial de procesos de Markov. Se usa para estudiar el comportamiento a corto y largo plazo de ciertos sistemas estocsticos. PROCESOS DE MARKOV Un proceso de Markov es un sistema estocstico en el que la ocurrencia de un estado futuro depende del estado inmediatamente precedente y slo de l. As, si 0,1,2, representa puntos en el tiempo, la familia de variables aleatorios es un proceso de Markov, si sta posee la siguiente propiedad Markoviana: , ,
Para todos los valores posibles de , , , .
La probabilidad , se llama probabilidad de transicin. Representa la probabilidad condicional de que el sistema est en en , dado que estaba en en . Esta propiedad tambin se denomina probabilidad de transicin de un paso, ya que describe al sistema entre y . Una propiedad de transicin de m pasos se define entonces como: , CADENAS DE MARKOV Sean , , , 0,1,2, los estados exhaustivos y mutuamente excluyentes de un sistema en un tiempo cualquiera. Inicialmente, en el tiempo , el sistema
puede estar en cualquiera de esos estados. Sean 0,1,2, las
probabilidades absolutas de que el sistema se encuentra en el estado en . Suponga adems que el sistema es Markoviana. Definimos
Como la probabilidad de transicin de un paso, de pasar del estado en al estado en , suponemos que esas probabilidades de transicin del estado E al estado E se pueden arreglar ms conveniente en forma de matriz como sigue: p p p p p p p p P p p p p p p p p
La matriz P se denomina matriz estocstica o matriz de transicin homognea por que todas las probabilidades de transicin P son fijadas e independientes del tiempo. Las probabilidades P deben satisfacer las condiciones P 1, para toda i P 0, para toda i y j
Debemos definir ahora una cadena de Markov. Una matriz p de transicin junto con las probabilidades inciales , asociados con los estados , definen completamente una cadena de Markov.
Se piensa por lo general que una cadena de Markov describe el comportamiento de transicin de un sistema en intervalos de tiempo igualmente espaciados. Sin embargo, existen situaciones donde los espaciamientos temporales dependen de las caractersticas del sistema y por ello, pueden no ser iguales entre s. Estos casos se denominan cadenas de Markov incrustadas. CLASIFICACIN DE LOS ESTADOS EN LA CADENAS DE MARKOV Al usar el anlisis de las cadenas de Markov seria interesante estudiar el comportamiento del sistema en un periodo corto. En este caso, las probabilidades absolutas se calculan como en la seccin precedente. Sin embargo, un estudio ms importante tendra que ver con el comportamiento a largo plazo del sistema, o sea, cuando el nmero de transicin tendiese a infinito. En tal caso, el anlisis presentado en la seccin precedente es inadecuado, y es necesario encontrar un procedimiento sistemtico que prediga el comportamiento del sistema a largo plazo. Esta seccin presenta definiciones de la clasificacin de los estados en las cadenas de Markov que sern tiles al estudiar el comportamiento de los sistemas a largo plazo. CADENA DE MARKOV IRREDUCIBLE Se dice que una cadena de Markov es irreducible si cada estado se puede alcanzar desde cualquier otro estado despus de un nmero finito de transiciones; o sea, para , En este caso, todos los estados de la cadena se comunican.
0, 1
CADENAS ERGDICAS DE MARKOV Una cadena de Markov irreducible es ergdica si todos sus estados son ergdicos. En este caso la distribucin de probabilidad absoluta Siempre converge unvocamente a una distribucin lmite cuando , donde la distribucin lmite es independiente de las probabilidades inciales . Ahora podemos anunciar el siguiente teorema: Teorema 18.6-1 Todos los estados en una cadena de Markov infinita irreducible pueden pertenecer a una, y solo una, de las siguientes tres clases: estados
UNIDAD 4: CADENAS DE MARKOV 8
transitorios, estados recurrentes nulos o estados recurrentes no nulos. En cada caso, todos los estados se comunican y tienen el mismo periodo. En el caso especial cuando la cadena tenga un nmero finito de estados, la cadena no puede constar solo de estados transitorios, ni tampoco puede contener algn estado nulo.
Dadas y de una cadena de Markov, las probabilidades absolutas del sistema despus de un nmero especifico de transicin se determina como sigue.
4.2 PROBABILIDAD ABSOLUTAS Y DE TRANSICIN
en . La expresin general para en trminos de y , se puede encontrar como sigue:

Sean las probabilidades absolutas del sistema despus transicin, o sea,
Tambin
dos pasos, o sea, es la probabilidad de pasar del estado al estado en exactamente dos transiciones. De igual manera se puede demostrar por induccin que
Donde es la probabilidad de transicin de segundo orden o de
formula recursiva
Donde
es la probabilidad de transicin de orden o de pasos dada por la
En general, para toda ,
Estas son las ecuaciones de Chapman-Kolomogorov.
pueden obtener en forma directa por multiplicacin matricial. As,

Los elementos de una matriz de transicin de orden superior se
Y en general,
Por consiguiente, si las probabilidades absolutas se definen en forma vectorial como , , ,

Entonces
Ejemplo 18.6-1
.2 .6 .8 .4
Considere la siguiente cadena de Markov con dos estados,
Con 0.7 0.3. Determine , . .2 .8 .2 .8 . 52 .6 .4 .6 .4 . 36 . 52 . 36 . 443 . 417 . 48 . 52 . 64 . 36 . 48 . 64
Entonces
. 557 . 443 . 583 . 417 .2 .6
. 48 . 443 . 64 . 417
. 7 . 3 . 7
. 3
. 443 . 417
.8 . 32 .4
. 557 . 4281 . 583 . 4274 . 68
. 557 . 583
. 5719 . 5726
. 557 . 435 . 583
. 565
10
El resultado interesante es que las filas de tienden a ser idnticas. Tambin, tienden a ser idnticas con las filas de . Este resultado tiene que ver con las propiedades a largo plazo de las cadenas de Markov que, como se muestra en esta seccin, implica que las probabilidades absolutas a largo plazo son independientes de . En este caso las probabilidades resultantes se denominan probabilidades de estado estable. Probabilidades de transicin en la n-sima etapa Suponga que se est estudiando una cadena de Markov con una matriz de probabilidad de transicin conocida P. (Puesto que las cadenas con las se tratara son estacionarias, no nos molestaremos en marcar nuestras cadenas de Markov como estacionarias). Una pregunta de inters es: si una cadena de Markov est en estado i en el tiempo m, Cul es la probabilidad de que n periodos despus la cadena est en el estado j? Puesto que se trata con una cadena de Markov estacionaria, esta probabilidad es independiente de m, as que se podra escribir Donde se llama probabilidad del n-simo paso de una transicin del estado i al estado j. Resulta claro que 1 . Para determinar 2, observe que si el sistema ahora est en el estado i, entonces para que el sistema termine en el estado j dos periodos a partir de ahora, se debe ir del estado i a algn estado k y luego del estado k al estado j (vase la figura 3). Este razonamiento nos permite escribir 2 probabilidad de transicin de a X probabilidad de transicin de a 2

. 7
. 3
. 4281 . 4274
. 5719 . 4279 . 5726
. 5721
| |
Usando la definicin de P, la matriz de probabilidad de transicin, se reescribe la ultima ecuacin como
El lado dere3cho de (3) es solo el producto escalar del rengln i de la matriz P con la columna J de la matriz P. por consiguiente, 2 es el ij-simo elemento de la matriz . Al ampliar este razonamiento, se puede demostrar que para 1,
11
Por supuesto, para 0, 0 X |X , as que se debe escribir 1 0 0 si si
simo elemento de
Se ilustra el uso de la ecuacin (4) en el ejemplo 4.
FIGURA 3
Ejemplo 4 ejemplo de la bebida de cola
Suponga que toda la industria de bebidas de cola produce solo dos. Dado que una persona la ltima vez compro cola 1, hay 90% de probabilidades de que su siguiente compra sea cola 1. Dado que la ultima compra de una persona fue cola 2, hay 80% de probabilidades de que su siguiente compra sea cola 2.
12
1. Si una persona en la actualidad es comprador de cola 2, cul es la probabilidad de que compre cola 1 dos veces a partir de ahora? 2. Si una persona en la actualidad es comprador de cola 1, cul es la probabilidad de que compre cola 1 tres ocasiones a partir de ahora? Solucin Veamos la compra de cada persona como una cadena de Markov con el estado, en cualquier tiempo dado, del tipo de cola que compro la persona en la ltima vez. As, las compras de cada individuo pueden representarse como una cadena de Markov de dos estados, donde Estado 1= La persona compro cola del tipo 1 la ltima vez. Si se define como el tipo de cola que una persona compra en su n-sima compra futura (compra actual de cola = ), entonces , , se podra escribir como la cadena de Markov con la siguiente matriz de transicin: Cola 1 Cola 2 Cola 1 . 90 . 20 Cola 2 . 10 . 80 Estado 2= La persona compro cola del tipo 2 la ltima vez.
1 Se busca 1| 2 2 elemento 21 de : Por consiguiente, 2 .34. Esto significa que la probabilidad de que un bebedor de cola 2 en el futuro compre dos veces cola 1 es .34. Mediante la teora de probabilidad bsica, se podra obtener esta respuesta de una manera distinta (vase la figura 4). Observe que 2= (probabilidad de que la siguiente compra sea cola 1 y la segunda compra sea cola 1) + (probabilidad de que la siguiente compra sea cola 2 y la segunda compra sea cola 1) = . 20. 90 . 80. 20 .34. 2 Se busca 3 elemento 11 de : Por lo tanto, 3 .781. . 90 . 20 . 10 . 83 . 80 . 34 . 17 . 781 . 66 . 438 . 219 . 562 . 90 . 20 . 10 . 90 . 10 . 83 . 80 . 20 . 80 . 34 . 17 . 66
Ahorra se pueden contestar las preguntas 1 y 2.
13
Figura 4 La probabilidad de que dos periodos a partir de ahora, un comprador de cola 2 compre cola 1 es . 20. 90 . 80. 20 .34
Figura 5 Determinacin de la probabilidad de estar en el estado j en el tiempo n cuando se desconoce el estado inicial. En muchas situaciones, no se conoce el estado de la cadena de Markov en el tiempo 0. Como se define en la seccin 17.2, sea qi la probabilidad de que la cadena este en el estado i en el tiempo 0. Entonces se puede determinar la probabilidad de que el sistema est en el estado i en el tiempo n por medio del siguiente razonamiento (vase la figura 5). La Probabilidad de estar en el estado j en el tiempo n probabilidad de qu el estado sea originalmente

X probabilidad de ir de a en transiciones
14
Donde q q .
= q (columna j of )
.60 .40 y columna 1 de = probabilidad de que tres compras a partir de ahora una persona bebe cola 1, la probabilidad deseada es . 60 . 781 .40 .6438 . 438
Para ilustrar el uso de (5), se contesta la siguiente pregunta: suponga que 60% de las personas en la actualidad beben cola 1 y 40% beben cola 2. Tres compras a partir de ahora, qu fraccin de los compradores estar bebiendo cola 1? Puesto que
Por consiguiente, tres compras a partir de ahora, 64% de los compradores estarn comprando cola 1. Para ilustrar el comportamiento de las probabilidades de transicin del paso n para valores grandes de n, se calcularon varias probabilidades de transicin del nsimo paso para el ejemplo de cola en la tabla 2. Tabla 2 Probabilidades de transicin del n-simo paso para bebedores de refresco de cola. n 1 2 3 4 5 10 20 30 40 .90 .83 .78 .75 .72 .68 .67 .67 .67 .10 .17 .22 .25 .28 .32 .33 .33 .33 .20 .34 .44 .51 .56 .65 .67 .67 .67 .80 .66 .56 .49 .44 .35 .33 .33 .33
Para n grande, tanto como son casi constantes y se aproxima a .67. Esto significa que para n grande, sin importar el estado inicial, hay una probabilidad .67 de que una persona sea un comprador de cola 1. De manera
similar, se ve que para n grande, tanto como son casi constantes y se aproxima a .33. Esto significa que para n grande, sin importar el estado inicial, hay una probabilidad .33 de que una persona sea comprador de cola 2. En la seccin 5.5, se hace un estudio completo de este planteamiento de todas las probabilidades de transicin del paso n.
4.3 ESTADO ESTABLE Probabilidades de estado estable y tiempos promedio de primer pas En el estudio del ejemplo de cola (ejemplo 4), se encontr que despus de un largo tiempo, la probabilidad de que la siguiente vez que una persona compre bebida de cola sea cola 1 se aproxima a .67 y.33 de que sera cola 2 (vase la tabla 2). Estas probabilidades no dependen de si la persona tomaba cola 1 o cola 2.en esta seccin, se analiza el concepto importante de probabilidades de estado estable, que se pueden usar para describir el comportamiento a largo plazo de una cadena de Markov. El siguiente resultado es vital para comprender las probabilidades de estado estable y el comportamiento a largo plazo de las cadenas de Markov. TEOREMA 1 Sea la matriz de transicin de una cadena ergdico de estado estable. Entonces existe un vector tal que lim
Recuerde que el -esimo elemento de es . El teorema 1 establece que para cualquier estado inicial , lim Observe que para grande, p n tiende a una matriz con renglones idnticos. Esto en el estado j . significa que despus de un largo tiempo, la cadena de Markov se estabiliza, e (independientemente del estado inicial ) hay una probabilidad j de que se est
16
El vector = [ 1 , 2 n ] se llama distribucin de estado estable o distribucin de equilibrio, para la cadena de Markov. Para una cadena determinada con matriz de transicin , Cmo se puede hallar la distribucin de probabilidad de estado estable? A partir del teorema 1, se observa que para grande y toda , Puesto que p ij (n + 1) = (rengln de p n ) (columna de ), se podra escribir
p ij (n + 1) p ij (n ) j
(6)
pij (n + 1) = pij (n )pkj

k =1
k =s
(7)
Si es grande, sustituyendo la ecuacin (6) en la (7), se obtiene
j = k p kj
k =1
k =s
(8)
En forma de matriz, (8) se podra escribir como
= p
(8`)
Infortunadamente, el sistema de ecuaciones especificado en (8) tiene un nmero infinito de soluciones, debido a que el rango de la matriz siempre resulta ser s 1 (vase capitulo 2, problema de repaso 21). Para obtener los valores nicos de la probabilidad de estado estable, observe que para cualquier y cualquier ,
p i1 (n ) + p i 2 (n ) + + p is (n ) = 1
tienda a infinito en (9), se obtiene
(9)
Haciendo que
1 + 2 + + s =1
(10)
As, despus de sustituir cualquiera de las ecuaciones en (8) con (10), se puede usar la ecuacin (8) para resolver las probabilidades de estado estable. Para ilustrar como encontrar las probabilidades de estado estable, se determinan las probabilidades de estado estable para el ejemplo 4, el ejemplo de la bebida de cola. Recuerde que la matriz de transicin para el ejemplo 4 fue,
17
.90 .10 p= .20 .80

Entonces con la ecuacin (8) o la ecuacin (8`), se obtiene
[ 1 2 ] = [ 1 2 ]
.90 .10 .20 .80
1 = .90 1 + .20 2 2 = .10 1 + .80 2

Sustituyendo la segunda ecuacin con la ecuacin
1 + 2 = 1 , se obtiene el sistema
1 = . 90 1 + . 20 1 = 1 + 2
2 1 y 2 = . Por consiguiente, depuse 3 3 2 de un largo tiempo, hay una probabilidad de que de que una persona 3 1 determinada compre cola 1 una probabilidad de que un apersona especifica 3 compre cola 2.
Resolviendo para 1 y 2 , se obtiene 1 =
Anlisis transitorio Un vistazo a la tabla 2 muestra que para el ejemplo 4, el estado estable se alcanza (a dos decimales) Despus de diez transiciones. Ninguna regla general se puede expresar acerca de que tan rpido una cadena de Markov alcanza el estado estable, pero si contiene muy pocos elementos que estn cerca de 0 o cerca de 1, por lo general el estado estable se alcanza muy rpido. El comportamiento de una cadena de Markov antes de alcanzar el estado estable se llama comportamiento transitorio (o de corrida corta). Para estudiar el comportamiento transitorio de una cadena de Markov, simplemente se utilizan las formulas para dadas en (4) y (5). Sin embargo, es bonito saber que para grande, las probabilidades de estado estable describen con precisin la probabilidad de estar en cualquier estado.
Interpretacin intuitiva de las probabilidades de estado estable. Se puede dar una interpretacin intuitiva a las ecuaciones de probabilidad de estado estable (8). Restando de ambos lados de la ecuacin (8), se obtiene 1 (11) La ecuacin (11) establece que en el estado estable,
Probabilidad de que una transicin particular deje el estado
= probabilidad de que una transicin particular entre al estado Probabilidad de que una transicin particular deje el estado = (probabilidad de que el periodo actual comience en ) 1 Y ( probabilidad de que la transicin actual deje o salga de ) Probabilidad de que una transicin particular entre al estado
(12)
Recuerde que en el estado estable, la probabilidad de que el sistema este en el estado es . De esta observacin, se deduce que,
Probabilidad de que el periodo actual comience en ) ( probabilidad de que la transicin actual llegue a )
La ecuacin (11) es razonable; si para cualquier estado se violara la ecuacin (11), entonces para algn estado , el lado derecho de (11) seria mayor que el lado izquierdo de (11). Esto dara como resultado la probabilidad de aplicar en el estado , y no existira una distribucin de probabilidad de estado estable. Se podra considerar que el estado estable la ecuacin (11) establece que el flujo de probabilidad hacia cado estado debe ser igual al flujo de probabilidad que sale de
19
cada estado. Esto explica porque las probabilidades de estado estable suelen llamarse probabilidades de equilibrios.
USO DE LAS PROBABILIDADES DE ESTADO ESTABLE EN LA TOMA DE DECISIONES Ejemplo 5 Refresco de cola (continuacin) En el ejemplo 4, suponga que cada cliente realiza una compra de refresco de cola durante cualquier semana (52 semanas = 1 ao). Suponga que hay 100 millones de clientes que consumen refrescos de cola. A la compaa le cuesta 1 dlar producir un refresco de cola y lo vende en 2 dlares. Por $500 millones al ao, una empresa publicitaria garantiza disminuir de 10 a 5 % la fraccin de clientes de cola 1 que cambia a cola 2 despus de una compra. Debe la compaa que fabrica cola 1 comprar a la empresa publicitaria?
Solucin
cola 1 produce a la compaa una ganancia de dlar. Puesto que hay un total de 52(100 000 000), o 5.2 miles de millones, compra de cola cada ao, la ganancia anual actual de la compaa que produce cola 1 es 2 5 200 000 000 $3 466 666 667 3 . 95 . 20 . 05 . 80
En la actualidad, una fraccin de la compra es de cola 1. Cada compra de
La compaa publicitaria esta ofreciendo cambia la matriz a Para , la ecuacin de estado estable son
.05 .80
.95 .20
20
Sustituyendo la segunda ecuacin por 1 y resolviendo, se obtiene .8 .2. Ahora la ganancia anual de la compaa que produce cola 1 ser . 805 200 000 000 500 000 000 $3 660 000 000 Por lo tanto, la compaa que produce cola 1 debe contratar a la agencia de publicidad. Ejemplo 6 Jugando monopolio con la suposicin de cada jugador de monopolio que va a la crcel permanentemente por all hasta que obtenga pares o haya pasado tres turnos en la crcel, Ash y Bishop (1972) determinaron la probabilidad de estado estable de que un jugador ubicado en cualquier cuadro de monopolio (vase la tabla 3). Las probabilidades de estado estable se pueden usar para medir la rentabilidad de barios monopolios. Por ejemplo, en el monopolio naranja cuesta 1500 dlares construir hoteles. Cada vez que un jugador se hospeda en un hotel de avenida Tennessee o de St. James place, el dueo del monopolio recibe 950 dlares, y cada vez que un jugador llega a un hotel de avenida nueva york, el dueo recibe 1000 dlares. De la tabla 3, se calcula la renta esperada por lanzamiento de los dados que obtiene el monopolio naranja: 950. 0335 950. 0318 1000. 0334 $95.44
Asi por dlar invertido, el monopolio naranja produce lanzamiento de los dados.
$0.064 por
Ahora, considere el monopolio verde. Poner hoteles en el monopolio verde cuesta 3000 dolares. Si un jugador llega a un hotel de avenida carolina del norteo de avenida pacifico, el dueo recibe 1275 dolares, si un jugador llega a un hotel de avenida Pensilvania, el dueo recibe 1400. De la tabla 3, el ingreso promedio por lanzamiento de los dados obtenidos de los hoteles en el monopolio verde es: 1275. 0294 1275. 0300 1400. 0279 $114.80
21
Asi, por dlar invertido, el monopolio verde produce solo lanzamiento de los dados.
$0.038 por
Este anlisis muestra que el monopolio anaranjado es superior al verde. A propsito, Por qu el monopolio naranja aterriza con tanta frecuencia?
22
4.4 ESTADO ABSORBENTE
ESTADOS ABSORBENTES Y ESTADOS DE CONJUNTO CERRADO En una cadena de Markov un conjunto C de estados se denomina cerrado si el sistema, una vez en uno de los estados de C, pertenece en C indefinidamente. Un ejemplo especial de un conjunto cerrado es un estado particular que tenga una probabilidad de transicin 1. En este caso se denomina estado absorbente. Todos los estado de una cadena irreducible deben formar un conjunto cerrado y ningn otro subconjunto puede ser cerrado. El conjunto cerrado C tambin debe satisfacer todas las condiciones de una cadena de Markov y por ello, puede estudiarse de forma independiente.
Ejemplo: Considere la siguiente cadena de Markov:
23
Esta cadena se ilustra grficamente en la figura 18-2. La figura muestra que los cuatro estados no constituyen una cadena irreducible, ya que los estado 0,1 y 2 no se pueden alcanzar desde el estado 3. El estado 3, en s mismo, forma un conjunto cerrado y, por consiguiente, es absorbente. Tambin se puede decir, que el estado 3 forma una cadena irreducible. TIEMPOS DE PRIMER RETORNO Una definicin importante en la teora de las cadenas de Markov es el tiempo de primer retorno. Dado que el sistema esta inicialmente en el estado , puede retornar a por primera vez en el paso ensimo, con 1. el numero de pasos antes de que el sistema retorne a se llama tiempo de primer retorno. Sea la probabilidad de que el primer retorno a ocurra en el paso ensimo.
0 0 12 1 0 2 13 3 0
1 14 0 0 0
2 14 1 13 0
3 0 0 13 1
Entonces, dada la matriz de transicin
Se puede determinar una expresin para como sigue:

Se puede probar por induccin que, en general,

24
Lo que da la expresin requerida

La probabilidad de por lo menos un retorno al estado est dada por

Entonces, es seguro que el sistema retorna a si 1. En este caso, si define el tiempo medio de retorno (recurrencia),

Si 1, no es seguro que el sistema retornara a y, en consecuencia, . Por este motivo los estados de una cadena de Markov se pueden clasificar con base en la definicin de los tiempos de primer retorno como sigue: 1. 2. 3. 4.
Un estado es transitorio si 1, o sea, . Un estado es recurrente (persistente) si 1. Un estado recurrente es nulo si y si finito. Un estado es peridico con periodo t si es posible un retorno solo en los pasos t, 2t, 3t,.Esto significa que 0 siempre que n no sea divisible
entre t. 5. Un estado recurrente es ergdico si es no nulo y aperidico (no peridico). DISTRIBUCIN LMITE DE CADENAS ERRREDUCIBLES
El ejemplo 18.6-1 muestra que conforme aumente el nmero de transiciones, probabilidad absoluta se vuelve independiente a largo plazo de las cadenas de Markov.
25
En esta seccin presentamos la determinacin de la distribucin lmite (a largo plazo) de una cadena irreducible. La presentacin se concretara al tipo aperidico ya que es el ltimo tipo necesario en este texto. Adems, el anlisis del tipo peridico es bastante complejo. La existencia de una distribucin lmite en una cadena irreducible aperidica depende de la clase de sus estados. Entonces, considerando las tres clases dadas en el teorema 18.6-1, podemos enunciar el siguiente teorema. Teorema 18.6-2 En una cadena de Markov irreducible aperidica, (a) Si los estados son todos transitorios o todos nulos, entonces 0 como , para toda y y j y, no existe una distribucin limite.
(b) Si todos los estados son ergdico, entonces lim
Donde es la distribucin limite (estado estable). Las probabilidades existen a partir del conjunto de ecuaciones
0, 1, 2,
en forma nica y son independiente de . en este caso, se puede determinar 1

El tiempo medio de recurrencia para el estado j esta dado entonces por 1
Ejemplo 18.6-3 Considere el ejemplo 18.6-1. Para determinar su distribucin de probabilidades de estado estable, tenemos . 2 . 6
26
. 8 . 4 __________________________________________________________________ Observe que una de las ecuaciones es redundante 1
0.4286 y 0.5714. Estos valores son cercanos a los valores de (y a las filas de ) en el ejemplo 18.6-1. Luego tenemos 1 2.3 1 1.75
(Observe que una de las primeras dos ecuaciones es redundante.) La solucin da:
De modo que el tiempo medio de recurrencia para los estados primero y segundo son 2.3 y 1.75 pasos, respectivamente. Ejemplo 18.6-4 Considere la cadena de Markov siguiente con tres estados: 0 0 1 2 1 12 2 0

Esta se llama matriz estocstica doble, ya que 1

1 14 14 12
2 14 14 12
Donde s es el nmero de estados. En tales casos, las probabilidades de estado estable son 1 para toda j. as, para la matriz dada 13
27
CONCLUSIN Como conclusin de las cadenas de Markov nos permite hacer anlisis sobre el estudio de los comportamientos de ciertos sistemas en ciertos periodos que pueden ser cortos o largos. Adems se tiene una relacin con las probabilidades absolutas. Pero sin embargo lo ms importante es el estudio del comportamiento sistemas a largo plazo, cuando el nmero de transiciones tiene al infinito. Los estados en las cadenas de Markov sern tiles para el estudio del comportamiento de los sistemas a largo plazo. Que todos los estados en una cadena de Markov infinita irreducible pueden pertenecer a una, y solo una, de las siguientes tres clases: estados transitorios, estados recurrentes nulos o estados recurrentes no nulos Al abordar este tema es para conocer ms o menos las probabilidades de un experimento, esto a su vez nos permitir conocer a corto y plazo los estados en que se encontraran en periodos o tiempos futuros y tomar decisiones que afectarn o favorecern nuestros intereses, y tomar una decisin de manera consciente y no se comentan muchos errores. Esto tambin nos proporcionara un tiempo estimado para que identifiquemos cada estado y el periodo en que se encuentra con la implementacin de un proceso, tambin se establece las probabilidades como una herramienta ms en las cadenas de Markov. Las cadenas de Markov son modelos probabilsticos que se usan para predecir la evolucin y el comportamiento a corto y a largo plazo de determinados sistemas. Ejemplos: reparto del mercado entre marcas; dinmica de las averas de mquinas para decidir poltica de mantenimiento; evolucin de una enfermedad. Se dice que la cadena de Markov es absorbente si una o ms estados es un estado absorbente es una cadena de Markov absorbente. Pero para que se puedan resolver o darle solucin a muchas de las preguntas que se generan la cadena de Markov debe seguir un orden primero se dice que los estados deben ser transitorios, luego los estados absorbentes. Estado estable. Son formulas que se desarrollan, que despus de un largo tiempo busca la estabilizacin del estado inicial ya que hay una probabilidad de que dicho estado se encuentre en el estado , y sustituyendo dichas ecuaciones es como se resuelven los problemas de estado estable. De otra manera las ecuaciones de estado estable son restadas en ambos lados y la probabilidad de que deje el estado es igual a que entre en el estado y la probabilidad de que este en el estado es .
28
BIBLIOGRAFA 4.1.- INTRODUCCIN A LAS CADENAS DE MARKOV Investigacin de operaciones, 5 edicin, Editorial taha, pp. 822-826 4.2.- PROBABILIDAD DE TRANSICIONES ESTACIONARIAS DE N PASOS Investigacin de operaciones, 5 edicin, Editorial taha, pp. 824-826 Investigacin de operaciones aplicaciones y algoritmos, 4 edicin, Autor Wayne l. wishston, Editorial Thompson, pp. 928-931. 4.3.- ESTADO ESTABLE Investigacin de operaciones aplicaciones y algoritmos, 4 edicin, Autor Wayne l. wishston, Editorial Thompson, pp. 934-938. 4.4.- ESTADOS ABSORBENTES Investigacin de operaciones, 5 edicin, Editorial taha, pp. 826-830
29

Cadenas de Markov

Cargado por

Información del documento

Derechos de autor

Formatos disponibles

Compartir este documento

Compartir o incrustar documentos

Opciones para compartir

¿Le pareció útil este documento?

¿Este contenido es inapropiado?

Copyright:

Formatos disponibles

Cadenas de Markov

Cargado por

Copyright:

Formatos disponibles

INVESTIGACION DE OPERACIONES II

CALKINI, CAMP., 20 DE SEPTIEMBRE DE 2010

UNIDAD 4: CADENAS DE MARKOV

NDICE CAPITULO I OBJETIVOS Y/O COMPETENCIAS....3

CAPITULO III 4. CADENAS DE MARKOV6

4.1. INTRODUCCIN A LAS CADENAS DE MARKOV...6

4.2. PROBABILIDAD DE TRANSICIONES ESTACIONARIAS DE N PASOS.9

4.3. ESTADO ESTABLE16 4.4. ESTADOS ABSORBENTES..23

4.5. USO DE SOFTWARE

UNIDAD 4: CADENAS DE MARKOV

UNIDAD 4: CADENAS DE MARKOV

UNIDAD 4: CADENAS DE MARKOV

UNIDAD 4: CADENAS DE MARKOV

UNIDAD 4: CADENAS DE MARKOV

UNIDAD 4: CADENAS DE MARKOV

Para todos los valores posibles de , , , .

UNIDAD 4: CADENAS DE MARKOV

4.2 PROBABILIDAD ABSOLUTAS Y DE TRANSICIN

en . La expresin general para en trminos de y , se puede encontrar como sigue:

Sean las probabilidades absolutas del sistema despus transicin, o sea,

Donde es la probabilidad de transicin de segundo orden o de

es la probabilidad de transicin de orden o de pasos dada por la

En general, para toda ,

Estas son las ecuaciones de Chapman-Kolomogorov.

UNIDAD 4: CADENAS DE MARKOV

pueden obtener en forma directa por multiplicacin matricial. As,

Los elementos de una matriz de transicin de orden superior se

Por consiguiente, si las probabilidades absolutas se definen en forma vectorial como , , ,

Considere la siguiente cadena de Markov con dos estados,

Con 0.7 0.3. Determine , . .2 .8 .2 .8 . 52 .6 .4 .6 .4 . 36 . 52 . 36 . 443 . 417 . 48 . 52 . 64 . 36 . 48 . 64

. 557 . 443 . 583 . 417 .2 .6

. 557 . 4281 . 583 . 4274 . 68

. 557 . 435 . 583

UNIDAD 4: CADENAS DE MARKOV

. 5719 . 4279 . 5726

Usando la definicin de P, la matriz de probabilidad de transicin, se reescribe la ultima ecuacin como

UNIDAD 4: CADENAS DE MARKOV

Por supuesto, para 0, 0 X |X , as que se debe escribir 1 0 0 si si

Se ilustra el uso de la ecuacin (4) en el ejemplo 4.

Ejemplo 4 ejemplo de la bebida de cola

UNIDAD 4: CADENAS DE MARKOV

Ahorra se pueden contestar las preguntas 1 y 2.

UNIDAD 4: CADENAS DE MARKOV

UNIDAD 4: CADENAS DE MARKOV

UNIDAD 4: CADENAS DE MARKOV

pij (n + 1) = pij (n )pkj

Si es grande, sustituyendo la ecuacin (6) en la (7), se obtiene

En forma de matriz, (8) se podra escribir como

UNIDAD 4: CADENAS DE MARKOV

.90 .10 p= .20 .80

.90 .10 .20 .80

1 = .90 1 + .20 2 2 = .10 1 + .80 2

Resolviendo para 1 y 2 , se obtiene 1 =

Probabilidad de que una transicin particular deje el estado

En la actualidad, una fraccin de la compra es de cola 1. Cada compra de

UNIDAD 4: CADENAS DE MARKOV

UNIDAD 4: CADENAS DE MARKOV

UNIDAD 4: CADENAS DE MARKOV

4.4 ESTADO ABSORBENTE

Ejemplo: Considere la siguiente cadena de Markov:

UNIDAD 4: CADENAS DE MARKOV

Entonces, dada la matriz de transicin

Se puede determinar una expresin para como sigue:

Se puede probar por induccin que, en general,