R 66951

UNIDAD 4: CADENAS DE MARKOV
INSTITUTO TECNOLOGICO SUPERIOR DE CALKINI EN EL ESTADO DE

INVESTIGACIN DE OPERACIONES II INC

INVESTIGACION DE OPERACIONES II
CAMPECHE

INGENIERIA INDUSTRIAL

MATERIA:
INVESTIGACIN DE OPERACIONES II INC-1019

TRABAJO DOCUMENTAL

PROFRE:
GOMEZ KU RICARDO
7SEMESTRE GRUPO: A
CALKINI, CAMP., 20 DE SEPTIEMBRE DE
1


CALKINI, CAMP., 20 DE SEPTIEMBRE DE 2010
UNIDAD 4: CADENAS DE MARKOV 2

NDICE
CAPITULO I
OBJETIVOS Y/O COMPETENCIAS....3

CAPITULO II

INTRODUCCIN.4

CAPITULO III

4. CADENAS DE MARKOV6

4.1. INTRODUCCIN A LAS CADENAS DE MARKOV...6

4.2. PROBABILIDAD DE TRANSICIONES ESTACIONARIAS DE N PASOS.9

4.3. ESTADO ESTABLE16

4.4. ESTADOS ABSORBENTES..23

4.5. USO DE SOFTWARE

CONCLUSIN..28

BIBLIOGRAFIA.29


CAPITULO I


Competencia especifica a desarrollar Actividades de Aprendizaje
Utilizar las cadenas de Markov
para la resolucin de problemas.

Utilizacin de software
Identificar las caractersticas de
los modelos y problemas de
Cadenas de Markov.

Formular y resolver problemas
en sistemas que se pueden
modelar por el mtodo de
cadenas de Markov.

Establecer y explicar las
conclusiones y recomendaciones
para sistemas de este tipo.


CAPITULO II
INTRODUCCIN
En las cadenas de Markov considera ciertos puntos discretos en el tiempo
,
para toma valores de 1, 2, 3,. Y
la variable aleatoria que caracteriza al

sistema
. Y la familia de las variables aleatorias
forma un proceso llamado

proceso estocstico. Entonces las cadenas de Markov se usan para estudiar
ciertos comportamientos de largo y cortos plazos de sistemas estocsticos.
Para un proceso de Markov es un sistema estocstico siempre que cumpla con la
propiedad Markoviana.
Los estados en el tiempo
representan situacin exhaustiva y mutuamente

excluyentes del sistema en un tiempo especfico. Adems el nmero de estado
puede ser finito o infinito. Un ejemplo es el juego de lanzar la moneda.
Por lo general una cadena de Markov describe el comportamiento de transicin de
un sistema en intervalos de tiempo igualmente espaciados. Sin embargo, existen
situaciones donde los espaciamientos temporales dependen de las caractersticas
del sistema y por ello, pueden no ser iguales entre s. Estos casos se denominan
cadenas de Markov incrustadas.
Con las probabilidades absolutas y de transicin podremos hacer predicciones de
comportamientos futuros como las que se observaron en las situaciones
anteriores. As, si llamamos estados a cada una de estas posibilidades que se
pueden presentar en un experimento o situacin especfica, entonces podemos
visualizar en las Cadenas de Markov una herramienta que nos permitira conocer
a corto y largo plazo los estados en que se encontraran en periodos o tiempos
futuros y tomar decisiones que afectarn o favorecern nuestros intereses.
Las probabilidades absolutas y de transicin son exhaustivas y mutuamente
excluyentes de un experimento aleatorio en cualquier tiempo.

Las cadenas de Markov son modelos probabilsticos que se usan para predecir la
evolucin y el comportamiento a corto y a largo plazo de determinados sistemas.
Ejemplos: reparto del mercado entre marcas; dinmica de las averas de mquinas
para decidir poltica de mantenimiento; evolucin de una enfermedad.
Las cadenas de Markov se pueden aplicar en reas como la educacin,
comercializacin, servicios de salud, finanzas, contabilidad y produccin. En este
captulo se analizan las ideas bsicas necesarias para entender las cadenas de
Markov.

Muchas de las aplicaciones interesantes de las cadenas de Markov tienen que ver
con cadenas en las que algunos de los estados son absorbentes y el resto son
estados transitorios
Estado estable es una matriz de transicin de una cadena ergodiga, en la cual
existe un vector, [ ]
n

2 1
, = que tambin es llamado distribucin de estado
estable o distribucin de equilibrio, para la cadena de Markov. Cuenta con
interpretacin intuitiva de probabilidades el cual se obtiene restando de ambos
lados de la ecuacin de probabilidad.


CAPITULO III
4. CADENAS DE MARKOV
4.1-. INTRODUCCIN A LAS CADENAS DE MARKOV
LAS CADENAS DE MARKOV
Considere los puntos discretos en el tiempo
para 1,2 y sea
la
variable aleatoria que caracteriza el estado del sistema
. La familia de variables
aleatorias
forma un proceso estocstico. Los estados en el tiempo

representan realmente las situaciones (exhaustiva y mutuamente excluyentes) del
sistema en ese tiempo especfico. El nmero de estados puede ser entonces finito
o infinito.
Por ejemplo, la distribucin de Poissn
!

Representa un proceso estocstico con un nmero infinito de estados. Variable
aleatoria n representa aqu el numero de sucesos entre o y t (suponiendo que el
sistema comienza en el tiempo 0). Los estados del sistema en cualquier tiempo t
estn dados por 0,1,2
Otro ejemplo: es el juego de lanzar la moneda con k lanzamientos. cada
lanzamiento se puede interpretar como un punto en el tiempo. La secuencia
resultante de lanzamientos constituye un proceso estocstico. El estado del
sistema en cualquier lanzamiento es guila o sol, o bien, cara o cruz.
Una cadena de Markov es en realidad un caso especial de procesos de Markov.
Se usa para estudiar el comportamiento a corto y largo plazo de ciertos sistemas
estocsticos.
PROCESOS DE MARKOV
Un proceso de Markov es un sistema estocstico en el que la ocurrencia de un
estado futuro depende del estado inmediatamente precedente y slo de l. As, si
0,1,2, representa puntos en el tiempo, la familia de variables

aleatorios
es un proceso de Markov, si sta posee la siguiente propiedad

Markoviana:

, ,


Para todos los valores posibles de
, ,
.
La probabilidad
se llama probabilidad de
transicin. Representa la probabilidad condicional de que el sistema est en

en
, dado que estaba en
en
. Esta propiedad tambin se denomina

probabilidad de transicin de un paso, ya que describe al sistema entre
. Una propiedad de transicin de m pasos se define entonces como:

CADENAS DE MARKOV
Sean
, ,
0,1,2, los estados exhaustivos y mutuamente excluyentes

de un sistema en un tiempo cualquiera. Inicialmente, en el tiempo
, el sistema
puede estar en cualquiera de esos estados. Sean
0,1,2, las
probabilidades absolutas de que el sistema se encuentra en el estado
en
.
Suponga adems que el sistema es Markoviana.
Definimos

Como la probabilidad de transicin de un paso, de pasar del estado en
al
estado en
, suponemos que esas probabilidades de transicin del estado E
al
estado E
se pueden arreglar ms conveniente en forma de matriz como sigue:

P

La matriz P se denomina matriz estocstica o matriz de transicin homognea por
que todas las probabilidades de transicin P
son fijadas e independientes del

tiempo.
Las probabilidades P
deben satisfacer las condiciones

P

1, para toda i
P
0, para toda i y j
Debemos definir ahora una cadena de Markov. Una matriz p de transicin junto
con las probabilidades inciales
, asociados con los estados
, definen
completamente una cadena de Markov.

Se piensa por lo general que una cadena de Markov describe el comportamiento
de transicin de un sistema en intervalos de tiempo igualmente espaciados. Sin
embargo, existen situaciones donde los espaciamientos temporales dependen de
las caractersticas del sistema y por ello, pueden no ser iguales entre s. Estos
casos se denominan cadenas de Markov incrustadas.
CLASIFICACIN DE LOS ESTADOS EN LA CADENAS DE MARKOV
Al usar el anlisis de las cadenas de Markov seria interesante estudiar el
comportamiento del sistema en un periodo corto. En este caso, las probabilidades
absolutas se calculan como en la seccin precedente. Sin embargo, un estudio
ms importante tendra que ver con el comportamiento a largo plazo del sistema, o
sea, cuando el nmero de transicin tendiese a infinito. En tal caso, el anlisis
presentado en la seccin precedente es inadecuado, y es necesario encontrar un
procedimiento sistemtico que prediga el comportamiento del sistema a largo
plazo. Esta seccin presenta definiciones de la clasificacin de los estados en las
cadenas de Markov que sern tiles al estudiar el comportamiento de los sistemas
a largo plazo.
CADENA DE MARKOV IRREDUCIBLE
Se dice que una cadena de Markov es irreducible si cada estado
se puede
alcanzar desde cualquier otro estado
despus de un nmero finito de

transiciones; o sea, para ,
0, 1
En este caso, todos los estados de la cadena se comunican.

CADENAS ERGDICAS DE MARKOV
Una cadena de Markov irreducible es ergdica si todos sus estados son ergdicos.
En este caso la distribucin de probabilidad absoluta

Siempre converge unvocamente a una distribucin lmite cuando , donde la
distribucin lmite es independiente de las probabilidades inciales
.
Ahora podemos anunciar el siguiente teorema:
Teorema 18.6-1 Todos los estados en una cadena de Markov infinita irreducible
pueden pertenecer a una, y solo una, de las siguientes tres clases: estados

transitorios, estados recurrentes nulos o estados recurrentes no nulos. En cada
caso, todos los estados se comunican y tienen el mismo periodo. En el caso
especial cuando la cadena tenga un nmero finito de estados, la cadena no puede
constar solo de estados transitorios, ni tampoco puede contener algn estado
nulo.

4.2 PROBABILIDAD ABSOLUTAS Y DE TRANSICIN
Dadas
y de una cadena de Markov, las probabilidades absolutas del

sistema despus de un nmero especifico de transicin se determina como sigue.
Sean
las probabilidades absolutas del sistema despus transicin, o sea,

en
. La expresin general para
en trminos de
y , se puede
encontrar como sigue:

Tambin

Donde

es la probabilidad de transicin de segundo orden o de
dos pasos, o sea, es la probabilidad de pasar del estado al estado en
exactamente dos transiciones.
De igual manera se puede demostrar por induccin que

Donde
es la probabilidad de transicin de orden o de pasos dada por la

formula recursiva

En general, para toda ,
, 0

Estas son las ecuaciones de Chapman-Kolomogorov.

Los elementos de una matriz de transicin de orden superior
se
pueden obtener en forma directa por multiplicacin matricial. As,

Y en general,

Por consiguiente, si las probabilidades absolutas se definen en forma vectorial
como
,
Entonces

Ejemplo 18.6-1
Considere la siguiente cadena de Markov con dos estados,

. 2 . 8
. 6 . 4

Con

0.7 0.3
. Determine

. 2 . 8
. 6 . 4

. 2 . 8
. 6 . 4

. 52 . 48
. 36 . 64

. 52 . 48
. 36 . 64

. 52 . 48
. 36 . 64

. 443 . 557
. 417 . 583

. 443 . 557
. 417 . 583

. 443 . 557
. 417 . 583

. 4281 . 5719
. 4274 . 5726

Entonces

. 7 . 3

. 2 . 8
. 6 . 4

. 32 . 68

. 7 . 3

. 443 . 557
. 417 . 583

. 435 . 565


. 7 . 3

. 4281 . 5719
. 4274 . 5726

. 4279 . 5721

El resultado interesante es que las filas de
tienden a ser idnticas. Tambin,

tienden a ser idnticas con las filas de
. Este resultado tiene que ver con las

propiedades a largo plazo de las cadenas de Markov que, como se muestra en
esta seccin, implica que las probabilidades absolutas a largo plazo son
independientes de
. En este caso las probabilidades resultantes se denominan

probabilidades de estado estable.
Probabilidades de transicin en la n-sima etapa
Suponga que se est estudiando una cadena de Markov con una matriz de
probabilidad de transicin conocida P. (Puesto que las cadenas con las se tratara
son estacionarias, no nos molestaremos en marcar nuestras cadenas de Markov
como estacionarias). Una pregunta de inters es: si una cadena de Markov est
en estado i en el tiempo m, Cul es la probabilidad de que n periodos despus la
cadena est en el estado j? Puesto que se trata con una cadena de Markov
estacionaria, esta probabilidad es independiente de m, as que se podra escribir

Donde
se llama probabilidad del n-simo paso de una transicin del

estado i al estado j.
Resulta claro que
. Para determinar
2, observe que si el sistema

ahora est en el estado i, entonces para que el sistema termine en el estado j dos
periodos a partir de ahora, se debe ir del estado i a algn estado k y luego del
estado k al estado j (vase la figura 3). Este razonamiento nos permite escribir
2 probabilidad de transicin de a

X probabilidad de transicin de a
Usando la definicin de P, la matriz de probabilidad de transicin, se reescribe la
ultima ecuacin como

El lado dere3cho de (3) es solo el producto escalar del rengln i de la matriz P con
la columna J de la matriz P. por consiguiente,
2 es el ij-simo elemento de la
matriz
. Al ampliar este razonamiento, se puede demostrar que para 1,


simo elemento de

Por supuesto, para 0,
0 X
|X
, as que se debe escribir
0
1 si
0 si

Se ilustra el uso de la ecuacin (4) en el ejemplo 4.

FIGURA 3

Ejemplo 4 ejemplo de la bebida de cola
Suponga que toda la industria de bebidas de cola produce solo dos. Dado que una
persona la ltima vez compro cola 1, hay 90% de probabilidades de que su
siguiente compra sea cola 1. Dado que la ultima compra de una persona fue cola
2, hay 80% de probabilidades de que su siguiente compra sea cola 2.

1. Si una persona en la actualidad es comprador de cola 2, cul es la
probabilidad de que compre cola 1 dos veces a partir de ahora?
2. Si una persona en la actualidad es comprador de cola 1, cul es la
probabilidad de que compre cola 1 tres ocasiones a partir de ahora?
Solucin
Veamos la compra de cada persona como una cadena de Markov con el estado,
en cualquier tiempo dado, del tipo de cola que compro la persona en la ltima vez.
As, las compras de cada individuo pueden representarse como una cadena de
Markov de dos estados, donde
Estado 1= La persona compro cola del tipo 1 la ltima vez.
Estado 2= La persona compro cola del tipo 2 la ltima vez.
Si se define
como el tipo de cola que una persona compra en su n-sima

compra futura (compra actual de cola =
), entonces
, se podra escribir
como la cadena de Markov con la siguiente matriz de transicin:

Cola 1
Cola 2
Cola 1 Cola 2
. 90 . 10
. 20 . 80

Ahorra se pueden contestar las preguntas 1 y 2.
1 Se busca
1|
2 elemento 21 de

. 90 . 10
. 20 . 80

. 90 . 10
. 20 . 80

. 83 . 17
. 34 . 66

Por consiguiente,
2 .34. Esto significa que la probabilidad de que un

bebedor de cola 2 en el futuro compre dos veces cola 1 es .34. Mediante la teora
de probabilidad bsica, se podra obtener esta respuesta de una manera distinta
(vase la figura 4). Observe que
2= (probabilidad de que la siguiente compra

sea cola 1 y la segunda compra sea cola 1) + (probabilidad de que la siguiente
compra sea cola 2 y la segunda compra sea cola 1) =
. 20. 90 . 80. 20 .34.

2 Se busca
3 elemento 11 de

. 90 . 10
. 20 . 80

. 83 . 17
. 34 . 66

. 781 . 219
. 438 . 562

Por lo tanto,
3 .781.

Figura 4
La probabilidad de que dos periodos a partir de ahora, un comprador de
cola 2 compre cola 1 es . 20. 90 . 80. 20 .34

Figura 5
Determinacin de la probabilidad de estar en el estado j en el tiempo n
cuando se desconoce el estado inicial.
En muchas situaciones, no se conoce el estado de la cadena de Markov en el
tiempo 0. Como se define en la seccin 17.2, sea qi la probabilidad de que la
cadena este en el estado i en el tiempo 0. Entonces se puede determinar la
probabilidad de que el sistema est en el estado i en el tiempo n por medio del
siguiente razonamiento (vase la figura 5). La Probabilidad de estar en el
estado j en el tiempo n
probabilidad de qu el estado sea originalmente

X probabilidad de ir de a en transiciones

= q (columna j of
)
Donde
.
Para ilustrar el uso de (5), se contesta la siguiente pregunta: suponga que 60% de
las personas en la actualidad beben cola 1 y 40% beben cola 2. Tres compras a
partir de ahora, qu fraccin de los compradores estar bebiendo cola 1? Puesto
que
.60 .40 y columna 1 de
= probabilidad de que tres compras a

partir de ahora una persona bebe cola 1, la probabilidad deseada es
. 60 .40
. 781
. 438
.6438
Por consiguiente, tres compras a partir de ahora, 64% de los compradores estarn
comprando cola 1.
Para ilustrar el comportamiento de las probabilidades de transicin del paso n para
valores grandes de n, se calcularon varias probabilidades de transicin del n-
simo paso para el ejemplo de cola en la tabla 2.
Tabla 2
Probabilidades de transicin del n-simo paso para bebedores de refresco
de cola.
n

1 .90 .10 .20 .80
2 .83 .17 .34 .66
3 .78 .22 .44 .56
4 .75 .25 .51 .49
5 .72 .28 .56 .44
10 .68 .32 .65 .35
20 .67 .33 .67 .33
30 .67 .33 .67 .33
40 .67 .33 .67 .33

Para n grande, tanto
como
son casi constantes y se aproxima a .67.

Esto significa que para n grande, sin importar el estado inicial, hay una
probabilidad .67 de que una persona sea un comprador de cola 1. De manera

similar, se ve que para n grande, tanto
como
son casi constantes y

se aproxima a .33. Esto significa que para n grande, sin importar el estado inicial,
hay una probabilidad .33 de que una persona sea comprador de cola 2. En la
seccin 5.5, se hace un estudio completo de este planteamiento de todas las
probabilidades de transicin del paso n.

4.3 ESTADO ESTABLE
Probabilidades de estado estable y tiempos promedio de primer pas
En el estudio del ejemplo de cola (ejemplo 4), se encontr que despus de un
largo tiempo, la probabilidad de que la siguiente vez que una persona compre
bebida de cola sea cola 1 se aproxima a .67 y.33 de que sera cola 2 (vase la
tabla 2). Estas probabilidades no dependen de si la persona tomaba cola 1 o cola
2.en esta seccin, se analiza el concepto importante de probabilidades de estado
estable, que se pueden usar para describir el comportamiento a largo plazo de una
cadena de Markov.
El siguiente resultado es vital para comprender las probabilidades de estado
estable y el comportamiento a largo plazo de las cadenas de Markov.
TEOREMA 1
Sea la matriz de transicin de una cadena ergdico de estado estable. Entonces
existe un vector
tal que

lim

Recuerde que el -esimo elemento de
es
. El teorema 1 establece que

para cualquier estado inicial ,
lim

Observe que para grande,
n
p tiende a una matriz con renglones idnticos. Esto
significa que despus de un largo tiempo, la cadena de Markov se estabiliza, e
(independientemente del estado inicial ) hay una probabilidad j de que se est
en el estado j .

El vector [ ]
n

2 1
, = se llama distribucin de estado estable o distribucin
de equilibrio, para la cadena de Markov. Para una cadena determinada con
matriz de transicin , Cmo se puede hallar la distribucin de probabilidad de
estado estable? A partir del teorema 1, se observa que para grande y toda ,
( ) ( )
j ij ij
n p n p +1
(6)
Puesto que ( ) = +1 n p
ij
(rengln de
n
p ) (columna de ), se podra escribir
( ) ( )
kj
s k
k
ij ij
p n p n p
=
=
= +
1
1
(7)
Si es grande, sustituyendo la ecuacin (6) en la (7), se obtiene
=
=
=
s k
k
kj k j
p
1

(8)
En forma de matriz, (8) se podra escribir como
p =
(8
`
)
Infortunadamente, el sistema de ecuaciones especificado en (8) tiene un nmero
infinito de soluciones, debido a que el rango de la matriz siempre resulta ser
1 s (vase capitulo 2, problema de repaso 21). Para obtener los valores nicos
de la probabilidad de estado estable, observe que para cualquier y cualquier ,
( ) ( ) ( ) 1
2 1
= + + + n p n p n p
is i i

(9)
Haciendo que
tienda a infinito en (9), se obtiene

1
2 1
= + + +
s
(10)
As, despus de sustituir cualquiera de las ecuaciones en (8) con (10), se puede
usar la ecuacin (8) para resolver las probabilidades de estado estable.
Para ilustrar como encontrar las probabilidades de estado estable, se determinan
las probabilidades de estado estable para el ejemplo 4, el ejemplo de la bebida de
cola. Recuerde que la matriz de transicin para el ejemplo 4 fue,

=
80 . 20 .
10 . 90 .
p

Entonces con la ecuacin (8) o la ecuacin (8`), se obtiene
[ ] [ ]

=
80 . 20 .
10 . 90 .
2 1 2 1

2 1 2
2 1 1
80 . 10 .
20 . 90 .

+ =
+ =

Sustituyendo la segunda ecuacin con la ecuacin 1
2 1
= + , se obtiene el sistema
2 1
2 1 1
1
20 . 90 .

+ =
+ =

Resolviendo para
1
y
2
, se obtiene
3
2
1
= y
3
1
2
= . Por consiguiente, depuse
de un largo tiempo, hay una probabilidad de que
3
2
de que una persona
determinada compre cola 1 una probabilidad
3
1
de que un apersona especifica
compre cola 2.

Anlisis transitorio

Un vistazo a la tabla 2 muestra que para el ejemplo 4, el estado estable se alcanza
(a dos decimales) Despus de diez transiciones. Ninguna regla general se puede
expresar acerca de que tan rpido una cadena de Markov alcanza el estado
estable, pero si contiene muy pocos elementos que estn cerca de 0 o cerca de
1, por lo general el estado estable se alcanza muy rpido. El comportamiento de
una cadena de Markov antes de alcanzar el estado estable se llama
comportamiento transitorio (o de corrida corta). Para estudiar el comportamiento
transitorio de una cadena de Markov, simplemente se utilizan las formulas para
dadas en (4) y (5). Sin embargo, es bonito saber que para grande, las
probabilidades de estado estable describen con precisin la probabilidad de estar
en cualquier estado.

Interpretacin intuitiva de las probabilidades de estado estable.
Se puede dar una interpretacin intuitiva a las ecuaciones de probabilidad de
estado estable (8). Restando
de ambos lados de la ecuacin (8), se obtiene

(11)
La ecuacin (11) establece que en el estado estable,
Probabilidad de que una transicin particular deje el estado
= probabilidad de que una transicin particular entre al estado (12)
Recuerde que en el estado estable, la probabilidad de que el sistema este en el
estado es
. De esta observacin, se deduce que,

Probabilidad de que una transicin particular deje el estado
= (probabilidad de que el periodo actual comience en )
(probabilidad de que la transicin actual deje o salga de )

Y
Probabilidad de que una transicin particular entre al estado

Probabilidad de que el periodo actual comience en )

(probabilidad de que la transicin actual llegue a )

La ecuacin (11) es razonable; si para cualquier estado se violara la ecuacin
(11), entonces para algn estado , el lado derecho de (11) seria mayor que el
lado izquierdo de (11). Esto dara como resultado la probabilidad de aplicar en el
estado , y no existira una distribucin de probabilidad de estado estable. Se
podra considerar que el estado estable la ecuacin (11) establece que el flujo de
probabilidad hacia cado estado debe ser igual al flujo de probabilidad que sale de

cada estado. Esto explica porque las probabilidades de estado estable suelen
llamarse probabilidades de equilibrios.

USO DE LAS PROBABILIDADES DE ESTADO ESTABLE EN LA TOMA DE
DECISIONES
Ejemplo 5
Refresco de cola (continuacin)
En el ejemplo 4, suponga que cada cliente realiza una compra de refresco de cola
durante cualquier semana (52 semanas = 1 ao). Suponga que hay 100 millones
de clientes que consumen refrescos de cola. A la compaa le cuesta 1 dlar
producir un refresco de cola y lo vende en 2 dlares. Por $500 millones al ao, una
empresa publicitaria garantiza disminuir de 10 a 5 % la fraccin de clientes de cola
1 que cambia a cola 2 despus de una compra. Debe la compaa que fabrica
cola 1 comprar a la empresa publicitaria?

Solucin
En la actualidad, una fraccin
de la compra es de cola 1. Cada compra de

cola 1 produce a la compaa una ganancia de dlar. Puesto que hay un total de
52(100 000 000), o 5.2 miles de millones, compra de cola cada ao, la ganancia
anual actual de la compaa que produce cola 1 es
2
3
5 200 000 000 $3 466 666 667
La compaa publicitaria esta ofreciendo cambia la matriz a

. 95 . 05
. 20 . 80

Para
, la ecuacin de estado estable son
.95
.20
.05
.80


Sustituyendo la segunda ecuacin por
1 y resolviendo, se obtiene
.8
.2. Ahora la ganancia anual de la compaa que produce cola 1 ser

. 805 200 000 000 500 000 000 $3 660 000 000
Por lo tanto, la compaa que produce cola 1 debe contratar a la agencia de
publicidad.
Ejemplo 6
Jugando monopolio
con la suposicin de cada jugador de monopolio que va a la crcel
permanentemente por all hasta que obtenga pares o haya pasado tres turnos en
la crcel, Ash y Bishop (1972) determinaron la probabilidad de estado estable de
que un jugador ubicado en cualquier cuadro de monopolio (vase la tabla 3). Las
probabilidades de estado estable se pueden usar para medir la rentabilidad de
barios monopolios. Por ejemplo, en el monopolio naranja cuesta 1500 dlares
construir hoteles. Cada vez que un jugador se hospeda en un hotel de avenida
Tennessee o de St. James place, el dueo del monopolio recibe 950 dlares, y
cada vez que un jugador llega a un hotel de avenida nueva york, el dueo recibe
1000 dlares. De la tabla 3, se calcula la renta esperada por lanzamiento de los
dados que obtiene el monopolio naranja:

950. 0335 950. 0318 1000. 0334 $95.44
Asi por dlar invertido, el monopolio naranja produce
.
$0.064 por
lanzamiento de los dados.
Ahora, considere el monopolio verde. Poner hoteles en el monopolio verde cuesta
3000 dolares. Si un jugador llega a un hotel de avenida carolina del norteo de
avenida pacifico, el dueo recibe 1275 dolares, si un jugador llega a un hotel de
avenida Pensilvania, el dueo recibe 1400. De la tabla 3, el ingreso promedio por
lanzamiento de los dados obtenidos de los hoteles en el monopolio verde es:

1275. 0294 1275. 0300 1400. 0279 $114.80

Asi, por dlar invertido, el monopolio verde produce solo
.
$0.038 por
lanzamiento de los dados.
Este anlisis muestra que el monopolio anaranjado es superior al verde. A
propsito, Por qu el monopolio naranja aterriza con tanta frecuencia?


4.4 ESTADO ABSORBENTE

ESTADOS ABSORBENTES Y ESTADOS DE CONJUNTO CERRADO
En una cadena de Markov un conjunto C de estados se denomina cerrado si el
sistema, una vez en uno de los estados de C, pertenece en C indefinidamente. Un
ejemplo especial de un conjunto cerrado es un estado particular que tenga una
probabilidad de transicin
1. En este caso se denomina estado

absorbente.
Todos los estado de una cadena irreducible deben formar un conjunto cerrado y
ningn otro subconjunto puede ser cerrado. El conjunto cerrado C tambin debe
satisfacer todas las condiciones de una cadena de Markov y por ello, puede
estudiarse de forma independiente.

Ejemplo:
Considere la siguiente cadena de Markov:


0
1
2
3
0 1 2 3
1 2 1 4 1 4 0
0 0 1 0
1 3 0 1 3 1 3
0 0 0 1

Esta cadena se ilustra grficamente en la figura 18-2. La figura muestra que los
cuatro estados no constituyen una cadena irreducible, ya que los estado 0,1 y 2 no
se pueden alcanzar desde el estado 3. El estado 3, en s mismo, forma un
conjunto cerrado y, por consiguiente, es absorbente. Tambin se puede decir, que
el estado 3 forma una cadena irreducible.
TIEMPOS DE PRIMER RETORNO
Una definicin importante en la teora de las cadenas de Markov es el tiempo de
primer retorno. Dado que el sistema esta inicialmente en el estado , puede
retornar a por primera vez en el paso ensimo, con 1. el numero de pasos
antes de que el sistema retorne a se llama tiempo de primer retorno.
Sea
la probabilidad de que el primer retorno a ocurra en el paso ensimo.

Entonces, dada la matriz de transicin

Se puede determinar una expresin para
como sigue:

Se puede probar por induccin que, en general,


Lo que da la expresin requerida

La probabilidad de por lo menos un retorno al estado est dada por

Entonces, es seguro que el sistema retorna a si
1. En este caso, si

define el tiempo medio de retorno (recurrencia),

Si
1, no es seguro que el sistema retornara a y, en consecuencia,
.
Por este motivo los estados de una cadena de Markov se pueden clasificar con
base en la definicin de los tiempos de primer retorno como sigue:
1. Un estado es transitorio si
1, o sea,
.
2. Un estado es recurrente (persistente) si
1.
3. Un estado recurrente es nulo si
y si
finito.
4. Un estado es peridico con periodo t si es posible un retorno solo en los
pasos t, 2t, 3t,.Esto significa que
0 siempre que n no sea divisible

entre t.
5. Un estado recurrente es ergdico si es no nulo y aperidico (no peridico).
DISTRIBUCIN LMITE DE CADENAS ERRREDUCIBLES
El ejemplo 18.6-1 muestra que conforme aumente el nmero de transiciones,
probabilidad absoluta se vuelve independiente a largo plazo de las cadenas de
Markov.

En esta seccin presentamos la determinacin de la distribucin lmite (a largo
plazo) de una cadena irreducible. La presentacin se concretara al tipo aperidico
ya que es el ltimo tipo necesario en este texto. Adems, el anlisis del tipo
peridico es bastante complejo.
La existencia de una distribucin lmite en una cadena irreducible aperidica
depende de la clase de sus estados. Entonces, considerando las tres clases
dadas en el teorema 18.6-1, podemos enunciar el siguiente teorema.
Teorema 18.6-2 En una cadena de Markov irreducible aperidica, (a) Si los
estados son todos transitorios o todos nulos, entonces
0 como , para
toda y y j y, no existe una distribucin limite.
(b) Si todos los estados son ergdico, entonces
lim
, 0, 1, 2,
Donde
es la distribucin limite (estado estable). Las probabilidades
existen
en forma nica y son independiente de
. en este caso,
se puede determinar
a partir del conjunto de ecuaciones

El tiempo medio de recurrencia para el estado j esta dado entonces por

Ejemplo 18.6-3
Considere el ejemplo 18.6-1. Para determinar su distribucin de probabilidades de
estado estable, tenemos
. 2
. 6


. 8
. 4

__________________________________________________________________
Observe que una de las ecuaciones
es redundante
(Observe que una de las primeras dos ecuaciones es redundante.) La solucin da:
0.4286 y
0.5714. Estos valores son cercanos a los valores de
(y a
las filas de
) en el ejemplo 18.6-1. Luego tenemos
2.3
1.75
De modo que el tiempo medio de recurrencia para los estados primero y segundo
son 2.3 y 1.75 pasos, respectivamente.
Ejemplo 18.6-4
Considere la cadena de Markov siguiente con tres estados:

0
1
2
0 1 2
1 2 1 4 1 4
1 2 1 4 1 4
0 1 2 1 2

Esta se llama matriz estocstica doble, ya que

Donde s es el nmero de estados. En tales casos, las probabilidades de estado
estable son
1 para toda j. as, para la matriz dada
1 3


CONCLUSIN
Como conclusin de las cadenas de Markov nos permite hacer anlisis sobre el
estudio de los comportamientos de ciertos sistemas en ciertos periodos que
pueden ser cortos o largos. Adems se tiene una relacin con las probabilidades
absolutas. Pero sin embargo lo ms importante es el estudio del comportamiento
sistemas a largo plazo, cuando el nmero de transiciones tiene al infinito. Los
estados en las cadenas de Markov sern tiles para el estudio del comportamiento
de los sistemas a largo plazo.
Que todos los estados en una cadena de Markov infinita irreducible pueden
pertenecer a una, y solo una, de las siguientes tres clases: estados transitorios,
estados recurrentes nulos o estados recurrentes no nulos
Al abordar este tema es para conocer ms o menos las probabilidades de un
experimento, esto a su vez nos permitir conocer a corto y plazo los estados en
que se encontraran en periodos o tiempos futuros y tomar decisiones que
afectarn o favorecern nuestros intereses, y tomar una decisin de manera
consciente y no se comentan muchos errores.

Esto tambin nos proporcionara un tiempo estimado para que identifiquemos cada
estado y el periodo en que se encuentra con la implementacin de un proceso,
tambin se establece las probabilidades como una herramienta ms en las
cadenas de Markov.

Las cadenas de Markov son modelos probabilsticos que se usan para predecir la
evolucin y el comportamiento a corto y a largo plazo de determinados sistemas.
Ejemplos: reparto del mercado entre marcas; dinmica de las averas de mquinas
para decidir poltica de mantenimiento; evolucin de una enfermedad.
Se dice que la cadena de Markov es absorbente si una o ms estados es un
estado absorbente es una cadena de Markov absorbente. Pero para que se
puedan resolver o darle solucin a muchas de las preguntas que se generan la
cadena de Markov debe seguir un orden primero se dice que los estados deben
ser transitorios, luego los estados absorbentes.
Estado estable. Son formulas que se desarrollan, que despus de un largo
tiempo busca la estabilizacin del estado inicial ya que hay una probabilidad de
que dicho estado se encuentre en el estado , y sustituyendo dichas ecuaciones
es como se resuelven los problemas de estado estable. De otra manera las
ecuaciones de estado estable son restadas en ambos lados y la probabilidad de
que deje el estado es igual a que entre en el estado y la probabilidad de que
este en el estado es
.


BIBLIOGRAFA
4.1.- INTRODUCCIN A LAS CADENAS DE MARKOV
Investigacin de operaciones, 5 edicin, Editorial taha, pp. 822-826
4.2.- PROBABILIDAD DE TRANSICIONES ESTACIONARIAS DE N PASOS
Investigacin de operaciones aplicaciones y algoritmos, 4 edicin, Autor Wayne l.
wishston, Editorial Thompson, pp. 928-931.
4.3.- ESTADO ESTABLE
Investigacin de operaciones aplicaciones y algoritmos, 4 edicin, Autor Wayne l.
wishston, Editorial Thompson, pp. 934-938.
4.4.- ESTADOS ABSORBENTES

R 66951

Cargado por

Información del documento

Título original

Derechos de autor

Formatos disponibles

Compartir este documento

Compartir o incrustar documentos

Opciones para compartir

¿Le pareció útil este documento?

¿Este contenido es inapropiado?

Copyright:

Formatos disponibles

R 66951

Cargado por

Copyright:

Formatos disponibles

UNIDAD 4: CADENAS DE MARKOV

INSTITUTO TECNOLOGICO SUPERIOR DE CALKINI EN EL ESTADO DE

la variable aleatoria que caracteriza al

. Y la familia de las variables aleatorias

forma un proceso llamado

representan situacin exhaustiva y mutuamente

para 1,2 y sea

forma un proceso estocstico. Los estados en el tiempo

0,1,2, representa puntos en el tiempo, la familia de variables

es un proceso de Markov, si sta posee la siguiente propiedad

, dado que estaba en

. Esta propiedad tambin se denomina

. Una propiedad de transicin de m pasos se define entonces como:

0,1,2, los estados exhaustivos y mutuamente excluyentes

, suponemos que esas probabilidades de transicin del estado E

se pueden arreglar ms conveniente en forma de matriz como sigue:

son fijadas e independientes del

deben satisfacer las condiciones

, asociados con los estados

despus de un nmero finito de

y de una cadena de Markov, las probabilidades absolutas del

las probabilidades absolutas del sistema despus transicin, o sea,

. La expresin general para

es la probabilidad de transicin de orden o de pasos dada por la

tienden a ser idnticas. Tambin,

. Este resultado tiene que ver con las

. En este caso las probabilidades resultantes se denominan

se llama probabilidad del n-simo paso de una transicin del

2, observe que si el sistema

. Al ampliar este razonamiento, se puede demostrar que para 1,

, as que se debe escribir

como el tipo de cola que una persona compra en su n-sima

2 .34. Esto significa que la probabilidad de que un

2= (probabilidad de que la siguiente compra

. 20. 90 . 80. 20 .34.

= probabilidad de que tres compras a

son casi constantes y se aproxima a .67.

son casi constantes y

. El teorema 1 establece que

tienda a infinito en (9), se obtiene

de ambos lados de la ecuacin (8), se obtiene

. De esta observacin, se deduce que,

Probabilidad de que el periodo actual comience en )

de la compra es de cola 1. Cada compra de

, la ecuacin de estado estable son

.2. Ahora la ganancia anual de la compaa que produce cola 1 ser

1. En este caso se denomina estado

la probabilidad de que el primer retorno a ocurra en el paso ensimo.

1, no es seguro que el sistema retornara a y, en consecuencia,

0 siempre que n no sea divisible

es la distribucin limite (estado estable). Las probabilidades

0.5714. Estos valores son cercanos a los valores de

) en el ejemplo 18.6-1. Luego tenemos

1 para toda j. as, para la matriz dada

También podría gustarte