Documentos de Académico
Documentos de Profesional
Documentos de Cultura
Cadenas de Markov PDF
Cadenas de Markov PDF
PROCESOS ESTOCSTICOS
Para cada posible valor del estado inicial s1 y para cada uno de los sucesivos
Valores sn de los estados Xn, n = 2, 3, especicamos:
Una cadena de Markov, que recibe su nombre del matemtico ruso Andrei
Markov, es una serie de eventos, en la cual la probabilidad de que ocurra un
evento depende del evento inmediato anterior. En efecto, las cadenas de este tipo
tienen memoria. Recuerdan el ltimo evento y esto condiciona las posibilidades
de los eventos futuros. Esta dependencia del evento anterior distingue a las
cadenas de Markov de las series de eventos independientes, como tirar una
moneda al aire o un dado.
En los negocios, las cadenas de Markov se han utilizado para analizar los
patrones de compra de los deudores morosos, para planear las necesidades de
personal y para analizar el reemplazo de equipo.
En matemticas, se define como un proceso estocstico discreto que cumple con
la Propiedad de Markov, es decir, si se conoce la historia del sistema hasta su
instante actual, su estado presente resume toda la informacin relevante para
describir en probabilidad su estado futuro.
Una cadena de Markov es una secuencia X1, X2, X3, de variables aleatorias. El
rango de estas variables, es llamado espacio estado, el valor de Xn es el estado
del proceso en el tiempo n. Si la distribucin de probabilidad condicional de Xn+1
en estados pasados es una funcin de Xn por s sola, entonces:
Donde xi es el estado del proceso en el instante i. La identidad mostrada es la
Propiedad de Markov.
Una cadena de Markov es una serie de eventos, en la cual la probabilidad de que
ocurra un evento depende del evento inmediato anterior. En efecto, las cadenas
de este tipo tienen memoria. Recuerdan el ltimo evento y esto condiciona las
manera, dado que se tienen dos cmaras al final de una semana, la probabilidad
de que haya tres cmaras en el almacn dos semanas despus es 0.097; esto es,
La matriz de transicin de cuatro pasos tambin se puede obtener de la siguiente
manera :
P(4) = P4 = P(2) * P(2)
As, dado que queda una cmara al final de una semana, 0.282 es la probabi lidad
de que no haya cmaras en inventario 4 semanas ms tarde; es decir, De igual
manera, dado que quedan dos cmaras en el almacn final de una semana, se
tiene una probabilidad de 0.171 de que haya tres cmaras en el almacn 4
semanas despus; esto es,
Probabilidades de transicin estacionaria de estados estables.
Teorema
Sea P la matriz de transicin de una cadena de M estados . Existe entonces un
vector tal que
Se establece que para cualquier estado inicial i , .
El vector a menudo se llama distribucin de estado estable, o tambin distribucin
de equilibrio para la cadena de Markov. Para encontrar la distribucin de
probabilidades de estacionario para una cadena dada cuya matriz de transicin es
P, segn el teorema, para n grande y para toda i , (1)
Como Pij (n + 1) = ( rengln i de Pn )(columna j de P), podemos escribir
(2)
Ejemplo:
Suponga que toda la industria de refrescos produce dos colas. Cuando una
persona ha comprado la cola 1, hay una probabilidad de 90 % de que su siguiente
compra se de cola 1. Si una persona compr cola 2, hay un 80 % de
probabilidades que su prxima compra sea de cola 2.
Entonces:
Al reemplazar la segunda ecuacin por la condicin,
Obtenemos el sistema
Al despejar resulta que Por lo tanto, despus de largo tiempo, hay probabilidad 2/3
de que una persona dada compre cola 1 y 1/3 de probabilidad de que una persona
compre cola 2.
Tiempos de primer pas.
Con frecuencia es conveniente poder hacer afirmaciones en trminos de
probabilidades sobre el nmero de transiciones que hace el proceso al ir de un
estado i a un estado j por primera vez . este lapso se llama tiempos de primer
paso al ir del estado i al estado j. cuando J=i, esta tiempo de primer paso es justo
el nmero de transiciones hasta que el proceso regresa al estado inicial i. En este
caso, el tiempo de primer paso se llama tiempo de recurrencia para el estado i.
Para ilustrar estas definiciones, reconsidrese el ejemplo siguiente:
Una tienda de cmaras tiene en almacn un modelo especial de cmara que se
puede ordenar cada semana. Sean D1, D2, las demandas de esta cmara
durante la primera, segunda, , semana, respectivamente. Se supone que las Di
son variables aleatorias independientes e idnticamente distribuidas que tienen
una distribucin de probabilidad conocida. Sea X0 el nmero de cmaras que se
tiene en el momento de iniciar el proceso, X1 el nmero de cmaras que se tienen
al final de la semana uno, X2 el nmero de cmaras al final de la semana dos, etc.
Suponga que X0 = 3 . El sbado en la noche la tienda hace un pedido que le
entregan el lunes en el momento de abrir la tienda. La tienda hace un pedido que
le entregan el lunes en el momento de abrir la tienda. La tienda usa la siguiente
poltica ( s, S)1 para ordenar : si el nmero de cmaras en inventario al final de la
semana es menor que s =1 (no hay cmaras en la tienda), ordenar (hasta) S=3.
De otra manera, no coloca la orden (si se cuenta con una o ms cmaras en el
almacn, no se hace el pedido). Se supone que las ventas se pierden cuando la
demanda excede el inventario. Entonces, {X1} para t = 0, 1, .. es un proceso
estocstico de la forma que se acaba de describir. Los estados posibles del
proceso son los enteros 0, 1, 2, 3 que representan el nmero posible de cmaras
en inventario al final de la semana.
Donde Xt es el nmero de cmaras en inventario al final de la semana t y se
comienza con , Suponga que ocurri lo siguiente:
En este caso, el tiempo de primer paso para ir al estado 3 al estado 1 es dde 2
semanas, el tiempo de primer paso para ir del estado 3 al estado 0 es de 3
semanas y el tiempo de recurrencia del estado 3 es de 4 semanas.
En general, los tiempos de primer paso son variables aleatorias y, por lo tanto,
tienen una distribucin de probabilidad asociada a ellos. Estas distribuciones de
probabilidad dependen de las probabilidades de transicin del proceso. En
particular, denota la probabilidad de que el tiempo de primer paso del estado i al j
sea igual a n. Se puede demostrar que estas probabilidades satisfacen las
siguientes relaciones recursivas:
Entonces se puede calcular la probabilidad de un tiempo de primer paso del
estado i al j en n pasos, de manera recursiva, a partir de las probabilidades de
transicin de un paso. En el ejemplo, la distribucin de probabilidad de los tiempos
de primer paso del estado 3 al estado 0 se obtiene como sigue:
Para i y j fijos, las son nmeros no negativos tales que
Esta suma puede ser menor que 1, lo que significa que un proceso que el iniciar
se encuentra en el estado i puede no llegar nunca al estado j . Cuando la suma es
igual a 1, las pueden considerarse como una distribucin de probabilidad para la
variable aleatoria, el tiempo de primer paso.
Para obtener el tiempo esperado de primer paso del estado i al estado j. Sea , que
se define como:
entonces satisface, de manera nica, la ecuacin:
Cuando i=j, se llama tiempo esperado de recurrencia.
Al aplicarlo al ejemplo del inventario, estas ecuaciones se pueden usar para
calcular el tiempo esperado hasta que ya no se tengan cmaras en el almacn,
suponiendo que el proceso inicia cuando se tienen tres cmaras; es decir, se
puede obtener el tiempo esperado de primer paso . Como todos los estados son
recurrentes, el sistema de ecuaciones conduce a las expresiones
La solucin simultnea de este sistema es
De manera que el tiempo esperado hasta que la tienda se queda sin cmaras es
de 3.50 semanas.
Caso de Aplicacin.
Aplicacin a la administracin : Planeacin de Personal.
EN TIEMPO DISCRETO
CADENAS DE MARKOV
PROBABILIDADES DE TRANSICIN.
EL TRABAJO EMPLEA
SIMULACIONES CON
ORDENADOR
MEDIANTE CADENAS
MARKOV