Documentos de Académico
Documentos de Profesional
Documentos de Cultura
Cadenas de Markov2
Cadenas de Markov2
Una cadena de Markov, que recibe su nombre del matemtico ruso Andrei Markov,
es una serie de eventos, en la cual la probabilidad de que ocurra un evento
depende del evento inmediato anterior. En efecto, las cadenas de este tipo tienen
memoria. Recuerdan el ltimo evento y esto condiciona las posibilidades de los
eventos futuros. Esta dependencia del evento anterior distingue a las cadenas de
Markov de las series de eventos independientes, como tirar una moneda al aire o
un dado.
En los negocios, las cadenas de Markov se han utilizado para analizar los
patrones de compra de los deudores morosos, para planear las necesidades de
personal y para analizar el reemplazo de equipo.
En matemticas, se define como un proceso estocstico discreto que cumple con
la Propiedad de Markov, es decir, si se conoce la historia del sistema hasta su
instante actual, su estado presente resume toda la informacin relevante para
describir en probabilidad su estado futuro.
Una cadena de Markov es una secuencia X1, X2, X3, de variables aleatorias. El
rango de estas variables, es llamado espacio estado, el valor de Xn es el estado
del proceso en el tiempo n. Si la distribucin de probabilidad condicional de Xn+1
en estados pasados es una funcin de Xn por s sola, entonces:
Donde xi es el estado del proceso en el instante i. La identidad mostrada es la
Propiedad de Markov.
Una cadena de Markov es una serie de eventos, en la cual la probabilidad de que
ocurra un evento depende del evento inmediato anterior. En efecto, las cadenas
de este tipo tienen memoria. Recuerdan el ltimo evento y esto condiciona las
posibilidades de los eventos futuros. Esta dependencia del evento anterior
distingue a las cadenas de Markov de las series de eventos independientes, como
tirar una moneda al aire o un dado.
El anlisis de Markov, llamado as en honor de un matemtico ruso que desarrollo
el mtodo en 1907, permite encontrar la probabilidad de que un sistema se
encuentre en un estado en particular en un momento dado. Algo ms importante
an, es que permite encontrar el promedio a la larga o las probabilidades de
estado estable para cada estado. Con esta informacin se puede predecir el
comportamiento del sistema a travs del tiempo.
La tarea ms difcil es reconocer cundo puede aplicarse. La caracterstica ms
importante que hay que buscar en la memoria de un evento a otro.
Formulacin de las cadenas de Markov.
Una cadena de Markov es una serie de eventos, en la cual la probabilidad de que
ocurra un evento depende del evento inmediato anterior. En efecto, las cadenas
de este tipo tienen memoria. Recuerdan el ltimo evento y esto condiciona las
posibilidades de los eventos futuros. Esta dependencia del evento anterior
distingue a las cadenas de Markov de las series de eventos independientes, como
tirar una moneda al aire o un dado.
Probabilidades de transicin.
Una forma de describir una cadena de Markov es con un diagrama de estados. En
sta se ilustra un sistema de Markov con cuatro estados posibles: M1, M2, M3 y
M4. La probabilidad condicional o de transicin de moverse de un estado a otro se
indica en el diagrama
Otro mtodo para exhibir las probabilidades de transicin es usar una matriz de
transicin.
Otro mtodo para exhibir las probabilidades de transicin es usar una matriz de
transicin. .
Para n = 0, 1, 2,.
El superndice n no se escribe cuando n = 1.
Procesos estocsticos.
Un proceso estocstico se define sencillamente como una coleccin indexada de
variables aleatorias {X1}, donde el subndice t toma valores de un conjunto T dado.
Con frecuencia T se toma como el conjunto de enteros no negativos y X,
representa una caracterstica de inters medible en el tiempo t. Por ejemplo, el
proceso estocstico, X1, X2, X3,.., Puede representar la coleccin de niveles de
P Xt+n = j = pXn = j,
Para toda t = 0, 1,. . . Estas probabilidades condicionales casi siempre se denotan
por y se llaman probabilidades de transicin de n pasos. As, es simplemente la
probabilidad condicional de que la variable aleatoria X, comenzando en el estado i,
se encuentre en el estado j despus de n pasos (unidades de tiempo).
Como las son probabilidades condicionales, deben satisfacer las propiedades:
Probabilidad de transicin de un solo paso.
Ejemplo:
Una tienda de cmaras tiene en almacn un modelo especial de cmara que se
puede ordenar cada semana. Sean D1, D2, las demandas de esta cmara
durante la primera, segunda,, semana, respectivamente. Se supone que las Di
son variables aleatorias independientes e idnticamente distribuidas que tienen
una distribucin de probabilidad conocida. Sea X0 el nmero de cmaras que se
tiene en el momento de iniciar el proceso, X1 el nmero de cmaras que se tienen
al final de la semana uno, X2 el nmero de cmaras al final de la semana dos, etc.
Suponga que X0 = 3 . El sbado en la noche la tienda hace un pedido que le
entregan el lunes en el momento de abrir la tienda. La tienda hace un pedido que
le entregan el lunes en el momento de abrir la tienda. La tienda usa la siguiente
poltica ( s, S)1 para ordenar : si el nmero de cmaras en inventario al final de la
semana es menor que s =1 (no hay cmaras en la tienda), ordenar (hasta) S=3.
De otra manera, no coloca la orden (si se cuenta con una o ms cmaras en el
almacn, no se hace el pedido). Se supone que las ventas se pierden cuando la
demanda excede el inventario. Entonces, {X1} para t = 0, 1,.. Es un proceso
estocstico de la forma que se acaba de describir. Los estados posibles del
proceso son los enteros 0, 1, 2, 3 que representan el nmero posible de cmaras
en inventario al final de la semana.
Observe que {Xi}, en donde Xi es el nmero de cmaras en el almacn al final de
la semana t ( antes de recibir el pedido}), es una cadena de Markov. Se ver ahora
cmo obtener las probabilidades de transicin (de un paso), es decir, los
elementos de la matriz de transicin (de un paso).
Suponiendo que cada Dt tiene una distribucin Poisson con parmetro.
Para obtener es necesario evaluar. Si, Entonces. Por lo tanto, significa que la
demanda durante la semana fue de tres o ms cmaras. As, la probabilidad de
que una variable aleatoria Poisson con parmetro tome el valor de 3 o ms; y se
puede obtener de una manera parecida. Si, entonces. Para obtener, la demanda
durante la semana debe ser 1 o ms. Por esto, Para encontrar, observe que si . En
consecuencia, si, entonces la demanda durante la semana tiene que ser
exactamente 1. Por ende, Los elementos restantes se obtienen en forma similar, lo
que lleva a la siguiente a la siguiente matriz de transicin (de un paso):
Probabilidad de transicin estacionaria de n pasos.
Las ecuaciones de Chapman-Kolmogorov proporcionan un mtodo para calcular
estas probabilidades de transicin de n pasos:
Estas ecuaciones simplemente sealan que al ir de un estado i al estado j en n
pasos, el proceso estar en algn estado k despus de exactamente m (menor
que n) pasos. As,
Es solo las probabilidad condicional de que, si se comienza en el estado i, el
proceso vaya al estado k despus de m pasos y despus al estado j en n- m
pasos.
Los casos especiales de m=1 y m=n-1 conducen a las expresiones
Para toda i, j, y n de lo cual resulta que las probabilidades de transicin de n pasos
se pueden obtener a partir de las probabilidades de transicin de un paso de
manera recursiva. Para n=2, estas expresiones se vuelven:
Note que las son los elementos de la matriz P (2), pero tambin debe de
observarse que estos elementos, se obtienen multiplicando la matriz de transicin
de un paso por s misma; esto es, P (2) = P * P = P2.
En trminos ms generales, se concluye que la matriz de probabilidades de
transicin de n pasos se puede obtener de la expresin: P(n) = P * P. P = Pn =
PPn1 = Pn-1 P.
Entonces, la matriz de probabilidades de transicin de n pasos se puede obtener
calculando la n-sima potencia de la matriz de transicin de un paso. Para valores
no muy grandes de n, la matriz de transicin de n pasos se puede calcular en la
forma que se acaba de describir, pero cuando n es grande, tales clculos resultan
tediosos y, ms an, los errores de redondeo pueden causar inexactitudes.
Ejemplo:
Una tienda de cmaras tiene en almacn un modelo especial de cmara que se
puede ordenar cada semana. Sean D1, D2, las demandas de esta cmara
durante la primera, segunda,, semana, respectivamente. Se supone que las Di
son variables aleatorias independientes e idnticamente distribuidas que tienen
una distribucin de probabilidad conocida. Sea X0 el nmero de cmaras que se
tiene en el momento de iniciar el proceso, X1 el nmero de cmaras que se tienen
al final de la semana uno, X2 el nmero de cmaras al final de la semana dos, etc.
Suponga que X0 = 3. El sbado en la noche la tienda hace un pedido que le
entregan el lunes en el momento de abrir la tienda. La tienda hace un pedido que
le entregan el lunes en el momento de abrir la tienda. La tienda usa la siguiente
poltica (s, S)1 para ordenar: si el nmero de cmaras en inventario al final de la
semana es menor que s =1 (no hay cmaras en la tienda), ordenar (hasta) S=3.
De otra manera, no coloca la orden (si se cuenta con una o ms cmaras en el
almacn, no se hace el pedido). Se supone que las ventas se pierden cuando la
demanda excede el inventario. Entonces, {X1} para t = 0, 1,.. Es un proceso
estocstico de la forma que se acaba de describir. Los estados posibles del
proceso son los enteros 0, 1, 2, 3 que representan el nmero posible de cmaras
en inventario al final de la semana.
As, dado que tiene una cmara al final de una semana, la probabilidad de que no
haya cmaras en inventario dos semanas despus es 0.283; es decir, De igual
manera, dado que se tienen dos cmaras al final de una semana, la probabilidad
de que haya tres cmaras en el almacn dos semanas despus es 0.097; esto es,
La matriz de transicin de cuatro pasos tambin se puede obtener de la siguiente
manera:
P (4) = P4 = P (2) * P (2)
As, dado que queda una cmara al final de una semana, 0.282 es la probabilidad
de que no haya cmaras en inventario 4 semanas ms tarde; es decir, De igual
manera, dado que quedan dos cmaras en el almacn final de una semana, se
tiene una probabilidad de 0.171 de que haya tres cmaras en el almacn 4
semanas despus; esto es,
estado i a un estado j por primera vez. Este lapso se llama tiempos de primer paso
al ir del estado i al estado j. cuando J=i, esta tiempo de primer paso es justo el
nmero de transiciones hasta que el proceso regresa al estado inicial i. En este
caso, el tiempo de primer paso se llama tiempo de recurrencia para el estado i.
Para ilustrar estas definiciones, reconsidrese el ejemplo siguiente:
Una tienda de cmaras tiene en almacn un modelo especial de cmara que se
puede ordenar cada semana. Sean D1, D2, las demandas de esta cmara
durante la primera, segunda, , semana, respectivamente. Se supone que las Di
son variables aleatorias independientes e idnticamente distribuidas que tienen
una distribucin de probabilidad conocida. Sea X0 el nmero de cmaras que se
tiene en el momento de iniciar el proceso, X1 el nmero de cmaras que se tienen
al final de la semana uno, X2 el nmero de cmaras al final de la semana dos, etc.
Suponga que X0 = 3. El sbado en la noche la tienda hace un pedido que le
entregan el lunes en el momento de abrir la tienda. La tienda hace un pedido que
le entregan el lunes en el momento de abrir la tienda. La tienda usa la siguiente
poltica ( s, S)1 para ordenar : si el nmero de cmaras en inventario al final de la
semana es menor que s =1 (no hay cmaras en la tienda), ordenar (hasta) S=3.
De otra manera, no coloca la orden (si se cuenta con una o ms cmaras en el
almacn, no se hace el pedido). Se supone que las ventas se pierden cuando la
demanda excede el inventario. Entonces, {X1} para t = 0, 1,.. Es un proceso
estocstico de la forma que se acaba de describir. Los estados posibles del
proceso son los enteros 0, 1, 2, 3 que representan el nmero posible de cmaras
en inventario al final de la semana.
Donde Xt es el nmero de cmaras en inventario al final de la semana t y se
comienza con, Suponga que ocurri lo siguiente:
En este caso, el tiempo de primer paso para ir al estado 3 al estado 1 es de 2
semanas, el tiempo de primer paso para ir del estado 3 al estado 0 es de 3
semanas y el tiempo de recurrencia del estado 3 es de 4 semanas.
En general, los tiempos de primer paso son variables aleatorias y, por lo tanto,
tienen una distribucin de probabilidad asociada a ellos. Estas distribuciones de
probabilidad dependen de las probabilidades de transicin del proceso. En
particular, denota la probabilidad de que el tiempo de primer paso del estado i al j
Un estudio demuestra que el nmero de clientes que estn en el momento ocupando la estacin
afecta la probabilidad de una nueva llegada, ver tabla anexa. Si se supone que la probabilidad de
servicio es 0.5 formular esta situacin como una cadena de Markov, describiendo una a una las
probabilidades de la matriz de transicin, de lo contrario la cadena no tiene valor.
Nmero de clientes en
la estacin
0
1
2
3
Probabilidad de una
nueva llegada
0.4
0.4
0.1
0.1
.
En una oficina de representaciones hay tres agentes viajeros para visitar a los clientes.
Las correras empiezan los lunes pero antes deben sostener una reunin conjunta. Slo
pueden salir de viaje dos de los agentes pues siempre debe permanecer uno en la oficina.
Cuando un agente sale de correra puede demorarse en ella exactamente una o dos
semanas con probabilidad 2/3 y 1/3 respectivamente. Al iniciar una correra siempre salen
Un taxi puede estar en buen estado (1) o en reparacin (0). En el 95% de los casos el taxi
permanece en buen estado de un da a otro y cuando est en reparacin en el 30% de las veces
no se logra reparar en un da. Cuando el taxi est funcionado los gastos de operacin diario son de
$1500 y cuando est en reparacin los costos son de $2000 por da.
a.
b.
c.
.
Hace mucho tiempo en una galaxia lejana existi un planeta en el que el clima de
cualquier da dependa slo del clima del da anterior. Por ejemplo, la probabilidad de que
lloviera hoy dependera slo de lo sucedido ayer. Existen slo tres tipos de clima en ese
planeta: despejado, lluvia y nieve. Enseguida se presenta la matriz de transicin diaria
para estos tipos de clima:
Despeja
do
Lluvia
nieve
Despejad
o
0.5
Lluvia
Nieve
0.
0.2
0.4
0.3
0.4
0.3
0.2
0.4
a.
Calcule las probabilidades de estado para pasado maana siendo que hoy
llovi.
b.
Cul es la probabilidad de que siga lloviendo un mes despus
c.
Cules son las probabilidades de equilibrio para cada tipo de clima
Suponga que el estado del tiempo un da cualquiera depende de las condiciones del
tiempo de los dos das anteriores. Esto es, si ayer llovi y hoy tambin, la probabilidad de
que maana llueva es 0.7. Si hoy llovi, pero no ayer, maana llover con probabilidad
0.5. Si hoy no llovi, pero ayer si, maana llover con probabilidad 0.4. Si en los ltimos
das no ha llovido, llover maana con probabilidad 0.2.
a.
Se tiene un proceso de produccin donde cada artculo debe pasar por dos etapas. Al final de cada
etapa los artculos se desechan con probabilidad 0.05 o regresan para rehacerlos con probabilidad
..
Un consorcio ha ganado una licitacin para construir una carretera en cierta zona
volcnica del pas. El constructor sabe que el polvo volcnico obstruir los filtros de las
mquinas de las mquinas con mucha rapidez y provocar que los camiones dejen de
funcionar. Los filtros se revisan todos los das y se clasifican como recin limpiados,
parcialmente obstruidos o totalmente obstruidos. Experiencias anteriores han mostrado
que un filtro que se acaba de limpiar tiene una probabilidad de 0.1 de permanecer limpio y
una probabilidad de 0.8 de quedar parcialmente obstruido. Un filtro que ya est
parcialmente obstruido tiene igual probabilidad de quedar parcialmente o totalmente
obstruido. Para poder utilizar un camin que tiene un filtro totalmente obstruido ste se
debe limpiar primero.
a. Siguiendo todos los pasos requeridos a la elaboracin de la cadena
correspondiente, elabore la matriz de transicin correspondiente.
b. Si un camin deja de operar, esto le cuesta a la compaa $100 por el tiempo
perdido de trabajo y $20 para poder limpiar el filtro. Cunto le costar a la
compaa seguir una poltica de no limpiar los filtros sino hasta que se detengan
los camiones?
.
Suponga las elecciones que se efectan en cierto pas cada dos aos. Se ha observado en el
estado de Cumarca que un electorado que es liberal (vota liberal) puede votar por los
conservadores en una eleccin si y slo si en la eleccin anterior se abstuvo de votar (mayora
silenciosa); igual cosa sucede con los conservadores. Suponga S 1 si el elector vota liberal, S2 si
vota conservador y S3 si se abstiene. La experiencia en Cumarca muestra que un liberal se
abstendr la mitad del tiempo en las prximas elecciones, un conservador se abstendr la cuarta
parte del tiempo y un abstencionista de las elecciones pasadas tiene probabilidad de votar igual por
cualquier partido en las prximas elecciones.
..
Una fbrica tiene dos mquinas y una cuadrilla de reparacin. Suponga que la
probabilidad de que una mquina se dae un da cualquiera es alfa. Suponga, adems,
que si la cuadrilla de reparacin est trabajando en una de las mquinas, la probabilidad
que la repare en un da es beta. Sea Xn el nmero de mquinas en operacin al final
del n-simo da. Asuma que el comportamiento de {Xn} puede modelarse como una
cadena de Markov. Escriba la matriz de transicin correspondiente a la situacin
planteada.
Este problema es un reto:
Aplicando la teora de Cadenas de Markov encuentre la probabilidad de que D est
diciendo la verdad en el siguiente problema: A, B, C y D dicen la verdad cada uno de ellos
con una probabilidad de 1/3 (independientemente), y A afirma que B niega que C declara
que D es un embustero Adaptado de Parzen 1968
.
En una investigacin de mercados se comprob que el 90% de las personas que compraban la
marca X de cierto producto volvan a comprar la misma marca en la prxima semana, mientras que
el 20% de los que no la haban comprado lo hacan en la prxima oportunidad.
Siguiendo los pasos requeridos describa esta situacin como una cadena de
Markov
b Cul ser el porcentaje de consumidores de la marca X un mes despus, si
inicialmente la probabilidad de adquirir la marca Y era de 0.3?
c Cul es el vector de estado estable? Interpretarlo
En un determinado proceso de produccin, cada artculo pasa por dos etapas de fabricacin. Al
final de cada etapa los artculos se inspeccionan y se desechan totalmente con probabilidad 0.3; se
desechan parcialmente para regresarlos y rehacerlos con probabilidad 0.2 o pasan a la etapa
siguiente con probabilidad 0.5. Realizando todo el proceso de formulacin de una resolver esta
situacin C.M,
Tres
nios A, B y C juegan con una pelota de la siguiente manera: si A tiene la pelota, siempre se la
pasa a B y B siempre se la pasa a C, pero este se la pasa a A o B con igual probabilidad.
Encontrar:
a
b
Una maquina puede estar en buen estado (1) o en reparacin (0). En el 85% de los casos la
mquina permanece en buen estado de un da a otro y cuando est en reparacin en el 20% de las
veces no se logra reparar en un da. Cuando la mquina est funcionado los gastos de operacin
diario son de $2500 y cuando est en reparacin los costos son de $1000 por da.
a
b
c