Universidad de San Carlos Facultad de Ingeniera Anlisis Probabilstico Ing.

Marco Mozn Febrero de 2013

Cadenas de Markov

Proceso Estocstico
Un proceso estocstico se define como una coleccin indexada de variables aleatorias { }, donde el subndice toma valores de un conjunto dado. Con frecuencia se toma como el conjunto de enteros no negativos y , representa una caracterstica de inters medible en el tiempo .

Un proceso estocstico se puede definir equivalentemente de dos formas diferentes:

Como un conjunto de realizaciones temporales y un ndice aleatorio que selecciona una de ellas. Como un conjunto de variables aleatoria indexadas por un ndice , dado que , con .

Cadenas de Markov
El proceso estocstico es una cadena de Markov. Se dice que un proceso estocstico tiene la Propiedad Markoviana para si

y toda sucesin Esta propiedad markoviana establece que la propiedad condicional de cualquier evento futuro dados cualquier evento pasado y estado actual es del evento pasado y slo depende del estado actual del proceso. Un proceso estocstico Markoviana. Las propiedades condicionales. es una Cadena de Markov si tiene la propiedad

Se llama Probabilidades de transicin de un paso, y se dice que son si para Por lo que las probabilidades de transicin permanecen invariables a travs del tiempo. La existencia de las probabilidades de transicin estacionarias de un paso implica que: Para toda Los valores se llama probabilida de Transicion en delplegarse en una matriz de transicin de n pasos. pasos. Y puede

Ecuacin de Chapman-Kolmogorov La ecuacin de Chapman-Kolmogorov proporciona un mtodo para calcular las probabilidades de transicin de pasos:

Para toda

Para cualquier

Estas ecuaciones simplemente sealan que al ir del estado al estado en pasos, el proceso estar en algn estado depues de exactamente (menor n) pasos. As, es solo la probabilidad condicional de que, si al comenzar en el estado , el proceso vaya al estado despus de pasos y despus al estado en pasos. Al sustituir estas probabilidades condicionales sobre todos los estados posibles se debe obtener . Los casos especiales de y conduce a las expresiones.

Para todos los estados y , de lo cual resulta que las probabilidades de transicin de pasos se puede obtener a partir de las probabilidades de transicin de un paso de manera recursiva. De la misma manera, las expresiones anteriores para la matriz de probabilidades de transicin de pasos es: = = cuando y indican que

Clasificacin de Estados en una Cadena de Markov

Accesible: Se dice que el estado es accesible desde el estado si para alguna Entoces, que el estado j sea accesible desde el estado significa que es posible que el sistema llegue eventualmente al estado si comienza en el estado . Comunican:

Si el estado es accesible desde el estado y el estado es accesible desde el estado , entonces se dice que los estados y se comunican. 1. Cualquier estado se cumnica consigo mismo (porque 2. Si el estado se comunica con el estado , entonces se comunica con el estado . 3. Si el estado se comunica con el estado y el estado se comunica con el estado , entonces el se comunica con el estado . Como resultado de estas propiedades de comunicacin, se puede hacer una participacin de espacio de estados en clases ajenas, en donde se dice que dos estados que se comunican pertenecen a la misma clase(una clase puede consistir en un solo estado). Si existe una sola clase , es decir, si todos los estado se comunican, se dice que la cadena de Markov es irreducible. Estado Transitorio. Un estado se llama transitorio si, despus de haber entrado a este estado, el proceso nuca regresa a el. Por consiguiente, el estado es transitorio si y slo si existe un estado que es accesible desde estado , pero no viceversa, esto es, el estado no es accesible desde el estado . Estado Recurrente Se dice que un estado es recurrente si, despus de haber entrado a este estado, el proceso definitivamente regresara a ese estado. Por consiguiente, un estado es recurrente si y slo si no es transitorio. Estado Absorbente. Un estado se llama estado absorbente si, despus de haber entrado ah el proceso nunca saldr de ese estado. Por consiguiente, el estado es un estado absorvente si y solo si Propiedad de Periodicidad El periodo de un estado se define como el entero si para todos los valores distintos de y es el entero mas grande con esta propiedad. Si existen dos nmeros consecutivos y se dice que el proceso puede encontrarse en el estado en los tiempos y , se dice que el estado tiene periodo 1 y se llama aperidico. En una cadena de Markov de estado finito, los estados recurrentes aperidicos se llaman ergdicos. Se dice que una cadena de Markov es ergdica si todos sus estados son ergdicos. Propiedad de Estado Estable. Las se llaman probabilidad de estado estable de la cadena de Markov. E termino probabilidad del estado estable significa que la probabilidad encontrar el proceso en cierto estado, digamos , despues de un numero grande de transiciones tiende al valor , y es independiente de la distribucin de probabilidad inicial definida para los estados. Para una cadena de Markov irreducible ergdica el Ms aun, existe y es independiente de .

donde la

satisfaga de manera nica las siguientes ecuaciones de estado estable

para

Costo promedio esperado por unidad de Tiempo

Costo real por unidad de Tiempo

Tiempos de primera pasada

Con frecuencia es conveniente poder hacer afirmaciones en trminos de probabilidades sobre el nmero de transiciones que hace el proceso al ir del estado al estado por primera vez. Este lapso se llama tiempo de primera pasada al ir del estado al estado . Cuando , este tiempo de primera pasada es justo el nmero de transiciones hasta que el proceso regresa al estado inicial . En este caso, el tiempo de primera pasada se llama tiempo de recurrencia para el estado . En particular, denota la probabilidad de que el tiempo de primera pasada del estado al estado sea igual a . Para , este tiempo de primera pasad es si la primera transicin es del estado a algn estado ( ) y despus el tiempo de primera pasa del estado al estado es . Por lo tanto, estas probabilidades satisfacen las siguientes relaciones recursivas.

El tiempo esperado de primera pasada del estado define como

al estado

Sea

esta esperanza, que se

Siempre que

satisface, de manera nica, la ecuacin.

Para el caso en que

con , es el numero esperado de transiciones hasta qye el proceso regresa al estado inicial , y se llama Tiempo Esperado de recurrencia para el estado . Despus de tener de obtener las probabilidades de estado estable ( ) los tiempos esperados de recurrencia de se calculan:

Estados Absorbentes Si es un estado absorbente y el proceso comienza en el estado , la probabilidad de llegar en

algn momento a k se llama probabilidad de absorcin al estado , dado que el sistema comenz en el estado . Esta probabilidad se denota por:

Sujeta a las condiciones

si el estado es recurrente e

En Matrices de estado absorbente:

Contiene el numero promedio de transiciones que se pasa e u estado transitorio. No es una matriz de probabilidades. Matriz de Probabilidades. Contiene probabilidades de pasar de un estado transitorio a un estado absorbente. Sus filas suman 1. Ejemplo 1. Una tienda de cmaras tiene en almacn un modelo especial de cmara que se puede ordenar cada semana. Sean las demandas de esta cmara durante la primera, segunda, ... , semana, respectivamente. Se supone que las son variables aleatorias independientes e idnticamente distribuidas que tienen una distribucin de probabilidad conocida. Sea el nmero de cmaras que se tiene en el momento de iniciar el proceso, el nmero de cmaras que se tienen al final de la semana uno, el nmero de cmaras al final de la semana dos, etc. Suponga que . El sbado en la noche la tienda hace un pedido que le entregan el lunes en el momento de abrir la tienda. La tienda hace un pedido que le entregan el lunes en el momento de abrir la tienda. La tienda usa la siguiente poltica para ordenar: si el nmero de cmaras en

inventario al final de la semana es menor que (no hay cmaras en la tienda), ordenar (hasta) . De otra manera, no coloca la orden (si se cuenta con una o ms cmaras en el almacn, no se hace el pedido). Se supone que las ventas se pierden cuando la demanda excede el inventario. Entonces, para es un proceso estocstico de la forma que se acaba de describir. Los estados posibles del proceso son los enteros 0, 1, 2, 3 que representan el nmero posible de cmaras en inventario al final de la semana. La matriz de transicin es:

a. Dado que se tiene una cmara al final de una semana, encontrar la probabilidad de no haya cmaras en inventario dos semanas despus. b. Si se tiene dos cmaras al final de una semana, encontrar la probabilidad de que haya tres cmaras en inventario dos semanas despus. c. Dado que queda una cmara al final de una semana, cual es la probabilidad que no haya cmaras en inventario cuatro semanas mas tarde. d. Quedan dos cmaras al final de una semana, encontrar la probabilidad de que haya tres cmaras cuatro semanas mas tarde. e. Encontrar la probabilidad de estado estable. f. Suponga que la tienda de cmaras encuentra que se debe asignar un cargo por almacenamiento por cada cmara que permanece en la tienda al final de la semana. El costo se carga como sigue:

Determinar el costo promedio esperado por unidad de tiempo. g. Calcular el tiempo de primera pasada y el tiempo de recurrencia. Solucin: a. b.

Sabiendo que para

, indican que la matriz de probabilidades de transicin de =

pasos es:

Por lo tanto para calcular la matriz de probabilidades de transicin de 2 pasos, se tiene

Para obtener

se realiza una multiplicacin de matrices. Recordando que para realizar la multiplicacin entre matrices, el nmero de columnas de Primera Matriz es igual a nmero de renglones de la segunda Matriz.

La Matriz de transicin de pasos

R// a. Dado que se tiene una cmara al final de una semana, la probabilidad de que no haya cmaras en inventario dos semanas despus es 0.283; es decir:
b. Si se tienen dos cmaras al final de una semana, la probabilidad de que haya tres cmaras en el almacn dos semanas despus es 0.097; es decir:

Calculo de:

La matriz de cuatro pasos tambin se puede obtener de la siguiente manera:

R//
c. d. Dado que queda una cmara al final de una semana, 0.282 es la probabilidad de que no haya cmaras en inventario cuatro semanas mas tarde; es decir Quedando dos cmaras en el almacn al final de una semana, se tiene una probabilidad de 0.171 de que haya tres cmaras en el almacn cuatro semanas despus; esto es .

Calculo de la probabilidad de estado estable. Es la probabilidad de encontrar el proceso en cierto estado (digamos ), depues de un
numero grande de transiciones tiende al valor .

Recordando:

para

Resolviendo: Despeje de en Ecu. 4 Ecu. 4.1 Despeje de en Ecu. 3 Ecu. 3.1

Sustituyendo Ecu. 4.1 en Ecu. 3.1

Ecu. 3.1

Despeje de

en Ecu. 2

Ecu. 2.1 Sustituyendo Ecu. 3.1 y Ecu. 4.1 en Ecu. 2.1

Ecu. 2.1 Sustituyendo Ecu. 4.1, 3.1, 2.1 en Ecu. 5

0.285

0.263

Recordando que se llega al estado estable despus de un numero grande de transiciones. Esto se logra calcular en la matriz de transicin con un numero grande de pasos.

R// e. Despus de muchas semanas, la probabilidad de encontrar cero, una, dos y tres cmaras tiende a 0.286, 0.285, 0.263, 0.166 respectivamente. f. Calculo del costo promedio esperado por unidad de tiempo. Sabido que el costo se carga como sigue:

0.285,

0.263,

R// f. El costo promedio esperado por semana, a la larga, por mantener el inventario, es de 5.662. g. Calculo de tiempo de primera pasada.

Planteo de las ecuaciones

R// de manera que el tiempo esperado hasta que la tienda se quede si cmaras es de 3.50 semanas. Calculo esperado de tiempo de recurrencia.

R//

Los

tiempos
,

de

recurrencia
,

esperados

son:
.

Ejemplo 2 (Estados estables).

Crditos EF en su poltica de manejo de tarjetas de crdito, establece que un cliente tienen tres meses para pagar sus cuentas, de lo contrario se cancela la tarjeta crdito. Se estima que el 65% de aquellos que hace uso de la tarjeta pagan sus cuentas en el primer mes, y que del resto solo el solo el 60% hace efectivo su pago en el segundo mes, mientras que de los que llegan al tercer mes sin pagar sus cuentas, solo al 70% se les cancela la tarjeta de crdito. El gerente de crdito, desea conocer a cuantos clientes de los 2356 que hace uso de la tarjeta se cancelara la tarjeta crdito, de mes en mes.

Solucin Estados: Descripcin Mes 1 Mes 2 Mes 3 Pagado Cancelado Estado 1 2 3 P C

Calculo de tarjetas cancelar: Empiezan un mes= Empiezan dos meses= Empiezan tres meses=

Bibliografa Hilier, Federick S. y Lieberman, Gerald J. (2002). Cadenas de Markov. En F. Hillier y G. Lieberman (Eds). Investigacin de operaciones, (7ma. ed) (pp. 802-833) Mexico: McGrawHill. Hines, William W. y Montgomery, Douglas C. (1993). Procesos Estocsticos y lneas de espera. En W. Hines y D.Montgomery (Eds.) Probabilidad y estadstica para ingeniera y administracin (3ra. ed) (pp. 723-739) Mexico: CECSA. Proceso Estocstico http://www.mitecnologico.com/Main/ProcesosEstocasticos Visitada 08/10/2011 18:21hrs.