FORMULARIO CADENAS DE MARKOV

Fuente: F. Hillier - G. Lieberman: Introduccin a la investigacin de operaciones. Sexta o o edicin. Ed. Mc-Graw Hill. o Proceso estocstico. a o Un proceso estocstico es una coleccin indexada de variables aleatorias Xt , t con valores a en algn conjunto T . En adelante T = 1, 2, ..., el conjunto de los nmeros naturales. u u Consideraremos variables aleatorias Xt que tienen soporte discreto comn para todas. u Estados del proceso estocstico. a Los valores que pueden asumir las variables aleatorias Xt los etiquetaremos 0, 1, 2, ..., M , a y se denominan estados del proceso estocstico. Propiedad de Markov. Un proceso estocstico {X(t) } tiene la propiedad de Markov si a P rob{Xt+1 = j | X0 = k0 , X1 = k1 , ..., Xt1 = kt1 , Xt = i} = P rob{Xt+1 = j | Xt = i}

Es decir, la probabilidad condicional de un evento futuro dado el evento actual, es independiente de los eventos pasados. Probabilidades de transicin. o Las probabilidades condicionales del cambio del estado i al estado j en un paso o unidad o de tiempo P rob{Xt+1 = j | Xt = i} se denominan probabilidades de transicin. Probabilidades de transicin estacionarias. o Las probabilidades de transicin son estacionarias (de un paso) si cumplen la propiedad o P rob{Xt+1 = j En tal caso se denotan pij . o Propiedad: Si las probabilidades de transicin (de un paso) son estacionarias, entonces se cumple que P rob{Xt+n = j | Xt = i} = P rob{Xn = j | X0 = i} para todo t | Xt = i} = P rob{X1 = j | X0 = i} para todo t

Estas probabilidades de transicin se denominan probabilidades de transicin de n pasos o o (n) (1) y se denotan pij . Observar que pij = pij .

Propiedad: pij =
(0)

1 0

si j = i si j = i

Cadena de Markov. Un proceso estocstico que cumple con la propiedad markoviana se denomina cadena de markov. a En adelante se considerarn slo cadenas de Markov estacionarias. a o Matriz de transicin de un paso. o o Si pij es la probabilidad de transicin del p00 p10 P = . pM 0

estado i al estado j, (0 i, j M ), entonces p01 ... p0M p11 ... p1M . . ... . pM 1 ... pM M

o se denomina matriz de transicin, o matriz de probabilidades de transicin de un paso. o o Propiedad: Observar que las las de la matriz de transicin suman uno.
M

pij = 1
j=0

Matriz de transicin de n pasos. o (n) o De forma anloga, si pij es la probabilidad de transicin del estado i al estado j en n a pasos, (0 i, j M ), entonces la matriz P (n) que contiene todos estos valores se denomina matriz de transicin de n pasos. o o Propiedad: La matriz de transicin de n pasos P (n) se puede obtener multiplicando la matriz de transicin de un paso P , n veces: o P (n) = P P P ... P = P n En general, P (n) = P (m) P (nm) para 0 m n.

Si se toman los elementos (i,j) de esta ultima igualdad, se tienen la ecuaciones de Chapman-Kolmogorov pij = para todo i, j, n, y 0 m n. Probabilidades incondicionales. Para conocer las probabilidades incondicionales de alcanzar un estado j, en n pasos, es necesario conocer las probabilidades marginales del estados inicial. Sean estas QX0 (i) = P rob{X0 = i} Entonces P rob{Xn = j} =
i=0 M (n) M k=0

pik pkj

(m)

(nm)

i = 0, 1, 2, ..., M

QX0 (i)pij

(n)

Si se dene el vector

q (m)

QXm (0) QXm (1) . . . QXm (M )

entonces la igualdad anterior se puede expresar en forma vectorial, q(n) = q (0) P (n)

Estados accesibles. (n) u Un estado j de una cadena de Markov es accesible desde un estado i si pij > 0 para algn n > 0. Estados que se comunican. Si el estado j es accesible desde el estado i, y el estado i es accesible desde el estado j, entonces estos dos estados se comunican. Propiedades: 1) Todo estado se comunica consigo mismo (reexividad). 2) Si i se comunica con j, entonces j se comunica con i (simetr a). 3) Si i se comunica con j y j se comunica con k, entonces i se comunica con k (transitividad).

Las tres propiedades anteriores indican que la relacin omunicarses una relacin de equivalencia o c e o en el conjunto de todos los estados de una cadena de Markov. Por lo tanto dene una particin en este conjunto, en que cada clase contiene los estados que se comunican entre si. o Si dos estados no se comunican, estn en clases diferentes. a Cadena de Markov irreductible. Si existe una sola clase, es decir, si todos los estados se comunican, entonces la cadena de a Markov es irreductible. En tal caso cada estado puede ser alcanzado por todos los dems. Conjunto cerrado de estados. Sea C un conjunto de estados. C es cerrado si cuando el sistema cae en uno de los estados de C, permanece para siempre en algn estado de C. u Estado absorbente. Un estado i es absorbente, si pii es 1. Es decir, si cuando el sistema cae en el estado i, no vuelve a salir de l. Es un caso especial de conjunto cerrado, en que el conjunto contiene e slo el estado i. o Primer retorno. a e El primer retorno al estado j consiste en que el sistema est en el estado j y despus de uno o ms pasos vuelve al mismo estado. a Propiedad: Sea fjj la probabilidad de que el primer retorno al estado j se produzca en el paso n-simo. e Sea fjj la probabilidad que alguna vez el sistema retorne al estado j. Entonces
(n) (n)

fjj =
n=1

fjj

Tiempo medio de retorno o de recurrencia. a Es el tiempo esperado jj hasta el primer retorno al estado j, y est dado por

jj =

(n) n=1 nfjj

si fjj = si fjj =

(n) n=1 fjj (n) n=1 fjj

=1 <1

Estado nulo. Un estado j es nulo si jj = . Es no nulo si jj < . Estado peridico. o odo t si es posible un retorno slo en los pasos t, 2t, 3t, .... o Un estado j es peridico con per o (n) Esto signica que fjj = 0 siempre que n no sea divisible por t. Estado recurrente. Un estado j es recurrente si fjj = 1. Cadena de Markov ergdica. o o Una cadena de Markov es ergdica si todos sus estados son no nulos, no peridicos y o recurrentes. o mite Propiedad: Las cadenas de Markov ergdicas cumplen la siguiente propiedad: El l (n) l n0 pij existe y es independiente del estado inicial i. Lo denominaremos j : m m j = l pij
n (n)

Las probabilidades l mites j se denominan probabilidades de estado estable. mites anteriores existen, entonces Propiedad: Si los l l m 1 n
n k=1

pij

(k)

= j

Ecuaciones de estado estable. Las probabilidades de estado estable j satisfacen las ecuaciones de estado estable
M

j =
i=0

i pij

donde

i = 1
i=0

Son, en total, M+2 ecuaciones con M+1 incgnitas. Una de las primeras M+1 ecuaciones o depende de las otras.

Propiedad: Las probabilidades de estado estable se relacionan con los tiempos medios de retorno de la siguiente manera: 1 j = jj Tiempo medio de primera pasada. Es el tiempo esperado ij hasta que el sistema llega al estado j, desde el estado i. El tiempo medio de retorno es un caso especial del tiempo medio de primera pasada, en que i = j. Sea fij la probabilidad de que la primera llegada del sistema al estado j desde el estrado i, se produzca en el paso n-simo. Sea fij la probabilidad de que el sistema llegue alguna e vez a j, partiendo de i. El tiempo medio de primera pasada est dado por a
(n)

ij =

(n) n=1 nfij

si fij = si fij =

(n) n=1 fij

=1 <1

(n) n=1 fij

Si fij = fij = 1, es decir, si el sistema va a llegar a j, desde i, con probabilidad n=1 1, entonces se cumple la relacin o
M

(n)

ij = 1 +
k=0,k=j

pik kj

Costo promedio por unidad de tiempo. e e Sea C(Xt ) el costo, o prdida, de que el sistema est en el estado Xt , en el tiempo t. Se asume que es independiente de t, y por lo tanto puede tomar valores C(0), C(1), ..., C(M ) El costo promedio por unidad de tiempo, es el costo esperado E 1 n

C(Xt )
t=1

Propiedad 1 l E m n n
M

C(Xt ) =
t=1 j=0

j C(j)