4.

1 Introduccin a las Cadenas o Procesos de Markov

Una cadena de Markov es una serie de eventos, en la cual la probabilidad de que

ocurra un evento depende del evento inmediato anterior. En efecto, las cadenas
de este tipo tienen memoria, "Recuerdan" el ltimo evento y esto condiciona las
posibilidades de los eventos futuros. Esta dependencia del evento anterior
distingue a las cadenas de Markov de las series de eventos independientes, como
tirar una moneda al aire o un dado. En los negocios, las cadenas de Markov se
han utilizado para analizar los patrones de compra, los deudores morosos, para
planear las necesidades de personal y para analizar el reemplazo de equipo. El
anlisis de Markov, llamado as en honor de un matemtico ruso que desarrollo el
mtodo en 1907, permite encontrar la probabilidad de que un sistema se
encuentre en un estado en particular en un momento dado. Algo ms importante
an, es que permite encontrar el promedio a la larga o las probabilidades de
estado estable para cada estado. Con esta informacin se puede predecir el
comportamiento del sistema a travs del tiempo. La tarea ms difcil es reconocer
cundo puede aplicarse. La caracterstica ms importante que hay que buscar en
la memoria de un evento a otro.
Considere el problema siguiente: la compaa K, el fabricante de un cereal para el
desayuno, tiene un 25% del mercado actualmente. Datos del ao anterior indican
que el 88% de los clientes de K permanecan fieles ese ao, pero un 12%
cambiaron a la competencia. Adems, el 85% de los clientes de la competencia le
permanecan fieles a ella, pero 15% de los clientes de la competencia cambiaron a
K. Asumiendo que estas tendencias continen determine cul es la parte que K
aprovecha del mercado?:

a.

en 2 aos; y

b.

en el largo plazo.

Esta situacin es un ejemplo de un problema de cambio de marcas que sucede

muy a menudo que se presenta en la venta de bienes de consumo.
Para resolver este problema hacemos uso de cadenas de Markov o procesos de
Markov (qu es un tipo especial de proceso estocstico). El procedimiento se da
enseguida.
Procedimiento de solucin
Observe que, cada ao, un cliente puede estar comprando cereal de K o de la
competencia. Podemos construir un diagrama como el mostrado abajo donde los
dos crculos representan a los dos estados en que un cliente puede estar y los
arcos representan la probabilidad de que un cliente haga una cambio cada ao

entre los estados. Note que los arcos curvos indican una "transicin" de un estado
al mismo estado. Este diagrama es conocido como el diagrama de estado de
transicin (notar que todos los arcos en ese diagrama son arcos dirigidos).

Dado ese diagrama nosotros podemos construir la matriz de la transicin

(normalmente denotada por el smbolo P) la qu nos dice la probabilidad de hacer
una transicin de un estado a otro estado. Sea:
estado 1 = cliente que compra cereal de K y
estado 2 = cliente que compra cereal de la competencia
tenemos as la matriz de transicin P para este problema, dada por
Para estado 1 2
Del estado 1 | 0.88 0.12 |
2 | 0.15 0.85 |
Note aqu que la suma de los elementos en cada fila de la matriz de la transicin
es uno.
Por datos de este ao sabemos que actualmente K tiene un 25% del mercado.
Tenemos que la fila de la matriz que representa el estado inicial del sistema dada
por:
Estado
12
[0.25, 0.75]
Normalmente denotamos esta fila de la matriz por s1 indicando el estado del
sistema en el primer periodo (aos en este ejemplo en particular). Ahora la teora

de Markov nos dice que, en periodo (ao) t, el estado del sistema est dado por el
st de la fila de la matriz, donde:
st = st-1(P) =st-2(P)(P) = ... = s1(P)t-1
Tenemos que tener cuidado aqu al hacer la multiplicacin de la matriz ya que el
orden de clculo es importante (i.e. st-1(P) no es igual a (P)st-1 en general). Para
encontrar st nosotros podramos intentar hallar P directamente para la potencia t-1
pero, en la prctica, es mucho ms fcil de calcular el estado del sistema en cada
sucesivo ao 1,2,3 ,..., t.
Nosotros ya sabemos el estado del sistema en el ao 1 (s1) tal que el estado del
sistema en el ao dos (s2) est dado por:
s2 = s1P
= [0.25,0.75] |0.88 0.12 |
........|0.15 0.85 |
= [(0.25)(0.88) + (0.75)(0.15), (0.25)(0.12) + (0.75)(0.85)]
= [0.3325, 0.6675]
Note que este resultado tiene sentido intuitivo, e.g. del 25% comprando
actualmente al cereal de K, 88% continan haciendolo, aunque del 75%
comprando el cereal del competidor 15% cambia a comprar cereal de K - dando
un (fraccin) total de (0.25)(0.88) + (0.75)(0.15) = 0.3325 comprando cereal de K.
De lo anterior, en el ao dos 33.25% de las personas estn en estado 1 - esto es,
est comprando cereal de K. Note aqu que, como un chequeo numrico, los
elementos de st deben sumar siempre uno.
En el ao tres el estado del sistema se da por:
s3 = s2P
= [0.3325, 0.6675] |0.88 0.12 |
............... |0.15 0.85 |
= [0.392725, 0.607275]
Por lo tanto en el ao tres 39.2725% de las personas estn comprando al cereal
de K.

Recalcar que est pendiente la cuestin hecha sobre la porcin que K comparte
del mercado en el largo plazo. Esto implica que necesitamos calcular st cuando t
se hace muy grande (se acerca al infinito).
La idea de la largo plazo es basada en la suposicin de que, en el futuro, el
sistema alcance un "equilibrio" (a menudo llamado el "estado sustentable") en el
sentido de que el st = st-1. sto no quiere decir que las transiciones entre estados
no tengan lugar, suceden, pero ellos tienden "al equilibrio global" tal que el nmero
en cada estado permanece el mismo.
Hay dos enfoques bsicos para calcular el estado sustentable:
Computational: - encontrar el estado sustentable calculando st para t=1,2,3,... y se
detiene cuando st-1 y st son aproximadamente el mismo. Esto es obviamente muy
fcil para una computadora y este es el enfoque usado por un paquete
computacional.
Algebraico: - para evitar clculos aritmticos largos necesarios para calcular st
para t=1,2,3,... tenemos un atajo algebraico que puede usarse. Recalcar que en el
estado sustentable st = st-1 (= [x1,x2] para el ejemplo considerado anteriormente).
Entonces como st = st-1P tenemos eso
[x1,x2] = [x1,x2] | 0.88 0.12 |
.............| 0.15 0.85 |
(y tambin notar que x1 + x2 = 1). De esto tenemos tres ecuaciones que podemos
resolver.
Note aqu que hemos usado la palabra suposicin anteriormente. Esto es porque
no todos los sistemas alcanzan un equilibrio, esto es, no cualquier sistema tiene
matriz de transicin
|01|
|1 0 |
nunca alcanza un estado sustentable.
Adoptando el enfoque algebraico anteriormente para el ejemplo del cereal K
tenemos las tres ecuaciones siguientes:
x1 = 0.88x1 + 0.15x2
x2 = 0.12x1 + 0.85x2

x1 + x2 = 1
o
0.12x1 - 0.15x2 = 0
0.12x1 - 0.15x2 = 0
x1 + x2 = 1
Note que la ecuacin x1 + x2 = 1 es esencial. Sin lla no podramos obtener una
nica solucin para x1 y x2. Resolviendo conseguimos x1 = 0.5556 y x2 = 0.4444
Por lo tanto, en la largo plazo, K comercializa una porcin del mercado del
55.56%.
Un chequeo numrico til (particularmente para problemas ms grandes) es
sustituir el examen final calculando los valores en las ecuaciones originales para
verificar que ellos son consistentes con esas ecuaciones

4.2 Probabilidad de transicin estacionaria de n pasos.

Las ecuaciones de Chapman-Kolmogorov proporcionan un mtodo para calcular
estas probabilidades de transicin de n pasos:

Estas ecuaciones simplemente sealan que al ir de un estado i al estado j en n

pasos, el proceso estar en algn estado k despus de exactamente m ( menor
que n) pasos. As,
Es solo las probabilidad condicional de que, si se comienza en el estado i, el
proceso vaya al estado k despues de m pasos y despus al estado j en n- m
pasos.

Los casos especiales de m=1 y m=n-1 conducen a las expresiones

Para toda i, j, y n de lo cual resulta que las probabilidades de transicin de n

pasos se pueden obtener a partir de las probabilidades de transicin de un paso
de
manera
recursiva.
Para
n=2,
estas
expresiones
se
vuelven :
Note que las

son los elementos de la matriz P (2) , pero tambin de observarse

que estos elementos,

se obtienen multiplicando la matriz de transicin de
un paso por s misma; esto es , P(2) = P * P = P2 .

En trminos ms generales, se concluye que la matriz de probabilidades de

transicin de n pasos se puede obtener de la expresin : P(n) = P * P .... P = P n =
PPn-1 = Pn-1 P.
Entonces, la matriz de probabilidades de transicin de n pasos se puede obtener
calculando la n-sima potencia de la matriz de transicin de un paso. Para valores
no muy grandes de n, la matriz de transicin de n pasos se puede calcular en la
forma que se acaba de describir, pero cuando n es grande, tales clculos resultan
tediosos y, ms an, los errores de redondeo pueden causar inexactitudes.

Ejemplo:
Una tienda de cmaras tiene en almacn un modelo especial de cmara que se
puede ordenar cada semana. Sean D 1, D2, ... las demandas de esta cmara
durante la primera, segunda, ... , semana, respectivamente. Se supone que las
Di son variables aleatorias independientes e idnticamente distribuidas que tienen
una distribucin de probabilidad conocida. Sea X 0 el nmero de cmaras que se
tiene en el momento de iniciar el proceso, X 1 el nmero de cmaras que se tienen
al final de la semana uno, X2 el nmero de cmaras al final de la semana dos, etc.
Suponga que X0 = 3 . El sbado en la noche la tienda hace un pedido que le
entregan el lunes en el momento de abrir la tienda. La tienda hace un pedido que
le entregan el lunes en el momento de abrir la tienda. La tienda usa la siguiente
poltica ( s, S)1 para ordenar : si el nmero de cmaras en inventario al final de la
semana es menor que s =1 (no hay cmaras en la tienda), ordenar (hasta) S=3.
De otra manera, no coloca la orden (si se cuenta con una o ms cmaras en el
almacn, no se hace el pedido). Se supone que las ventas se pierden cuando la

demanda excede el inventario. Entonces, {X 1} para t = 0, 1, .. es un proceso

estocstico de la forma que se acaba de describir. Los estados posibles del
proceso son los enteros 0, 1, 2, 3 que representan el nmero posible de cmaras
en inventario al final de la semana.

As, dado que tiene una cmara al final de una semana, la probabilidad de que no
haya cmaras en inventario dos semanas despus es 0.283; es decir,
De igual manera, dado que se tienen dos cmaras al final de una semana, la
probabilidad de que haya tres cmaras en el almacn dos semanas despus es
0.097; esto es,
La matriz de transicin de cuatro pasos tambin se puede obtener de la siguiente
manera :
P(4) = P4 = P(2) * P(2)
As, dado que queda una cmara al final de una semana, 0.282 es la
probabilidad de que no haya cmaras en inventario 4 semanas ms tarde; es
decir,
De igual manera, dado que quedan dos cmaras en el almacn
final de una semana, se tiene una probabilidad de 0.171 de que haya tres cmaras
en el almacn 4 semanas despus; esto es,

4.3 Estado estable

El termino probabilidad de estado estable significa que la probabilidad de
encontrar el proceso es cierto estado despues de un numero grande de

transiciones es independiente de la distribucion de probabilidad inicial definida

para los estados. Es importante observar que la probabilidad de estado estable no
significa que el proceso se establezca en un estado.
Parece que existe una probabilidad limite de que el sistema se encuentre en el
estado j despues de un numero grande de transicion, y que esta probabilidad es
independiente del estado inicial. En realidad, estas propiedades del
comportamiento a largo plazo de un proceso de Markov de estado finito se
cumplen en condiciones relativamente generales.
El termino probabilistico de estado estable significa que la probabilidad de econtrar
el proceso en cierto estado despues de un numero grande de transiciones es
independiente de la districubucion de probabilidad inicial definida para los estados.
Es importamte observar que la probabilidad de estado estable no significa que el
proceso se establezca en un estado. Por el contrario, el proceso continua
haciendo transiciones de un estado a otro y en cualquier paso n la probabilidad
de transicion del estado i al estado j es todavia Pij.
Para n grande, tiende a una matriz con renglones idnticos. Esto significa que
despus de un largo tiempo, la cadena de markov se estabiliza, e
(independientemente del estado inicial i) hay una probabilidad de que se est en el
estado.
El vector se llama distribucin de estado estable o distribucin de equilibrio, para
la cadena de markov. Para una cadena determinada con matriz de transicin P,
cmo se puede hallar la distribucin de probabilidad de estado estable? A partir
del teorema 1, se observa que para n grande y toda i,

4.4 ESTADOS ABSORBENTES

Es un estado a partir de la cual existe cero probabilidad de hacer una transicin
fuera de ese estado, que contiene al menos un estado que es posible llegar a un
nmero de etapas comenzando en caulquier estado no absorbente.
En una cadena de Markov un conjunto C de estados se denomina absorbentes si
el sistema, pertenece indefinidamente. Un ejemplo especial de un conjunto
cerrado es un estado particular Ej que tenga una probabilidad de transicin p_ij=1.
En
este
caso
Ej
se
denomina
estado
absorbente.
Todos los estado de una cadena irreducible deben formar un conjunto cerrado y
ningn
otro
subconjunto
puede
ser
cerrado.
Los estados absorbentes tendrs sumas de probabilidades que con el correr del

tiempo llegarn a ser cero, todo esto debido a que hay estados que tiene
probabilidad 1 y por ende los dems estados tendern a llegar a esta clase de
estados.