CADENAS DE MARKOV

Introduccin
Un proceso o sucesin de eventos que se desarrolla en el tiempo en el cual el resultado en
cualquier etapa contiene algn elemento que depende del azar se denomina proceso aleatorio
o proceso estocstico. Por ejemplo, la sucesin podra ser las condiciones del tiempo en
Paran en una serie de das consecutivos: el tiempo cambia da a da de una manera que en
apariencia es algo aleatoria. O bien, la sucesin podra consistir en los precios de las acciones
que cotizan en la bolsa en donde otra vez interviene cierto grado de aleatoriedad. Un ejemplo
simple de un proceso estocstico es una sucesin de ensayos de Bernoulli, por ejemplo, una
sucesin de lanzamientos de una moneda. En este caso, el resultado en cualquier etapa es
independiente de todos los resultados previos (esta condicin de independencia es parte de la
definicin de los ensayos de Bernoulli). Sin embargo, en la mayora de los procesos
estocsticos, cada resultado depende de lo que sucedi en etapas anteriores del proceso. Por
ejemplo, el tiempo en un da determinado no es aleatorio por completo sino que es afectado en
cierto grado por el tiempo de das previos. El precio de una accin al cierre de cualquier da
depende en cierta medida del comportamiento de la bolsa en das previos. El caso ms simple
de un proceso estocstico en que los resultados dependen de otros, ocurre cuando el resultado
en cada etapa slo depende del resultado de la etapa anterior y no de cualquiera de los
resultados previos. Tal proceso se denomina proceso de Markov o cadena de Markov (una
cadena de eventos, cada evento ligado al precedente) Estas cadenas reciben su nombre del
matemtico ruso Andrei Andreevitch Markov (1856-1922). Como mencionamos antes, estas
cadenas tiene memoria, recuerdan el ltimo evento y eso condiciona las posibilidades de los
eventos futuros. Esto justamente las distingue de una serie de eventos independientes como el
hecho de tirar una moneda. Este tipo de proceso presenta una forma de dependencia simple,
pero muy til en muchos modelos, entre las variables aleatorias que forman un proceso
estocstico. Se utilizan, por ejemplo, para analizar patrones de compra de deudores morosos,
para planear necesidades de personal, para analizar el reemplazo de un equipo, entre otros.
Definicin
Una cadena de Markov es una sucesin de ensayos similares u observaciones en la cual cada
ensayo tiene el mismo nmero finito de resultados posibles y en donde la probabilidad de cada
resultado para un ensayo dado depende slo del resultado del ensayo inmediatamente
precedente y no de cualquier resultado previo.
Propiedad de Markov: Dada una secuencia de variables aleatorias...... , , , X1 X2 X3 , tales que
el valor de Xn es el estado del proceso en el tiempo n. Si la distribucin de probabilidad
condicional de Xn+1 en estados pasados es una funcin de Xn por s sola, entonces:

Donde i x es el estado del proceso en el instante i.

Matriz de transicin
Al trabajar con cadenas de Markov, a menudo es til pensar la sucesin de ensayos como
experimentos efectuados en cierto sistema fsico, cada resultado dejando a este sistema en
cierto estado. Por ejemplo, consideremos una sucesin de elecciones polticas en cierto pas: el
sistema podra tomarse como el pas mismo y cada eleccin lo dejara en cierto estado, es
decir en el control del partido ganador. Si slo hay dos partidos polticos fuertes, llamados A y
B, los que por lo regular controlan el gobierno, entonces podemos decir que el pas se
encuentra en el estado A o B si el partido A o B ganara la eleccin. Cada ensayo (o sea cada
eleccin), coloca al pas en uno de los dos estados A o B. Una sucesin de 10 elecciones
podra producir resultados tales como los siguientes: A, B, A, A, B, B, B, A, B, B La primera
eleccin en la sucesin deja en el poder al partido A, la segunda fue ganada por el partido B, y
as sucesivamente, hasta que la dcima eleccin la gane el partido B. Supongamos que las
probabilidades de que el partido A o B ganen la prxima eleccin son determinadas por
completo por el partido que est en el poder ahora. Por ejemplo podramos tener las
probabilidades siguientes: Si el partido A est en el poder, existe una probabilidad de que el
partido A ganar la prxima eleccin y una probabilidad de de que el partido B gane la
eleccin siguiente. Si el partido B est en el poder, hay una probabilidad de 1/3 de que el
partido A gane la eleccin siguiente y una probabilidad de 2/3 que el partido B permanezca en
el poder. En tal caso, la sucesin de elecciones forman una cadena de Markov, dado que las
probabilidades de los dos resultados de cada eleccin estn determinadas por el resultado de
la eleccin precedente. Lo descrito anteriormente puede representarse grficamente usando la
siguiente red:

La informacin probabilstica que se acaba de dar se puede representar de manera

conveniente por la siguiente matriz:

Probabilidad de transicin estacionaria de n pasos.

Las ecuaciones de Chapman-Kolmogorov proporcionan un mtodo para calcular estas

probabilidades de transicin de n pasos :

Estas ecuaciones simplemente sealan que al ir de un estado i al estado j en n pasos, el
proceso estar en algn estado k despus de exactamente m ( menor que n) pasos. As,
Es solo las probabilidad condicional de que, si se comienza en el estado i, el proceso vaya al
estado k despues de m pasos y despus al estado j en n- m pasos.

Los casos especiales de m=1 y m=n-1 conducen a las expresiones

Para toda i, j, y n de lo cual resulta que las probabilidades de transicin de n pasos se
pueden obtener a partir de las probabilidades de transicin de un paso de manera recursiva.

Para n=2, estas expresiones se vuelven :

Note que las

son los elementos de la matriz P(2) , pero tambin debe de observarse que

estos elementos,

se obtienen multiplicando la matriz de transicin de un paso por s

misma; esto es , P(2) = P * P = P2 .
En trminos ms generales, se concluye que la matriz de probabilidades de transicin de n
pasos se puede obtener de la expresin : P(n) = P * P .... P = Pn = PPn-1 = Pn-1 P.

Entonces, la matriz de probabilidades de transicin de n pasos se puede obtener calculando

la n-sima potencia de la matriz de transicin de un paso. Para valores no muy grandes de n, la
matriz de transicin de n pasos se puede calcular en la forma que se acaba de describir, pero
cuando n es grande, tales clculos resultan tediosos y, ms an, los errores de redondeo
pueden causar inexactitudes.

Ejemplo :
Una tienda de cmaras tiene en almacn un modelo especial de cmara que se puede
ordenar cada semana. Sean D1, D2, ... las demandas de esta cmara durante la primera,
segunda, ... , semana, respectivamente. Se supone que las Di son variables aleatorias
independientes e idnticamente distribuidas que tienen una distribucin de probabilidad
conocida. Sea X0 el nmero de cmaras que se tiene en el momento de iniciar el proceso, X1 el
nmero de cmaras que se tienen al final de la semana uno, X2 el nmero de cmaras al final
de la semana dos, etc. Suponga que X0 = 3 . El sbado en la noche la tienda hace un pedido
que le entregan el lunes en el momento de abrir la tienda. La tienda hace un pedido que le
entregan el lunes en el momento de abrir la tienda. La tienda usa la siguiente poltica ( s,
S)1 para ordenar : si el nmero de cmaras en inventario al final de la semana es menor que s
=1 (no hay cmaras en la tienda), ordenar (hasta) S=3. De otra manera, no coloca la orden (si
se cuenta con una o ms cmaras en el almacn, no se hace el pedido). Se supone que las
ventas se pierden cuando la demanda excede el inventario. Entonces, {X1} para t = 0, 1, .. es
un proceso estocstico de la forma que se acaba de describir. Los estados posibles del proceso
son los enteros 0, 1, 2, 3 que representan el nmero posible de cmaras en inventario al final
de la semana.

As, dado que tiene una cmara al final de una semana, la probabilidad de que no haya
cmaras en inventario dos semanas despus es 0.283; es decir,
De igual
manera, dado que se tienen dos cmaras al final de una semana, la probabilidad de que haya
tres cmaras en el almacn dos semanas despus es 0.097; esto es,
La matriz de transicin de cuatro pasos tambin se puede obtener de la siguiente manera :
P(4) = P4 = P(2) * P(2)
As, dado que queda una cmara al final de una semana, 0.282 es la probabilidad de que no
haya cmaras en inventario 4 semanas ms tarde; es decir,

De igual manera,

dado que quedan dos cmaras en el almacn final de una semana, se tiene una probabilidad
de 0.171 de que haya tres cmaras en el almacn 4 semanas despus; esto es,
Estado estable
Los estados son la caracterizacin de la situacin en que se halla el sistema en un instante
dado, de dicha caracterizacin puede ser tanto cuantitativa como cualitativa.
El estado de un sistema en un instante t es una variable cuyos valores solo pueden pertenecer
al conjunto de estaos en el sistema. El sistema modelizado por la cadena, por lo tanto, es una
variable que cambia con el valor del tiempo, cambio al que llamamos transicin.

Estado estable: Se puede decir que el estado estable es la distribucin de probabilidades que
en cierto punto quedar fija para el vector P y no presentar cambios en periodos posteriores.

Se dice que una Cadena de Markov en tiempo discreto admite una distribucin estacionaria en
la medida que las probabilidades de largo plazo existen y es independiente de la distribucin
inicial (f0).
En este sentido se deben verificar ciertos requisitos para la existencia de esta distribucin de
probabilidades de largo plazo: la cadena debe ser irreducible y sus estados deben ser
recurrentes positivos aperidicos. Se recomienda revisar en detalle la clasificacin de
estados antes del clculo de la distribucin estacionaria.
La distribucin estacionaria se obtiene a travs de la solucin nica del siguiente sistema de
ecuaciones:

Ejemplo clculo distribucin estacionaria de una Cadena de Markov

Considere la siguiente matriz de transicin de probabilidades para un proceso markoviano en

tiempo discreto:

Calcule la probabilidad de encontrarse en cada uno de los estados en el largo plazo.

Desarrollo: Para verificar la existencia de una distribucin estacionaria debemos analizar si la
cadena es irreducible (es decir, existe una nica clase de estados) y los estados que la
componen son recurrentes positivos aperidicos. Para facilitar este proceso se recomienda
utilizar una representacin grfica o grafo:

El estado 2 es accesible desde el estado 1, es decir, existe una probabilidad no nula que
comenzando en el estado 1 se pueda llegar al estado 2 al cabo de n etapas (no
necesariamente esto debe ser al cabo de una etapa). Tambin se puede verificar que el estado
1 es accesible desde el estado 2, por tanto se concluye que el estado 1 y 2 se comunican.
Cabe destacar que 2 estados que se comunican pertenecen a una misma clase de estados.
Adicionalmente se puede demostrar que el estado 3 es accesible desde el estado 2 y el estado
2 es accesible desde el estado 3. Por tanto el estado 2 y 3 se comunican y por transitividad el
estado 1 y 3 se comunican. Se concluye entonces que existe una sola clase de estados que
contiene a {1,2,3} y por tanto la cadena es irreducible.
Los estados 1, 2 y 3 son recurrentes y dado que la cadena tiene una cantidad finita de estados
se puede afirmar que stos son recurrentes positivos.
Finalmente los estados son aperidicos, es decir, no existe una secuencia de pasos tal para
que comenzando en uno de ellos se pueda volver sobre si mismo (con probabilidad no nula) al
cabo de un cierto nmero de pasos o etapas.

Una vez que se han verificado las condiciones necesarias para la existencia de una distribucin
estacionaria se formula el sistema de ecuaciones que permitir encontrar las probabilidades de
estado de largo plazo. En nuestro ejemplo el sistema queda definido por:

La resolucin del sistema anterior permite encontrar que:

Se concluye que en el largo plazo la probabilidad de estar en el estado 1 es de un 25% y la

probabilidad de estar en el estado 2 y 3 es de un 37,5%.

ESTADOS ABSORBENTES

Se dice que un estado es absorbente si es cero la probabilidad de hacer una transicin fuera de
ese estado. Por tanto, una vez que el sistema hace una transicin hacia un estado absorbente,
permanece en el siempre

MATRIZ FUNDAMENTAL
La matriz fundamental es muy til para el anlisis y solucin de situaciones en las cuales
aparecen estados absorbentes.

La metodologa para obtener la matriz fundamental es la siguiente:

1.

Obtener la matriz de transicin en la forma usual, incluyendo los estados absorbentes.

2.
Identificar de la matriz de transicin los renglones correspondientes a la matriz
absorbente

3.
De lo que ha quedado de la matriz de transicin en el paso anterior, dividirlo en dos
partes: N que ser la parte no absorbente y A que contendr los estados absorbentes

4.

Obtenemos la matriz U mediante la siguiente frmula:

U=I-N
Donde I es la matriz identidad.

5.

Finalmente, se obtiene la matriz identidad de la siguiente manera:

X=U-1

Donde X representa la inversa de U, la cual se obtiene por algunos mtodos como el GaussJordan.

Veamos el siguiente ejemplo en el cual explicaremos algunos conceptos importantes:

Una empresa emplea a tres tipos de ingenieros: principiantes, con experiencia y socios.
Durante un ao determinado hay una probabilidad de 0.15 que un ingeniero principiante sea
ascendido a ingeniero con experiencia y una probabilidad de 0.05 que deje la empresa sin ser
socio. Tambin hay una probabilidad de 0.20 que un ingeniero con experiencia sea ascendido a
socio y una probabilidad de 0.10 que deje la empresa sin ser socio. Tambin hay una
probabilidad de 0.05 de que un socio deje la empresa. Determine:
a) Cul es la duracin promedio de un ingeniero recin contratado?
b) cul es la probabilidad de que un ingeniero principiante llegue a ser socio?
c) Cul es la duracin promedio que pasa un socio en la empresa?

Primero, determinamos la matriz de transicin en la cual se observa que hay dos estados
absorbentes: el ingeniero deje la empresa sin ser socio y que un socio deje la empresa

Donde IP= INGENIERO PRINCIPIANTE

IE= INGENIERO CON EXPERIENCIA
IS = INGENIERO SOCIO
IDS= INGENIERO DEJA LA EMPRESA SIENDO SOCIO
IDSS= INGENIERO DEJA LA EMPRESA SIN SER SOCIO
Luego hallamos la matriz I-N, donde I es la matriz de identidad y N la matriz no absorbente
identificada en el paso anterior.

Luego a travs de Gauss-Jordan, hallamos la matriz inversa como se muestra a continuacin.

Para responder la primera pregunta debemos tener presente un nuevo concepto que es el valor
esperado que es el tiempo en que un estado demora antes de ser absorbido. Este valor
esperado se obtiene a travs de la matriz inversa. De esta forma, la duracin promedio de un
recin contratado seria:

Para hallar la probabilidad de que un ingeniero principiante llegue a ser socio se debe
multiplicar la matriz inversa por la matriz absorbente, de la siguiente manera:

Obsrvese que esta probabilidad es igual a 0.5.

De igual manera como en la primera parte, la duracin promedio de un socio en la empresa es:

Uso de software

Modelado y Anlisis de Sistemas Complejos

Software de anlisis de Markov es una interfaz visual que permite a los fabricantes
para construir un diagrama de transicin de estados para modelar sistemas
complejos. Dado que estos sistemas estn diseados con una amplia gama de
redundancia, interdependencia y fracasos dependientes de secuencia, sus
necesidades de anlisis superar el mbito, las herramientas de modelado estndar
basadas en la serie.

Con sus herramientas de creacin de diagramas de transicin de estado slido y la

interfaz intuitiva, PTC Windchill Markov permite a los usuarios crear
representaciones y modelos de estados de sistemas complejos grficos y sus
interconexiones asociadas. Mediante el aprovechamiento de cada diagrama, es
posible calcular las mtricas de rendimiento del sistema, incluyendo la capacidad,
fiabilidad y disponibilidad de los diferentes estados.

PTC Windchill Markov Caractersticas y Beneficios

Utilice las herramientas de creacin de diagramas de transicin de estados para
representar estados complejos y sus interconexiones
Sistemas de modelos de la ms alta complejidad, incluyendo sistemas con mltiples
mecanismos complejos
Cuenta con mecanismos de conmutacin, las prioridades de reparacin, de
reparacin de recursos limitados y secuencia de error de dependencias
Considere los costos asociados en trminos de la moneda, la funcionalidad o el
rendimiento
Emplear una amplia gama de clculos, incluyendo MTBF (tiempo medio entre
fallos), MTTF (tiempo medio de Falla) y MTTR (tiempo medio de reparacin)
Funcionalidad de edicin grfica interactiva permite actualizaciones fciles a
modelos y medidas del sistema rpido de reclculo

Referencias:
http://www.bioingenieria.edu.ar/academica/catedras/metestad/Cadenas%20de%20Markov-1.pdf
http://www.gayatlacomulco.com/tutorials/investoper2/tema47.htm
http://www.ingenieria.unam.mx/industriales/descargas/documentos/catedra/invop.pdf
http://www.virtual.unal.edu.co/cursos/sedes/manizales/4040147/descargas/ejemplos3.pdf
http://www.investigaciondeoperaciones.net/distribucion_estacionaria_markov.html
http://invoperaciones2-ingindustrial.blogspot.mx/2011/05/estados-absorbentes.html
http://www.ptc.com/product-lifecycle-management/windchill/markov