CADENAS DE MARKOV

Las cadenas de Markov, pueden usarse como modelo de un proceso fsico o econmico que
tenga las siguientes propiedades.

1. El conjunto de sucesos posibles es finito.
2. La probabilidad del siguiente suceso depende solamente del suceso inmediato anterior.
3. Estas probabilidades permanecen constantes en el tiempo.

Cada suceso individual se denomina estado. Por tanto habr tantos estados como sucesos
posibles. Para propsitos de notacin Si significa el i-simo estado de un total de m estrados
posible, donde 2 m < . Cada vez que se produce un nuevo resultado o suceso se dice que el
proceso ha avanzado o que se ha incrementado en un paso. Esto puede repetirse tantas veces
como se desee. Un paso puede representar u periodo de tiempo o cualquier otra condicin que
pueda conducir a cualquier otro suceso posible. El smbolo n se utiliza para indicar el nmero de
pasos o incrementos. Por tanto n=0, representa el presente; n=1, representa el suceso posible de la
siguiente ocasin; y n=2 representa una ocasin despus de la siguiente.
Muchos problemas de I de O se componen de sucesos discretos, los cuales dependen de un
resultado anterior. En estos casos se puede utilizar ventajosamente las Cadenas de Markov tanto
en el modelaje como en el anlisis.

Formulacin de un proceso como Cadena de Markov:

La informacin se escribe en forma de tabla de probabilidades, esta tabla se denomina
matriz de transicin y se designa con la letra P.




P=





Cada elemento de esta tabla representa la probabilidad de desplazarse desde un estado
hasta otro. Paras propsitos de notacin un elemento de la matriz de transicin se designa por p
ij
.
Esta es la probabilidad condicional de que si el proceso est ahora en un estado i, en el siguiente
paso podr estar en un estado j.

Una matriz de transicin debe satisfacer las siguientes condiciones:

1. cada elemento debe ser una probabilidad, o sea que debe tener un valor entre 0 y 1. Es
decir que es imposible tener una probabilidad mayor que 1 o negativa.
2. Cada fila debe sumar exactamente 1.

Empleando la notacin general, esta matriz de transicin tendr la siguiente forma:

Donde 1 0 s s
ij
p
m j p
m
j
ij
... 3 , 2 , 1 , 1
1
= =

=

Hasta
Desde S1 S2 . . . Sm
S1
S2
.
.
.
Sm

mm m m
m
m
m
p p p
p p p
p p p
Sm S S
S
S
S
P
...
... ... ... ...
...
...
...
...
2 1
2 22 21
1 12 11
2 1
2
1
=



En la matriz anterior se observa que para un estado en n =1, una fila enumera
completamente todas las posibles formas de estados que el proceso (cliente) puede seguir. Por
tanto una fila es un vector de probabilidad. Esto es de esperarse, ya que sencillamente un vector es
una matriz de 1 x m. Un vector de probabilidad debe satisfacer los requisitos similares de una
matriz de transicin.

1. Cada elemento debe ser una probabilidad, esto es, 1 0 s s
ij
p

2. La suma de los elementos del vector debe ser igual a 1: 1
1
=

=
m
j
ij
p

Por lo tanto una matriz de transicin P est compuesta por filas de vectores de probabilidad
i
V .

ANLISIS DE PROBABILIDAD POR MEDIO DE CADENAS DE MARKOV

La matriz de transicin puede usarse para determinar la probabilidad de un suceso despus
de n pasos, dado un estado especifico inicial
i
S .

Segn la notacin definida, se ha demostrado que lo siguiente es correcto.
| |
im ii i i i
p p p p V ... ...
2 1
0
= y 1 =
ii
p

En el tiempo cero se conoce exactamente cual es el estado; por tanto la probabilidad de
que el estado i exista es 1.

| |
im i i i i
p p p P V V ...
2 1
0 1
= =

La ensima fila de la matriz P, es el vector de probabilidad i.

La probabilidad de los resultados o sucesos en dos pasos, es el producto del vector de
probabilidad
1
i
V con la matriz de transicin P. Por consiguiente, puede hacerse el siguiente anlisis.
P V V
i i
1 2
=
2 1 1 2 3
) ( P V P P V P V V
i i i i
= = =
3 1 2 1 3 4
) ( P V P P V P V V
i i i i
= = =

1 1 2 1 1
) (

= = =
n
i
n
i
n
i
n
i
P V P P V P V V
Por lo tanto la probabilidad de los sucesos despus de n pasos a partir de ahora pueden
determinarse utilizando el vector de probabilidad
i
V y alguna potencia de la matriz de transicin P.

Ejemplo:

En realidad, si se desea el resultado despus de n pasos.
n
P da una informacin an ms
completa ya que se compone de todos los vectores individuales
n
i
V . Por tanto
n
P da las
probabilidades de estar en cualquier estado dado para todas las condiciones, o estados, iniciales
posibles.




CONDICIONES DE ESTADO ESTABLE.

Para que una matriz de una cadena de Markov alcance el estado estable debe ser una
matriz ergdica y regular.
CADENAS DE MARKOV ERGDICAS.

Una cadena ergdica describe matemticamente un proceso en el cual es posible avanzar
desde un estado hasta cualquier otro estado. No es necesario que esto sea posible precisamente en
un paso, pero debe ser posible para cualquier resultado sea logrado independientemente del
estado presente.

Ejemplo calles.

Si se elabora una matriz de transicin con la informacin obtenida, puede inspeccionarse
para determinar si describe una cadena ergdica. Se efecta una prueba sencilla para determinar la
posibilidad de alcanzar desde cada estado inicial o presente todos los dems estados.

Sea X algn valor positivo de probabilidad
ij
p y se puede visualizar en cuantos pasos se
puede ir desde un estado inicial, a cualquier otro estado determinado.
CADENAS DE MARKOV REGULARES.

Una cadena regular se define como una cadena que tiene una matriz de transicin P
la cual para alguna potencia de P tiene nicamente elementos positivos de probabilidad
(diferentes de cero). Usando la misma matriz de transicin de las cadena ergdica, la forma
ms sencilla de verificar si una cadena es regular consiste en elevar sucesivamente al
cuadrado la matriz hasta que todos los ceros sean eliminados o hasta que se demuestre
obviamente que por lo menos un cero nunca podr eliminarse.

La existencia de las condiciones de estado estable en una cadena ergdica regular
puede demostrarse de una manera sencilla, calculando
n
P para diversos valores de n.

Ejemplos:

De lo anterior, se observa que a medida que aumenta el valor de n, los valores de
ij
p tienden hacia un lmite fijo y cada vector de probabilidad
n
i
V tiende hacerse igual para
todos los valores de i. Esto sugiere los siguientes enunciados:

1. Para un valor n suficientemente grande, el vector de probabilidad
n
i
V se hace igual
para todas las i y no cambia para valores grandes de n.
2. Puesto que P V V
n
i
n
i
=
+1
y
n
i
n
i
V V =
+1
, existe un vector de probabilidad V* tal que
P V V * * = .

El vector | |
m
v v v V ... *
2 1
= contiene las probabilidades que existen en
condiciones de estado estable. El enunciado 2., proporciona un mtodo analtico para
obtener estos valores. Sea
j
v el j-simo elemento del vector de probabilidad V*. Puesto
que V* todava es un vector de probabilidad, an debe existir la siguiente condicin:




1
1
=

=
m
j
j
v

Y segn la proposicin 2. | | | |
m m
v v v P v v v ... ...
2 1 2 1
=

Si se expande este producto de matrices se obtienen m ecuaciones. Cuando se
agrega el requerimiento de que la suma de las probabilidades sea igual a 1, hay m+1
ecuaciones y m incgnitas, descartando cualquiera de las ltimas m ecuaciones. La
ecuacin 1
1
=

=
m
j
j
v no puede descartarse puesto que las restantes m ecuaciones pueden
satisfacerse si todas las 0 =
j
v .
CADENAS DE MARKOV ABSORBENTES

Para describir procesos o sistemas que cesan (o por lo menos vuelven a comenzar)
despus de alcanzar determinadas condiciones, se utiliza un caso especial de cadenas de
Markov.

Un estado absorbente es aquel que tiene una probabilidad de ser abandonado de
cero, o sea que, una vez comenzado es imposible dejarlo, y el proceso se detiene
completamente o se detiene para luego comenzar a partir de algn otro estado.
Una cadena de Markov es absorbente si:
1. Tiene al menos un estado absorbente
2. Es posible ir de cada estado no absorbente hasta por lo menos un estado
absorbente. No es necesario efectuar esta transicin en un paso; ni es necesario
tener la posibilidad de alcanzar cada estado absorbente a partir de cualquier
estado no absorbente.
ANLISIS DE CADENAS DE MARKOV ABSORBENTES.

A partir del anlisis de esta clase de cadena pueden obtenerse diversas clases de
informacin pertinente. Es posible determinar los siguientes datos:

1. El nmero esperado de pasos antes de que el proceso sea absorbido
2. La probabilidad de absorcin por cualquier estado absorbente dado

El primer paso del anlisis es reagrupar la matriz de transicin de manera que haya
cuatro submatrices:

(

=
N A
I
P
0


Estas matrices ms pequeas contienen elementos de probabilidad pero si se
consideran individualmente no constituyen una matriz de transicin.




Consideradas individualmente contienen la siguiente informacin con respecto a las
probabilidades. Se supone que hay a estados absorbentes y n estados no absorbentes, y
a+n=m estados totales:

I. Una matriz identidad a x a que representa la probabilidad de de permanecer dentro de
un estado absorbente (esta matriz no se utiliza para clculos posteriores).
0. una matriz a x n que representa la probabilidad de ir desde un estado absorbente a un
estado no absorbente.
A. Una matriz n x a que contiene las probabilidades de ir desde un estado no absorbente a
un estado absorbente.
N. una matriz n x n que contiene las probabilidades de permanecer en un estado no
absorbente

Para un estado inicial dado la matriz ( )
1
N I da el nmero esperado de veces que
un proceso est en cada estado no absorbente antes de la absorcin.

Para el clculo de la probabilidad de absorcin para cada estado absorbente dado
es ( ) A N I
1

NMERO DE PASOS PARA ALCANZAR POR PRIMERA VEZ UN ESTADO
DETERMINADO EN CADENAS DE MARKOV.

En algunos casos es interesante determinar en una cadena no absorbente el
nmero esperado de pasos antes de que el proceso que comienza en un estado i entre o
alcance un estado no absorbente dado j. Esto es anlogo al proceso de absorcin de una
cadena absorbente. Por consiguiente para determinar el nmero de pasos antes de
alcanzar por primera vez un estado especfico j, simplemente se modifica la matriz de
transicin de manera que el estado j aparezca como un estado absorbente y se utiliza el
mtodo desarrollado anteriormente.