Ing.

Vicente Campos Contreras Instituto Tecnolgico de Jiquilpan

CADENAS DE MARKOV

Las cadenas de Markov, pueden usarse como modelo de un proceso fsico o econmico que
tenga las siguientes propiedades.

1. El conjunto de sucesos posibles es finito.

2. La probabilidad del siguiente suceso depende solamente del suceso inmediato
anterior.
3. Estas probabilidades permanecen constantes en el tiempo.

Cada suceso individual se denomina estado. Por tanto habr tantos estados como sucesos
posibles. Para propsitos de notacin Si significa el i-simo estado de un total de m estrados
posible, donde 2 m < . Cada vez que se produce un nuevo resultado o suceso se dice que
el proceso ha avanzado o que se ha incrementado en un paso. Esto puede repetirse tantas
veces como se desee. Un paso puede representar u periodo de tiempo o cualquier otra
condicin que pueda conducir a cualquier otro suceso posible. El smbolo n se utiliza para
indicar el nmero de pasos o incrementos. Por tanto n=0, representa el presente; n=1,
representa el suceso posible de la siguiente ocasin; y n=2 representa una ocasin despus
de la siguiente.

Muchos problemas de I de O se componen de sucesos discretos, los cuales dependen de un

resultado anterior. En estos casos se puede utilizar ventajosamente las Cadenas de Markov
tanto en el modelaje como en el anlisis.

Formulacin de un proceso como Cadena de Markov:

La informacin se escribe en forma de tabla de probabilidades, esta tabla se denomina

matriz de transicin y se designa con la letra P.
Hasta
Desde S1 S2 . . . Sm
S1
S2
P= .
.
.
Sm

Cada elemento de esta tabla representa la probabilidad de desplazarse desde un estado hasta
otro. Paras propsitos de notacin un elemento de la matriz de transicin se designa por pij.
Esta es la probabilidad condicional de que si el proceso est ahora en un estado i, en el
siguiente paso podr estar en un estado j.

Una matriz de transicin debe satisfacer las siguientes condiciones:

1. cada elemento debe ser una probabilidad, o sea que debe tener un valor entre 0 y 1.
Es decir que es imposible tener una probabilidad mayor que 1 o negativa.
2. Cada fila debe sumar exactamente 1.

Empleando la notacin general, esta matriz de transicin tendr la siguiente forma:

S1 S2 ... Sm Donde 0 pij 1

S1 p11 p12 ... p1m
P S 2 p 21 p 22 ... p2m
1
... ... ... ... ...
S m p m1 pm2 ... p mm
Ing. Vicente Campos Contreras Instituto Tecnolgico de Jiquilpan

p
j 1
ij 1, j 1,2,3...m

En la matriz anterior se observa que para un estado en n =1, una fila enumera
completamente todas las posibles formas de estados que el proceso (cliente) puede seguir.
Por tanto una fila es un vector de probabilidad. Esto es de esperarse, ya que sencillamente
un vector es una matriz de 1 x m. Un vector de probabilidad debe satisfacer los requisitos
similares de una matriz de transicin.

1. Cada elemento debe ser una probabilidad, esto es, 0 pij 1

m
2. La suma de los elementos del vector debe ser igual a 1: p
j 1
ij 1

Por lo tanto una matriz de transicin P est compuesta por filas de vectores de probabilidad
Vi .

ANLISIS DE PROBABILIDAD POR MEDIO DE CADENAS DE HARKOV

La matriz de transicin puede usarse para determinar la probabilidad de un suceso despus

de n pasos, dado un estado especifico inicial S i .

Segn la notacin definida, se ha demostrado que lo siguiente es correcto.

Vi 0 pi1 pi 2 ... pii ... pim y pii 1

En el tiempo cero se conoce exactamente cual es el estado; por tanto la probabilidad de que
el estado i exista es 1.

Vi1 Vi 0 P pi1 pi 2 ... pim

La i-sima fila de la matriz P, es el vector de probabilidad i.

La probabilidad de los resultados o sucesos en dos pasos, es el producto del vector de

probabilidad Vi1 con la matriz de transicin P. Por consiguiente, puede hacerse el siguiente
anlisis.
Vi 2 Vi1 P

Vi 3 Vi 2 P (Vi1 P) P Vi1 P 2

Vi 4 Vi 3 P (Vi1 P 2 ) P Vi1 P 3

Vi n Vi n1 P (Vi1 P n2 ) P Vi1 P n1

Por lo tanto la probabilidad de los sucesos despus de n pasos a partir de ahora pueden
determinarse utilizando el vector de probabilidad Vi y alguna potencia de la matriz de
transicin P.

2
Ing. Vicente Campos Contreras Instituto Tecnolgico de Jiquilpan

Ejemplo:

En realidad, si se desea el resultado despus de n pasos. P n da una informacin an ms

completa ya que se compone de todos los vectores individuales Vi n . Por tanto P n da las
probabilidades de estar en cualquier estado dado para todas las condiciones, o estados,
iniciales posibles.

Ejemplo:

CONDICIONES DE ESTADO ESTABLE.

Para que una matriz de una cadena de Harkov alcance el estado estable debe ser una matriz
ergdica y regular.

CADENAS DE MARKOV ERGDICAS.

Una cadena ergdica describe matemticamente un proceso en el cual es posible avanzar

desde un estado hasta cualquier otro estado. No es necesario que esto sea posible
precisamente en un paso, pero debe ser posible para cualquier resultado sea logrado
independientemente del estado presente.

Ejemplo calles.

Si se elabora una matriz de transicin con la informacin obtenida, puede inspeccionarse

para determinar si describe una cadena ergdica. Se efecta una prueba sencilla para
determinar la posibilidad de alcanzar desde cada estado inicial o presente todos los dems
estados.

Sea X algn valor positivo de probabilidad pij y se puede visualizar en cuantos pasos se
puede ir desde un estado inicial, a cualquier otro estado determinado.

CADENAS DE MARKOV REGULARES.

Una cadena regular se define como una cadena que tiene una matriz de transicin P la cual
para alguna potencia de P tiene nicamente elementos positivos de probabilidad (diferentes
de cero). Usando la misma matriz de transicin de las cadena ergdica, la forma ms
sencilla de verificar si una cadena es regular consiste en elevar sucesivamente al cuadrado la
matriz hasta que todos los ceros sean eliminados o hasta que se demuestre obviamente que
por lo menos un cero nunca podr eliminarse.

La existencia de las condiciones de estado estable en una cadena ergdica regular puede
demostrarse de una manera sencilla, calculando P n para diversos valores de n.

Ejemplos:

3
Ing. Vicente Campos Contreras Instituto Tecnolgico de Jiquilpan

De lo anterior, se observa que a medida que aumenta el valor de n, los valores de pij tienden
hacia un lmite fijo y cada vector de probabilidad Vi n tiende hacerse igual para todos los
valores de i. Esto sugiere los siguientes enunciados:

1. Para un valor n suficientemente grande, el vector de probabilidad Vi n se hace igual

para todas las i y no cambia para valores grandes de n.
2. Puesto que Vi n1 Vi n P y Vi n1 Vi n , existe un vector de probabilidad V* tal que
V* V * P .

El vector V * v1 v2 ... vm contiene las probabilidades que existen en condiciones de

estado estable. El enunciado 2., proporciona un mtodo analtico para obtener estos valores.
Sea v j el j-simo elemento del vector de probabilidad V*. Puesto que V* todava es un
vector de probabilidad, an debe existir la siguiente condicin:

v
j 1
j 1

Y segn la proposicin 2. v1 v2 ... vm Pv1 v2 ... vm

Si se expande este producto de matrices se obtienen m ecuaciones. Cuando se agrega el

requerimiento de que la suma de las probabilidades sea igual a 1, hay m+1 ecuaciones y m
m
incgnitas, descartando cualquiera de las ltimas m ecuaciones. La ecuacin v
j 1
j 1 no

puede descartarse puesto que las restantes m ecuaciones pueden satisfacerse si todas las
vj 0.

Ejemplos.

CADENAS DE MARKOV ABSORBENTES

Para describir procesos o sistemas que cesan (o por lo menos vuelven a comenzar) despus
de alcanzar determinadas condiciones, se utiliza un caso especial de cadenas de Markov.

Un estado absorbente es aquel que tiene una probabilidad de ser abandonado de cero, o sea
que, una vez comenzado es imposible dejarlo, y el proceso se detiene completamente o se
detiene para luego comenzar a partir de algn otro estado.
Una cadena de Markov es absorbente si:
1. Tiene al menos un estado absorbente
2. Es posible ir de cada estado no absorbente hasta por lo menos un estado absorbente.
No es necesario efectuar esta transicin en un paso; ni es necesario tener la
posibilidad de alcanzar cada estado absorbente a partir de cualquier estado no
absorbente.

Ejemplo.

ANLISIS DE CADENAS DE MARKOV ABSORBENTES.

4
Ing. Vicente Campos Contreras Instituto Tecnolgico de Jiquilpan

A partir del anlisis de esta clase de cadena pueden obtenerse diversas clases de informacin
pertinente. Es posible determinar los siguientes datos:

1. El nmero esperado de pasos antes de que el proceso sea absorbido

2. La probabilidad de absorcin por cualquier estado absorbente dado

El primer paso del anlisis es reagrupar la matriz de transicin de manera que haya cuatro
submatrices:

I 0
P
A N

Estas matrices ms pequeas contienen elementos de probabilidad pero si se consideran

individualmente no constituyen una matriz de transicin.

Consideradas individualmente contienen la siguiente informacin con respecto a las

probabilidades. Se supone que hay a estados absorbentes y n estados no absorbentes, y
a+n=m estados totales:

I. Una matriz identidad a x a que representa la probabilidad de de permanecer dentro de un

estado absorbente (esta matriz no se utiliza para clculos posteriores).
0. una matriz a x n que representa la probabilidad de ir desde un estado absorbente a un
estado no absorbente.
A. Una matriz n x a que contiene las probabilidades de ir desde un estado no absorbente a un
estado absorbente.
N. una matriz n x n que contiene las probabilidades de permanecer en un estado no
absorbente

Para un estado inicial dado la matriz I N da el nmero esperado de veces que un

1

proceso est en cada estado no absorbente antes de la absorcin.

Para el clculo de la probabilidad de absorcin para cada estado absorbente dado es

I N 1 A
Ejemplos.

NMERO DE PASOS PARA ALCANZAR POR PRIMERA VEZ UN ESTADO

DETERMINADO EN CADENAS DE MARKOV.

En algunos casos es interesante determinar en una cadena no absorbente el nmero esperado

de pasos antes de que el proceso que comienza en un estado i entre o alcance un estado no
absorbente dado j. Esto es anlogo al proceso de absorcin de una cadena absorbente. Por
consiguiente para determinar el nmero de pasos antes de alcanzar por primera vez un
estado especfico j, simplemente se modifica la matriz de transicin de manera que el estado
j aparezca como un estado absorbente y se utiliza el mtodo desarrollado anteriormente.

Ejemplos.

5
Ing. Vicente Campos Contreras Instituto Tecnolgico de Jiquilpan

UNIDAD IV

LA PROGRAMACIN DINMICA

La programacin dinmica es la tcnica mas apropiada para resolver problemas que

requieran de decisiones interrelacionadas, es decir, decisiones que deben tomarse en forma
secuencial y los cuales influyen en decisiones futuras de esa secuencia.

Este concepto puede tomarse en problemas que tienen funciones continuas.

La programacin dinmica divide el problema en un conjunto de problemas ms pequeos y

fciles de resolver y luego agrupa los resultados del anlisis. Esto se denomina
descomposicin.

En forma general, este concepto se expresa como:

Retorno total = Retorno a partir de las decisiones inmediatas + retornos optmales a partir de
las etapas futuras que resultan de la decisin inmediata.

En trminos de programacin dinmica, a cada parte se le denomina etapa. En cada etapa

por lo menos se toma una decisin, es decir, se optimiza una variable de decisin. La salida
o retorno de cada etapa depende de las decisiones anteriores, es decir, de las condiciones
para esa etapa y de la funcin objetivo. Matemticamente esto se expresa como:
ri f (di , Si )
Donde ri = Es el retorno de la etapa i.
di= Es la decisin en la i-sima etapa.
S i=Son los recursos o condiciones que prevalecen en ese instante de la
etapa.
F(di, Si)=Es la funcin objetivo para la etapa que depende de las condiciones en
ese instante para tomar una decisin:

La funcin objetivo total es el resultado de la suma de la funcin objetivo ptima de cada

etapa.

f * ri (di , Si ) f *i1 (di Si )

f * ri f *i1

Donde f* i-1 = Funcin ptima de la etapa anterior.

f* = Funcin total ptima.