Documentos de Académico
Documentos de Profesional
Documentos de Cultura
Cadenas y Procesos de Markov
Cadenas y Procesos de Markov
pg. 2
INDICE
INTRODUCCIN ........................................................................................................................................................1
CADENA DE MARKOV ..............................................................................................................................................2
ALCANCE DEL PROBLEMA DE DECISIN MARKOVIANA: ..........................................................................................3
EL PROBLEMA DEL JARDINERO .............................................................................................................................3
MODELO DE PROGRAMACIN DINMICA CON ETAPAS FINITAS ........................................................................5
MODELO DE PROGRAMACIN DINMICA CON ETAPAS INFINITAS.....................................................................9
Mtodo de enumeracin exhaustiva ...............................................................................................................9
Mtodo de iteracin de poltica sin descuento ............................................................................................. 13
REPRESENTACIN GRAFICA DE UNA MATRIZ DE TRANSICIN: ....................................................................... 20
PROPIEDADES DE UNA MATRIZ DE TRANSICIN: ................................................................................................. 20
ELEMENTOS DE UNA CADENA DE MARKOV ...................................................................................................... 20
CONCLUSIONES ..................................................................................................................................................... 21
E-GRAFA Y BIBLIOGRAFA ..................................................................................................................................... 22
PROCESOS Y CADENAS DE MARKOV
INTRODUCCIN
Los procesos de decision markoviana son tiles para estudiar la evolucin de sistemas a lo
largo de ensayos repetidos, que a menudo, son perodos sucesivos donde el estado del
sistema, en cualquier perodo particular, no puede determinarse con certeza son llamados
tambin markovianos.
Es til para describir la probabilidad de que una mquina siga funcionando o se estropeara en
el siguiente periodo y tambin de que un consumidor que compra la marca A en un periodo
compre la marca B en el siguiente perodo.
pg. 1
PROCESOS Y CADENAS DE MARKOV
CADENA DE MARKOV
Una cadena de Markov es una sucesin de ensayos similares u observaciones en la cual
cada ensayo tiene el mismo nmero finito de resultados posibles y en donde la probabilidad
de cada resultado para un ensayo dado depende slo del resultado del ensayo
inmediatamente precedente y no de cualquier resultado previo.
Propiedad de Markov: Dada una secuencia de variables aleatorias X1, X2, X3,......, tales
que el valor de Xn es el estado del proceso en el tiempo n. Si la distribucin de probabilidad
condicional de X n +1 en estados pasados es una funcin de X n por si sola, entonces:
P(Xn+1 = xn+1/Xn = xn, Xn1 = xn1,....X2 = x2, X1 = x1 ) = P(Xn+1 = xn+1/Xn = xn )
Donde xi es el estado del proceso en el instante i.
Esta identidad es la denominada propiedad de Markov: El estado en t + 1 solo depende del
estado en t y no de la evolucion anterior del sistema
Al trabajar con cadenas de Markov, a menudo es util pensar la sucesion de ensayos como
experimentos efectuados en cierto sistema fis ico, cada resultado dejando a este sistema en
cierto estado.
Por ejemplo, consideremos una sucesion de elecciones polit icas en cierto pais : el sistema
podria tomarse como el pais mismo y cada eleccion lo dejaria en cierto estado, es decir en el
control del partido ganador. Si solo hay dos partidos polit icos fuertes, llamados A y B, los que
por lo regular controlan el gobierno, entonces podemos decir que el pais se encuentra en el
estado A o B si el partido A o B ganara la eleccion. Cada ensayo (o sea cada eleccion), coloca
al pais en uno de los dos estados A o B. Una sucesion de 10 elecciones podria producir
resultados tales como los siguientes:
A,B,A,A,B,B,B,A,B,B
La primera eleccion en la sucesion deja en el poder al partido A, la segunda fue ganada
por el partido B, y asi sucesivamente, hasta que la decima eleccion la gane el partido B.
Supongamos que las probabilidades de que el partido A o B ganen la proxima eleccion son
determinadas por completo por el partido que esta en el poder ahora. Por ejemplo podria
mos
tener las probabilidades siguientes:
Si el partido A esta en el poder, existe una probabilidad de 14 que el partido A ganara
la proxima eleccion y una probabilidad de 34 de que el partido B gane la eleccion
siguiente.
Si el partido B esta en el poder, hay una probabilidad de 1/3 de que el partido A gane la
eleccion siguiente y una probabilidad de 2/3 que el partido B permanezca en el poder.
pg. 2
PROCESOS Y CADENAS DE MARKOV
pg. 3
PROCESOS Y CADENAS DE MARKOV
datos de las pruebas hechas por el jardinero, las probabilidades de transicin durante un
periodo de un ao, de un estado de productividad a otro, se representa con la siguiente cadena
de Markov:
Los elementos r2ij de R2 tienen en cuenta el costo de aplicar el fertilizante. Por ejemplo, si las
condiciones del suelo fueron regulares el ao anterior (estado 2) y se vuelven malas (estado
3) en este ao, su ganancia ser r223 = 0 en comparacin con r123= 1 cuando no se usa
fertilizante. A este respecto, R expresa la recompensa neta despus de haber introducido el
costo del fertilizante.
casos, el jardinero usa el resultado de las pruebas qumicas (estado del sistema) para
determinar la mejor accin (fertilizar o no) que maximice el ingreso esperado.
Tambin, al jardinero le puede interesar evaluar el ingreso esperado que resulte de las
acciones especificadas de antemano para determinado estado del sistema. Por ejemplo, se
puede aplicar fertilizante siempre que las condiciones del suelo sean malas (estado 3). Se dice
que el proceso de toma de decisiones en este caso se representa por una poltica estacionaria.
Estas matrices son distintas de P1 y R1 slo en los terceros renglones, que se toman
directamente de P2 y R2, las matrices asociadas con la aplicacin del fertilizante.
pg. 5
PROCESOS Y CADENAS DE MARKOV
fn(i) = Ingreso ptimo esperado de las etapas n, n = 1, ..., N, cuando i es el estado del sistema
(condiciones del suelo) al comenzar el ao n
Una justificacin de esta ecuacin es que el ingreso acumulado, rijk + fn+1(j) que resulta de
alcanzar el estado j en la etapa n + 1 desde el estado i en la etapa n tiene la probabilidad p ijk
de suceder. Sea
Para ilustrar el clculo de vik, veamos el caso en donde no se usa fertilizante (k = 1).
As, si la condicin del suelo es buena, una sola transicin produce 5.3 para ese ao, si es
regular la productividad es 3; y si es mala, la productividad es -1.
pg. 6
PROCESOS Y CADENAS DE MARKOV
EJEMPLO 1:
En este ejemplo se resolver el problema del jardinero con los datos resumidos en las matrices
P1, P2, R1 y R2, dado un horizonte de 3 aos (N = 3). Como se usarn los valores de vik en
forma repetida en los clculos, se resumen aqu por comodidad. Recurdese que k = 1
representa no fertilizar, y k = 2 representa fertilizar.
Etapa 3:
Etapa 2:
Etapa 1:
pg. 7
PROCESOS Y CADENAS DE MARKOV
La solucin ptima indica que para los aos 1 y 2, el jardinero debe aplicar fertilizante (k* = 2)
independientemente del estado del sistema (condiciones del suelo, determinadas por medio
de las pruebas qumicas). En el ao 3 se debe aplicar fertilizante slo si el sistema est en el
estado 2 o 3 (condiciones del suelo, regulares o malas). Los ingresos totales esperados en los
tres aos son f1(1) = 10.74, si el estado del sistema en el ao 1 es bueno, f 1(2) = 7.92, si es
regular, y f1(3) = 4.23 si es malo.
El problema del horizonte finito se puede generalizar de dos modos. En el primero, las
probabilidades de transicin y sus funciones de ingreso no necesitan ser iguales en todos los
aos. En el segundo, se puede aplicar un factor de descuento al ingreso esperado de las
etapas sucesivas, de modo que f1(i) sea el valor presente de los ingresos esperados para todas
las etapas. En la primera generalizacin se requiere que los valores de ingreso rijk y las
probabilidades de transicin pijk sean funciones de la etapa n, como muestra la siguiente
ecuacin recursiva de programacin dinmica:
en la que
En la segunda generalizacin, dado que (<1) es el factor de descuento por ao, tal
que $D dentro de un ao tienen un valor de $D, la nueva ecuacin recursiva es
pg. 8
PROCESOS Y CADENAS DE MARKOV
Paso 1. Calcule vsi, el ingreso esperado de un paso (un periodo) de la poltica s, dado el estado
i, i = 1, 2, m.
Paso 2. Calcule si, las probabilidades estacionarias a largo plazo de la matriz de transicin
Ps asociadas con la poltica s. Estas probabilidades, cuando existen, se calculan con las
ecuaciones
en donde
Paso 3. Determine Es, el ingreso esperado de la poltica s por paso (periodo) de transicin,
con la frmula
pg. 9
PROCESOS Y CADENAS DE MARKOV
Ejemplo 2:
pg. 10
PROCESOS Y CADENAS DE MARKOV
(Hay que observar que una de las tres primeras ecuaciones es redundante.) La solucin es
La poltica 2 produce el mximo ingreso anual esperado. La poltica ptima a largo plazo es
aplicar fertilizante independientemente del estado del sistema.
pg. 11
PROCESOS Y CADENAS DE MARKOV
pg. 12
PROCESOS Y CADENAS DE MARKOV
Esta accin recursiva es la base del desarrollo del mtodo de iteracin de poltica. Sin
embargo, se debe modificar un poco la forma actual, para permitir el estudio del
comportamiento asinttico del proceso. Se definir como la cantidad de etapas restantes por
considerar. Es distinto de n en la ecuacin, que define a la etapa n. La ecuacin recursiva se
escribe entonces como sigue:
Obsrvese que fes el ingreso esperado acumulado si es la cantidad de etapas que faltan por
considerar. Con la nueva definicin, se puede estudiar el comportamiento asinttico del
proceso haciendo que
Ya que
es el ingreso esperado por etapa, como se calcul en la seccin 19.3.1, se puede demostrar
que cuando es muy grande,
pg. 13
PROCESOS Y CADENAS DE MARKOV
f (i) es igual a E ms un factor de correccin f(i) para tener en cuenta el estado especfico i.
En este resultado se supone que
Se simplifica y se obtiene
En este caso hay m ecuaciones con m 1 incgnitas, f(1), f(2), ..., f(m) y E.
Como en la seccin 19.3.1, el objetivo es determinar la poltica ptima que produce el valor
mximo de E. Como hay m ecuaciones con m 1 incgnitas, el valor ptimo de E no se puede
determinar en un paso. En lugar de ello se usa un mtodo iterativo de dos pasos que, a partir
de una poltica arbitraria, determina una nueva poltica que produce un valor mejor de E. El
proceso iterativo termina cuando hay dos polticas sucesivas que son idnticas.
1. Paso de determinacin de valor. Se elige la poltica s en forma arbitraria. Con sus matrices
correspondientes Ps y Rs y suponiendo, en forma arbitraria, que fs(m) = 0, se resuelven las
ecuaciones.
con las incgnitas Es,fs(1), ..., y fs(m 1). Continuar en el paso de mejoramiento de poltica.
Los valores de fs(j), j = 1, 2, ..., m son los que se determinan en el paso de determinacin de
valor. Las decisiones ptimas resultantes para los estados 1, 2, y m son la nueva poltica t.
Si s y t son idnticas, t es ptima. En caso contrario, hacer s = t y regresar al paso de
determinacin de valor.
pg. 14
PROCESOS Y CADENAS DE MARKOV
Ejemplo 3:
Se resolver el problema del jardinero con el
mtodo de iteracin de poltica. Se comienza
con la poltica arbitraria que indica no aplicar
fertilizante. Las matrices correspondientes son
A continuacin se aplica el
paso de mejoramiento de
poltica. Los clculos
correspondientes se ven en
el cuadro siguiente.
La nueva poltica indica aplicar fertilizante independientemente del estado. Como es distinta
de la anterior, se hace de nuevo el paso
de determinacin de valor. Las matrices
correspondientes a la nueva poltica son
pg. 15
PROCESOS Y CADENAS DE MARKOV
La nueva poltica, que establece aplicar fertilizante independientemente del estado, es idntica
a la anterior. Entonces esta ltima poltica es ptima, y termina el proceso iterativo. Es la misma
conclusin a la que se llega con el mtodo de enumeracin exhaustiva. Sin embargo,
obsrvese que el mtodo de iteracin de poltica converge con rapidez hacia la poltica ptima;
sta es una caracterstica normal del nuevo mtodo.
El algoritmo de iteracin de poltica se puede ampliar para abarcar descuentos. Dado el factor
de descuento (< 1), la ecuacin recursiva de etapas finitas se puede plantear como sigue
(Ntese que representa la cantidad de etapas que faltan.) Se puede demostrar que cuando
(modelo infinito), f (i) = f(i), siendo f(i) el ingreso a valor presente (descontado), si
el sistema est en el estado i y funciona durante un horizonte infinito. As, el comportamiento
de f (i) a largo plazo, cuando es independiente del valor de . Esto contrasta
con el caso donde no hay descuentos, en el que Cabra esperar este resultado,
porque al descontar, el efecto de los ingresos futuros disminuye a cero, en forma asinttica.
En realidad, el valor presente f(i) debe tender a un valor constante cuando
Con base en esta informacin, se modifican como sigue los pasos de iteracin de poltica.
1. Paso de determinacin de valor. Para una poltica arbitraria s con matrices Ps y Rs, resolver
las m ecuaciones
pg. 16
PROCESOS Y CADENAS DE MARKOV
pg. 17
PROCESOS Y CADENAS DE MARKOV
Ejemplo 4:
Se resolver el ejemplo anterior (problema del jardinero) con el factor de descuento =0.6.
Partiremos de la poltica arbitraria s = {1, 1, 1}. Las matrices asociadas P y R (P1 y R1 en el
ejemplo 19.3-1) dan las ecuaciones
Como la nueva poltica (1, 2, 2) es idntica a la anterior, es ptima. Obsrvese que los
descuentos han producido una poltica ptima distinta que establece no aplicar fertilizante si el
estado del sistema es bueno (estado 3).
pg. 19
PROCESOS Y CADENAS DE MARKOV
pg. 20
PROCESOS Y CADENAS DE MARKOV
CONCLUSIONES
Este mtodo es muy importante, ya que ha comenzado a usarse en los ltimos aos
como instrumento de investigaciones de mercadotecnia, para examinar y pronosticar el
comportamiento de los clientes desde el punto de vista de su lealtad a una marca y de
sus formas de cambio a otras marcas, la aplicacin de esta tcnica, ya no solo se limita
a la mercadotecnia sino que su campo de accin se ha podido aplicar en diversos
campos.
pg. 21
PROCESOS Y CADENAS DE MARKOV
E-GRAFA Y BIBLIOGRAFA
http://www.bioingenieria.edu.ar/academica/catedras/metestad/Cadenas%20de%20Markov-
1.pdf
Investigacin de operaciones, sptima edicin, Hamdy A. Taha, Pearson
Educacin, Mxico 2004.
pg. 22