Está en la página 1de 6

INTRODUCCIN:

En este captulo se aplica la programacin dinmica a la solucin de un proceso estocstico de decisin con una cantidad finita de estados. Las probabilidades de transicin entre los estados se describen con una cadena de markov. La estructura de recompensa del proceso se describe con una matriz que representa el ingreso (o el costo) asociado con el movimiento de un estado a otro. Las matrices de transicin e ingreso dependen de las alternativas de decisin

disponibles para quien toma decisiones. El objetivo del problema es determinar la poltica ptima que maximice el ingreso esperado durante una cantidad finita o infinita de etapas.

DESARROLLO:
INTRODUCCION A LAS CADENAS DE MARKOV El anlisis de Markov, llamado as en honor de un matemtico ruso que desarrollo el mtodo en 1907, permite encontrar la probabilidad de que un sistema se encuentre en un estado en particular en un momento dado. Algo ms importante an, es que permite encontrar el promedio a la larga o las probabilidades de estado estable para cada estado. Con esta informacin se puede predecir el comportamiento del sistema a travs del tiempo. En la teora de la probabilidad, se conoce como cadena de Markov a un tipo especial de proceso estocstico discreto en el que la probabilidad de que ocurra un evento depende del evento inmediatamente anterior. En efecto, las cadenas de este tipo tienen memoria. "Recuerdan" el ltimo evento y esto condiciona las posibilidades de los eventos futuros. Esta dependencia del evento anterior distingue a las cadenas de Markov de las series de eventos independientes, como tirar una moneda al aire o un dado. En matemticas, se define como un proceso estocstico discreto que cumple con la propiedad de Mrkov, es decir, si se conoce la historia del sistema hasta su instante actual, su estado presente resume toda la informacin relevante para describir en probabilidad su estado futuro. PROBABILIDAD DE TRANCICIONES ESTACIONARIAS DE n PASOS Las ecuaciones de Chapman-Kolmogorov proporcionan un mtodo para calcular estas probabilidades de transicin de n pasos:

Estas ecuaciones simplemente sealan que al ir de un estado i al estado j en n pasos, el proceso estar en algn estado k despus de exactamente m (menor

que n) pasos. As, Es solo las probabilidad condicional de que, si se comienza en el estado i, el proceso vaya al estado k despus de m pasos y despus al estado j en n- m pasos.

Los casos especiales de m=1 y m=n-1 conducen a las expresiones. Para toda i, j, y n de lo cual resulta que las probabilidades de transicin de n pasos se pueden obtener a partir de las probabilidades de transicin de un paso de manera recursiva. Para n=2, estas expresiones se vuelven:

Note que las

son los elementos de la matriz P(2), pero tambin debe de

observarse que estos elementos,

se obtienen multiplicando la matriz de

transicin de un paso por s misma; esto es, P(2) = P * P = P2 En trminos ms generales, se concluye que la matriz de probabilidades de transicin de n pasos se puede obtener de la expresin: P(n) = P * P.... P = Pn = PPn-1 = Pn-1 P. Entonces, la matriz de probabilidades de transicin de n pasos se puede obtener calculando la n-sima potencia de la matriz de transicin de un paso. Para valores no muy grandes de n, la matriz de transicin de n pasos se puede calcular en la forma que se acaba de describir, pero cuando n es grande, tales clculos resultan tediosos y, ms an, los errores de redondeo pueden causar inexactitudes.

ESTADO ESTABLE Y ABSORBENTE Clasificacin de los estados en las cadenas de markov. En las cadenas de markov puede interesar el comportamiento del sistema durante un tiempo corto. Los estados son la caracterizacin de la situacin en que se halla el sistema en un instante dado, de dicha caracterizacin puede ser tanto cuantitativa como cualitativa. El estado de un sistema en un instante t es una variable cuyos valores solo pueden pertenecer al conjunto de estaos en el sistema. El sistema modelizado por la cadena, por lo tanto, es una variable que cambia con el valor del tiempo, cambio al que llamamos transicin. Estado estable: Se puede decir que el estado estable es la distribucin de probabilidades que en cierto punto quedar fija para el vector P y no presentar cambios en periodos posteriores. Estado absorbente: Estado cuya nica transicin posible es volver al mismo estado. Un estado absorbente constituye una clase final de un nico estado. En otras palabras un estado absorbente es aquel del que no se puede salir una vez se haya cado en l, es decir la probabilidad de permanecer en el mismo es de 100% .Por ejemplo si expresramos la vida como una cadena de markov, con la serie de estados: nacer, crecer, reproducirse y morir; la muerte sera obviamente el estado absorbente ya que no existe la posibilidad alguna de volver a un estado anterior.

CONCLUSIN
En conclusin las cadenas de markov es la probabilidad de un sistema de variables aleatorias que evolucionan dependiendo de la variable tiempo (proceso estocstico), en el que la ocurrencia de un evento futuro siempre depende del estado precedente ya que las cadenas de este tipo tienen memoria. "recuerdan" el ltimo evento y esto condiciona las posibilidades.

BIBLIOGRAFA
F., J. A. (s.f.). Introduccin a las Cadenas o Procesos de Markov. Recuperado el 22 de noviembre de 2013, de http://www.ingenieria.unam.mx/javica1/ingsistemas2/Simulacion/Cadenas_de_Markov.h tm Gette, J. J. (3 de junio de 2011). Investigacin de Operaciones II. Recuperado el 23 de NOVIEMBRE de 2013, de http://investigacindeoperaciones2.blogspot.mx/2011/06/cadena-de-markovel-estado-estable.html Lieberman., H. y. (s.f.). Introduccion a la Investigacin de operaciones. 8 Edicin. En H. y. Lieberman. Mc Graw Hill. Taha, H. A. (2012). introduccion a las cadenas de markov. En H. A. Taha, investigacion de operaciones 9 edicion (pg. 827). mexico: PEARSON.