Nombre: Diana Katherine Rincón Gamboa

ID: 76715

CADENAS DE MARKOV

Andrey Andreyevich Markov

Nació en Rusia el 14 de Junio de 1856 y murió el 20 de Julio de 1922, fue un matemático

mejor conocido por su trabajo en la teoría de procesos estocásticos. Su investigación
luego recibió el nombre de Cadenas de Markov, Su trabajo teórico en el campo de los
procesos en los que están involucrados componentes aleatorios o secuencias de valores
de una variable aleatoria en las que el valor de la variable en el futuro depende del valor
de la variable en el presente, pero es independiente de la historia de dicha variable.

Las cadenas de Markov, hoy día, se consideran una herramienta esencial en disciplinas
como la economía, la ingeniería, la investigación de operaciones y muchas otras.

Concepto de Cadenas de Markov

Las cadenas de Markov son utilizadas como herramientas para analizar el

comportamiento de algunos procesos estocásticos no deterministicos en torno a un
conjunto de estados.
Por lo tanto se puede decir que es un sistema en el cual su estado varía a lo largo del
tiempo, y dichos cambios no están predeterminados, es decir suceden con tiempos
desconocidos, siendo cada uno una transición del sistema, sin embargo la probabilidad
del próximo estado si está predeterminada en función a los estados anteriores, esto
sucede por ejemplo, en el pronóstico del tiempo, si sabemos cuál es estado del clima hoy,
no tenemos que saber cuál fue el de ayer, antier o antes dado que se pueden modelar
examinando únicamente la historia más reciente, es decir, examinando su último estado,
sin considerar todos los estados anteriores.
El nuevo estado puede ser el mismo que el anterior y es posible que exista la posibilidad
de de influir en las probabilidades de transición sobre el sistema de decisión.

Una cadena de Markov en general, se puede definir como un proceso de esta

naturaleza: en el momento n el estado actual del proceso y todos los estados anteriores
son conocidos, entonces las probabilidades de todos los estados futuros Xj ( j > n)
dependen únicamente del estado actual Xn y no de los anteriores, X1, X2, ... Xn-1.

Formalmente, una cadena de Markov es un proceso estocástico tal que para n = 1, 2, .... y
para cualquier sucesión posible de estados s1, s2, ..., sn+1, tenemos
P(Xn+1 = sn+1 | X1 = s1, X2 = s2, ..., Xn = sn) = P(Xn+1 = sn+1 | Xn = sn).

En general, consideramos una cadena de Markov que en cualquier momento estará en

alguno de un número finito k de estados s1, s2, ..., sk . Un proceso aleatorio de esta
naturaleza se llama una cadena de Markov finita.
Cadenas de Markov finitas

Una cadena de Markov finita se define por:

 Un conjunto de estados del sistema.

 La definición de transición.

 Una ley de probabilidad condicional, que defina la probabilidad del nuevo estado
en función de los anteriores.

Estados de Markov

Los estados de Markov, son una caracterización de la situación en la que se encuentra el

sistema en un momento determinado, la cual puede ser de carácter cuantitativo o
cualitativo, o en otras palabras, se podría tomar como la respuesta a la pregunta ¿Cómo
están las cosas?

En el conjunto de estados del sistema, el estado de un sistema en el instante t, es una

variable cuyos valores solo pueden pertenecer a este. El sistema modelizado por la
cadena por lo cual es una variable que cambia de valor en el tiempo, el cual recibe el
nombre de transición, es decir, una colección de variables Et, donde t denota intervalos
temporales significativos para el análisis del fenómeno estudiado. Los posibles valores de
Et se toman de un conjunto de categorías mutuamente excluyentes, a las cuales se
denomina Estados de sistema e un determinado instante. Por ser un sistema estocástico
no se conoce el estado del sistema en un determinado instante, sino la probabilidad
asociada a cada uno de los estados, y puede expresarse en términos de probabilidad
condicional de la siguiente forma:

P (Et = j / Et-1 = i, Et-2 = et-2, Et-3 = et-3,…,Eo = eo) = P (Et-1 = i, Et-2 = et-2, Et-3 = et-
3,…, Et-k = et-k)

Donde pij recibe el nombre de probabilidad de transición del estado i al estado j. En una
cadena de Markov de orden 1, el estado del sistema en el futuro j sólo depende del
estado presente i.

FUENTE

http://www.edicionsupc.es/ftppublic/pdfmostra/OE03502M.pdf