Está en la página 1de 24

Cadenas de Markov

Proceso estocástico:
Un proceso estocástico sirve para caracterizar una sucesión de variables aleatorias (estocásticas) que evolucionan en función de otra variable, generalmente el tiempo. Cada una de las variables aleatorias del proceso tiene su propia función de distribución de probabilidad y, entre ellas, pueden estar correlacionadas o no. Es un sistema en el que su evolución en el tiempo se establece en términos de probabilidades.

en la cual la probabilidad de que ocurra un evento depende del evento inmediato anterior .Cadena de Markov Es una serie de eventos.

. Por lo tanto son utilizadas para analizar el comportamiento y el gobierno de determinados tipos de procesos estocásticos(procesos que evolucionan de forma no determinísticas a lo largo del tiempo en torno a un conjunto de estados).Una cadena de Markov representa un sistema que varía su estado a lo largo del tiempo. siendo cada cambio una transición del sistema.

que defina la probabilidad del nuevo estado en función de los anteriores. • Definición de transición •Una ley de probabilidad condicional. .Una cadena de Markov finita cuenta con los siguientes elementos: • Conjunto de estados del sistema.

su comportamiento futuro no depende del pasado. el futuro es independiente del pasado” . “dado el presente.Propiedad de Markov Conocido el estado del proceso en un momento dado. Dicho de otro modo.

. la probabilidad de llegar a k se llama probabilidad de absorción de k (fik ). Si k es un estado absorbente y el proceso comienza en i. es decir.Estados Absorbentes: Un estado se llama absorbente si pik =1. permanece ahí para siempre. si una vez que el estado llega a k.

Para saber cuál.Si se tienen 2 o más estados absorbentes. hay que resolver el sistema de ecuaciones: . el proceso será absorbido por uno de éstos.

entonces. . en una sola transición. o permanece en i.En las Cadenas de Markov si el sistema se encuentra en el estado i. o se mueve a uno de los 2 estados inmediatamente adyacentes a i.

. Cada sumando representa la probabilidad de que partiendo del estado i se llegue al estado k transcurridos m períodos y posteriormente desde el estado k se llegue al estado j en n-m períodos.Ecuaciones de Chapman-Kolmogorov Estas ecuaciones proporcionan un método para determinar las probabilidades de que un proceso del estado i notada por pij ^(n).

Diagrama de transición de estados: El diagrama de transición de estados de una cadena de Markov es un grafo dirigido cuyos nodos son los estados de la cadena y cuyos arcos se etiquetan con la probabilidad de transición entre los estados que unen. Si dicha probabilidad es nula. i qij j . no se pone arco.

Matrices de Transición : Probabilidad de Esta matriz es cuadrada con tantas filas y columnas como estados tiene el sistema. . y los elementos de la matriz representan la probabilidad de que el estado próximo sea el correspondiente a la columna si el estado actual es el correspondiente a la fila.

Como el sistema debe pasar a t a alguno de los n estados posibles. la probabilidades de transición cumplirán la propiedad siguiente: .

.

Ejemplos importantes se pueden encontrar en la Cadena de Ehrenfest o el modelo de difusión de Laplace. .Física Las cadenas de Markov son usadas en muchos problemas de la termodinámica y la física estadística.

donde la posición que tendrá una página en el buscador será determinada por su peso en la distribución estacionaria de la cadena.Internet El pagerank de una página web (usado por Google en sus motores de búsqueda) se define a través de una cadena de Markov. .

El modelo de la ruina del jugador. que establece la probabilidad de que una persona que apuesta en un juego de azar finalmente termine sin dinero. es una de las aplicaciones de las cadenas de Markov en este rubro.Juegos de azar Son muchos los juegos de azar que se pueden modelar a través de una cadena de Markov. .

Música Diversos algoritmos de composición musical usan cadenas de Markov. por ejemplo el software Csound o Max .

.

Cuando una persona ha comprado Coca Cola hay una probabilidad de 90% de que siga comprándola la vez siguiente. Si una persona compró Pepsi. hay 80% de que repita la vez siguiente.Problema 1 Suponga que toda la industria de refresco produce dos colas: Coca Cola y Pepsi Cola. Se pide: .

2 0.1 0.9 0.8 . Pepsi-Cola}= {C.P}La matriz de transición para el orden C.Modelo La situación se puede modelar como una cadena de Markov con dos estados {Coca-Cola.P. es: P= 0.

columna 1 para la matriz P^2 P^2= 0.17 0. ¿Cuál es la probabilidad de que compre Coca Cola pasadas dos compras a partir de hoy? Se pide la probabilidad de transición en dos pasos.83 0.34 R//se tiene un 34% de probabilidad que un comprador de pepsi en 2 compras prefiera coca-cola .Solucion a) Si una persona actualmente es comprador de Pepsi. es decir que se pide el valor en fila 2.22 obteniéndose que este es : 0.34 0.

562 esto quiere decir que la solución al problema es 0.781 0. ¿Cuál es la probabilidad de que compre Coca Cola pasadas tres compras a partir de ahora? Al igual que en el apartado anterior se pide el valor de la probabilidad de transición en fila 1y columna 1 para la matriz P^3.1% .781 R// la probabilidad de que pasadas tres compras vuelva a comprar CocaCola es del 78. la matriz es: P^3 = 0.438 0.219 0.Solucion b) Si en la actualidad una persona es comprador de Coca Cola.

Solucion c) Determinar el estado estable. El estado estable se determina resolviendo el sistema de ecuaciones: Se agrega la ecuacion x+y=1 porque compre coca cola o pepsi ambos van a sumar 1 -x+2y = 0 x-2y = 0 x+y = 1 X = 2/3 y Y = 1/3 R// El estado estable se tiene con 66% comprando coca cola y 33% comprando pepsi .