Instituto Tecnológico de Ciudad Juárez

Cadenas de Markov
Investigación de Operaciones II
Rodrigo Sanchez Martinez
21110154
índice
4.1 Introducción a las Cadenas de Markov ................................................................................................... 3
4.2. Probabilidad de transiciones estacionarias de n pasos .................................................................... 3
4.3. Estado estable ........................................................................................................................................ 5
4.4. Casos especiales (Cadenas absorbentes, cadenas cíclicas) ................................................................... 6
4.4.1. Cadenas absorbentes ...................................................................................................................... 6
4.4.2. Cadenas cíclicas............................................................................................................................... 6

Página 2 de 6
4.1 Introducción a las Cadenas de Markov
Este sistema fue desarrollado por el matemático ruso Andréi
Márkov en el año de 1907, también es conocido como cadena
simple biestable de Márkov.

Una cadena de Márkov es una serie de eventos, en el cual la

probabilidad de que ocurra un evento depende del evento inmediato
anterior.

Definiendo así que en un proceso estocástico la probabilidad de que algo suceda

solamente depende del pasado histórico de la realidad que estamos estudiando.

Lo que la cadena experimente en un momento t+1 solamente dependen de lo acontecido

en el momento t (el inmediatamente anterior).

4.2. Probabilidad de transiciones estacionarias de n pasos

La probabilidad estacionaria se produce cuando el sistema
está en estado i durante un periodo, la probabilidad de
transición p, i, j, es la probabilidad de que el sistema este
en el estado j durante el siguiente periodo.

Las probabilidades de transición son estacionarias de un

paso si cumplen la propiedad:

Prob { X t+1 =j │ Xt= i } = Prob{ X1= j │X0 = i } para todo t

En tal caso se denotan:

Propiedad: Si las probabilidades de transición (de un paso) son estacionaria, entonces

se cumple que:

Prob{Xt+n= j │ Xt=i } = Prob{ Xn =j │ X0 =i} para todo t

Estas probabilidades de transición se denominan probabilidades de transición de n pasos

y se denotan Pij(n) Observar que Pij(1)= Pij

Página 3 de 6
Las ecuaciones de Chapman-Kolmogrov proporcionan un método para calcular estas
probabilidades de transición de n pasos

De forma anóloga, si 𝑝(𝑛) 𝑖𝑗 es la probabilidad de transición del estado i al estado j en “n”

pasos (0 ≤ i,j, ≤ M), entonces la matriz p(n) que contiene todos estos valores se denomina
matriz de transición de n pasos. La probabilidad de transición de dos pasos o de segundo
orden, es la probabilidad de ir del estado k al estado j en exactamente dos transiciones

Estas ecuaciones simplemente señalan que al ir de un estado y al estado J en pasos el

proceso estará en algún estado de k después de exactamente m menor que n pasos.

Propiedad: la matriz de transición de n pasos P(n) se puede obtener multiplicando la

matriz de transición de un paso P.n veces:

P(n) = P. P.P…. P= P(n)

En general: para 0≤m≤n

P= P(n)= P(m). P (n-m)

Página 4 de 6
4.3. Estado estable
Un estado es estable cuando ya no hay cambios en el sistema, es decir que se alcanza
el equilibrio. Una manera posible de obtener las condiciones del sistema para el estado
estable es repetir iterativamente los cálculos para cada periodo con el fin de hallar el
periodo con aquellas probabilidades que se mantienen constantes o no cambian.

Para cualquier estado i y j y números no negativos t y s

Un par de estados i y j se comunican si existen tiempos t1 y t2, tales que Todos los
estados que se comunican forman una clase. Si todos los estados forman una sola clase,
es decir, si la cadena es irreducible entonces, para toda y todos los estados i y j

Siempre existe y es independiente del estado inicial de la cadena de Markov, para

j=0,1,… M, estas propiedades limitantes conocidas como probabilidades de estado
estable..

Página 5 de 6
4.4. Casos especiales (Cadenas absorbentes, cadenas cíclicas)
4.4.1. Cadenas absorbentes
Un estado absorbente es aquel que tiene una probabilidad de ser abandonado igual a 0,
o sea que, una vez comenzado es imposible dejarlo igual a 0 y el proceso o se detiene
completamente o se detiene para luego comenzar a partir de algún otro estado.

Una cadena de Márkov es absorbente sí (1) tiene por lo menos un estado absorbente y
(2) es posible ir de cada estado no absorbente hasta por lo menos un estado absorbente.
no es necesario obtener la probabilidad de alcanzar cada estado absorbente a partir de
cualquier estado no absorbente.

La descripción de los procesos o sistemas qué cesan después de alcanzar determinadas

condiciones se utiliza un caso especial de cadenas de Márkov.

4.4.2. Cadenas cíclicas

Un ciclo es un camino cerrado entre estados recurrentes Para que una cadena sea cíclica debe
de cumplir con que:

• Tenga por lo menos un ciclo.

• Sea posible entrar en el ciclo.

A largo plazo un sistema con

régimen permanente llega a formar un sistema cíclico,
dependiendo del porcentaje de tiempo que pasa en cada
estado se calcula con el procedimiento del régimen
permanente.

Página 6 de 6