UNIVERSIDAD NACIONAL AUTÓNOMA

DE HONDURAS EN EL VALLE DE SULA

Carrera de Ingeniería Industrial
Asignatura De Investigación De Operaciones II

Cadenas De Markov

Alumno: Nery José Borjas Montoya

No. De Cuenta: 20132007082
Sección: 2000

SPS, febrero 21 de 2020

 INTRODUCCIÓN

En la siguiente investigación estudiaremos las cadenas de markov, como ser su definición, la

clasificación de estados y las propiedades de periodicidad, iniciando por la definición, en esta
investigación se plasma básicamente las ideas de que son las cadenas de markov con un
conjunto de problemas e ilustraciones que nos ayudaran a entender mejor el tema. Para esta
investigación es importante conocer una serie de conceptos importantes como ser los estados,
la matriz de transición, estado recurrente, estados absorbentes.

1
Cadenas De Markov

Las cadenas de Markov fueron introducidas por el matemático ruso Andrei Markov
alrededor del año 1905, el objetivo de el era crear un modelo probabilístico para analizar la
frecuencia en que aparecían las vocales en los poemas y textos literarios. Hoy en día las
cadenas de Markov pueden aplicarse a fenómenos no solo científicos, sino que también a
fenómenos sociales.

Para poder definir y hablar matemáticamente de las cadenas de Markov, debemos conocer lo
que es un “Proceso estocástico”.

Proceso Estocástico: Se define como una colección de variables aleatorias 𝑿𝒕 , donde el

índice “t” toma valores de un conjunto T dado de enteros no negativos, y 𝑿𝒕 representa una
característica que puede ser cuantificada en el tiempo.

Sea 𝑋𝑖 una variable aleatoria que caracteriza el estado del sistema en puntos discretos

en el tiempo t 5 1, 2…. La familia de variables aleatorias {Xi} forma un proceso estocástico

con una cantidad finita o infinita de estados.

Ejemplo.

Mantenimiento de una máquina.

La condición de una máquina en el momento del mantenimiento preventivo mensual es mala,

regular o buena. Para el mes t, el proceso estocástico en esta situación se representa como
sigue:

0, 𝑠𝑖 𝑙𝑎 𝑐𝑜𝑛𝑑𝑖𝑐𝑖𝑜𝑛 𝑒𝑠 𝑚𝑎𝑙𝑎
𝑋𝑡 = { 1 𝑠𝑖 𝑙𝑎 𝑐𝑜𝑛𝑑𝑖𝑐𝑖𝑜𝑛 𝑒𝑠 𝑟𝑒𝑔𝑢𝑙𝑎𝑟
2 𝑠𝑖 𝑙𝑎 𝑐𝑜𝑛𝑑𝑖𝑐𝑖𝑜𝑛 𝑒𝑠 𝑏𝑢𝑒𝑛𝑎

La variable aleatoria𝑋𝑡 es finita porque representa tres estados: malo (0), regular (1) y bueno
(2).

Una cadena de markov tiene un proceso estocástico es decir variables aleatorias que
dependen de un parámetro que es el tiempo, este proceso no se puede predecir.

¿Qué es un proceso de markov?

2
“Un proceso de markov es un proceso estocástico si el estado futuro depende solo del estado
inmediatamente anterior. (ver ilustración 2)

Esto significa que dados los tiempos cronológicos 𝑡0 , 𝑡1 , …, 𝑡𝑛 , la familia de variables

aleatorias {𝑋𝑡𝑛 } = {𝑋1 , 𝑋2 ,…, 𝑋𝑛 }

es un proceso de Markov si

P{𝑋𝑡𝑛 = 𝑋𝑛 │𝑋𝑛−1 = 𝑋𝑛−1,…, 𝑋𝑡0 = 𝑋0 } = P{𝑋𝑡𝑛 = 𝑋𝑛 │𝑋𝑡𝑛−1 = 𝑋𝑡𝑛−1 }

En un proceso Markoviano con n estados exhaustivos y mutuamente excluyentes,

las probabilidades en un punto específico del tiempo t= 0,1, 2, … se definen como

𝑃𝑖𝑗 = P{𝑋𝑡 = j │𝑋𝑡−1 = i}, i = 1, 2,…, n, j = 1, 2,…, n, t = 0, 1, 2,…, T

Esto se conoce como probabilidad de transición en un paso al ir del estado i en el instante

t - 1 al estado j en el instante t. Por definición, tenemos:

∑ 𝑃𝑖𝑗 = 1, 𝑖 = 1,2, … , 𝑛
𝑗

𝑃𝑖𝑗 ≥ 0(𝑖, 𝑗) = 1,2, … 𝑛

La notación utilizada en la matriz es una forma conveniente de resumir las probabilidades

de transición en un paso:

La matriz P define una cadena de Markov. Tiene la propiedad de que todas sus
probabilidades de transición 𝑃𝑖𝑗 son estacionarias e independientes a lo largo del tiempo.

3
CLASIFICACIÓN DE LOS ESTADOS EN UNA CADENA DE MARKOV
“Los estados de una cadena de Markov se clasifican con base en la probabilidad de transición
𝑃𝑖𝑗 de P.

1. Un estado j es absorbente si está seguro de regresar a sí mismo en una transición;

es decir, 𝑃𝑖𝑗 =1.

2. Un estado j es transitorio si puede llegar a otro estado, pero no puede regresar desde
𝑛
otro estado. Matemáticamente, esto sucederá si lim (𝑃𝑖𝑗 ) .
𝑛→∞

3. Un estado j es recurrente si la probabilidad de ser revisitado desde otros estados

es 1. Esto puede suceder si, y sólo si, el estado no es transitorio.
4. Un estado j es periódico con periodo de t > 1 si es posible un retorno sólo en t, 2t,
3t… pasos. Esto significa que 𝑃𝑗𝑗 𝑛 = 0 cuando n no es divisible entre t.
Con base en las definiciones dadas, una cadena de Markov finita no puede constar
de todos los estados transitorios porque, por definición, la propiedad transitoria requiere
entrar a otro estado de “atrapamiento” y nunca volver a visitar el estado transitorio.
El estado de “atrapamiento” no necesita ser un solo estado absorbente.”

4
Ejercicio

5
6
7
 Conclusión
Podemos concluir en que las cadenas de Markov son una herramienta de gran ayuda para
poder determinar probabilidades a futuro para poder tomar decisiones, ya que nos muestra el
estado de lo que estamos analizando para un determinado tiempo “t” de cualquier variable
aleatoria que deseemos analizar, que ya sea, pueden ser ventas de productos o en el caso de
meteorología el clima para cierto día.

8
BIBLIOGRAFIA.
Frederick S. Hillier y Gerald J. Lieberman, 9 ed. (2010), Introducción a la investigación de
operaciones. México, The McGraw-Hill Companies, Inc.

Hamdy A. Taha, 9 ed. (2012). Investigación de operaciones. México. Pearson educación.