𝑇𝑐 = min{𝑛 > 0 𝑋𝑛 ∈ 𝑐} 𝑠𝑖 {𝑛 > 0 𝑋𝑛 ∈ 𝑐}

≠ ∅

UNIVERSIDAD ECCI
ASIGNATURA:
Álgebra Lineal 2BM
ARTICULO:
Cadenas de Márkov
PROFESORA:
Luisa Fernanda Rozo Posada
AUTORES:
Paula Andrea Diaz Lancheros 132350
Santiago Méndez Pérez 131383
Jeffri Gil Sedano 131096
Jeimi Valeria Cadena Rodríguez 131396
21/09/23 Bogotá D.C
1.DEFINICIÓN
Una cadena de Márkov es una herramienta analítica
que toma procesos de una sucesión de variables
aleatorias que evolucionan en función de otra
variable. Así, estas variables o el conjunto de ellas,
las cuales son de origen de efecto aleatorio, reciben
el nombre de proceso estocástico.
Una cadena de Márkov es una secuencia X1, X2,
X3… de variables aleatorias. El valor de Xn es el
estado del proceso en el tiempo n. De esta forma se
obtiene la propiedad.
Si un sistema de Márkov está en estado i, Hay una
determinada probabilidad, pij, de ir a estado j el
próximo paso, y pij es llamado la probabilidad de
transición. [3] [4]
∞ 𝑠𝑖{𝑛 > 0 𝑋𝑛 ∈ 𝑐}
𝑇𝑐 𝑑𝑒𝑡𝑜𝑛𝑎 𝑙𝑎 𝑝𝑟𝑖𝑚𝑒𝑟𝑎 𝑣𝑒𝑧 𝑞𝑢𝑒 𝑙𝑎 𝑐𝑎𝑑𝑒𝑛𝑎 𝑒𝑛𝑡𝑟𝑎
𝑎𝑙 𝑐𝑜𝑛𝑗𝑢𝑛𝑡𝑜 𝑑𝑒 𝑙𝑜𝑠 𝑒𝑠𝑡𝑎𝑑𝑜𝑠 𝐶.
Recurrencia de sus estados.
𝐸𝑛 𝑢𝑛𝑎 𝑐𝑎𝑑𝑒𝑛𝑎 𝑑𝑒 𝑀á𝑟𝑘𝑜𝑣 𝑐𝑜𝑛 𝑒𝑠𝑝𝑎𝑐𝑖𝑜 𝑑𝑒 𝑒𝑠𝑡𝑎𝑑𝑜𝑠 𝐸, 𝑠𝑖 𝑥
∈ 𝐸 𝑠𝑒 𝑑𝑒𝑓𝑖𝑛𝑒:
𝐿𝑥 = 𝑃 (𝑋𝑛 = 𝑥 𝑝𝑎𝑟𝑎 𝑎𝑙𝑔ú𝑛 𝑛 ∈ 𝑁/ 𝑋0 = 𝑋
𝑋 𝑒𝑠 𝑒𝑠𝑡𝑎𝑑𝑜 𝑟𝑒𝑐𝑢𝑟𝑟𝑒𝑛𝑡𝑒 𝑠𝑖 𝐿𝑥 = 1
𝑋 𝑒𝑠 𝑡𝑟𝑎𝑛𝑠𝑖𝑡𝑜𝑟𝑖𝑜 𝑠𝑖 𝐿𝑥 < 1
𝑋 𝑒𝑠 𝑎𝑏𝑠𝑜𝑟𝑏𝑒𝑛𝑡𝑒 𝑠𝑖𝑃𝑥𝑥 = 1
Periodicidad.
𝐸𝑙 𝑝𝑒𝑟𝑖𝑜𝑑𝑜 𝑑𝑒 𝑢𝑛 𝑒𝑠𝑡𝑎𝑑𝑜 𝑥
∈ 𝐸 𝑠𝑒 𝑑𝑒𝑓𝑖𝑛𝑒 𝑐𝑜𝑚𝑜:
(𝑛)
𝑑(𝑥) = 𝑚𝑐𝑑 {𝑛: 𝑃𝑋𝑋 < 𝑜}
𝑑𝑜𝑛𝑑𝑒 𝑚𝑐𝑑 𝑒𝑠 𝑒𝑙 𝑚á𝑥𝑖𝑚𝑜 𝑐𝑜𝑚ú𝑛 𝑑𝑖𝑣𝑖𝑠𝑜𝑟.
𝑆𝑖 𝑑(𝑥)
> 1 𝑠𝑖 𝑞𝑢𝑖𝑒𝑟𝑒 𝑑𝑒𝑐𝑖𝑟 𝑞𝑢𝑒 𝑒𝑠 𝑢𝑛 𝑝𝑒𝑟𝑖𝑜𝑑𝑜 𝑥.
𝐸𝑙 𝑒𝑠𝑡𝑎𝑑𝑜 𝑥 𝑠𝑒𝑟á 𝑝𝑒𝑟𝑖ó𝑑𝑖𝑐𝑜 𝑑𝑒 𝑝𝑒𝑟𝑖𝑑𝑜 𝑑(𝑥)
> 1 𝑠𝑖 𝑒𝑥𝑖𝑠𝑡𝑒𝑛 𝑐𝑎𝑚𝑖𝑛𝑜𝑠 𝑞𝑢𝑒 𝑙𝑙𝑒𝑣𝑎𝑛 𝑑𝑒𝑠𝑑𝑒 𝑥 ℎ𝑎𝑠𝑡𝑎 𝑥
𝑝𝑒𝑟𝑜 𝑡𝑜𝑑𝑜𝑠 𝑡𝑖𝑒𝑛𝑒 𝑙𝑜𝑛𝑔𝑖𝑡𝑢𝑑 𝑚𝑥 𝑐𝑜𝑛 𝑚𝑥 > 0.
𝑆𝑖 𝑑(𝑥)
= 1 𝑠𝑒 𝑑𝑖𝑐𝑒 𝑞𝑢𝑒 𝑥 𝑒𝑠 𝑢𝑛 𝑒𝑠𝑡𝑎𝑑𝑜 𝑎𝑝𝑒𝑟ó𝑑𝑖𝑐𝑜.
𝑈𝑛𝑎 𝑐𝑎𝑑𝑒𝑛𝑎 𝑑𝑒 𝑀á𝑟𝑘𝑜𝑣 𝑒𝑠 𝑎𝑝𝑒𝑟𝑖ó𝑑𝑖𝑐𝑎 𝑠𝑖 𝑡𝑜𝑑𝑜𝑠 𝑠𝑢𝑠 𝑒𝑠𝑡𝑎𝑑𝑜𝑠 𝑠𝑜𝑛
𝑎𝑝𝑒𝑟𝑖ó𝑑𝑖𝑐𝑜𝑠. [5]

PROPIEDAD MARKOVIANA

𝑃(𝑥𝑛+1 = 𝑥𝑛+1 𝑥𝑛 = 𝑥𝑛 , 𝑋𝑛−1 = 𝑥𝑛−1 , … , 𝑋2 =

𝑥2 𝑋1 = 𝑥1 ) = 𝑃(𝑋𝑛+1 = 𝑋𝑛+1 𝑋𝑁 ). [2]
Figura 1.
2.CARACTERÍSTICAS
3.TIPOS DE CADENAS DE MÁRKOV
Las cadenas de Márkov están caracterizadas por
tres factores claves que describen el Existen cinco tipos de cadenas de Márkov. Ellas
comportamiento del sistema. Estos factores son:
corresponden a:
Cadenas irreducibles.
Tiempos de entrada. Cadenas positivo-recurrentes.
𝑆𝑖 𝐶 ∁ 𝐸, 𝑠𝑒 𝑑𝑒𝑓𝑖𝑛𝑒 𝑒𝑙 𝑝𝑟𝑖𝑚𝑒𝑟 𝑡𝑖𝑒𝑚𝑝𝑜 𝑑𝑒 𝑙𝑎 𝑒𝑛𝑡𝑟𝑎𝑑𝑎 𝑎 Cadenas regulares.
𝑐 𝑐𝑜𝑚𝑜 𝑙𝑎 𝑣𝑎𝑟𝑖𝑎𝑏𝑙𝑒 𝑎𝑙𝑒𝑎𝑡𝑜𝑟𝑖𝑎 Cadenas absorbentes. [4]
CADENA IRREDUCIBLE
Figura 2.
Cadenas irreducibles A dos estados que se
comunican se dice que están en la misma clase.
Una cadena de Márkov es irreducible si todos los
estados pertenecen a la misma clase,
esto es, todos se comunican entre sí. [4]
Figura 3.
Si la cadena es irreducible existe un único vector de
probabilidad invariante y está dado por:
1 X2,..., Xi,.. con i indexado en el conjunto N de
𝜋𝑥 =
𝜇𝑥
[4] [5]
CADENA REGULARES
Figura 4.
Cuando el espacio de estados E es finito, si P
denota la matriz de transición de la cadena se tiene
que: cuando el espacio de estados E es infinito, si P
denota la matriz de transición de la cadena se tiene
que:
lim 𝑃𝑛 = 𝑊
𝑛→∞
Donde W es una matriz con todos sus renglones
iguales a un mismo vector de probabilidad w, que
resulta ser el vector de probabilidad invariante de
la cadena. En el caso de cadenas regulares, este
vector invariante es único. [4] [5]
CADENAS ABSORVENTES
Su matriz de transición siempre puede llevar a una
de la forma:
𝑄 𝑃
𝑃=( )
0 1
Donde la submatriz Q corresponde a los estados del
conjunto D, 1 es la matriz identidad, 0 es la matriz
nula y R alguna submatriz.
𝑃𝑋 (𝑇𝐴 < ∞) = 1
Esto quiere decir que no importa donde se
encuentre la cadena, eventualmente terminará en
un estado absorbente. [4]
4.CADENAS DE MÁRKOV EN TIEMPO
CONTINUO
En algunos casos en los que se requiere un
parámetro de tiempo continuo, porque la evolución
del proceso se está observando de manera continua
a través del tiempo, se emplean las cadenas de
Márkov en tiempo continuo, lo cual significa que si
en lugar de considerar una secuencia discreta X1,
números naturales, se consideran las variables
aleatorias Xt con t que varía en un intervalo
continuo del conjunto R de números reales, se
tendrá una cadena en tiempo continuo. [5]
5.APLICACIONES
Las cadenas de Márkov son de variada utilización
en el mercado y la industria, por esta razón son un
instrumento importante en la solución de
problemas de diversa índole a nivel empresarial,
como, por ejemplo, los relacionados con el share de
marcas, las dinámicas de mantenimiento y la
planeación de tareas administrativas.
Sin embargo, su utilización también abarca
distintos campos, donde su uso permite formular
modelos climatológicos, resolver problemas
estadísticos, solucionar casos de termodinámica,
realizar simulaciones como el modelo M/M/1 y
rankear las páginas web de Google, entre muchas
otras tareas. [5]
6.BIBLIOGRAFÍA

- [1] Álgebra Lineal Universidad Nacional de

Colombia, sede Medellín, «Cadenas de Márkov»,
YouTube. 6 de mayo de 2017. [En línea].
Disponible en:
https://www.youtube.com/watch?v=HzEfHQbZB
1o

- [2] «PROPIEDAD MARKOVIANA», UMNG-

Facultad de estudios a distancia.
http://virtual.umng.edu.co/distancia/ecosistema/ov
as/ingenieria_civil/investigacion_de_operaciones_
ii/unidad_2/medios/documentacion/p3h1.php

- [3] «Faedis», Universidad Nueva Granada.

http://virtual.umng.edu.co/distancia/ecosistema/od
in/odin_desktop.php?path=Li4vb3Zhcy9pbmdlbm
llcmlhX2NpdmlsL2ludmVzdGlnYWNpb25fZGV
fb3BlcmFjaW9uZXNfaWkvdW5pZGFkXzIv

- [4] «Resumen: Sistemas Márkov».

https://www.zweigmedia.com/MundoReal/Summ
ary6b.html

- [5] «Cadenas de Márkov (en tiempo discreto,

con estados discretos).», Cadenas de Márkov (en
tiempo discreto, con estados discretos)., [En
línea]. Disponible en:
https://www.unirioja.es/cu/franpere/ModyOptfiles
/Tema6.pdf