MODELOS

ESTOCASTICOS
DE DESICIÓN

“Cadenas de
Markov”

Carlos Agustin Hernandez

Hernandez
Cadenas de Markov
Forma parte de los procesos estocásticos discretos para definir las probabilidades
un evento con respecto al evento inmediato anterior, es decir, el evento que
ocurrió justo antes del evento en cuestión. Ya que como sabemos los procesos
estocásticos nos permiten representar las magnitudes de sucesos o eventos que
ocurren de manera aleatoria con relación a otras variables o el tiempo, para el
caso en cuestión se le conoce como” procesos de decisión” o “control markoviano”
ya que la toma de decisión depende de factores aleatorios.
Pr={ Sn +1|S n }

Donde:
n−1=Tiempo en pasado
n=Tiempo presente
n+1=Tiempo futuro
“La probabilidad del estado del proceso al tiempo futuro n+1 depende únicamente
del proceso al tiempo n y no de los tiempos pasados n−1”
Probabilidad de transición de un paso
Se define i y j como dos estados de una cadena de Markov para definir la
probabilidad de transición de un paso.
Pij ( n , n+1 )

“Estado i en el tiempo n , al estado j en el tiempo n+1y se dice que la cadena es

estacionara si n no es dependiente”
Teniendo en cuenta que una matriz debe cumplir con:
Pij ≥ 0

∑ Pij=1
j

Ejemplo:
Un profesor de ingeniería adquiere una nueva computadora cada 2 años. El
profesor puede elegir entre 3 modelos; A, B y C; si el modelo actual es A, la
siguiente puede ser B con probabilidad de 0.2 o C con probabilidad de 0.15. Si el
modelo actual es B y la probabilidad de cambiar a y C son 0.6 y 0.25
respectivamente; si el modelo actual es C y cambiar a A y B corresponde a 0.5 y
0.1
Paso 1.
Relacionamos las probabilidades con cada suceso

Paso 2.
Realizamos la matriz

( )
A B C
A 1
0.65 0. 20 0 ,15
B 1
0 .60 0. 15 0.25
C 1
0.50 0. 10 0. 40

Probabilidad de transición absolutas de n pasos

Corresponde a la probabilidad de pasar del estado i al tiempo m, al estado j al
tiempom+n. Dado que hemos supuesto la condición de homogeneidad en el
tiempo, esta probabilidad no depende realmente de m, por lo tanto coincide con
P( X ,− j / X=1)
P¿
 2
O bien se puede obtener la matriz de n pasos la podemos obtener como M n=( M 1 )

Ejemplo:
Una partícula se mueve sobre un círculo marcados 0, 1, 2, 3, 4 (en el sentido de
las manecillas del reloj) La partícula comienza en el punto 0 y en cada paso tiene
una probabilidad de 0.5 de moverse a un punto en sentido de las manecillas del
reloj y una probabilidad de 0.5 de moverse a un punto en el sentido opuesto
¿En qué punto la matriz de vuelve estable?
En el paso 80 y solo es realizar la matriz de un paso con vimos anteriormente y
después utilizar la fórmula de la matriz de n pasos para encontrar la estabilidad de
la matriz
Clasificación de los estados de una cadena de Markov
Ya que los estados son una condición de un suceso se puede clasificar
dependiendo de las transiciones o caminos que se tienen de uno a otro como:
Estado absorbente- Se les conoce así cuando hay al menos un estado absorbente
y desde cada estado es posible llegar al estado absorbente, no necesariamente en
un paso; también se le llama estacionario NOTA- En la cadena absorbente, los
estados que no sean absorbentes son transitorios
Estado transitorio- El No estacionario, quiere decir que los valores de las variables
son dinámicas ya que se involucran entre si a lo largo del tiempo.
Ejemplo:
Identificar los estados tranasitorios y
absorventes de la siguiente cadena
Absorbentes: 4
Transitorios:1, 2 y 3
Estado recurrentes- Son aquellos estados que tienen la garantía de interactuar
con otra variable, pero pueden regresar a su mismo estado o variable

Estado periódico- solo son denominados periódicos aquellos que puedan volver al
mismo estado en un numero de etapas que sea múltiplo de un cierto numero
entero mayor que uno
Ejemplo:
Identificar los estados recurrentes y
periodicos de la siguiente cadena
Recurrentes: 1 y 3 ya que pueden
regresar a si
Periódicos: 3 cuando se pasa de 1 a
2 y de 2 a 3
Probabilidades de estado estable y tiempos de retorno medios de cadenas
ergódicas
En una matriz de transición de paso n habrá un punto en el que la matriz se
estabilice, es decir, cuando los valores de la matriz tiendan a ser los mismos
“Cuando n tiende a infinito de n probabilidades tiende a tener los mismos valores”

Tiempos del primer paso

El número de transiciones que hace el proceso al ir de un estado i a un estado j
por primera vez. Este lapso se llama tiempos de primer paso y varían según el
estado de la cadena
Bibliografía
KM Plus. (13 febrero del 2021). Cadenas de Markov [ VIDEO ] YouTube
https://www.youtube.com/playlist?list=PLIFkj_ZmeumWclqd9Jj-4UnNVdAoYqBxN