Cadenas de Markov

Mónica Castañeda Riascos

monica.castanedar@utadeo.edu.co

Septiembre 2017
Contenido
• Definición proceso estocástico
• Definición proceso Markoviano
• Matriz y diagrama de transición
• Ejercicio
• Matriz de transición de n pasos
• Probabilidades de transición absolutas
• Probabilidades de estado estable
 Proceso estocástico
Sea una variable aleatoria que caracteriza el estado
del sistema en puntos discretos en el tiempo . La
familia de variables aleatorias forma un proceso
estocástico con una cantidad finita o infinita de
estados.

Sigue
Ejemplo

El clima de Bogotá puede cambiar con rapidez de un día

a otro. La probabilidad de que mañana sea seco dado
que hoy esta seco es 0.8. La probabilidad de que
mañana sea seco dado que hoy llovió es 0.6. Estas
probabilidades no cambian si se considera el clima antes
de hoy.

Sigue
1-4
El clima se observa cada día para El estado del
sistema en el día t puede ser: 0 seco o 1 lluvioso.
Así para La variable aleatoria toma los valores:

𝑋 𝑡 ={ 𝑋 0 , 𝑋 1 , 𝑋 2 , … … . }

Es un proceso estocástico que representa

matemáticamente el clima de Bogotá.

1-5
 Proceso de Markov
Un proceso estocástico es un proceso de Markov si
un estado futuro depende sólo del estado
inmediatamente anterior. Esto significa que dados los
tiempos cronológicos , la familia de variables
aleatorias es un proceso de Markov si

Pasado Presente

Pij = P {Xt+1 = j / X0 = k0, X1 = k1,..., Xt-1 = kt-1 ,Xt = i}

Pij = P {Xt+1 = j / Xt = i} Sigue

En un proceso Markoviano con n estados
mutuamente excluyentes, las probabilidades en un
punto específico del tiempo se definen como

se conoce como probabilidad de transición en un

paso al ir del estado en el instante al estado en el
instante Por definición, tenemos:
Matriz de transición
La notación utilizada en la matriz de transición es una
forma conveniente de resumir las probabilidades de
transición en un paso:

La matriz P define una cadena de Markov.

Sigue
Ejemplo

Continuando con el ejemplo de Bogotá sabemos que

la probabilidad de que mañana sea seco dado que hoy
esta seco es 0.8. La probabilidad de que mañana sea
seco dado que hoy llovió es 0.6. La matriz de
transición sería:

0 1

•Estado 0 : No llover 0
•Estado 1 : Llover 𝑃=¿
1
1-9

1-9
Diagrama de transición
Una cadena de Markov también puede representarse
a través de un diagrama de transición. Los nodos
(círculos) son los estados mientras que las flechas
muestran las transiciones posibles de un periodo al
siguiente con la probabilidad de transición. En el
ejemplo del clima de Bogotá el diagrama de
transición sería:
Ejercicio

Un profesor de ingeniería adquiere una computadora

nueva cada dos años. El profesor puede elegir de entre
tres modelos: M1, M2 y M3. Si el modelo actual es M1,
la siguiente computadora puede ser M2 con
probabilidad .2, o M3 con probabilidad .15. Si el modelo
actual es M2, las probabilidades de cambiar a M1 y M3
son .6 y .25, respectivamente. Pero si el modelo actual
es M3, entonces las probabilidades de comprar los
modelos M1 y M2 son .5 y .1, respectivamente.
Represente la situación como una cadena de Markov
(matriz de transición y diagrama de transición).
 Matriz de transición de n pasos
Probabilidades de transición de pasos son
simplemente la probabilidad condicional de que el
sistema se encuentre en el estado j exactamente
después de n pasos (unidades de tiempo), dado que
comenzó en el estado i en cualquier tiempo t

Sigue
Ejemplo

Retomando el ejemplo de Bogotá. La matriz de transición

de 2 pasos sería:

Si el clima esta en el estado 0 (seco) en un día particular,

la probabilidad de estar en el estado 0 dos días después
es 0.76, por lo que la probabilidad de estar en el estado 1
(lluvia) es 0.24. Si el clima esta en el estado 1 ahora
(lluvia), la probabilidad de estar en el estado 0 dos días
después es 0.72 mientras que la probabilidad de estar en
el estado 1 es 0.28.
Sigue
 Las probabilidades del estado del clima tres, cuatro o cinco
días a futuro también se pueden leer de la misma forma a
partir de las matrices de transición de tres, cuatro y cinco
pasos que se calculan con tres cifras significativos a
continuación.

En la matriz de la matriz de transición de cinco pasos se

tienen las probabilidades de estado estable, son
independiente del estado del clima cinco días antes.
Ejercicio
Cada año, durante la temporada de siembra de
marzo a septiembre, un jardinero realiza una prueba
química para verificar la condición de la tierra. Según
el resultado de la prueba, la productividad en la
nueva temporada puede ser uno de tres estados: (1)
buena, (2) regular y (3) mala. A lo largo de los años,
el jardinero ha observado que la condición de la
tierra del año anterior afecta la productividad del año
actual y que la situación se describe mediante la
siguiente cadena de Markov:
• Determine las probabilidades de transición de los
estados del sistema después de 1, 8 y 16
temporadas de siembra
Vector de probabilidades iniciales
Dada la matriz de transición P de una cadena de
Markov y el vector de probabilidades iniciales

las probabilidades absolutas

después de n(>0) transiciones se calculan como sigue:

• La matriz se conoce como la matriz de transición
de n pasos
 Ejemplo
De nuevo con el caso del clima de Bogotá. Suponga que
inicialmente la probabilidad de que no llueva es 95%. Calcule la
probabilidad de que no llueva mañana, en dos, tres y cuatro días.

0.8
𝑎 = [ 0.95 0.05 ]
0

5 0.2
0.9
Estado inicial de probabilidad

0 1 0.0
5 0.6

0 0.8 0.2 0.4

𝑃=¿
1 0.6 0.4
1-19

Sigue
 0.8 Cuál es la probabilidad de
que no llueva mañana?
5 0.2
0.9 0.95*0.8 + 0.05*0.6=0.79

0.0
5 0.6 Cuál es la probabilidad de
que llueva mañana?
0.4
0.95*0.2 + 0.05*0.4
=1 - 0.79= 0.21

Por lo tanto, 𝑎 1
=[ 0.79 0.21 ]

Sigue
 2
𝑎 También se hubiera podido obtener así:

0.8 0.2
== [ 0.95 0.05 ] =
0.6 0.4

Similarmente se obtendría como:

0.8 0.2
= [ 0.79 0.21 ] =
0.6 0.4

0.8 0.2
= [ 0.7 58 0.2 42 ] =
0.6 0.4
Ejercicio
La siguiente matriz de transición es aplicable al problema
del jardinero con fertilizante

La condición inicial de la tierra es buena, es decir

Determine las probabilidades absolutas de los tres

estados del sistema después de 1,8 y 16 temporadas de
siembra.
Tenemos que:

Por lo tanto, las probabilidades iniciales son:

Note que:

• Las filas de y el vector de probabilidades absolutas

son casi idénticos. El resultado es más evidente
para . Ello demuestra que, a medida que la cantidad
de transiciones aumenta, las probabilidades
absolutas se vuelven independientes del inicial. Las
probabilidades resultantes se conocen como
probabilidades de estado estable
 Probabilidades de estado estable
Para una cadena de Markov que presente estados
recurrentes las probabilidades de estado estable se
definen como:

Sigue
Ejemplo
En el ejemplo del clima de Bogotá se formulo en la
sección dos estados (seco y lluvioso), por lo que las
ecuaciones anteriores de estado estable se
convierten en:
 Y si continuáramos encontraríamos….
=0.8
n No llueve Llueve
0 0.9500 0.0500
1 0.7900 0.2100
=0.2
2 0.7580 0.2420 1.0000

3 0.7516 0.2484 0.9000

0.8000
4 0.7503 0.2497 0.7000
5 0.7501 0.2499 0.6000

6 0.7500 0.2500 0.5000

0.4000
7 0.7500 0.2500 0.3000
8 0.7500 0.2500 0.2000

9 0.7500 0.2500 0.1000

0.0000
10 0.7500 0.2500 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14

11 0.7500 0.2500 No llueve Llueve

12 0.7500 0.2500
13 0.7500 0.2500
14 0.7500 0.2500
Ejercicio 1
Para determinar la distribución de probabilidad de
estado estable del problema del jardinero con
fertilizante:

La solución es 0.1017, 0.5254 y 0.3729; es

decir que a la larga la condición de la tierra
será buena 10% del tiempo, regular 52% del
tiempo, y mala 37% del tiempo.
Cadenas de Markov
Mónica Castañeda Riascos
monica.castanedar@utadeo.edu.co

Septiembre 2017