Cadenas de Markov

Cadenas de Markov
Dr. Fredy Humberto Troncoso Espinosa
6 de marzo de 2017
Dr. Fredy Humberto Troncoso Espinosa (UDD) Modelos Estocásticos 6 de marzo de 2017 1 / 30
Índice
1 Definiciones Previas
2 Definición de Cadena de Markov
3 Propiedad Markoviana
4 Probabilidad de Transición
5 Representaciones
6 Ejemplos
7 Ley de Probabilidad del Estado del Sistema
8 Propiedades del Largo Plazo
Índice
5 Representaciones
6 Ejemplos
Definiciones
En términos generales, una cadena de Markov, permite modelar

sistemas o procesos que evolucionan en el tiempo de una manera
probabilı́stica.
Definiciones
En términos generales, una cadena de Markov, permite modelar

sistemas o procesos que evolucionan en el tiempo de una manera
probabilı́stica.
Una cadena de Markov es un proceso estocástico que tiene la
particularidad de que las probabilidades que describen la forma en que
el proceso evolucionará a un estado futuro dependerán sólo del estado
actual en que se encuentra el proceso y, por lo tanto, es
independiente de los eventos que ocurrieron en el pasado.
Definiciones
Consideremos un proceso estocástico {xn , n ≥ 0}, a tiempo discreto,

cuyas v.a. xn toman valores en E ⊆ ℜ finito o numerable.
Definiciones

El conjunto E se denomina espacio de estados y xn = i indica que el
sistema se encuentra en el estado i ∈ E .
Definiciones

El conjunto E se denomina espacio de estados y xn = i indica que el
sistema se encuentra en el estado i ∈ E .
Sea π un vector fila de componentes πi , con i ∈ E , los cuales
representan una probabilidad del estado i. Donde:
π≥0
X
πi = 1
i∈E
Definiciones
Sea P = (pij ) una matriz que indica la transición de un estado i a

uno j con i, j ∈ E .
Definiciones

P
Pij ≥ 0, ∀i, j ∈ E y j Pij = 1 ∀i
Definiciones

P
Pij ≥ 0, ∀i, j ∈ E y j Pij = 1 ∀i
Se dice que P es una matriz estocástica.
Índice
5 Representaciones
6 Ejemplos
Definición de Cadena de Markov
Sea {xn , n ≥ 0} un proceso estocástico con valores en E , se dice que

xn es una cadena de Markov Homogénea (CMH) con probabilidad
inicial α y matriz de probabilidad de transición P si:
P[x0 = i] = α
Definición de Cadena de Markov
Sea {xn , n ≥ 0} un proceso estocástico con valores en E , se dice que

xn es una cadena de Markov Homogénea (CMH) con probabilidad
inicial α y matriz de probabilidad de transición P si:
P[x0 = i] = α
Probabilidad de que en el momento inicial 0 se esté en un estado
cualquiera i, en el tiempo 1 en el estado i1, en el tiempo 2 en el
estado i2.....
P(x0 = i, x1 = i1, x2 = i2, ..., xn = in) = α(i0) p(i0,i1) p(i1,i2) ...p(in−1,in)
∀i0, i1, i2...in ∈ E
Índice
5 Representaciones
6 Ejemplos
Propiedad Markoviana
Nos interesa calcular la probabilidad de un estado futuro dado un
conjunto de estados pasados:
P(xn+1 = in + 1/x0 = i0, x1 = i1, ..., xn = in)
P(xn+1 = in + 1/x0 = i0, x1 = i1, ..., xn = in)

Sabemos que :
P(A ∩ B)
P(A/B) =
P(B)
P(xn+1 = in + 1/x0 = i0, x1 = i1, ..., xn = in)

Sabemos que :
P(A ∩ B)
P(A/B) =
P(B)
Por lo tanto:
P(xn+1 = in + 1/x0 = i0, x1 = i1, ..., xn = in) =
P(xn+1 = in + 1/x0 = i0, x1 = i1, ..., xn = in, xn+1 = in + 1)

P(x0 = i0, x1 = i1, ..., xn = in, xn+1 = in + 1)
Considerando la ecuación 8
P(xn+1 = in + 1/x0 = i0, x1 = i1, ..., xn = in) =
α(i0) p(i0,i1) p(i1,i2) ...p(in−1,in) p(in,in+1)

α(i0) p(i0,i1) p(i1,i2) ...p(in−1,in)
Considerando la ecuación 8
P(xn+1 = in + 1/x0 = i0, x1 = i1, ..., xn = in) =
α(i0) p(i0,i1) p(i1,i2) ...p(in−1,in) p(in,in+1)

α(i0) p(i0,i1) p(i1,i2) ...p(in−1,in)
Por lo tanto
P(xn+1 = in + 1/x0 = i0, x1 = i1, ..., xn = in) =
P(xn+1 = in + 1/xn = in)
A esto llamamos propiedad Markoviana, es decir, un proceso

estocástico tiene la propiedad Markoviana si y solo si la probabilidad
condicional de cualquier evento futuro dado cualquier evento pasado y
el estado actual xn = in es independiente de los estados pasados y
solo depende del estado actual.
Índice
5 Representaciones
6 Ejemplos
Probabilidad de Transición
A la probabilidad p(in,in+1) se le llama probabilidad de transición de

un paso.

un paso.
Esta probabilidad es estacionaria, esto quiere decir que las
probabilidades de pasar de un estado a otro son en un paso, no
cambian en el tiempo, de ahı́ que hablamos de una CMH.

un paso.
Esta probabilidad es estacionaria, esto quiere decir que las
probabilidades de pasar de un estado a otro son en un paso, no
cambian en el tiempo, de ahı́ que hablamos de una CMH.
A la probabilidad pijn se le llama probabilidad de transición de n etapas
o pasos. Esta es la probabilidad de pasar de un estado i a j en n
pasos. Se debe cumplir:
pijn ≥ 0 ∀i, j ∈ E
X
pijn = 1∀i ∈ E
j∈E
Índice
5 Representaciones
6 Ejemplos
Matricial
Figura: Representación Matricial
Grafo
Figura: Representación Gráfica
Índice
5 Representaciones
6 Ejemplos
Ejemplo 1: Optimistas y pesimistas
Una encuesta separa la población en optimistas y pesimistas. De acuerdo a

un estudio estadı́stico la probabilidad de que una persona que es optimista
se transforme pesimista al año siguiente es 0,92 y la probabilidad de que
una persona que es pesimista se transforme en un optimista al cabo de un
año es 0,03. Determine la matriz de transición y el grafo asociado. ¿Cuál
es la probabilidad que al cabo de dos años una persona pesimista se
trasforme en optimista?.
Ejemplo 2:Compra de jugo
Los consumidores de jugo en la VIII Región usan tres marcas A, B, C. En Septiembre de 2015 se
hizo una encuesta en la que se entrevistó a las 8450 personas que compran jugo y los resultados
fueron los siguientes:
Suponga que las compras se hacen mensualmente. Asumiendo que este proceso estocástico es
una Cadena de Markov en tiempo discreto, donde Xn representa la marca de jugo que compra
una persona cualquiera en el mes n:
Determine el grafo y la matriz de transición de una etapa.
¿Cuál será la distribución del mercado del jugo en la VIII región en el mes de diciembre?
En diciembre, ¿Cuál es la proporción de clientes leales a sus marcas de jugo?
En el largo plazo ¿Cómo se distribuirán los cliente de jugo?
Índice
5 Representaciones
6 Ejemplos
La evolución de un sistema, posible de modelar a través de una CMH,

está completamente determinada por:
◮ La probabilidad inicial de los estados
◮ La Matriz de transición de un paso

Es decir, la evolución de un proceso estocástico markoviano solo
depende de la información contenida por el conjunto π(0), P 1 .


Es decir, la evolución de un proceso estocástico markoviano solo
depende de la información contenida por el conjunto π(0), P 1 .

Donde π0 es la probabilidad inicial de

los estados, dada por:
π(0) = π1 (0) π2 (0) · · · πm (0)
Y P1 
es la matriz de transición
de un paso, dada por:
p1,1 p1,2 · · · p1,m
 p2,1 p2,2 · · · p2,m 
1
P =  .. .. .. 
 
..
 . . . . 
pm,1 pm,2 · · · pm,m
Ası́, la probabilidad de estar en cada estado en el instante 1, π(1),
estará dada por π(1) = π(0)P 1
Y P1 
p1,1 p1,2 · · · p1,m
 p2,1 p2,2 · · · p2,m 
1
P =  .. .. .. 
 
..
 . . . . 
pm,1 pm,2 · · · pm,m
La probabilidad de estar en cada estado en el instante 2, π(2),
Y P1 
p1,1 p1,2 · · · p1,m
 p2,1 p2,2 · · · p2,m 
1
P =  .. .. .. 
 
..
 . . . . 
pm,1 pm,2 · · · pm,m
La probabilidad de estar en cada estado en el instante 2, π(2),
La probabilidad de estar en cada estado en el instante n, π(n),
estará dada por π(n) = π(n − 1)P 1
En función de π(0), P 1 , π(n), estará dada por:

π(n) = π(0)(P 1 )n
Índice
5 Representaciones
6 Ejemplos
Propiedades del Largo Plazo
Consideremos
 la siguientematriz de Markov:
0, 15 0, 45 0, 4
P =  0, 4 0, 3 0, 3 
0, 25 0, 5 0, 25
Consideremos
0, 15 0, 45 0, 4
P =  0, 4 0, 3 0, 3 
0, 25 0, 5 0, 25
P 2 estará
 dada por: 
0, 3025 0, 4025 0, 295
P2 =  0, 255 0, 42 0, 325 
0, 3 0, 3875 0, 3125
Consideremos
0, 15 0, 45 0, 4
P =  0, 4 0, 3 0, 3 
0, 25 0, 5 0, 25
P 2 estará
 dada por: 
0, 3025 0, 4025 0, 295
P2 =  0, 255 0, 42 0, 325 
0, 3 0, 3875 0, 3125
P 4 estará
 dada por: 
0, 28264 0, 40511 0, 31223
P4 = 0, 28735 0, 40497 0, 31328
0, 28331 0, 40459 0, 31209
Consideremos
0, 15 0, 45 0, 4
P =  0, 4 0, 3 0, 3 
0, 25 0, 5 0, 25
P 2 estará
 dada por: 
0, 3025 0, 4025 0, 295
P2 =  0, 255 0, 42 0, 325 
0, 3 0, 3875 0, 3125
P 4 estará
 dada por: 
0, 28264 0, 40511 0, 31223
P4 = 0, 28735 0, 40497 0, 31328
0, 28331 0, 40459 0, 31209
P 8 estará
 dada por: 
0, 282485 0, 40489 0, 312617
P8 = 0, 282486 0, 40489 0, 312617
0, 282485 0, 40489 0, 312617
Se puede apreciar que en la medida que se va un periodo más lejos la
probabilidad de llegar a un estado es independiente del estado de
partida, es decir:
lı́m p n = πj
n→∞ ij
Se puede apreciar que en la medida que se va un periodo más lejos la
probabilidad de llegar a un estado es independiente del estado de
partida, es decir:
lı́m p n = πj
n→∞ ij
Si este lı́mite existe, en el largo plazo el sistema tiende a

probabilidades de estado estable y para su obtención es posible
resolver el siguiente sistema de ecuaciones:
m
X
πj = πj pij ∀j ∈ E
i=0
m
X
πj = 1
i=0
Existencia de probabilidades de estado estable
Para determinar la existencia de estas probabilidades, es necesario

clasificar los estados como:

◮ Accesible; Comunicado; Transiente; Recurrente; Periódico; Ergódico

Para esto se define:

◮ fij (n): como la probabilidad de que el sistema entre en el estado Ej por
primera vez en el periodo n si parte de otro estado Ei .

◮ fij (n): como la probabilidad de que el sistema entre en el estado Ej por
primeraP∞ vez en el periodo n si parte de otro estado Ei .
◮ fij = n=1 fij (n): como la probabilidad de que el sistema evolucione
alguna vez al estado Ej estando actualmente en el estado Ei .
Estado accesible: Un estado Ei es accesible desde un estado Ej si la

probabilidad de evolucionar de Ei a Ej en n periodos no es nula,
pijn ≥ 0.

pijn ≥ 0.
Estado comunicado: dos estados Ei y Ej están comunicados si Ej es
accesible desde Ei y Ei desde Ej . Si dos o más estados están
comunicados, entonces se dice que pertenecen a la misma clase. Si en
la cadena existe una sola clase, entoces se dice que la cadena es
irreducible y todos los estados pueden ser alcanzados por los demás.

pijn ≥ 0.
Estado Transiente: un estado se dice que es transiente si y solo si
fii < 1, es decir no es seguro volver en algún momento al mismo
estado.

pijn ≥ 0.
Estado Transiente: un estado se dice que es transiente si y solo si
fii < 1, es decir no es seguro volver en algún momento al mismo
estado.
Estado recurrente: Un estado se dice recurrente si y solo si fii = 1, es
decir es seguro que se volverá al mismo estado en algún momento.
Existen dos tipos de estados recurrentes:

Estado recurrente positivo: un estado se dice recurrente positivo si el
tiempo esperado de la primera pasada µij es menor a infinito.

Estado recurrente nulo: un estado se dice recurrente nulo si el tiempo
esperado de la primera pasada µij tiende a infinito.

Donde µij = ∞
P
n=1 nfij (n).

Donde µij = ∞
P
n=1 nfij (n).
Un caso especial de estado recurrente es el estado absorbente donde
pii = 1.
Estado periódico: Un estado es periódico, con periodo t si un regreso

a ese mismo estado es posible en t, 2t, 3t... periodos o pasos. Si la
cadena puede encontrarse en el estado i en los tiempos t y t + 1, se
dice que el estado tiene periodo 1 o que es aperiódico. Esta es una
propiedad de clase es decir que si Ei tiene periodo t todos los estados
de la clase tiene periodo t.

Estado ergódico: un estado es ergódico, si este es recurrente positivo
y aperiódico.

y aperiódico.
Se dice que una CMH es ergódica si solo posee estados ergódicos.

y aperiódico.
Se dice que una CMH es ergódica si solo posee estados ergódicos.
En una CMH irreducible y ergódica el lı́m pijn existe.
n→∞

Cadenas de Markov

Cargado por

Información del documento

Descripción original:

Título original

Derechos de autor

Formatos disponibles

Compartir este documento

Compartir o incrustar documentos

Opciones para compartir

¿Le pareció útil este documento?

¿Este contenido es inapropiado?

Copyright:

Formatos disponibles

Cadenas de Markov

Cargado por

Copyright:

Formatos disponibles

Cadenas de Markov

Dr. Fredy Humberto Troncoso Espinosa

2 Definición de Cadena de Markov

7 Ley de Probabilidad del Estado del Sistema

8 Propiedades del Largo Plazo

2 Definición de Cadena de Markov

7 Ley de Probabilidad del Estado del Sistema

8 Propiedades del Largo Plazo

En términos generales, una cadena de Markov, permite modelar

En términos generales, una cadena de Markov, permite modelar

Consideremos un proceso estocástico {xn , n ≥ 0}, a tiempo discreto,

Consideremos un proceso estocástico {xn , n ≥ 0}, a tiempo discreto,

Consideremos un proceso estocástico {xn , n ≥ 0}, a tiempo discreto,

Sea P = (pij ) una matriz que indica la transición de un estado i a

Sea P = (pij ) una matriz que indica la transición de un estado i a

Sea P = (pij ) una matriz que indica la transición de un estado i a

2 Definición de Cadena de Markov

7 Ley de Probabilidad del Estado del Sistema

8 Propiedades del Largo Plazo

Sea {xn , n ≥ 0} un proceso estocástico con valores en E , se dice que

Sea {xn , n ≥ 0} un proceso estocástico con valores en E , se dice que

P(x0 = i, x1 = i1, x2 = i2, ..., xn = in) = α(i0) p(i0,i1) p(i1,i2) ...p(in−1,in)

∀i0, i1, i2...in ∈ E

2 Definición de Cadena de Markov

7 Ley de Probabilidad del Estado del Sistema

8 Propiedades del Largo Plazo

P(xn+1 = in + 1/x0 = i0, x1 = i1, ..., xn = in)

P(xn+1 = in + 1/x0 = i0, x1 = i1, ..., xn = in)

P(xn+1 = in + 1/x0 = i0, x1 = i1, ..., xn = in)

P(xn+1 = in + 1/x0 = i0, x1 = i1, ..., xn = in) =

P(xn+1 = in + 1/x0 = i0, x1 = i1, ..., xn = in, xn+1 = in + 1)

P(xn+1 = in + 1/x0 = i0, x1 = i1, ..., xn = in) =

α(i0) p(i0,i1) p(i1,i2) ...p(in−1,in) p(in,in+1)

P(xn+1 = in + 1/x0 = i0, x1 = i1, ..., xn = in) =

α(i0) p(i0,i1) p(i1,i2) ...p(in−1,in) p(in,in+1)

P(xn+1 = in + 1/x0 = i0, x1 = i1, ..., xn = in) =

P(xn+1 = in + 1/xn = in)

A esto llamamos propiedad Markoviana, es decir, un proceso

2 Definición de Cadena de Markov

7 Ley de Probabilidad del Estado del Sistema

8 Propiedades del Largo Plazo

A la probabilidad p(in,in+1) se le llama probabilidad de transición de

A la probabilidad p(in,in+1) se le llama probabilidad de transición de

A la probabilidad p(in,in+1) se le llama probabilidad de transición de

2 Definición de Cadena de Markov

7 Ley de Probabilidad del Estado del Sistema

8 Propiedades del Largo Plazo

Figura: Representación Matricial

Figura: Representación Gráfica

2 Definición de Cadena de Markov

7 Ley de Probabilidad del Estado del Sistema

8 Propiedades del Largo Plazo

Una encuesta separa la población en optimistas y pesimistas. De acuerdo a

2 Definición de Cadena de Markov

7 Ley de Probabilidad del Estado del Sistema

8 Propiedades del Largo Plazo

La evolución de un sistema, posible de modelar a través de una CMH,

La evolución de un sistema, posible de modelar a través de una CMH,

La evolución de un sistema, posible de modelar a través de una CMH,

Donde π0 es la probabilidad inicial de

2 Definición de Cadena de Markov

7 Ley de Probabilidad del Estado del Sistema