Procesos de Márkov en tiempo discreto Cadenas de Márkov en tiempo discreto

Procesos Estocásticos :
Cadenas de Márkov en tiempo discreto

Nora Serdyukova
Universidad de Concepción

Procesos Estocásticos. 19/06/2020

0-1
Procesos de Márkov en tiempo discreto Cadenas de Márkov en tiempo discreto

Outline

1 Procesos de Márkov en tiempo discreto

2 Cadenas de Márkov en tiempo discreto

0-2
Procesos de Márkov en tiempo discreto Cadenas de Márkov en tiempo discreto

Outline

1 Procesos de Márkov en tiempo discreto

2 Cadenas de Márkov en tiempo discreto

1-3
Procesos de Márkov en tiempo discreto Cadenas de Márkov en tiempo discreto

Procesos de Márkov : El concepto

Los procesos estocásticos Markovianos tienen la característica que

la distribución Xn+1 sólo depende de la distribución de Xn y no
depende de {Xn−1 , Xn−2 , . . .} ni del futuro" {Xn+2 , Xn+3 , . . .}.
En otras palabras :

El estado futuro del proceso sólo depende del estado presente y no
del resto de estados pasados."

o bien,

Dado el presente, el futuro y el pasado son independientes."

1-4
Procesos de Márkov en tiempo discreto Cadenas de Márkov en tiempo discreto

Procesos de Márkov : Denición

I Un proceso {Xt : t ∈ T } es Markoviano si ∀n ∈ N y

∀t1 < t2 < . . . < tn , se verica

P{Xtn+1 ≤ xn+1 |Xt1 ≤ x1 , Xt2 ≤ x2 , . . . , Xtn ≤ xn }

= P{Xtn+1 ≤ xn+1 |Xtn ≤ xn }.

I Si las trayectorias c.s. continuas, tal proceso Markoviano se

llama difusión (Ej. : proceso de Wiener).

I Si E es discreto, la denición se simpica :

P{Xtn+1 = xn+1 |Xt1 = x1 , Xt2 = x2 , . . . , Xtn = xn }

= P{Xtn+1 = xn+1 |Xtn = xn }.

1-5
Procesos de Márkov en tiempo discreto Cadenas de Márkov en tiempo discreto

Outline

1 Procesos de Márkov en tiempo discreto

2 Cadenas de Márkov en tiempo discreto

2-6
Procesos de Márkov en tiempo discreto Cadenas de Márkov en tiempo discreto

Ejemplo

Sea {Xn : n ∈ N} un proceso aleatorio con E discreto.

Xn : estado de un auto y E = {x1 , . . . , x7 }, con

1 x1 : Todo OK.

2 x2 : Existe un problema no identicado.

3 x3 : Se identicó el problema, se está buscando su causa.

4 x4 : Se encontró la causa, se está arreglando.

5 x5 : Chequeo del auto post-reparación.

6 x6 : Revisión técnica.

7 x7 : Pérdida total de vehículo.

2-7
Procesos de Márkov en tiempo discreto Cadenas de Márkov en tiempo discreto

Probabilidad de transición

Hagamos los siguientes supuestos :

1 El auto puede estar en sólo uno de los estados x1 , . . . , x7 .

2 x1 , . . . , x7 son todos estados posibles.

I Denimos pi (n) = P(Xn = xi ) como la probabilidad de estar en

el estado i en el momento n.
I Probabilidad de transición es

pij (n) = P(Xn = xj |Xn−1 = xi ),

la probabilidad de pasar al estado j desde el estado i en el

momento n.
I En general, pij (n) 6= pji (n).

2-8
Procesos de Márkov en tiempo discreto Cadenas de Márkov en tiempo discreto

Probabilidad de transición
I Los cambios de estado de este tipo de procesos se llaman
transiciones.
I Las probabilidades de cambiar de un estado i a uno j se llaman
probabilidades de transición y se denotan pij (n).
I Se dice que el proceso {Xn : n ∈ N} es una Cadena de Markov
(en tiempo discreto) si el proceso es Markoviano (i.e. tiene la
propiedad de Markov) de tiempo discreto y con espacio de estados
discreto.
I Por lo tanto,

pij (n) = P(Xn+1 = j|X1 = k, X2 = m, . . . , Xn = i)

= P(Xn+1 = j|Xn = i).
I Cuando pij (n) = pij , las probabilidades de transición no
dependen del tiempo n, la cadena se denomina homogénea. En este
caso son procesos estacionarios.
2-9
Procesos de Márkov en tiempo discreto Cadenas de Márkov en tiempo discreto

Ejemplo de la reparación del vehículo

2-10
Procesos de Márkov en tiempo discreto Cadenas de Márkov en tiempo discreto

Ejemplo

I Sea ξ0 , ξ1 , ξ2 , . . . v.a. independientes con valores en N0 .

n
X
Xn = ξi .
i=0

I Entonces {Xn : n ∈ N0 } es una cadena de Markov, aunque

X0 , X1 , . . . no son independientes.

I Si además ξi son independientes, entonces la cadena es

hommogénea.

2-11
Procesos de Márkov en tiempo discreto Cadenas de Márkov en tiempo discreto

Máas deniciones...

I Sea pij la probabilidad de transición en una cadena homogénea.

Si pij > 0, se dice que el estado xi comunica con xj .

I En adelante, supongamos que el conjunto de estados E sea

nito.

I La matriz P = (pij ), formada por las probabilidades de

transición se denomina matriz de transición (en un paso).

2-12
Procesos de Márkov en tiempo discreto Cadenas de Márkov en tiempo discreto

IPUna matriz cuadrada A = (aij ) de orden m, tal que 0 ≤ aij ≤ 1

m
y j=1 aij = 1, se denomina matriz estocástica.

I Cualquier potencia Pn , n ≥ 1 de una matriz de transición es una

matriz estocástica.

I La matriz Pn se denomina matriz de transición en n pasos.

2-13
Procesos de Márkov en tiempo discreto Cadenas de Márkov en tiempo discreto

Ejemplo de una cadena de Markov de 3 estados

Supongamos una cadena de Markov dada por un grafo :

2-14
Procesos de Márkov en tiempo discreto Cadenas de Márkov en tiempo discreto

Ejemplo. Cont.

Entonces la matriz de transición está dada por

1 2 3
 
1 2 /3 1/3 0
P= 2 0 1 0 
3 1 /4 1/2 1/4

2-15
Procesos de Márkov en tiempo discreto Cadenas de Márkov en tiempo discreto

Teorema

I Una cadena de Markov homogénea está completamente denida

por su matriz de transición P y la distribución inicial de
probabilidades

(0)
pi = P{X0 = i}, i = 1, 2, 3, . . .

2-16
Procesos de Márkov en tiempo discreto Cadenas de Márkov en tiempo discreto

Ejemplo

Sea{Xn : n ≥ 0} una cadena de Markov de dos estados, i.e.

E = {0, 1} con su matriz de transición

0 1
 
0 0 .4 0.6
P=
1 0 .9 0.1

2-17
Procesos de Márkov en tiempo discreto Cadenas de Márkov en tiempo discreto

Ejemplo de una cadena de Markov de 2 estados

Su grafo es :

2-18
Procesos de Márkov en tiempo discreto Cadenas de Márkov en tiempo discreto

Ejemplo. Cont.
Dada una distribución inicial p (0) = (0.3, 0.7), esto es,
P(X0 = 0) = 0.3 y P(X0 = 1) = 0.7, se tiene que

P(X1 = 0; X0 = 0) = P(X1 = 0|X0 = 0) · P(X0 = 0)

(0)
= p00 · p0 = 0.4 · 0.3 = 0.12

P(X2 = 0; X1 = 1|X0 = 0)
P(X2 = 0; X1 = 1; X0 = 0) · P(X1 = 1; X0 = 0)
=
P(X0 = 0) · P(X1 = 1; X0 = 0)
= P(X2 = 0|X1 = 1)P(X1 = 1|X0 = 0)
= p10 · p01 = 0.6 · 0.9 = 0.54.

2-19
Procesos de Márkov en tiempo discreto Cadenas de Márkov en tiempo discreto

Ejemplo. Cont.

P(X0 = 0; X1 = 1)
P(X0 = 0|X1 = 1) =
P(X1 = 1)
P(X1 = 1; X0 = 0)
=
P(X1 = 1)
P(X1 = 1|X0 = 0) · P(X0 = 0)
=
P(X1 = 1)
(0)
p01 · p0 0.6· 0.3
= (1)
= = 0.72,
p1 0.25

puesto que
(1) (0) (0)
p1 = P(X1 = 1) = p01 ·p0 +p11 ·p1 = 0.6 · 0.3 + 0.1 · 0.7 = 0.25.

2-20
Procesos de Márkov en tiempo discreto Cadenas de Márkov en tiempo discreto

Teorema

(0) (0)
I Dada la distribución inicial p (0) = (p0 , p1 , . . .), la
distribución de probabilidades en el momento k está dada por

p (k) = p (0) · Pk

2-21
Procesos de Márkov en tiempo discreto Cadenas de Márkov en tiempo discreto

Ejemplo : Lluvia en Concepción

I Suponga que la probabilidad de que llueva hoy es 0.4 si durante

los últimos dos días no llovió y 0.6 si en al menos uno llovió.

I Sea Yn el clima en el n-ésimo día,  L" lluvioso y  S  soleado.

I ¾Es {Yn : n ∈ N} una cadena de Markov ?

I R. : No es markoviano, pero {Xn = (Yn−1 , Yn )} sí es

Markoviano.

2-22
Procesos de Márkov en tiempo discreto Cadenas de Márkov en tiempo discreto

I Construya la matriz de transición y calcule la distribución del

clima de un Jueves, dado que no llovió Lunes pero sí Martes.
I Denimos los estados E = {(SS), (LS), (SL), (LL)}. Se tiene la
siguiente distribución para las conguraciones de tres días :

SSL  0.4

LLL  0.6

LSL  0.6

SLL  0.6

Por tanto, la matriz de transición viene dada por :

(SS) (LS) (SL) (LL)

 
(SS) 0.6 0 0.4 0
(LS) 
 0.4 0 0.6 0 
P= 
(SL)  0 0.4 0 0.6 
(LL) 0 0.4 0 0.6

2-23
Procesos de Márkov en tiempo discreto Cadenas de Márkov en tiempo discreto

Dado que llovió Martes, es el estado (SL). Por tanto, tenemos una
distribución inicial p (0) = (0 0 1 0). Al Jueves existen dos pasos, por
lo que la distribución de la pareja (Miércoles,Jueves) estará dada
por
(SS) (LS) (SL) (LL)
2


(0 0 1 0)P = 0.16 0.24 0.24 0.36

I R. : Así, la probabilidad de que esté soleado el Jueves es

0.16 + 0.24 = 0.4 y que llueva es 0.24 + 0.36 = 0.6.

2-24
Procesos de Márkov en tiempo discreto Cadenas de Márkov en tiempo discreto

Def. La probabilidad de transición en k pasos

I Se dene la probabilidad de transición en k pasos del estado i al

j para una cadena homogénea como
(k)
pij = P(Xn+k = j|Xn = i)
= P(Xk = j|X0 = i)
Xm
= P(Xk = j; Xk−1 = l|X0 = i) ∀k ≥ 2
l=1

2-25
Procesos de Márkov en tiempo discreto Cadenas de Márkov en tiempo discreto

Teorema de Chapman-Kolmogorov

I Para una cadena homogénea se tiene que

(n)
X
1 pij = piln−k plj ∀k < n
l
2 Pn = P n−k · Pk

2-26