Procesos Markov

Procesos de Markov
Miguel Angel Méndez
September 27, 2022
Miguel Angel Méndez Procesos de Markov September 27, 2022 1 / 23

Proceso estocástico
Sea (Ω, F, P) un espacio de probabilidad, (S, S) un espacio medible, y T

un conjunto arbitrario de “parámetros” o “índices”.

Proceso estocástico
Sea (Ω, F, P) un espacio de probabilidad, (S, S) un espacio medible, y T

un conjunto arbitrario de “parámetros” o “índices”.
Definición. 1
Una familia X• = {Xt , t ∈ T } de v.a.’s Xt sobre (Ω, F, P) con valores en
S (X : (Ω, F) → (S, S)) se dice que es un proceso estocástico (PE) con
espacio de estados S y conjunto de índices T .

Clasificación de un proceso estocástico
Los PEs se pueden clasificar de varias maneras. En particular, en términos

de T y S los casos típicos son los siguientes.


Si T ⊂ R es un conjunto a lo más numerable, se dice que X• es un PE
a tiempo discreto.


a tiempo discreto.
Si T ⊂ R es un intervalo, X• es un PE a tiempo continuo.


a tiempo discreto.
Si T ⊂ Rn con n ≥ 2, X• es un campo aleatorio.


a tiempo discreto.
Si S es un conjunto a los más numerable, se dice que X• es un PE
discreto


a tiempo discreto.
discreto
Si S es “continuo”, X• es un PE continuo.


a tiempo discreto.
discreto


a tiempo discreto.
discreto
Estas clasificaciones se pueden combinar en varias formas posibles.
Por ejemplo: X• puede ser un PE discreto a tiempo continuo o discreto a
tiempo discreto.

Observación. 2
Un PE X• = {Xt , t ∈ T } se puede ver como una colección de funciones de
dos variables
X :T ×Ω→S
(t, ω) → Xt (ω) ≡ X (t, ω)

Observación. 2
dos variables
X :T ×Ω→S
(t, ω) → Xt (ω) ≡ X (t, ω)
para cada t ∈ T fijo, la función
ω 7→ Xt (ω)
es una v.a. de Ω en S;

Observación. 2
dos variables
X :T ×Ω→S
(t, ω) → Xt (ω) ≡ X (t, ω)
para cada t ∈ T fijo, la función
ω 7→ Xt (ω)
es una v.a. de Ω en S;
para cada ω ∈ Ω fijo,
t → Xt (ω)
es una función de T en S que se llama una trayectoria del PE .

Cadena de Markov
Definición. 3
Un PE X• = {Xt }t∈T , donde T = {0, 1, 2, . . .} y S es a lo mas
numerable es una cadena de Markov (CM) si satisface la propiedad
de Markov, esto es:
P(Xn+1 = y |X0 = x0 , . . . , Xn = x) = P(Xn+1 = y |Xn = x) (1)

Cadena de Markov
Definición. 3
de Markov, esto es:
La probabilidad de transición en un paso, se define como:
P(x, y ) := P(Xn+1 = y |Xn = x) (2)

Cadena de Markov
Definición. 3
de Markov, esto es:
La probabilidad de transición en un paso, se define como:
P(x, y ) := P(Xn+1 = y |Xn = x) (2)
Una CM es homogénea (en el tiempo), si la probabilidad de transición

no depende de n, es decir,
P(x, y ) = P(Xn+1 = y |Xn = x) = P(X1 = y |X0 = x)∀n = 0, 1, . . .

(3)
Matriz de transición en un paso
La matriz de transición de la CM (en un paso) la forman cada una de

la entradas Pxy , i.e.
P := [Pxy ]x,y ∈S


P := [Pxy ]x,y ∈S
La matriz P es una matriz estocástica:


P := [Pxy ]x,y ∈S
1. P(x, y ) ≥ 0 ∀x, y ∈ S


P := [Pxy ]x,y ∈S
P y ) ≥ 0 ∀x, y ∈ S
1. P(x,
2. y ∈S P(x, y ) = 1


P := [Pxy ]x,y ∈S
P y ) ≥ 0 ∀x, y ∈ S
1. P(x,
2. y ∈S P(x, y ) = 1
Dada una CM, a la v.a. X0 se le llama el estado inicial de la CM y a
π(x) := P(X0 = x) ∀x ∈ S
su distribución inicial


P := [Pxy ]x,y ∈S
P y ) ≥ 0 ∀x, y ∈ S
1. P(x,
2. y ∈S P(x, y ) = 1
Dada una CM, a la v.a. X0 se le llama el estado inicial de la CM y a
π(x) := P(X0 = x) ∀x ∈ S
su distribución inicial
Si además X• tiene matriz de transición P, entonces se dice que X• es
una CM (π, P).

Ejemplo. 1 (una caminata aleatoria.)
Sea ξ• = {ξ0 , ξ1 , . . .} una sucesión de v.a.’s i.i.d. con distribución
P(ξ0 = 1) = p, P(ξ0 = −1) = q := 1 − p. (4)
Sea Xn := ξ0 + . . . + ξn para n = 0, 1, . . .. Demuestre que X• = {X0 , X1 , . . .} es

una cadena de Markov:

P(ξ0 = 1) = p, P(ξ0 = −1) = q := 1 − p. (4)

Proof.
Nótese que Xn+1 = Xn + ξn+1 y que ξn+1 es independiente de X0 , . . . , Xn
para todo n.

P(ξ0 = 1) = p, P(ξ0 = −1) = q := 1 − p. (4)

Proof.
para todo n.De aquí se sigue la propiedad de Markov (1) porque
P(Xn+1 = y |X0 = x0 , . . . , Xn−1 = xn−1 , Xn = x)

= P(ξn+1 = y − x|X0 = x0 , . . . , Xn−1 = xn−1 , Xn = x)
= P(ξn+1 = y − x)
= P(Xn+1 = y |Xn = x). (5)

P(ξ0 = 1) = p, P(ξ0 = −1) = q := 1 − p. (4)

Proof.
para todo n.De aquí se sigue la propiedad de Markov (1) porque
P(Xn+1 = y |X0 = x0 , . . . , Xn−1 = xn−1 , Xn = x)

= P(ξn+1 = y − x|X0 = x0 , . . . , Xn−1 = xn−1 , Xn = x)
= P(ξn+1 = y − x)
= P(Xn+1 = y |Xn = x). (5)
Es decir,X• = {Xn } es una CM con espacio de estados S = {0, ±1, ±2, . . . }.

Ejemplo. 2 (Continuación caminata aleatoria)
Además, por (4) y (5), las probabilidades de transición en un paso son
P(x, y ) = P(Xn+1 = y |Xn = x) = P(ξ0 = y − x),
i.e.
p si y = x + 1,
P(x, y ) =
q si y = x − 1,

Ejemplo. 2 (Continuación caminata aleatoria)
Además, por (4) y (5), las probabilidades de transición en un paso son
P(x, y ) = P(Xn+1 = y |Xn = x) = P(ξ0 = y − x),
i.e.
p si y = x + 1,
P(x, y ) =
q si y = x − 1,
Por lo tanto, la matriz de transición de X• es una matriz infinita cuya fila
x, para cada x ∈ S, es de la forma
(0 . . . P(x, x − 1) 0 P(x, x + 1, ) 0 . . . 0)
con P(x, x − 1) = q, P(x, x + 1) = p.

Distribución de un vector aleatorio
Proposición. 4
Un PE X• = {Xn , n = 0, 1, . . .} es una CM (π, P) ssi para cualquier
n = 0, 1, . . . y x0 , . . . , xn ∈ S
P(X0 = x0 , X1 = x1 , . . . , Xn = xn ) = π(x0 )P(x0 , x1 ) · · ·P(xn−1 , xn ). (6)

Distribución de un vector aleatorio
Proposición. 4
Un PE X• = {Xn , n = 0, 1, . . .} es una CM (π, P) ssi para cualquier
n = 0, 1, . . . y x0 , . . . , xn ∈ S
P(X0 = x0 , X1 = x1 , . . . , Xn = xn ) = π(x0 )P(x0 , x1 ) · · ·P(xn−1 , xn ). (6)
Proof.
Supongamos que X• es una CM (π, P).
P(X0 = x0 , X1 = x1 , . . . , Xn = xn )
= P(X0 = x0 )P(X1 = x1 |X0 = x0 ) . . . P(Xn = xn |X0 = x0 , · · · , Xn−1 = xn−1 )
= P(X0 = x0 )P(X1 = x1 |X0 = x0 ) · · · P(Xn = xn |Xn−1 = xn−1 )
= π(x0 )P(x0 , x1 ) · · · P(xn−1 , xn ).

Continuación.
Reciprocamente si se cumple (6), sumando sobre todo xn ∈ S se obtiene.
P(X0 = x0 , . . . , Xn−1 = xn−1 ) = π(x0 )P(x0 , x1 ) · · · P(Xn−2 , xn−1 ).
Repitiendo este argumento se llega a que P(X0 = x0 ) = π(x0 ) para todo

x0 ∈ S, es decir, π es la distribución inicial de X• .

Continuación.
Reciprocamente si se cumple (6), sumando sobre todo xn ∈ S se obtiene.
P(X0 = x0 , . . . , Xn−1 = xn−1 ) = π(x0 )P(x0 , x1 ) · · · P(Xn−2 , xn−1 ).
Repitiendo este argumento se llega a que P(X0 = x0 ) = π(x0 ) para todo

x0 ∈ S, es decir, π es la distribución inicial de X• .
Finalmente, usando (6) y la definición de probabilidad condicional
P(Xn+1 = y | X0 = x0 , . . . , Xn = xn )
P(X0 = x0 , . . . , Xn = xn , Xn+1 = y )
=
P(X0 = x0 , . . . , Xn = xn )
π(x0 )P(x0 , x1 ) · · · P(xn−1 , xn )P(xn , y )
=
π(x0 )P(x0 , x1 ) · · · P(xn−1 , xn )
= P(xn , y ) = P(Xn+1 = y |Xn = xn ).

Probabilidad de transición en n pasos
Las probabilidades de transición en n pasos Pn (x, y ), se definen:
Pn (x, y ) := P(Xn = y |X0 = x) ∀n = 0, 1, . . .
con P0 (x, y ) := δ(x, y ) y P1 (x, y ) = P(x, y ).

Pn (x, y ) := P(Xn = y |X0 = x) ∀n = 0, 1, . . .

Como la CM es homogénea,
Pn (x, y ) = P(Xn+m = y |Xm = x) ∀n, m ≥ 0.

Pn (x, y ) := P(Xn = y |X0 = x) ∀n = 0, 1, . . .

Como la CM es homogénea,
Pn (x, y ) = P(Xn+m = y |Xm = x) ∀n, m ≥ 0.
Asimismo, definimos la matriz de transición de n pasos
Pn := [Pn (x, y )] ∀n = 0, 1, . . . ,
con P0 := I (la matriz identidad) y P1 := P.

La ecuación Chapman-Kolmogorov
El siguiente teorema establece, en particular, que Pn se puede calcular
multiplicando P consigo misma n veces, i.e.
Pn = P n ∀n = 0, 1, . . . (7)

Pn = P n ∀n = 0, 1, . . . (7)
Teorema. 5
Para cualquier n, m = 0, 1, . . .
Pn+m = Pn · Pm , (8)

Pn = P n ∀n = 0, 1, . . . (7)
Teorema. 5
Pn+m = Pn · Pm , (8)
i.e. X
Pn+m (x, y ) = Pn (x, z)Pm (z, y ) ∀x, y ∈ S. (9)
z∈S

Pn = P n ∀n = 0, 1, . . . (7)
Teorema. 5
Pn+m = Pn · Pm , (8)
i.e. X
Pn+m (x, y ) = Pn (x, z)Pm (z, y ) ∀x, y ∈ S. (9)
z∈S
Nótese que (8) implica (7). A la ecuación (8) o a (9) se le llama la

ecuación de Chapman-Kolmogorov.

Proof.
Calcularemos (9):
Pn+m (x, y ) := P(Xn+m = y |X0 = x)

Proof.
Calcularemos (9):
Pn+m (x, y ) := P(Xn+m = y |X0 = x)

X
= P(Xn = z, Xn+m = y |X0 = x). (10)
z∈S

Proof.
Calcularemos (9):
Pn+m (x, y ) := P(Xn+m = y |X0 = x)

X
= P(Xn = z, Xn+m = y |X0 = x). (10)
z∈S
Pero es posible verificar que: (tarea),

P(Xn = z, Xn+m = y |X0 = x) = P(Xn = z|X0 = x)P(Xn+m = y |X0 = x, Xn = z)

Proof.
Calcularemos (9):
Pn+m (x, y ) := P(Xn+m = y |X0 = x)

X
= P(Xn = z, Xn+m = y |X0 = x). (10)
z∈S
Pero es posible verificar que: (tarea),

P(Xn = z, Xn+m = y |X0 = x) = P(Xn = z|X0 = x)P(Xn+m = y |X0 = x, Xn = z)
= Pn (x, z)Pm (z, y ), (11)
Finalmente, sustituyendo (11) en (10) se obtiene (9).

Ejemplo. 3 (caminata aleatoria restringida)
Sea ξ• = {ξ0 , ξ1 , . . .} una sucesión de v.a.i.i.d con distribución
P(ξ0 = 1) = p, P(ξ0 = 0) = 1 − p =: q
Sea Xn := ξ0 + . . . + ξn para n = 0, 1, . . .. Entonces determine si el proceso

X• = {Xn } es una CM, el espacio de estados S, P(x, y ) y Pn (x, y )

P(ξ0 = 1) = p, P(ξ0 = 0) = 1 − p =: q

Proof.
Sea Xn := ξ0 + . . . + ξn para n = 0, 1, . . .. y nótese que Xn+1 = Xn +
ξn+1 . Entonces X• = {Xn } tiene espacio de estados S = {0, 1, . . .} y
probabilidades de transición

P(ξ0 = 1) = p, P(ξ0 = 0) = 1 − p =: q

Proof.
P(x, y ) = P(Xn+1 = y |Xn = x)

P(ξ0 = 1) = p, P(ξ0 = 0) = 1 − p =: q

Proof.
P(x, y ) = P(Xn+1 = y |Xn = x) = P(Xn + ξn+1 = y |Xn = x)

P(ξ0 = 1) = p, P(ξ0 = 0) = 1 − p =: q

Proof.
P(x, y ) = P(Xn+1 = y |Xn = x) = P(Xn + ξn+1 = y |Xn = x)

q y =x
= P(ξn+1 = y − x) =
p y =x +1
para todo x ∈ S. Así la matriz de transición P tiene la forma:

continuación.
0 q p 0 0 ...

1 0 q p 0 . . .
2 0
 
q p 0 . . .
3 0
 
0 q p . . .
.. · · · ····
.

continuación.
0 q p 0 0 ...

1 0 q p 0 . . .
2 0
 
q p 0 . . .
3 0
 
0 q p . . .
.. · · · ····
.
Para calcular las probabilidades de transición de n pasos (n = 2, 3, . . .) podemos
calcular P n y usar (7) para obtener Pn (x, y ).

continuación.
0 q p 0 0 ...

1 0 q p 0 . . .
2 0
 
q p 0 . . .
3 0
 
0 q p . . .
.. · · · ····
.
calcular P n y usar (7) para obtener Pn (x, y ).Sin embargo, en este ejemplo particular
es más fácil observar que Xn = X0 + Yn , en donde Yn := ξ1 + . . . + ξn es una v.a.
binomial con parámetros n y p. Luego, como X0 = ξ0 y Yn (n = 1, 2, . . .) son
independientes vemos que

continuación.
0 q p 0 0 ...

1 0 q p 0 . . .
2 0
 
q p 0 . . .
3 0
 
0 q p . . .
.. · · · ····
.
Pn (x, y ) = P(Xn = y |X0 = x) = P(X0 + Yn = y |X0 = x) = P(Yn = y − x)

continuación.
0 q p 0 0 ...

1 0 q p 0 . . .
2 0
 
q p 0 . . .
3 0
 
0 q p . . .
.. · · · ····
.
Pn (x, y ) = P(Xn = y |X0 = x) = P(X0 + Yn = y |X0 = x) = P(Yn = y − x)
Finalmente, usando el hecho de que Yn ∼ Bin(n, p) obtenemos

n
Pn (x, y ) = p y −x q n−y +x ∀y = x, x + 1, . . . , x + n; ∀x ∈ S.
y −x

La distribución de Xn
Para cada n = 0, 1, . . . , denotaremos por πn = {πn (x), x ∈ S} la distribu-
ción de Xn , i.e.
πn (x) := P(Xn = x). (12)
En particular,π0 es la distribución inicial de la CM X• = {Xn }.Interpretaremos
πn como un “vector renglón”. Se tiene entonces

La distribución de Xn
Para cada n = 0, 1, . . . , denotaremos por πn = {πn (x), x ∈ S} la distribu-
ción de Xn , i.e.
πn (x) := P(Xn = x). (12)
En particular,π0 es la distribución inicial de la CM X• = {Xn }.Interpretaremos
πn como un “vector renglón”. Se tiene entonces
Proposición. 6
πn = π0 Pn = π0 P n ∀n = 0, 1, . . . , (13)
o bien que
πn = πn−1 P ∀n = 1, 2, . . . (14)

Proof.
X
πn (y ) = P(Xn = y ) = P(X0 = x, Xn = y )
x∈S
X
= P(Xn = y |X0 = x)P(X0 = x)
x∈S
X
= π0 (x)Pn (x, y ) ∀y ∈ S,
x∈S
lo cual da (13). Por otra parte, πn = π0 P n = π0 P n−1 P = πn−1 P y se

obtiene (14).

Ejemplo: Cadena con dos estados
Sea X• = {Xn } una CM con espacio de estados S = {0, 1} y probabilidades de
transición
P(0, 1) =: p y P(1, 0) =: q,
en donde p, q y λ := 1 − p − q son números positivos. La matriz de transición P
es
0 1−p p
1 q 1−q
Demuestre que πn (x) := P(Xn = x) y la matriz de transición de n pasos satisfacen:
1.
q q
πn (0) = + λn π0 (0) − , de modo que
p+q p+q

p p
πn (1) = 1 − πn (0) = p+q + λn π0 (1) − p+q
2.
λn

1 q p p −p
Pn = + .
p+q q p p + q −q q

Distribución invariante
Definición. 7 (Distribución invariante o estacionaria)
Sea X • = {Xn } una CM (π0 , P) con espacio de estados S, y sea π ∗ =
{π ∗ (x), x ∈ S} una distribución de probabilidad sobre S, i.e.
X
π ∗ (x) ≥ 0 ∀x ∈ S, y π ∗ (x) = 1. (15)
x∈S
Decimos que π ∗ es una distribución invariante (o distribución esta-

cionaria) para X• si
π ∗ = π ∗ P, (16)
es decir X
π ∗ (y ) = π ∗ (x)P(x, y ) ∀y ∈ S. (17)
x∈S

Observación. 8
El nombre de distribución “invariante” se debe a que si la distribución
inicial de X• es π0 = π ∗ , entonces la distribución πn de Xn es π ∗ para
todo n = 0, 1, . . . . En símbolos:
π0 = π ∗ ⇒ πn = π ∗ ∀n ≥ 0. (18)
Esto se sigue de (16) y (14).

Observación. 8
π0 = π ∗ ⇒ πn = π ∗ ∀n ≥ 0. (18)

En general, una CM puede no admitir una distribución invariante.

Observación. 8
π0 = π ∗ ⇒ πn = π ∗ ∀n ≥ 0. (18)

En general, una CM puede no admitir una distribución invariante.
Por ejemplo, la CM definida como Xn+1 := Xn + 1 para todo n ≥ 0,con
X0 := 0, no admite una distribución invariante.

Ejemplo. 4
Sea X• la CM cuya matriz de transición P es

0 1−p p
1 q 1−q
Encuentre la distribución invariante, si es que existe.

Ejemplo. 5
Sea X• = {Xn , n = 0, 1, . . .} una CM cuyo espacio de estados es S un subconjunto
de Z . Decimos que X• es una cadena de nacimento y muerte (abreviado: cadena
de NM) si
P(x, y ) > 0 sólo si |x − y | ≤ 1.

Ejemplo. 5
de NM) si
P(x, y ) > 0 sólo si |x − y | ≤ 1.
Por ejemplo, supóngase que S = {0, 1, . . .} y

 qx si y = x − 1 ∀x ≥ 1, con q0 = 0,
P(x, y ) = px si y = x + 1 ∀x ≥ 0,
rx si y = x ∀x ≥ 0,


Ejemplo. 5
de NM) si
P(x, y ) > 0 sólo si |x − y | ≤ 1.

 qx si y = x − 1 ∀x ≥ 1, con q0 = 0,
P(x, y ) = px si y = x + 1 ∀x ≥ 0,
rx si y = x ∀x ≥ 0,

Donde qx (el parámetro de “muerte”), px (el parámetro de “nacimiento”) y

rx son números no-negativos y tales que px + qx + rx = 1. (Puesto que
rx = 1 − px − qx , para especificar una cadena de NM basta especificar los
parámetros px y qx .)

Ejemplo. 5
de NM) si
P(x, y ) > 0 sólo si |x − y | ≤ 1.

 qx si y = x − 1 ∀x ≥ 1, con q0 = 0,
P(x, y ) = px si y = x + 1 ∀x ≥ 0,
rx si y = x ∀x ≥ 0,

Donde qx (el parámetro de “muerte”), px (el parámetro de “nacimiento”) y

rx son números no-negativos y tales que px + qx + rx = 1. (Puesto que
rx = 1 − px − qx , para especificar una cadena de NM basta especificar los
parámetros px y qx .)
Deseamos encontrar condiciones bajo las que X• tiene una distribución invari-
ante, para lo cual supondremos que px y qx son números positivos para todo
x ∈ S, excepto q0 := 0.
Ejemplo. 6
Caso especial: parámetros de nacimiento y muerte constantes.
Supóngase que
px = p y qx = p ∀x ∈ S, excepto q0 := 0.
Determine bajo que condiciones existe una distribución invariante.

Ejercicios
1. Demuestre que si P y Q son dos matrices estocásticas de la misma
dimensión, entonces PQ también es estocástica.
2. Considere una CM de dos estados S = {0, 1}, con matriz de transición

0.2 0.8
P=
0.5 0.5

y con distribución inicial π0 = 0.6 0.4 . Determine P(X1 = 0), P(X1 =
1), P(X2 = 0) y P(X2 = 1).
3. Demuestre que si X ∈ L1 es una v.a. discreta con valores enteros
no-negativos, entonces
∞
X ∞
X
EX = P(X > n) = P(X ≥ n).
n=0 n=1
4. Todos los eventos que se mencionan a continuación pertenecen a la

misma σ-álgebra. Demuestre:
4.1 P(A1 ∩· · ·∩An |B) = P(A1 |B)P(A2 |B ∩A1 ) · · · P(An |B ∩A1 ∩· · ·∩An−1 ).
4.2 Si B1 , B2 , . . . son eventos ajenos tales que P(A|Bi ) = p para todo
i = 1, 2, . . ., entonces P(A| ∪i Bi ) = p.
P
4.3 Si A1 , A2 , . . . son eventos ajenos, entonces P(∪i Ai |B) = i P(Ai |B).
4.4 Si E1 , E2 , . . . forman una partición de Ω, entonces
X
P(A|B) = P(Ei |B)P(A|B ∩ Ei ).
i
5. Sea X• = {Xn , n ≥ 0} una CM con matriz de transición P, y sea

Yn := Xkn para algún entero k > 0. Demuestre que Y• = {Yn } es una
CM con matriz de transición P k .
6. Considere una CM finita o numerable con espacio de estados S y matriz
de transición P. Demuestre que una distribución de probabilidad π
sobre S es invariante para P ssi π(I − P + E ) = e, en donde I es la
matriz identidad, E = (eij ) es la matriz con eij = 1 para todo i, j ∈ S,
y e = (ei , i ∈ S) es el vector con ei = 1 para todo i ∈ S.
7. Sea P la matriz de transición de una CM con espacio de estados S
numerable, y sea π una distribución sobre S. Se dice que π y P están
en balance (o que satisfacen las ecuaciones de balance) si
πi P(i, j) = πj P(j, i) ∀i, j ∈ S.
Demuestre que si π y P están en balance, entonces π es invariante para

P.
8. Considérese la CM Xn = ξ0 + . . . + ξn del ejemplo en clase (el primero)

excepto que la densidad común del “ruido” {ξn } es f (k) = P(ξ0 = k)
para cualquier entero k. Calcule las probabilidades de transición.
9. (la cadena de Ehrenfest) Se tienen d esferas numeradas 1, . . . , d,

distribuidas en dos cajas marcadas 1 y 2. Sea X0 el número de esferas
en la caja 1 en el tiempo 0. En cada tiempo n = 1, 2, . . . se selecciona
al azar un número del conjunto {1, . . . , d} y la esfera marcada con
ese número se saca de la caja en que se encuentra y se coloca en la
otra caja. Sea Xn el número de esferas en la caja 1 al tiempo n. De-
muestre que {Xn } es una CM con espacio de estados S = {0, 1, . . . , d}
y probabilidades de transición

 x/d si y = x − 1
P(x, y ) = 1 − x/d si y = x + 1
0 en c.c.

Además, demuestre que:

9.1 E (Xn+1 |Xn ) = αXn + 1, con α = (d − 2)/d, y
1 1
EXn = + αn EX0 − ∀n = 0, 1, . . .
1−α 1−α
9.2 Si X0 ∼ Bin(d, 1/2), entonces X1 tiene la misma distribución que X0 .

10. Considere una CM con espacio de estados S = {0, 1, 2} y matriz de
transición  
0 1 0
P = 1 − p 0 p 
0 1 0
10.1 Encuentre P2 .
10.2 Demuestre que P4 = P2 .
10.3 Encuentre Pn para todo n ≥ 1.
11. Considere una CM con probabilidades de transición

p si y = x + 1
P(x, y ) =
1 − p si y = 0
para todo x = 0, 1, . . .. Demuestre que existe, y calcule, una distribu-
ción invariante.
12. Una cola a tiempo discreto. Considérese un sistema de espera con
un servidor. Los “clientes” o “trabajos” llegan al sistema de acuerdo
con un proceso de arribos {Y0 , Y1 , . . .}, en donde Yn es el número de
arribos en el periodo [n, n + 1) y los cuales empezarán a ser atendidos,
si el servidor está disponible, a partir del siguiente periodo. Suponga
que las v.a. Yn son i.i.d. con distribución
P(Y0 = k) = ak para k = 0, 1, . . .
En cada periodo [n, n + 1), el servidor puede atender sólo un cliente
a la vez y la “completación de servicio” es una v.a. Bernoulli Sn con
parámetro p; es decir, Sn = 1 (con probabilidad p) si se completa el
servicio, en cuyo caso el cliente servido abandona el sistema, y Sn = 0
(con probabilidad q := 1−p) si no se completa el servicio, en cuyo caso
el cliente continúa su servicio en el siguiente periodo. Supóngase que los
PEs {Yn } y {Sn } son independientes entre sí, y también independientes
del número inicial, X0 , de clientes en el sistema. Sea Xn el número de
clientes en el sistema al inicio del periodo [n, n + 1). Nótese que el PE
X = {Xn } satisface que
(
Yn si Xn = 0,
Xn+1 =
Xn + Yn − Sn si Xn > 0
Demuestre que X es una CM con valores en {0, 1, 2, . . .} y probabilidad

de transición
P(0, y ) = ay
y para x > 0:

0
 si y < x − 1,
P(x, y ) = p · a0 si y = x − 1,

p · ay −x−1 + q · ay −x si y ≥ x.

13. Suponga que {Xn , n ≥ 0} es una cadena de Markov con espacio de

estados S = {1, 2, 3} y matriz de transición
 
0.20 0.30 0.50
P = 0.10 0.00 0.90
0.55 0.00 0.45
a) Si la CM está en el estado 3 al tiempo 17, ?‘cuál es la probabilidad que

se encuentre en el estado 1 al tiempo 18?. Si la CM está en el estado 2
al tiempo 9, ?‘cuál es la probabilidad de estar en el estado 3 al tiempo
10?.
b) Si la distribución inicial de la CM es π0 = 0.1 0.4 0.5 , calcule la
distribución de X3 , i.e. π3 .
de dos estados S = {0, 1}, con distribución inicial
14. Considere una CM
π0 = 1/2 1/2 y con matriz de transición en un paso

1/3 2/3
P=
3/4 1/4
Determine
a) P(X1 = 0) y P(X1 = 1)
b) P(X5 = 1|X4 = 0) y P(X2 = 0|X1 = 0)
c) P(X3 = 0|X1 = 0) y P(X100 = 0|X98 = 0)
d) P(X1 = 1|X2 = 1, X3 = 1)
e) P(X3 = 0, X2 = 0|X1 = 0)
15. Sea Xn , n ≥ 0, una CM con dos estados S = {0, 1} y matriz de
transición en un paso
1−p p
q 1−q
donde p + q > 0. Calcule
15.1 P(X1 = 0|X0 = 0 y X2 = 0),
6 X2 ).
15.2 P(X1 =
16. Sea {Xn , n ≥ 0}, una CM. Demuestre que
P(X0 = x0 |X1 = x1 , . . . , Xn = xn ) = P(X0 = x0 |X1 = x1 ).

Procesos Markov

Cargado por

Información del documento

Título original

Derechos de autor

Formatos disponibles

Compartir este documento

Compartir o incrustar documentos

Opciones para compartir

¿Le pareció útil este documento?

¿Este contenido es inapropiado?

Copyright:

Formatos disponibles

Procesos Markov

Cargado por

Copyright:

Formatos disponibles

Procesos de Markov

Miguel Angel Méndez

September 27, 2022

Miguel Angel Méndez Procesos de Markov September 27, 2022 1 / 23

Sea (Ω, F, P) un espacio de probabilidad, (S, S) un espacio medible, y T

Miguel Angel Méndez Procesos de Markov September 27, 2022 2 / 23

Sea (Ω, F, P) un espacio de probabilidad, (S, S) un espacio medible, y T

Miguel Angel Méndez Procesos de Markov September 27, 2022 2 / 23

Los PEs se pueden clasificar de varias maneras. En particular, en términos

Miguel Angel Méndez Procesos de Markov September 27, 2022 3 / 23

Los PEs se pueden clasificar de varias maneras. En particular, en términos

Miguel Angel Méndez Procesos de Markov September 27, 2022 3 / 23

Los PEs se pueden clasificar de varias maneras. En particular, en términos

Miguel Angel Méndez Procesos de Markov September 27, 2022 3 / 23

Los PEs se pueden clasificar de varias maneras. En particular, en términos

Miguel Angel Méndez Procesos de Markov September 27, 2022 3 / 23

Los PEs se pueden clasificar de varias maneras. En particular, en términos

Miguel Angel Méndez Procesos de Markov September 27, 2022 3 / 23

Los PEs se pueden clasificar de varias maneras. En particular, en términos

Miguel Angel Méndez Procesos de Markov September 27, 2022 3 / 23

Los PEs se pueden clasificar de varias maneras. En particular, en términos

Miguel Angel Méndez Procesos de Markov September 27, 2022 3 / 23

Los PEs se pueden clasificar de varias maneras. En particular, en términos

Miguel Angel Méndez Procesos de Markov September 27, 2022 3 / 23

Miguel Angel Méndez Procesos de Markov September 27, 2022 4 / 23

para cada t ∈ T fijo, la función

Miguel Angel Méndez Procesos de Markov September 27, 2022 4 / 23

para cada t ∈ T fijo, la función

Miguel Angel Méndez Procesos de Markov September 27, 2022 4 / 23

P(Xn+1 = y |X0 = x0 , . . . , Xn = x) = P(Xn+1 = y |Xn = x) (1)

Miguel Angel Méndez Procesos de Markov September 27, 2022 5 / 23

P(Xn+1 = y |X0 = x0 , . . . , Xn = x) = P(Xn+1 = y |Xn = x) (1)

La probabilidad de transición en un paso, se define como:

P(x, y ) := P(Xn+1 = y |Xn = x) (2)

Miguel Angel Méndez Procesos de Markov September 27, 2022 5 / 23

P(Xn+1 = y |X0 = x0 , . . . , Xn = x) = P(Xn+1 = y |Xn = x) (1)

La probabilidad de transición en un paso, se define como:

P(x, y ) := P(Xn+1 = y |Xn = x) (2)

Una CM es homogénea (en el tiempo), si la probabilidad de transición

P(x, y ) = P(Xn+1 = y |Xn = x) = P(X1 = y |X0 = x)∀n = 0, 1, . . .

La matriz de transición de la CM (en un paso) la forman cada una de

Miguel Angel Méndez Procesos de Markov September 27, 2022 6 / 23

La matriz de transición de la CM (en un paso) la forman cada una de

Miguel Angel Méndez Procesos de Markov September 27, 2022 6 / 23

La matriz de transición de la CM (en un paso) la forman cada una de

Miguel Angel Méndez Procesos de Markov September 27, 2022 6 / 23

La matriz de transición de la CM (en un paso) la forman cada una de

Miguel Angel Méndez Procesos de Markov September 27, 2022 6 / 23

La matriz de transición de la CM (en un paso) la forman cada una de

Miguel Angel Méndez Procesos de Markov September 27, 2022 6 / 23

La matriz de transición de la CM (en un paso) la forman cada una de

Miguel Angel Méndez Procesos de Markov September 27, 2022 6 / 23

P(ξ0 = 1) = p, P(ξ0 = −1) = q := 1 − p. (4)

Sea Xn := ξ0 + . . . + ξn para n = 0, 1, . . .. Demuestre que X• = {X0 , X1 , . . .} es

Miguel Angel Méndez Procesos de Markov September 27, 2022 7 / 23

P(ξ0 = 1) = p, P(ξ0 = −1) = q := 1 − p. (4)

Sea Xn := ξ0 + . . . + ξn para n = 0, 1, . . .. Demuestre que X• = {X0 , X1 , . . .} es

Miguel Angel Méndez Procesos de Markov September 27, 2022 7 / 23

P(ξ0 = 1) = p, P(ξ0 = −1) = q := 1 − p. (4)

Sea Xn := ξ0 + . . . + ξn para n = 0, 1, . . .. Demuestre que X• = {X0 , X1 , . . .} es

P(Xn+1 = y |X0 = x0 , . . . , Xn−1 = xn−1 , Xn = x)

Miguel Angel Méndez Procesos de Markov September 27, 2022 7 / 23

P(ξ0 = 1) = p, P(ξ0 = −1) = q := 1 − p. (4)