MARKOV CHAIN Probabilidad PDF

PROCESOS MARKOVIANOS
Una introducción
Autor: Vladimir Moreno G.

Instituto: Pontificia Universidad Javeriana
Fecha: October 29, 2019
Versión: 1.0
No es el conocimiento, sino el acto de aprendizaje, y no la posesión, sino el acto de llegar allí,

que concede el mayor disfrute.
Contents
1 Cadenas Discretas de Markov 1

1.1 Definición y propiedades . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.2 Tiempo de primer paso. Clasificación de estados . . . . . . . . . . . . . . . . 8
1.3 Distribuciones límite y estacionarias . . . . . . . . . . . . . . . . . . . . . . . 18
1.4 Ejercicios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
Capitulo 1 Cadenas Discretas de Markov
1.1 Definición y propiedades
Recordemos que un proceso estocástico es un modelo matemático para analizar experi-

mentos o fenómenos cuyos resultados se presentan en forma aleatoria. Un proceso estocástico
particular es un proceso markoviano caracterizado por la propiedad de pérdida de la memoria.
Definición 1.1. Proceso Markoviano en tiempo discreto
Sea (Xn )n∈N un proceso estocástico, en tiempo discreto, con espacio de estados S. Sea
A ⊂ S. Si
P(Xn+1 ∈ A|X0, X1, . . . , Xn ) = P(Xn+1 ∈ A|Xn ) (1.1)
entonces (Xn )n∈N se llama proceso estocástico de Markov o Markoviano en tiempo

discreto.
♣
Si el espacio de estados es contable, entonces sin pérdida de generalidad podemos suponer

que S ⊆ N; en este caso la condición de markov (1.1) se escribe de la siguiente manera
P(Xn+1 = j |Xn = i, Xn−1 = in−1, . . . , X1 = i1, X0 = i0 ) = P(Xn+1 = j |Xn = i)
para i, j, ik ∈ S, k = 0, 1, 2, . . . n − 1.
La probabilidad condicional
P(Xn+1 = j |Xn = i)
se llama probabilidad de transición de un paso del estado i al estado j y se denota de la

siguiente manera
pi j (n, n + 1) := P(Xn+1 = j |Xn = i)
Definición 1.2
Si estas probabilidades de transición en un paso, pi j (n, n + 1), no dependen de n entonces
diremos que la cadena es estacionaria u homogénea y se escribirán simplemente pi j .
♣
En este caso la presentación de todas estas probabilidades de transición de un paso, se

representan mediante una matriz cuadrada de dimensión |S| × |S|, donde en las filas se disponen
los estados y en las columnas también los estados (manteniendo el mismo orden de presentación
de los estados en filas y columnas). Las entradas de la matriz representan la probabilidad de que
la cadena cambie de un estado en un tiempo dado a otro estado en el siguiente tiempo:
1.1 Definición y propiedades –2/33–
p
 11 p12 . . . p1j . . .
p22 . . . p2j . . .
 
 p21
 . .. .. .. 

P := [pi j ] =  .. . . . 
. . . pi j . . .
 
 pi1 pi2
 . .. .. .. 

 .. . . . 

La matriz de probalidades de transición [pi j ] satisface
X
pi j ≥ 0, ∀(i, j) ∈ S × S; pi j = 1, ∀i ∈ S
j ∈S
Ejemplo 1.1 Consideremos la cadena de markov (Xn ) con espacio de estados S = {1, 2, 3} y
matriz de probabilidades de transición de un paso
1 1 1
4 2 4
P =  0 14 34 
 
0 3 1 
 
 4 4
Una representación gráfica de esta cadena finita es mediante un grafo dirigido, como el siguiente:
1 2
Definición 1.3. Grafo

a) Un grafo consiste de un conjunto no vacio, cuyos elementos se llaman vértices, y
un conjunto de lineas llamadas arcos o ejes cuyos puntos extremos son vértices.
b) Un grafo dirigido es un grafo en el cual los ejes llevan una orientación, es decir es
relevante el vértice de partida y el vértice de llegada.
c) Un grafo ponderado es un grafo en el cual los ejes tienen asociados algunos valores
(números reales) conocidos como pesos o ponderaciones.
♣
En el caso de las cadenas de markov discretas, los grafos son dirigidos y ponderados, los
pesos corresponden a las probabilidades de transición.
Teorema 1.1. Caracterización de una cadena de markov
Sea (Xn ) una cadena de markov. (Xn ) es especificada completamente mediante su matriz
de probabilidades de transición P = [pi j ]s×s y su distribución de probabilidades iniciales
(p j (0)) j ∈S
♥
En efecto:
a) Consideremos la función masa de probabilidad conjunta de las primeras realizaciones de
la cadena de Markov:
P(X0 = i0, X1 = i1, . . . , Xn = in )
entonces
P(X0 = i0, X1 = i1, . . . , Xn = in ) =P(Xn |X0 = i0, X1 = i1, . . . , Xn−1 = in−1 )P(X0 = i0, X1 = i1, . . . , Xn−1 = in−1 )
=P(Xn = in |Xn−1 = in−1 )P(X0 = i0, X1 = i1, . . . , Xn−1 = in−1 )
.. ..
. =.
P(X0 = i0, X1 = i1, . . . , Xn = in ) =P(X0 = i0 )pi0 ,i1 pi1 ,i2 . . . pin−1 ,in
es decir, la función masa de probabilidad conjunta de la cadena, depende de las probabili-

dades de transición de un paso, y de la distribución de probabilidades inicial.
b) Vamos a calcular la entrada j-ésima del vector de probabilidades al tiempo n, es decir
p j (n) := P(Xn = j)
X
p j (n) = P(Xn = j |Xn−1 = k)P(Xn−1 = k)
k ∈S
X
p j (n) = pk (n − 1)pk, j
k ∈S
es decir
(p j (n)) = (p j (n − 1))P
aplicando, iterativamente, la anterior igualdad, obtenemos:
(p j (n)) = (p j (0))P n
lo que significa que el vector de probabilidades absolutas de la cadena de markov, de-

pende de la matriz de probabilidades de transición de un paso y la distribución inicial de
probabilidades.
Ejemplo 1.2 Consideremos una CMHTD (Xn )n con espacio de estados S = {1, 2, 3} y mpt
1 0 0
 
 
P =  2 0 12 
1 
 
 
2 0 1
3 3
La probabilidad de que la cadena este en el estado 3 al tiempo n = 2 si al tiempo n = 0 estaba en

el estado 1, p13 (0, 2) = P(X2 = 3|X0 = 1), observemos que
P3
P(X2 = 3|X0 = 1) = k=1 P(X2 = 3, X1 = k |X0 = 1)
P3 P(X2 =3,X1 =k,X0 =1)
= k=1 P(X0 =1)
P3 P(X2 =3,X1 =k,X0 =1) P(X1 =k,X0 =1)
= k=1 P(X1 =k,X0 =1) P(X0 =1)
P3
= k=1 P(X2 = 3|X1 = k, X0 = 1)P(X1 = k |X0 = 1)
P3
= k=1 P(X2 = 3|X1 = k)P(X1 = k |X0 = 1)
es decir:
3
X
p13 (0, 2) = p1k pk3
k=1
que corresponde a la entrada (1, 3) de la matriz P2 , entrada que podemos obtener haciendo el
producto punto entre la fila 1 de la matriz P y la columna 3 de la matriz P, luego
p13 = 0
de manera similar encontramos que p23 = 16 .
Definición 1.4
La probabilidad de transición en n pasos, denotada por p(n)
i j , es la probabilidad condi-
cional de que la cadena partiendo del estado i visite el estado j, n pasos adelante.
pi(n)
j := P(Xn = j |X0 = i)
El caso n = 0 está definido por
1 i = j


p(n) = δi j =

ij
0 i , j


♣
De la definición se tiene que si P = [pi j ] entonces P(0) = I y P(1) = P.

Observemos que
P(Xn = j |X0 = i) = P(Xn = j, Xr = k |X0 = i)

P
k ∈S
= P(Xn = j |Xr = k, X0 = i)P(Xr = k |X0 = i)

P
k ∈S
= P(Xn = j |Xr = k)P(Xr = k |X0 = i)

P
k ∈S
esta relación entre las probabilidades de transición, de más de un paso, entre cualquier par de
estados de la cadena se llama ecuaciones de Chapman-Kolomogorov y se resumen en el siguiente
teorema.
Teorema 1.2. Ecuaciones de Chapman-Kolomogorov
Sea (Xn )n una CMHTD con mpt P = [pi j ], entonces para todo par de estados i, j se
cumple la siguiente relación convolutiva de las probabilidades de transiciones
p(n)
X (r) (n−r)
ij = pik pk j
k ∈S
para 0 < r < n

♥
Como P(1) = P entonces se sigue que P(2) = P2 e inductivamente se puede establecer que
para todo n ≥ 1, P(n) = P n , por tanto la probabilidad de transición del estado i al estado j en
n pasos, pi(n) n n
j , corresponde a la entrada i,j-ésima de la matriz P , mientras que pi j denota la
potencia n-ésima de la probabilidad de transición en un paso de i a j.
Existen dos casos particulares de especial interés en las ecuaciones de Chapman-Kolmogorov
p(n+1) pik p(n)

X
ij = kj
; Ecuaciones hacia atrás
k ∈S
pi(n+1) (n)
X
j = pik pk j ; Ecuaciones hacia adelante
k ∈S
Definición 1.5
Sea (Xn )n una CMHTD con mpt P.
i) El estado j es accesible desde el estado i si y solamente si existe n ∈ N tal que
p(n)
i j > 0.
ii) Los estados i y j se comunican si y solamente si, el estado j es accesible desde el
estado i y el estado i es accesible desde el estado j.
♣
Proposición 1.1
La relación de comunicación es una relación de equivalencia sobre S, el espacio de
estados de la CMHTD (Xn )n
♠
En efecto
a) Reflexiva: Para todo estado i se verifica p(0)
ii = 1.
b) Simétrica: Supongamos que i se comunica con j, entonces j es accesible desde i e i es
accesible desde j, por tanto j se comunica con i.
c) Transitiva: Supongamos que i se comunica con j y que j se comunica con k, entonces
(1) j es accesible desde i ⇒ existe n1 ∈ N tal que p(n 1)
ij > 0
(2) i es accesible desde j ⇒ existe n2 ∈ N tal que p(n2)
ji > 0
(3) k es accesible desde j ⇒ existe m1 ∈ N tal que p(m
jk
1)
>0
(4) j es accesible desde k ⇒ existe m2 ∈ N tal que p(m kj
2)
>0
De (1) y (3) podemos establecer por las ecuaciones de Chapman-Kolmogorov:
1 +m1 )
p(n
X (n ) (m )
ik
= pir 1 pr k 1 ≥ p(n 1 ) (m1 )
i j p jk > 0
r ∈S
por tanto k es accesible desde i
De (2) y (4) podemos establecer por las ecuaciones de Chapman-Kolmogorov:
2 +n2 )
p(m
X (m ) (n )
ki
= pkr 2 pri 2 ≥ p(m
kj
2 ) (n2 )
p ji > 0
r ∈S
por tanto i es accesible desde k
En consecuencia i y k se comunican.
Definición 1.6. Clases de comunicación

Una clase de comunicación es un subconjunto del espacio de estados de la cadena de
markov, tal que cada estado de la clse se comunica con cada uno de los otros estados de
la clase, y no existe un estado fuera de la clase que se comunique con algún estado de la
clase.
♣
Si j es un estado y C la clase de comunicación a la cual pertenece, podemos escribir C j para

representar la clase C. Por otra parte, como hermos establecido que la relación de comunicación
definida en el espacio de estados S, es una relación de equivalencia, entonces esta relación induce
de manera natural una partición del espacio de estados en clases de comunicación no vacias y
disyuntas, es decir:
S = C1 ∪ C2 ∪ · · · ∪ Cl ; C j ∩ Ci = ∅, ∀j , i
donde l representa el número de clases de comunicación.

Definición 1.7
Una propiedad de clase es una propiedad, expresada como una proposición sobre el
espacio de estados S, tal que si el estado j satisface la propiedad entonces todo estado en
la misma clase de comunicación de j satisface dicha propiedad.
♣
Definición 1.8
Sea (an ) una sucesión de números reales. Si existe un número real S tal que
lim Sn = S
n→∞
entonces la sucesión (an ) se dice sumable, con suma S. Si no existe tal número S o si este
limite es infinito, diremos que la sucesión (an ) no es sumable.
♣
Definición 1.9. Periodo

Un estado j ∈ S, es un estado de retorno sí p j j (n), para algún n ∈ Z+0 . El periodo d( j) de
un estado de retorno se define como el máximo común divisor de todas las transiciones
de retorno, es decir
d( j) := mdc{n ≥ 1 : p(n)
j j > 0}
Si d( j), entonces el estado j se llamará aperiódico, y si p(n)

j j = 0, ∀n ≥ 1, entonces se
define d( j) = 0.
♣
Ejemplo 1.3 Consideremos una CMTDH (Xn ) con espacio de estados S = {1, 2, 3, 4} y matriz
de probabilidades de transición de un paso:
1 3
 4 4 0 0

 
 1 1 0 0
P = 2 2
 

 0 1 2 0
 3 3 
1
 4 0 34 0

 
1 4
2 3
Esta cadena tiene tres clases:

X Clase 1: {1, 2}. Como el estado 1 se comunica con si mismo, p11 = 1
4 > 0, entonces
d(1) = 1, de igual manera d(2) = 1.
X Clase 2: {3}. El periodo del estado 3 es d(3) = 1 porque p33 = 3
4 >0
X Clase 3: {4}. Como podemos observar este conjunto es degenerado en el sentido que
estrictamente no constituye una clase de comunicación por cuanto el estado 4 accede a
los estados 1 y 3 pero no hay comunicación no ellos. Por definición d(4) = 0 ya que
(n)
p44 = 0, ∀n ≥ 1.
Teorema 1.3. El periodo como propiedad de clase

Sea (Xn ) una cadena de markov discreta y homogénea con espacio de estados S y matriz
de prababilidades de transición de un paso P = [pi j ]r×r . Sea j ∈ S con periodo d( j), si
i ∈ C j entonces d(i) = d( j)
♥
i) Como i ∈ C j , entonces i se comunica con j, es decir existen números enteros no negativos

n1, n2 tales que:
p(n 1) (n2 )
i j > 0, p ji > 0
entonces
1 +n2 )
p(n
ii >0
por tanto, de la definición de periodo, se tiene
d(i) divide a n1 + n2
ii) Sea m ≥ 1 tal que p(m)

j j > 0, entonces, de las ecuaciones de Chapman-Kolmogorov,
concluimos:
piin1 +m+n2 ≥ p(n 1 ) (m) (n2 )
i j p j j p ji > 0
por tanto
d(i) divide a n1 + m + n2 ⇒ d(i) divide a m
esto significa que d(i) es un divisor de todos los elementos del conjunto
{m ≥ 1 : p(m)
j j > 0}
1.2 Tiempo de primer paso. Clasificación de estados –8/33–
pero como d( j) es el máximo común divisor de {m ≥ 1 : p(m)

j j > 0}, entonces
d(i) ≤ d( j)
iii) Al considerar la relación

2 +n1 )
p(n
jj >0
un argumento similar al anterior, nos permitirá concluir que
d( j) ≤ d(i)
En resumen, d(i) = d( j).
1.2 Tiempo de primer paso. Clasificación de estados
En esta sección estudiaremos el comportamiento en el tiempo de la cadena, cuando partiendo

de un estado se quiera medir el tiempo que le toma alcanzar por primera vez otro estado o regresar
por primera vez al estado del cual partió.
Definición 1.10
Sean (Xn ) una CMTDH, con espacio de estados S y matriz de probabilidad de transición
P, A ⊂ S. El tiempo de entrada por primera vez al conjunto A, se denota por τA y se
define:
τA := min{n ≥ 1 : Xn ∈ A}
Si el conjunto {n ≥ 1 : Xn ∈ A} es vacío, entonces definimos τA = ∞.

♣
Si A = { j}, entonces escribiremos simplemente τj al tiempo de entrada por primera vez de

la cadena al estado j.
Sea ( fi(n)
j ) la distribución de probabilidad de la variable aleatoria τi j , tiempo de primera
visita al estado j iniciando la cadena en el estado i; más exactamente tenemos la siguiente
definición.
Definición 1.11
Sea
fi(n)
j := P(Xn = j, Xk , j, para k = 1, 2, . . . , n − 1|X0 = i)
la probabilidad de primer llegada al estado j, partiendo del estado i, en n pasos.

∞
fi(n)
X
fi j := j
n=1
la probabilidad que la cadena, iniciando en el estado i visite al estado j por primera vez,
en un tiempo finito.
♣
Es claro que fi(0)

j = 0.
Si la sucesión de probabilidades ( fi(n)

j ) satisface
∞
fi(n)
X
j =1
n=1
(n)
entonces ( fi j ) constituye una función masa de probabilidad de la variable aleatoria τi j , es decir
P(τi j = n) = fi(n)
j , y en este caso tendremos:
∞
n fi(n)
X
E(τi j ) ≡ µi j := j
n=1
representa el tiempo medio de que la cadena, partiendo del estado i, visite por primera vez el
estado j.
Un caso particular y especial es cuando el estado de partida, de la cadena, y el estado de
llegada son el mismo, entonces f j(n)
j se conceptualiza como la probabilidad de que la cadena
retorne por primera vez al estado j en el tiempo n. Entonces la probabilidad eventual
∞
f j(n)
X
fj j = j
n=1
nos permite establecer una clasificación de los estados.
Definición 1.12. Estados transitorios y recurrentes
Sea (Xn ) una CMTDH con espacio de estados S. Sea j ∈ S.
i) El estado j es persistente si y solo si f j j = 1.
ii) El estado j es transitorio si y solo si f j j < 1
♣
De la definición de estado recurrente deducimos que la sucesión de probabilidades ( f j(n)

j )
constituyen una función masa de probabilidad de la variable aleatoria τj j , lo cual significa que
f j(n)
j = P(τj j = n)
en este contexto tiene sentido calcular el valor esperado y la varianza de la variable aleatoria τj j :
∞ ∞
n f j(n) n2 f j(n)
X X
E(τj j ) ≡ µ j j := j ; Var(τ jj ) ≡ σ 2
jj = j − µj j
2
n=1 n=1
En el caso en que el estado j sea transitorio, entonces ( f j(n)

j )
no es una función masa de
P∞ (n)
probabilidad debido a que f j j = n=1 f j j < 1; es decir el evento “el retorno al estado j”
no es cierto, por tanto existe una probabilidad de que la cadena nunca retorne al estado j, esta
probabilidad es 1 − f j j . En este caso simbolizaremos µ j j = ∞, que sin embargo no tiene sentido
de un valor esperado.
A continuación estableceremos una relación convolutiva entre las dos sucesiones de proba-
bilidad ( fi(n) (n)
j ), (pi j ).
Teorema 1.4

Las sucesiones de probabilidad fi(n)
j
(n)
, pi j satisfacen la siguiente relacion
n
p(n) fi(k) (n−k)
X
ij = j pj j
k=0
♥
En efecto, consideremos los siguientes eventos y sus probabilidades:
A(n) (n) (n)

i j := {Xn = j |X0 = i} cuya probabilidad es P(Ai j ) = pi j
Bi(n) (n) (n)

j := {τi j = n} cuya probabilidad es P(Bi j ) = fi j
La colección de eventos (Bn ) son disyuntos dos a dos, y los eventos An y Bn son indepen-
dientes. Entonces

(n) (n) (0) (n−1) (1) (1) (n−1) (0) (n)
Ai j = Bi j ∩ A j j ∪ Bi j ∩ A j j ∪ . . . ∪ Bi j ∩ A j j ∪ Bi j ∩ A j j
Tomando probabilidad en ambos miembros de la igualdad, obtenemos:
pi(n) (n) (0) (n−1) (1)

j = fi j p j j + fi j p j j + . . . + fi(1) (n−1)
j pj j + fi(0) (n)
j pj j
es decir
n
p(n) fi(k) (n−k)
X
ij = j pj j
k=0
o equivalentemente:
n−1
fi(n) (n)
fi(k) (n−k)
X
j = pi j − j pj j
k=1
más exactamente, el algoritmo es dado recursivamente de la siguiente forma:
si n = 0




 0


si n = 1

 pi j

fi(n) =

j
p(2) − fi j p j j si n = 2


 ij



 pi(n)
 Pn−1 (k) (n−k)

 j − k=1 fi j p j j si n ≥ 3
Ejemplo 1.4 Consideremos la cadena de markov homogénea, (Xn ), con espacio de estados
S = {1, 2, 3, 4} y matriz de probabilidad de transición
1 2
 3 3 0 0

 
1 0 0 0
P=
 

 1 0 1 0
2 2 
 0 0 12 21 
 
 
a) Trazar el digrafo asociado.
b) Determinar las clases de comunicación.
c) Clasificar las clases de comunicación de acuerdo con su periodo, y transitoria o recurrente.
a) Grafo:
1 4
2 3
b) Clases de comunicación
C1 = {1, 2}; C2 = {3}; C3 = {4}
c) De acuerdo al grafo dirigido las siguientes clases de comunicación tienen las siguientes
características:
X C1 : recurrente, aperiódica.
X C2 : transitoria, aperiódica.
X C3 : transitoria, aperiódica.
Análisis de la clase C1 , a través del estado 1:
i) Periodicidad: como p(1)
11 =
1
3 > 0 entonces d(1) = 1.
ii) Recurrencia. Realizamos el algoritmo convolutivo dado en el teorema anterior.
(1) 1
f11 =
3
(2) 7 11 6 2
f11 = − = =
9 33 9 3
(1) (2)
De estos dos valores deducimos que f11 + f11 = 1
3 + 2
3 = 1, entonces el estado 1 es
recurrente, además µ11 = 1 13 + 2 23 = 5
3, es decir el tiempo medio de retorno al estado 1 es
5
3.
Análisis de la clase C2 :
i) Periodicidad: como p(1)
33 =
1
2 > 0 entonces d(3) = 1, es decir 3 y en consecuencia C2
es aperiódica.
ii) Recurrencia.
(1) 1
f33 =
2
(2) 1 11
f33 = − =0
4 22
(n)
f33 = 0 ∀n ≥ 2
De estos valores deducimos que f33 = 1

2 < 1, significando que el estado 3 es transitorio.
Con cuentas similares se comprueba que el estado 4 es transitorio.
A continuación presentaremos criterios de clasificación directamente de las probabilidades
de transición.
Consideremos las siguientes funciones generadoras de probabilidad:
∞
p(n)
X
i j z , |z| < 1
n
Pi j (z) :=
n=0
∞
fi(n)
X
j z , |z| < 1
n
Fi j (z) :=
n=0
Con las condiciones p(0) (0)

i j = δi j , fi j = 0, para todo i, j ∈ S. En el siguiente teorema establecere-
mos identidades entre este par de funciones generadoras de probabilidad.
Teorema 1.5
Las funciones generadoras de probabilidad Pi j (z) y Fi j (z) satisfacen las siguientes iden-
tidades.
i)
Pi j (z) = P j j (z)Fi j (z), ∀i, j ∈ S, i , j
ii)
Pii (z) = 1 + Pii (z)Fii (z)
♥
En efecto, como
n
p(n) fi(k) (n−k)
X
ij = j pj j
k=1
zn
entonces multiplicando por y entonces sumando, sobre n, tendremos:
∞ ∞ Xn
(n) n (k) (n−k) n
X X
pi j z = fi j p j j z
n=1 n=1 k=1
∞ X
∞
fi(k) (n−k)
X
= j pj j z k z n−k
k=1 n=k
∞ X∞
k (k) (n−k) n−k
X
= z fi j pj j z
k=1 n=k
X∞ X ∞
= p(n−k)
jj z n−k
z k (k)
fij
n=k k=1
X∞ X∞
(n) n k (k)
= pj j z z fi j
n=0 k=1
En consecuencia tendremos:
Pi j (z) − δi j = P j j (z)Fi j (z)
Por tanto, para i , j:

Pi j (z) = P j j (z)Fi j (z)
y para el caso i = j:
Pii (z) − 1 = Pii (z)Fii (z)
Proposición 1.2
Sea (Xn ) una cadena de markov en tiempo discreto y homogénea, con espacio de estados
S, i, j ∈ S.
p(n)
P∞
a) El estado j es recurrente si y solo si n=0 j j = ∞.
En este caso tendremos que
∞
p(n)
X
i j = ∞ ∀i tal que fi j > 0
n=0
p(n)
P∞
b) El estado j es transitorio si y solo si n=0 j j < ∞.
En este caso tendremos que
∞
p(n)
X
i j < ∞ ∀i
n=0
♠
Del teorema anterior tenemos:

1
Pj j =
1 − Fj j
Además
∞ ∞
p(n) p(n)
X X
jj z , |z| < 1; Fj j (z) := j j z , |z| < 1
n n
P j j (z) :=
n=0 n=0
entonces
∞ ∞
p(n) f j(n)
X X
lim− P j j = j j ; lim− Fj j = j = fj j
z→1 z→1
n=0 n=0
Luego j es recurrente si y solo si f j j = 1, en consecuencia tendremos

∞
p(n)
X
j es recurrente ⇔ f j j = 1 ⇔ jj = ∞
n=0
Ahora bien, como
n n
pi(n) fi(k) (n−k)
fi(k) (n−k)
X X
j = j pj j = fi j j pj j
k=1 k=2
entonces
∞ ∞ X
n
pi(n) p(0) p(1) fi(k) (n−k)
X X
j = ij + ij + fi j j pj j
n=0 n=2 k=2
∞ X
n
pi(0) p(1) fi(k) (n−k)
X
= j + ij + fi j j pj j
k=2 n=k
∞
X n
X
= pi(0)
j + p(1)
ij + fi j fi(k)
j p(n)
jj
k=2 n=0
P∞ (k)
Es claro que para k=2 f j j < 1, para j recurrente, y que bajo la condición fi j > 0, tendremos
que
∞
p(n)
X
ij = ∞
n=0
De manera similar se demuestra el inciso b).

Ejemplo 1.5 Tres tanques, numerados A, B y C, están compitiendo todos contra todos. El
2
tanque A tiene una probabilidad de 3 de destruir al tanque al que dispare, el tanque B tiene una
3
probabilidad de 4 y el tanque C una probabilidad de 54 . Los disparos realizados por los tanques
se hacen simultáneamente, y una vez que un tanque hasido alcanzado por un disparo, éste queda
fuera de combate. Cada tanque siempre hace fuego contra su oponente más fuerte.
Sea Xn la variable aleatoria que denota el conjunto de tanques aún en acción luego del n-ésimo
cruce de disparos.
a) Determine el espacio de estados de la sucesión (Xn ).
b) Argumente por qué esta sucesión es una cadena de Markov.
c) Determine la matriz de probabilidad de transición de un paso de esta cadena.
d) Calcular la probabilidad de que luego del segundo cruce de disparos no quede en combate
ninguno de los tres tanques.
e) Suponga que en un momento dado del combate han sobrevivido los tanques A y C,
determine la probabilidad de que luego de dos cruces de disparos el tanque sobreviviente
sea el A.
Solución
a) Espacio de estados. Como cada tanque apunta y abre fuego contra su contrictante más
fuerte, entonces podemos concluir que en un cruce de disparos no habrá disparos contra
el tanque A, a menos que uno de los tanques B o C hayan quedado fuera de combate, por
tanto no es posible que un momento dado sobrevivan los tanques B y C pero no el tanque
A. Por tanto el espacio de estados será:
S = {ABC, AC, AB, A, B, C, ∅}
b) Los valores de lavariable Xn dependerán exclusivamente de lo que pase en el previo cruce

de disparos, es decir de Xn−1 .
c) Matriz de probabilidades de transición de un paso. Inicialmente los disparos realizados
son en el siguiente orden:
C −→ B; B −→ C; A −→ C
Ahora bien, dependiendo de si el disparo es acertado o no se tendrán los siguientes casos.

Partiendo del estado ABC:
Descripción Resultado Probabilidad


C no destruye a B





P(ABC → ABC) = (1 − 54 )(1 − 34 )(1 − 23 ) =

 1
B no destruye a C Sobreviven A, B y C 60



no destruye a C

A



C no destruye a B




P(ABC → AB) = (1 − 54 ) 34 (1 − 23 ) =

 1
B destruye a C Sobrevive A y B 20



no destruye a C

A



C no destruye a B





P(ABC → AB) = (1 − 54 ) 34 23 =

 1
B destruye a C Sobrevive A y B 10



destruye a C

A



C no destruye a B





P(ABC → AB) = (1 − 54 )(1 − 34 ) 23 =

 1
B no destruye a C Sobrevive A y B 30



destruye a C

A




C destruye a B





P(ABC → AC) = 45 (1 − 34 )(1 − 32 ) =

 1
B no destruye a C Sobreviven A y C 15



 A no destruye a C




C destruye a B





P(ABC → A) = − 32 ) =

 43 1
 B destruye a C Sobrevive A 5 4 (1 5






C destruye a B




P(ABC → A) = =

 432 2
B destruye a C Sobrevive A 543 5



 A destruye a C




C destruye a B





P(ABC → A) = 54 (1 − 34 ) 23 =

 2
B no destruye a C Sobrevive A 15



 A destruye a C



Partiendo del estado AC, tenemos los cuatro casos siguientes:


C no destruye a A

P(AC → AC) = (1 − 45 )(1 − 23 ) =
 1
Sobreviven A y C 15
 A no destruye a C



C destruye a A

P(AC → C) = 45 (1 − 23 ) =
 4
Sobrevive C 15



C no destruye a A

P(AC → A) = (1 − 54 ) 23 =
 2
Sobrevive A 15
 A destruye a C



C destruye a A

P(AC → ∅) = =
 42 8
No sobrevive ninguno 53 15
 A destruye a C


Partiendo del estado AB, tenemos los cuatro casos siguientes:


 B no destruye a A

P(AB → AB) = (1 − 43 )(1 − 23 ) =
 1
Sobreviven A y B 12
 A no destruye a B



 B destruye a A

P(AB → B) = 34 (1 − 23 ) =
 1
Sobrevive B 4
 A no destruye a B



 B no destruye a A

P(AB → A) = (1 − 34 ) 23 =
 1
Sobrevive A 6
 A destruye a B



 B destruye a A

P(AB → ∅) = =
 32 1
No sobrevive ninguno 43 2
 A destruye a B


Por simplificación, de notación, enumeraremos los estados de la siguiente manera:
Estado Nuevo nombre

ABC 1
AC 2
AB 3
A 4
B 5
C 6
∅ 7
Entonces la matriz de probabilidad de transición de un paso es la siguiente:

 1 1 11 11 0 0 0 
 60 15 60 15 
 
0 1 0 2 0 4 8
 15 15 15 15 
0 0 1 1 1 0 1
 
 12 6 4 2
P = 0 0 0 1 0 0 0
 
 
0 0 0 0 1 0 0
 
 
0 0 0 0 0 1 0
 
 
0 0 0 0 0 0 1
 
d) Debemos calcular:
P(X2 = ∅|X2 = ABC)
es decir, p(2)
17 , que se obtiene como el producto de la primera fila de P y la columna siete
de P:
229
p(2)
17 = ≈ 0.1272
1800
e) Debemos calcular:
P(X2 = 4|X2 = 2)
es decir, p(2)
24 , que se obtiene como el producto de la segunda fila de P y la columna cuatro
1.3 Distribuciones límite y estacionarias –18/33–
de P:
32
p(2)
24 = ≈ 0.1422
225
1.3 Distribuciones límite y estacionarias
Ejemplo 1.6 Tres de cada cuatro camiones en la carretera son seguidos por un automóvil,
mientras que solo uno de cada cinco automóviles es seguido por un camión. ¿Qué fracción de
vehículos en la carretera son camiones?
Supongamos que quien analiza el problema se encuentra en un costado de la carretera

observando pasar vehículos y camiones, entonces tenemos las siguientes posibles situaciones:
X Si un camión pasa, entonces el siguiente carro será un automóvil con probabilidad 34 , y
será un camión con probabilidad 14 .
X Si un automóvil pasa, entonces el siguiente carro será un camión con probabilidad 15 , y
4
será un vehículo con probabilidad 5
Identificando el estado “camión” mediante 1 y el estado “vehículo” mediante 2, entonces la
matriz de probabilidad de transición de un paso será la siguiente:
1 3
4 4
P :=  
1 4

5 5
Al no tener una distribución de probabilidades iniciales, no es posible determinar como será
la distribución de carros en la carretera n transiciones (observaciones) adelante. Al elevar la
matriz P a una potencia entera podemos obtener alguna regularidad en sus entradas, para este
fin diagonalizaremos la matriz de transición. Veamos:
a) Valores propios:
1
λ1 = , λ2 = 1
20
b) Vectores propios:
 15   
− 4  1
v1 = 
  ; v2 =  
 1  1
  
   
c) Diagonalización de P:
1 3 − 15 1 − 1 0 − 4 4 
4 4
= 4
  20  19 19 
     
1 4
      4 15 

  1 1  0 1 
5 5    19 19 
d) Potencia n-ésima de P:
n
1 3 − 15 1 (−1)n ( 1 )n 0 − 4 4
4 4
 = 4 20
    19 19 
    
1 4
     4 15 

  1 1  0 1
5 5     19 19 
1.3 Distribuciones límite y estacionarias –19/33–
e) Limite cuando n → ∞:
n
1 3 − 15 1 0 0 − 4 4   4 15 
4 4
 = 4
  19 19   19 19 
=
 
lim    
n→∞  1 4
   
 1 1 0 1 
 4 15
  4 15 
  
5 5     19 19   19 19 
4 15
Observemos que 19 ≈ 0.2105, 31 ≈ 0.7895; es decir, para el observador ubicado a un lado de la
carretera el porcentaje de camiones que él observará es aproximadamente de 21.05%.
Sea (Xn ) una CMTDH con espacio de estados S = {1, 2, 3, . . . , r } en esta sección analizare-
mos el comportamiento asintótico limn→∞ Xn de la cadena. En este orden de ideas se busca
responder los siguientes interrogantes:
i) La función masa de probabilidad de Xn , es decir ρ j := P(Xn = j), existe cuando n → ∞?
ii) Bajo que condiciones de la cadena de markov existe este vector (p j ) j ∈S ?
iii) De existir el vector (p j ) j ∈S , este es único?
iv) Como calcular (p j ) j ∈S cuando este existe?
Definición 1.13. Distribución limite

Sea (Xn ) una CMTDH con espacio de estados S = {1, 2, 3, . . . , r } y matriz de probabilidad
de transición P. Una función masa de probabilidad →
−ρ := (ρ , ρ , . . . , ρ ) definida por
1 2 r
ρ j := lim P(Xn = j), ∀j ∈ S

n→∞
se llama distribución límite de la cadena.
♣
Definición 1.14. Distribución estacionaria

Sea (Xn ) una CMTDH con espacio de estados S = {1, 2, 3, . . . , r } y matriz de probabilidad
de transición P. Una función masa de probabilidad → −ρ := (ρ , ρ , . . . , ρ ) es estacionaria
1 2 r
Pr →− →−
si y solamente si ρ j = i=1 ρi pi j , es decir si ρ = ρ P.
♣
Proposición 1.3. Existencia y unicidad

Si (Xn ) es una CMTDH, irreducible entonces existe una y solamente una distribución
limite
♠
Proposición 1.4. Existencia y unicidad

Si (Xn ) es una CMTDH, irreducible y aperiódica entonces existe una y solamente una
distribución estacionaria
♠
Ejemplo 1.7 En el caso dado en el ejemplo 1.6, al inicio de esta sección, la cadena es aperiódica e
irreducible por cuanto tiene una sola de clase de comunicación. Por tanto esta cadena de markov
de dos estados tiene una única distribución estacionaria, denotémosla mediante π := (π1, π2 ),
entonces
1 3
π = 1 π + 1 π


⇒ 1 4 1 5 2
4 4
(π1, π2 ) = (π1, π2 ) 

1 4  π2 = 3 π1 + 4 π2
 
5 5  4 5
1.4 Ejercicios –20/33–
ambas ecuaciones llevan a la ecuación:

15
π2 = π1
4
Como (π1, π2 ) debe ser una función masa de probabilidad, entonces cumple:
π1 + π2 = 1
por tanto
15 4 15
π1 + π1 = 1 → π1 = ⇒ π2 =
4 19 19
Resultados que coinciden con las ya obtenidos en el ejemplo 1.6.
1.4 Ejercicios
1. Se realiza una sucesión de ensayos Bernoulli, cada uno tiene probabilidad de éxito p y de
falla 1 − p. Para la siguiente sucesión de variables aleatorias:
(Xn )∞
n=0 , donde Xn es el número total de éxitos en los primeros n ensayos.
a) Determine si la sucesión es Markoviana o no (explique). En caso de que no sea
Markoviana modifique el espacio de estados para que sea Markoviana.
b) Halle su matriz de probabilidades de transición.
c) Determine el espacio de estados y clasifique los estados.
d) Determine una distribución estacionaria de la cadena.
(Yn )∞
n=0 , donde Yn es igual a 0, 1a, 1b o 2, dependiendo de si el n-1-ésimo y el n-ésimo son
EE, EF, FE o FF respectivamente. Donde E denota éxito y F denota fracaso.
(Zn )∞
n=0 , donde Z n es el número total de fracasos en el n-1-ésimo y el n-ésimo ensayo.
(Tn )∞
n=0 , donde Tn es igual a 0 si el n-1-ésimo y el n-ésimo ensayo son éxito y es igual a 1
en el resto de casos.
n=0 , donde Un = 0 si el n-ésimo ensayo es éxito o Un = k si el n-éimo ensayo es

(Un )∞
fracaso y el último éxito fue obtenido en el ensayo (n-k)-ésimo. Es decir, Un es el número
acumulado de fracasos desde el último éxito.
n=0 , donde Vn = i si el n-ésimo éxito ocurre en el ensayo i-ésimo.

(Vn )∞
7. El siguiente experimento es realizado con dos urnas A y B, conteniendo un total de N
bolas. Sea Xn el número de bolas en la una A exactamente después de la n-ésima etapa.
Demostrar que (Xn )∞
n=0 es una Cadena de Markov y hallar su matriz de probabilidad de
transición.
A) En cada etapa, una bola es igualmente probable de seleccioanrse de entre las N
bolas. Esta es entonces colocada en la urna A con probabilidad p o en la urna B con
probabilidad 1 − p.
B) En cada etapa, se selecciona primero una urna con probabilidad proporcional a su
contenido, es decir si Xn = i entonces la urna A es seleccionada con probabilidad
i
N. Una bola es entonces tomada de la urna A con probabilidad p o de la urna B con
probabilidad 1 − p. La bola es entonces colocada en la urna seleccionada.
C) Para cada etapa, una urna es seleccionada con probabilidad proporcional asu con-
tenido. Una bola es igualmente probable de ser seleccionada de entre las N bolas.
La bola tomada es colocada en la urna seleccionada.

8. Dos urnas A y B, contienen un total de 2N bolas. En cada etapa, una bola es igualmente
probable de ser seleccionada de entre las 2N bolas. Esta es entonces colocadaen la otra
urna. Sea Xn el número de bolas en la urna A inmediatamente después de la n-ésima etapa.
a) Muestre que (Xn )∞
n=1 es una Cadena de Markov.
b) Halle su matriz de probabilidad de transición.
9. N bolas negras y N bolas blancas se distribuyen en dos urnas A y B, cada una conteniendo
N bolas. En cada etapa se selecciona aleatoriamente una bola de cada urna. La bola
tomada de la urna A se coloca en la urna B y la bola tomada de la urna B se coloca en la
urna A.
a) Muestre que el número de bolas blancas en la urna A es una Cadena de Markov.
b) Halle su matriz de probabilidad de transición.
10. Una urna contiene cuatro bolas, o bien blancas o bien negras. Se selecciona al azar una
bola de la urna, si ésta es negra entonces con probabilidad 1 − p es retornada a la urna y
con probabilidad p se retorna una bola blanca en su lugar. Si la bola extraída es blanca
entonces como un evento seguro la bola blanca se retorna a la urna. Este procedimiento se
repite indefinidamente. Sea Xn la variable aleatoria “número de bolas blancas en la urna”
después de la n-ésima extracción de una bola negra.
a) Demuestre que (Xn )∞
b) Encuentre la matriz de probabilidad de transición de esta Cadena de Markov.
11. Una urna contiene cuatro bolas, o bien blancas o bien negras. Se selecciona al azar una
bola de la urna, si ésta es negra entonces con probabilidad 1 − p es retornada a la urna y
con probabilidad p se retorna una bola blanca en su lugar. Si la bola extraída es blanca
entonces como un evento seguro la bola blanca se retorna a la urna. Este procedimiento
se repite indefinidamente.
Sea Yn la variable aleatoria “número de bolas blancas” en la urna después de la n-ésima
extracción de una bola, ya sea blanca o negra.
i) Demuestre que (Yn )∞
ii) Encuentre la matriz de probabilidad de transición de esta Cadena de Markov.
iii) Determine el espacio de estados y clasifique los estados.
iv) Determine una distribución estacionaria de la cadena.
12. Una urna contiene tres bolas rojas y tres bolas azules. Un par de bolas es repetidamente
tomadas en forma aleatoria. Si este par tiene una bola roja y una bola azul entonces dos
bolas verdes son colocadas en la urna a cambio de éstas, de otra manera estas dos bolas
son retornadas a la urna. Sea Rn la variable aleatoria “número de bolas rojas” en la urna
después de la n-ésima extracción.
a) Demuestre que (Rn )∞
13. Se lanzan bolas una a la vez y deben caer en una de k celdas con igual probabilidad. Sea
Xn la variable aleatoria “Número de celdas ocupadas” después del n-ésimo lanzamiento.
a) Demuestre que (Xn )∞
14. Suponga que cada animal es clasificado de acuerdo al par de genes que este lleva en una
posición en los cromosomas, y que el gen es a o b. Asi cada animal debe tener uno de
los siguientes pares de genes, que son llamados genotipos: aa, ab o bb (ab es los mismo
que ba). Si dos animales son apareados entonces existirán seis posibles combinaciones
de genotipos: (aa, aa), (aa, ab), (ab, ab), (ab, bb), (aa, bb) y (bb, bb). Supongamos que el
genotipo de la descendencia es una combinación de un gen seleccionado aleatoriamente
del padre y de uno de la madre.
a) Halle la probabilidad de que el genotipo de la descendencia sea aa, ab o bb
b) Considere el caso de máxima consanguinidad, que consiste en que dos animales son
apareados, y de su descendencia dos animales de diferente sexo escogidos aleatori-
amente son apareados., Este proceso continúa indefinidamente. Halle la matriz de
probabilidad de transición para los pares de genotipos de una generación a otra.
c) Especifique con precisión la Cadena de Markov que da lugar a la matriz de proba-
bilidad de transición hallada en el numeral anterior.
15. Sea (Xn )∞
n=0 una sucesión de variables aleatorias discretas, independientes e idénticamente
distribuidas, con función masa de probabilidad:
P(X = j) = p j ; para todo j = 0, 1, 2, 3, . . .
Determine si sí o no la siguientes sucesión de variables aleatorias forman una Cadena de

Markov, y en caso de que lo sea especifíque su matriz de probabilidad de transición.
n
X
n=0,
(Sn )∞ donde Sn := Xi
i=1
16. La peatonal de un pueblo tiene 6 cuadras de largo, que van de norte a sur. Un individuo
está con ganas de deambular y pasar el tiempo, y como tiene una moneda legal, se le ocurre
lanzarla y caminar una cuadra hacia el norte si sale cara o una cuadra hacia el sur si sale
sello. Y continúa este juego hasta salir de la peatonal, ya sea hacia el norte o hacia el
sur. En este caso, se puede pensar que los estados son S = {0, 1, 2, 3, 4, 5, 6}, donde 0 es la
esquina sur donde empieza la peatonal y 6 es la esquina norte, y las esquinas intermedias
se numeran del 1 al 5.
a) Determine la matriz de probabilidades de transición de esta cadena.
b) Si el individuo inicia su recorrido en toda la mitad de la peatonal, cuanto tiempo en
promedio le toma llegar a la esquina sur o a la esquina norte?
c) Cuántas veces pasará por la esquina 4?
d) Supongamos que el individuo decide no terminar el juego, y en cambio seguir
paseando por la peatonal, volviendo una cuadra para atrás cada vez que llega a la
esquina norte o a la esquina sur. Determine la nueva matriz de probabilidad de
transición.
17. En una urna A se colocan dos bolas blancas, mientras que en una urna B se colocan cuatro
bolas rojas. A cada paso del proceso se selecciona al azar una bola de cada urna y se
intercambian.
a) Encuentre la matriz de probabilidades de transición.
b) Determine la diagonalización de la mpt.
c) Cuál es la probabilidad de encontrar dos bolas rojas en la urna A luego de tres pasos?
d) Cuál es la probabilidad de encontrar dos bolas rojas en la urna A luego de n pasos?
2
18. Cada segundo una bacteria tiene probabilidad 3 de reproducirse dividiéndose en dos. Si
el número de bacterias n es mayor o igual a 4, la falta de alimento produce una gran
mortalidad, solo logra sobrevivir una bacteria y la población vuelve a n = 1. Analizando
el proceso como una cadena de Markov:
a) Escribir la matriz de transición.
b) Encontrar el estado estacionario.
c) Si inicialmente tenemos 2 bacterias, cuál es el estado del sistema 2 segundos después?
d) Si se modifica el problema diciendo que cada segundo las bacterias tienen además
cierta probabilidad β de morir, cuál es el estado estacionario y qué características
tiene? (en este caso no es necesario hacer cuentas, pero si debe argumentarse
satisfactoriamente)
19. Sea (Xn )∞
P(X = j) = p j ; para todo j = 0, 1, 2, 3, . . .
Determine si sí o no la siguiente sucesión de variables aleatorias es una Cadena de Markov,

y en caso de que lo sea especifíque su matriz de probabilidad de transición.
n=0, donde Mn := Max{X1, X2, . . . , Xn }

(Mn )∞
20. Sea (Xn )∞

P(X = j) = p j ; para todo j = 0, 1, 2, 3, . . .
Determine si sí o no la siguiente sucesión de variables aleatorias es una Cadena de Markov,

y en caso de que lo sea especifíque su matriz de probabilidad de transición.
n=0, donde mn := min{X1, X2, . . . , Xn }

(Mn )∞
21. Sea (Xn )∞

n=0 una sucesión de variables aleatorias independientes e idénticamente dis-
tribuidas, tomándo valores en {0, 1, 2, 3, 4}, con función masa de probabilidad:
P(X = j) = p j , para j = 0, 1, 2, 3, 4
Sea (Yn )∞
n=0 la sucesión de variables aleatorias definida por:
si n = 0

 0,

Yn =

 (Yn−1 + Xn−1 ) mod 5, si n = 1, 2, . . .


Halle la matriz de probabilidad de transición de esta Cadena de Markov.
22. Sea (Xn )∞
n=0 una sucesión de variables aleatorias, donde Xn corresponde a la suma de
los resultados de n lanzamientos de un dado legal. Sea (Yn )∞
n=0 la sucesión de variables
aleatorias definida por:
Yn = Xn, mod 8
Halle la matriz de probabilidad de transición de la Cadena de Markov (Yn )∞

n=0
23. Supongamos que el clima de hoy depende de las condiciones climáticas de los dos anteri-
ores dias. Supongamos que lloverá hoy con probabilidad 0.7, si se da que llovió los dos
días anteriores. Si llovió solo ayer, pero no anteayer, lloverá hoy con probabilidad 0.5. Si
llovió hace dos días, pero no ayer, entonces la probabilidad de que llueva hoy es de 0.4.
Finalmente, si los últimos dos días estuvieron sin lluvia, lloverá hoy con probabilidad 0.2.
a) Escriba la proposición: “Lloverá hoy con probabilidad 0.7, si llovió los días previos”,
en una proposición matemática que involucre probabilidades del proceso (Xn )∞
n=0
(claramente debe especificar qué es Xn ).
b) Por qué el proceso (Xn )∞
n=0 no es una cadena de markov?
c) Considere el proceso (Yn )∞
n=0 definido por
si Xn−1 = 1 y Xn = 1




 0


si Xn−1 = 0 y Xn = 1

1

Yn =

2 si Xn−1 = 1 y Xn = 0






si Xn−1 = 0 y Xn = 0

3


Demuestre que (Yn )∞
n=0 es una cadena de markov. Determine el espacio de estados,
la matriz de probabilidades de transición y clasifique los estados.
24. Usted repetidamente lanza un dado legal. Sea Xn la variable aleatoria “resultado del
n-ésimo lanzamiento”, y se Mn el máximo valor de los primeros n lanzamientos.
a) Demuestre que (Mn )∞
n=0 es una cadena de markov.
b) Halle el espacio de estados de (Mn )∞
n=0 .
c) Determine la matriz de probabilidades de transición de (Mn )∞
n=0 .
d) Clasifique los estados de esta cadena.
e) Sea T la variable aleatoria “primera vez que 6 aparece”, es decir
 min{n : Mn = 6} en caso de que {n : Mn } , ∅



T=

∞ en caso de que {n : Mn } = ∅


Determine la distribución de probabilidades de T.
25. En cierta ciudad diariamente se liberan contaminantes a la atmósfera, provenientes prin-
cipalmente del uso de vehículos y de plantas industriales. La autoridad correspondiente
monitorea diariamente la calidad del aire en la ciudad, y según la concentración de con-
taminantes distingue 3 estados de alerta ambiental: normal (N), pre-emergencia (P) y
emergencia (E). Se ha podido determinar que la evolución del estado de alerta obedece a
una cadena de Markov. Por simplicidad se asumirá que las probabilidades de transición
dependen sólo del número de vehículos que circulan por las calles de esta ciudad cada
día (las plantas industriales pueden ser modeladas como un conjunto de vehículos). Si
en un día normal circulan por la ciudad z vehículos entonces la probabilidad que el día
siguiente sea también normal vale 1 − F(z), y la probabilidad que el día siguiente sea de
pre-emergencia es F(z). Si en un día de pre-emergencia circulan z vehículos entonces el
día siguiente será normal con probabilidad 1 − F(z) o emergencia con probabilidad F(z).
Si en un día de emergencia circulan z vehículos entonces el día siguiente puede repetirse
el estado de emergencia, lo que ocurre con probabilidad F(z), o bien pasar a estado de pre-
emergencia, con probabilidad 1 − F(z). La función F es continua, estrictamente creciente
y satisface F(0) = 0, limx→∞ F(x) = 1. La autoridad ha tomado las siguientes medidas
para combatir la contaminación: en los días de pre-emergencia se prohíbe circular a una
fracción 1 − α de los vehículos de la ciudad. En los días de emergencia la medida se hace
más drástica, prohibiéndose la circulación de una fracción 1 − β de los vehículos de la
ciudad, β < α. Asuma que en esta ciudad hay un parque automotor de x vehículos y que
cada día salen a circular todos aquellos a los que la autoridad no se los prohíbe.
a) Muestre el grafo asociado a la cadena de Markov que describe la evolución del
estado de alerta ambiental en la ciudad. Justifique la existencia de probabilidades
estacionarias y calcúlelas.
b) Suponga que usted posee un automóvil. En promedio, qué fracción de los días del
año puede usar su automóvil para desplazarse por la ciudad?. Asuma que cuando la
autoridad prohíbe el uso de una parte de los vehículos lo hace de manera que todos
los vehículos tienen la misma probabilidad de ser afectados por la medida.
c) Suponga que por cada vehículo que deja de circular el ingreso per cápita para los
habitantes de esta ciudad se reduce en $A (asociado a una caída en la producción, y
también a mayores incomodidades y costos de transporte por menor disponibilidad
de vehículos tanto para transporte público como particular). Además, por cada
día que respira el aire de la ciudad en estado de pre-emergencia o emergencia una
persona percibe un empeoramiento de su salud que se puede cuantificar en $B y $C,
respectivamente. Formule el problema que debe resolver el gobierno para escoger
los parámetros α y β.
d) Usted, como muchos ciudadanos sin conciencia ambiental, esté evaluando la posi-
bilidad de comprar un segundo auto. En caso de comprarlo, qué fracción de los
días del año podrá usar alguno de sus automóviles para desplazarse por esta ciudad?.
Asuma que agregar ese vehículo tiene un efecto despreciable sobre las probabilidades
calculadas en los puntos anteriores (el parque vehicular es muy grande).
e) Suponga ahora que muchas personas compran un segundo auto, con el insano
propósito de usar auto para desplazarse mientras uno de los dos que posee tenga
permiso para circular, y asuma que cuando usan uno de sus autos dejan el otro esta-
cionado en sus respectivas casas. Vale para cada una de estas personas el resultado
calculado en el punto anterior?. Indique dónde se deberían hacer cambios al modelo
para esta nueva situación.
26. En un pequeño centro hospitalario se tiene la urgencia de instalar equipos nuevos. Estos
equipos son muy costosos y se deben manejar con mucho cuidado por lo que se necesita que
el establecimiento esté vacío al momento de la instalación. Actualmente hay M pacientes
en el centro, y con el fin de poder proceder a la instalación no se recibirán más pacientes
hasta que ésta se realice. Cada mañana un doctor evalúa la condición de los pacientes
para ver si son dados de alta. Se ha determinado que cada paciente tiene una probabilidad
p de estar rehabilitado y salir del centro y una probabilidad 1 − p de seguir internado,
independiente de lo que ocurra con los demás pacientes. Nadie puede ingresar al centro
hasta después de instalados los equipos.
a) Muestre que el sistema descrito puede ser modelado como una cadena de Markov en
tiempo discreto, dibuje el grafo correspondiente, identifique las clases y clasifique
sus estados.
b) Si el sistema tiene inicialmente M pacientes, cuál es la probabilidad que algún día
tenga M − 1?
c) Cuál es la probabilidad que algun día se puedan instalar los equipos?
27. Un hotel opera en una pequeña ciudad llamada Barichara,un lugar de gran atractivo
turístico. Cada tarde puede llegar un nuevo cliente solicitando una habitación, lo cual
ocurre con probabilidad p, o bien puede no llegar ninguno, con probabilidad q = 1 − p.
Una fracción α de los clientes se queda en el hotel solo una noche (llegan una tarde y se van
en la mañana siguiente), mientras que una fracción β = 1 − α, decide quedarse una noche
más disfrutando del hermoso paisaje (es decir, llegan una tarde y se van en la mañana del
día subsiguiente). Nadie pasa más de dos noches en el hotel.
a) Cuál es el máximo número de habitaciones que pueden estar ocupadas simultánea-
mente?
b) Modele el estado de ocupación del hotel para cada noche (cuántas habitaciones están
ocupadas) como una cadena de Markov. Defina adecuadamente los estados, e indique
las probabilidades de transición entre ellos. Justifique la existencia de probabilidades
estacionarias y calcúlelas.
c) Suponga que el hotel le cobra a sus clientes $A por la primera noche de estadía y $B
por noche adicional (B < A). Cuál es el valor esperado del ingreso por noche, en el
largo plazo?; Cuál es el número promedio de habitaciones ocupadas?.
d) Suponga que el día que un cliente llega al hotel se le regala un mapa de la zona y un
pequeño objeto de artesanía típica del lugar (con el logo del hotel), y se le ofrece una
bebida por cuenta de la casa. Todo lo anterior tiene un costo de $C. Qué relación
deben cumplir A, B y C para que el hotel pueda financiarse en el largo plazo?.
28. Un individuo posee r paraguas, que usa para ir caminando de su casa a la oficina y
viceversa. Si él está en su casa al comienzo del día y está lloviendo, entonces, si al menos
hay un paragua en la casa, él tomará uno para ir a su oficina. Análogamente, si él está en
su oficina, tomará uno para ir a su casa (en caso de que haya algún paraguas en su oficina).
Si no está lloviendo no toma ningún paraguas. Suponga, que independiente del pasado,
llueve al comienzo (final) del día con probabilidad p.
a) Defina una cadena de Markov que permita determinar que proporción del tiempo el
individuo se moja.
b) Determine el espacio de estados
c) Suponga que existe una transición cada vez que el individuo cambia de lugar (de la
casa a la oficina o viceversa), determine la matriz de probabilidades de transición.
d) Determine una distribución de probabilidades estacionarias, ¿es única?
e) Qué fracción del tiempo (porcentaje de caminatas) el individuo se moja?
29. Un virus puede existir en N cepas diferentes, numeradas de 1 a N. En cada generación, el
virus muta con probabilidad α, 0 < α < 1, a otra cepa que se elige al azar con la misma
probabilidad.
a) Calcule el número promedio de generaciones que se requieren para hallar el virus,
nuevamente, en la misma cepa.
Para los dos siguientes numerales, asuma que N = 4 y que α = 32 .
b) Calcule la probabilidad que la cepa en la sexta generación del virus sea la misma que
en la primera.
c) Asumiendo que el virus se encuentra, inicialmente, o bien en la cepa 1 o bien en
la cepa 4, calcule la probabilidad que el virus nunca exista en las cepas dos y tres,
curante las primeras seis generaciones.
30. Supongamos que el tamaño de una población permanece constante de generación en
generación; el tamaño es igual a N. Se modela la dinámica de un gen en particular en esta
población. Supongamos que el gen tiene dos alelos, A y a. Por lo tanto, los genotipos
individuales son AA, Aa o aa. Considere la variable aleatoria Xn que denota el número de
alelos A en la población en la generación n, n = 0, 1, . . . ,. Entonces Xn ∈ {0, 1, 2, . . . , 2N }.
Supongamos un apareamiento aleatorio de individuos asi que los genes en la generación
n + 1 son hallados mediante muestreo con reemplazo de los genes en la generación n.
Entonces, la probabilidad de transición de un paso tiene una distribución de probabilidad
Xn
binomial con la probabilidad de éxito 2N , es decir si Xn = i entonces la probabilidad de
i
transición de un paso es la fmp binomial Bin(2N, 2N ).
a) Determine el espacio de estados.
b) Determine la formula para pi j . Escriba con palabras lo que esta probabilidad repre-
senta.
c) Demuestre que los estados 0 y 2N son absorbentes y que el resto de estados son
transitorios.
d) Dado que Xn = k, demuestre que el valor esperado de Xn+1 satisface
E(Xn+1 ) = E(Xn+1 |Xn = k) = k
e) Determine una distribución de probabilidades estacionaria para esta cadena, en caso

de existir, o justifique por qué no existe.
31. Considere una población con solo dos individuos que en cada generación producen dos
nuevos individuos y después mueren (el tamaño de la población es, por tanto, constante e
igual a dos). Cada individuo porta dos genes que determinan el color de los ojos. Ambos
genes pueden ser recesivos, los dos dominantes o tener un gen recesivo y uno dominante.
Llamaremos
X := gen dominante, Y := Gen recesivo
Cada uno de los padres transmite a sus descendientes un sólo gen. Además, es igualmente
probable que se transmita cualquiera de los dos genes que porta el progenitor a sus
descendientes.
a) Defina una cadena de Markov donde el estado del sistema sea la cadena genética de los
dos individuos de la población. Dibuje el grafo asociado y calcule las probabilidades
de transición.
b) Defina las clases, los tipos de estados en cada clase y su correspondiente periodo.
c) Cuál es la probabilidad que, en el largo plazo, solamente hayan individuos con genes
recesivos si originalmente se parte con dos individuos idénticos con carga genética
(X,Y )?
32. Suponga que al inicio de cada periodo, cada uno de los N individuos de una población
pueden encontrarse en 3 condiciones de salud distintas: S: Sano, I: Infeccioso, y J:
Infectado.
En cada periodo se forman N/2 parejas al azar (suponga N es par), cada una de las cuales
puede mantener un contacto peligroso con probabilidad p (independiente de lo que hagan
las demás). Al final del período todas las parejas se desarman pudiéndose formar otra vez.
Si una pareja que mantuvo un contacto peligroso está formada por un individuo que está
Sano y por uno Infeccioso, quien estaba sano contraerá la enfermedad pasando a estar
Infeccioso al inicio del siguiente periodo. Un individuo Infeccioso permanece en ese
estado durante solo un periodo después de lo cual pasa a ser un individuo Infectado.
Los individuos Infectados nunca abandonan esta condición, bajo la cual no pueden conta-
giar a nadie durante un contacto peligroso, y la que los hace inmunes a un nuevo contagio
(porque ya tiene anticuerpos en su organismo).
a) Considere a un individuo particular de esta población, que actualmente se encuentra
sano. Si hay i individuos infecciosos, cuál es la probabilidad de que este individuo
se contagie durante el siguiente período?. Llame a esta probabilidad qi .
b) Si consideramos Xt como el número de individuos infecciosos al inicio del período t,
es posible modelar la situación descrita utilizando cadenas de Markov con Xt como
variable de estado?.
c) Considere Xt , y Yt como el número de individuos infecciosos y sanos, respecti-
vamente, al inicio del período t. Modele la situación descrita como una cadena
de Markov. Clasifique los estados, caracterice las clases y encuentre la matriz de
transición de un período.
d) Existirá una distribución de probabilidades estacionaria? si es así encuentrela, de
lo contrario establezca condiciones para que dicha distribución estacionaria pueda
existir.
33. Sea (Yn )n≥0 una sucesión de variables aleatorias identicamente distribuidas con función
masa de probabilidad común:
2
si Y = 0





 3
P(Y = k) =



1
6 si Y = 1


 16 si Y = 2



Considere el proceso estocástico (Xn )n≥0 , definido por X0 = 0 y
si Xn = 4

Xn − Yn





Xn+1 = Xn − 1 + Yn si 1 ≤ Xn ≤ 3





si Xn = 0

Yn


para n ≥ 0.
a) Muestra que la sucesión (Xn )∞
n=0 es una cadena de markov.
b) Determina la matriz de probabilidades de transición de un paso.

c) Establezca el espacio de estados y las clases de comunicación.
d) Clasifique los estados.
e) Determine p34 (2)
f ) Determine, si existe, una distribución estacionaria para esta cadena.
34. Una estudiante de último semestre de ingeniería electrónica, piensa exclusivamente en su
trabajo de grado y la sustentación lo cual la convierte en un individuo muy distraído. La
estudiante en cuestión, tiene dos sombrillas que usa cuando viaja de su casa al laboratorio
y viceversa. Si llueve y hay una sombrilla disponible en su ubicación (casa o laboratorio),
ella lo toma. Si no está lloviendo, siempre se olvida de llevar una sombrilla. Supongamos
que llueve con probabilidad de 0.6 cada vez si viaja, independientemente de otras veces.
Nuestro objetivo es encontrar la fracción de días que ella se moja durante un viaje.
a) Justifique por qué este proceso constituye una cadena de markov en parámetro dis-
creto.
b) Determine el espacio de estados.
c) Dibuje el diagrama de transición de estado de la cadena de markov que modela el
problema.
d) Determime la matriz de probabilidad de transición correspondiente.
e) Calcular la distribución estacionaria de la cadena.
f ) Usando los resultados anteriores, calcule la fracción de días, que ella se moja durante
un viaje.
35. Considere el juego escaleras y serpientes consistente de un tablero con cien cuadrados
rotulados del 1 al 100. Sobre el tablero se tienen
X Serpientes ubicadas en:
(27, 10), (55, 16), (61, 14), (69, 50), (79, 5), (81, 44), (87, 31), (91, 25), (95, 49), (97, 59)
X Escaleras ubicadas en:
(6, 23), (8, 30), (13, 47), (20, 39), (33, 70), (37, 75), (41, 62), (57, 83), (66, 89), (77, 96)
El jugador inicia en el cuadrado numerado 1, lanza un dado. Si el jugador está ubicado

en la casilla i y al lanzar el dado obtiene el número d entonces el se mueve a la casilla
numerada i + d; sin embargo si i + d = u donde es la cabeza de una serpiente entonces
tendrá que moverse a la casilla numerada v, donde (u, v) denota las coordenadas de la
cabeza u y la cola v de la serpiente, si por el contrario u es el inicio de una escalera
entonces el podrá moverse a la casilla numerada v donde v corresponde a la casilla donde
termina la escalera. El juego termina cuando se ha alcanzado la posición de la casilla
rotulada 100.
Formule el juego como una cadena de markov, describiendo espacio de estados, matriz
de probabilidades de transición. Considere el caso en que el jugador esta en la casilla
numerada 94, determine el número promedio de pasos para alcanzar la meta (casilla cien).
36. Según el cuento, en la Tierra de Oz nunca hay dos días buenos en sucesión. Después de
un día con buen tiempo, le sigue (con igual probabilidad) un día con lluvia o nieve. Del
mismo modo, si nieva (o llueve), el día siguiente nevará (o lloverá) con probabilidad 21 ,
pero si cambia el tiempo sólo la mitad de las veces será un lindo día.
a) Halle la matriz de probabilidad de transición.
b) En 100 días, cuántos serán de lluvia (en promedio)?
c) Si hoy está nevando, cuántos días (en promedio) habrá que esperar hasta tener un
buen día?

MARKOV CHAIN Probabilidad PDF

Cargado por

Información del documento

Descripción original:

Título original

Derechos de autor

Formatos disponibles

Compartir este documento

Compartir o incrustar documentos

Opciones para compartir

¿Le pareció útil este documento?

¿Este contenido es inapropiado?

Copyright:

Formatos disponibles

MARKOV CHAIN Probabilidad PDF

Cargado por

Copyright:

Formatos disponibles

PROCESOS MARKOVIANOS

Autor: Vladimir Moreno G.

No es el conocimiento, sino el acto de aprendizaje, y no la posesión, sino el acto de llegar allí,

1 Cadenas Discretas de Markov 1

1.1 Definición y propiedades

Recordemos que un proceso estocástico es un modelo matemático para analizar experi-

entonces (Xn )n∈N se llama proceso estocástico de Markov o Markoviano en tiempo

Si el espacio de estados es contable, entonces sin pérdida de generalidad podemos suponer

P(Xn+1 = j |Xn = i, Xn−1 = in−1, . . . , X1 = i1, X0 = i0 ) = P(Xn+1 = j |Xn = i)

se llama probabilidad de transición de un paso del estado i al estado j y se denota de la

En este caso la presentación de todas estas probabilidades de transición de un paso, se

Definición 1.3. Grafo

es decir, la función masa de probabilidad conjunta de la cadena, depende de las probabili-

aplicando, iterativamente, la anterior igualdad, obtenemos:

lo que significa que el vector de probabilidades absolutas de la cadena de markov, de-

La probabilidad de que la cadena este en el estado 3 al tiempo n = 2 si al tiempo n = 0 estaba en

de manera similar encontramos que p23 = 16 .

El caso n = 0 está definido por

De la definición se tiene que si P = [pi j ] entonces P(0) = I y P(1) = P.

P(Xn = j |X0 = i) = P(Xn = j, Xr = k |X0 = i)

= P(Xn = j |Xr = k, X0 = i)P(Xr = k |X0 = i)

= P(Xn = j |Xr = k)P(Xr = k |X0 = i)

para 0 < r < n

p(n+1) pik p(n)

Definición 1.6. Clases de comunicación

Si j es un estado y C la clase de comunicación a la cual pertenece, podemos escribir C j para

donde l representa el número de clases de comunicación.

Definición 1.9. Periodo

Si d( j), entonces el estado j se llamará aperiódico, y si p(n)

Esta cadena tiene tres clases:

Teorema 1.3. El periodo como propiedad de clase

i) Como i ∈ C j , entonces i se comunica con j, es decir existen números enteros no negativos

por tanto, de la definición de periodo, se tiene

ii) Sea m ≥ 1 tal que p(m)

pero como d( j) es el máximo común divisor de {m ≥ 1 : p(m)

iii) Al considerar la relación

un argumento similar al anterior, nos permitirá concluir que

En resumen, d(i) = d( j).

1.2 Tiempo de primer paso. Clasificación de estados

En esta sección estudiaremos el comportamiento en el tiempo de la cadena, cuando partiendo

Si el conjunto {n ≥ 1 : Xn ∈ A} es vacío, entonces definimos τA = ∞.

Si A = { j}, entonces escribiremos simplemente τj al tiempo de entrada por primera vez de

la probabilidad de primer llegada al estado j, partiendo del estado i, en n pasos.

Es claro que fi(0)

Si la sucesión de probabilidades ( fi(n)

De la definición de estado recurrente deducimos que la sucesión de probabilidades ( f j(n)

En el caso en que el estado j sea transitorio, entonces ( f j(n)

En efecto, consideremos los siguientes eventos y sus probabilidades:

A(n) (n) (n)

Bi(n) (n) (n)

Tomando probabilidad en ambos miembros de la igualdad, obtenemos:

pi(n) (n) (0) (n−1) (1)

más exactamente, el algoritmo es dado recursivamente de la siguiente forma:

C1 = {1, 2}; C2 = {3}; C3 = {4}

De estos valores deducimos que f33 = 1

Con las condiciones p(0) (0)

Por tanto, para i , j:

Del teorema anterior tenemos:

Luego j es recurrente si y solo si f j j = 1, en consecuencia tendremos

De manera similar se demuestra el inciso b).

A. Por tanto el espacio de estados será:

S = {ABC, AC, AB, A, B, C, ∅}