Introducci

on a las cadenas de Markov: I Tiempo discreto

Introducci
on a las cadenas de Markov: I
Tiempo discreto
Vctor RIVERO
Centro de Investigaci
on en Matem
aticas A. C.

XI Escuela de Probabilidad y Estadstica, 29 de Febrero a 2 de Marzo,

2012, CIMAT

1/ 55

Introducci
on a las cadenas de Markov: I Tiempo discreto
Introducci
on
Preliminares

Preliminares
(, F, P) un espacio de probabilidad
Probabilidad condicional A, B F, tal que P(B ) > 0, la
probabilidad del evento A dado B
P(A|B ) =

P(A B )
.
P(B )

2/ 55

Introducci
on a las cadenas de Markov: I Tiempo discreto
Introducci
on
Preliminares

Preliminares
(, F, P) un espacio de probabilidad
Probabilidad condicional A, B F, tal que P(B ) > 0, la
probabilidad del evento A dado B
P(A|B ) =

P(A B )
.
P(B )

Formula de probabilidad total Sean B1 , . . . , Bn , . . . , tales que

k =1 Bk = entonces A F
P(A) =

X
k =1

P(A Bk ) =

P(A|Bk ) P(Bk ).

k =1

2/ 55

Introducci
on a las cadenas de Markov: I Tiempo discreto
Introducci
on
Preliminares

Preliminares
(, F, P) un espacio de probabilidad
Probabilidad condicional A, B F, tal que P(B ) > 0, la
probabilidad del evento A dado B
P(A|B ) =

P(A B )
.
P(B )

Formula de probabilidad total Sean B1 , . . . , Bn , . . . , tales que

k =1 Bk = entonces A F
P(A) =

X
k =1

P(A Bk ) =

P(A|Bk ) P(Bk ).

k =1

Formula de Bayes Sean A, B , B1 , . . . , Bn F, tales que P(B ) > 0

y = nk=1 Bk se tiene que
P(B |A) P(A)
P(B |A) P(A)
P(A|B ) = Pn
= Pn
.
k =1 P(B Bk )
k =1 P(B |Bk ) P(Bk )

2/ 55

Introducci
on a las cadenas de Markov: I Tiempo discreto
Introducci
on
Preliminares

A, B F son independientes si
P(A B ) = P(A) P(B )

3/ 55

Introducci
on a las cadenas de Markov: I Tiempo discreto
Introducci
on
Preliminares

A, B F son independientes si
P(A B ) = P(A) P(B )
A, B F son independientes si
P(A B ) = P(A) P(B ),

A A y B B.

3/ 55

Introducci
on a las cadenas de Markov: I Tiempo discreto
Introducci
on
Preliminares

A, B F son independientes si
P(A B ) = P(A) P(B )
A, B F son independientes si
P(A B ) = P(A) P(B ),

A A y B B.

X : E es una variable aleatoria si para todo A E ,

B := {X A} := { |X () A} F.

3/ 55

Introducci
on a las cadenas de Markov: I Tiempo discreto
Introducci
on
Preliminares

A, B F son independientes si
P(A B ) = P(A) P(B )
A, B F son independientes si
P(A B ) = P(A) P(B ),

A A y B B.

X : E es una variable aleatoria si para todo A E ,

B := {X A} := { |X () A} F.
Traducci
on: un experimento, X () una caracterstica del
experimento; B es el evento los experimentos son tales que la
caracterstica de interes toma un valor en A y le podemos calcular
probabilidad ya que B F.

3/ 55

Introducci
on a las cadenas de Markov: I Tiempo discreto
Introducci
on
Preliminares

A, B F son independientes si
P(A B ) = P(A) P(B )
A, B F son independientes si
P(A B ) = P(A) P(B ),

A A y B B.

X : E es una variable aleatoria si para todo A E ,

B := {X A} := { |X () A} F.
Traducci
on: un experimento, X () una caracterstica del
experimento; B es el evento los experimentos son tales que la
caracterstica de interes toma un valor en A y le podemos calcular
probabilidad ya que B F.
X , Y variables aleatorias son independientes si para todo A, B E ,
los eventos {X A} y {Y B } son independientes.
3/ 55

Introducci
on a las cadenas de Markov: I Tiempo discreto
Introducci
on
Procesos Estoc
asticos

Procesos Estoc
asticos
Definici
on
Sea (, F, P) un espacio de probabilidad y E un conjunto no vaco. Un
proceso estoc
astico es una colecci
on de variables aleatorias,
{Xt : E , t T }, indexadas por alg
un conjunto T .

4/ 55

Introducci
on a las cadenas de Markov: I Tiempo discreto
Introducci
on
Procesos Estoc
asticos

Procesos Estoc
asticos
Definici
on
Sea (, F, P) un espacio de probabilidad y E un conjunto no vaco. Un
proceso estocastico es una colecci
on de variables aleatorias,
{Xt : E , t T }, indexadas por alg
un conjunto T . Usualmente,
(
{0, 1, 2, . . .} proceso estoc
astico a tiempo discreto,
T =
+
R
o R
proceso estoc
astico a tiempo continuo.

4/ 55

Introducci
on a las cadenas de Markov: I Tiempo discreto
Introducci
on
Procesos Estoc
asticos

Procesos Estoc
asticos
Definici
on
Sea (, F, P) un espacio de probabilidad y E un conjunto no vaco. Un
proceso estocastico es una colecci
on de variables aleatorias,
{Xt : E , t T }, indexadas por alg
un conjunto T . Usualmente,
(
{0, 1, 2, . . .} proceso estocastico a tiempo discreto,
T =
R
o R+
proceso estocastico a tiempo continuo.
El conjunto E es el espacio de estados. Si E es numerable se dice que
el proceso tiene espacio de estados discreto mientras que si E es continuo
decimos que tiene espacio de estados continuo.

4/ 55

Introducci
on a las cadenas de Markov: I Tiempo discreto
Introducci
on
Procesos Estoc
asticos

Procesos Estoc
asticos
Definici
on
Sea (, F, P) un espacio de probabilidad y E un conjunto no vaco. Un
proceso estocastico es una colecci
on de variables aleatorias,
{Xt : E , t T }, indexadas por alg
un conjunto T . Usualmente,
(
{0, 1, 2, . . .} proceso estocastico a tiempo discreto,
T =
R
o R+
proceso estocastico a tiempo continuo.
El conjunto E es el espacio de estados. Si E es numerable se dice que el
proceso tiene espacio de estados discreto mientras que si E es continuo
decimos que tiene espacio de estados continuo.
Estudiaremos solamente procesos estoc
asticos con espacio de
estados y tiempo discreto.
4/ 55

Introducci
on a las cadenas de Markov: I Tiempo discreto
Introducci
on
Procesos Estoc
asticos

Ejemplos de proceso estoc

astico
Ejemplo
Lanzamiento de una moneda, E = {aguila, sol} = {0, 1}.
(
aguila p
Xn =
,
p [0, 1],
n Z+ .
sol
1p

5/ 55

Introducci
on a las cadenas de Markov: I Tiempo discreto
Introducci
on
Procesos Estoc
asticos

Ejemplos de proceso estoc

astico
Ejemplo
Lanzamiento de una moneda, E = {aguila, sol} = {0, 1}.
(
aguila p
Xn =
,
p [0, 1],
n Z+ .
sol
1p

Ejemplo (Pacientes)
Sea Xn el numero de pacientes graves que solicitan tratamiento el da n
en la sala de emergencias del hospital la Raza en Mexico D.F.
E = {0, 1, . . . , K } donde K es el numero maximo de pacientes que
puede ser recibido en la recepci
on de emergencias por da.

5/ 55

Introducci
on a las cadenas de Markov: I Tiempo discreto
Introducci
on
Procesos Estoc
asticos

Ejemplos de proceso estoc

astico
Ejemplo
Lanzamiento de una moneda, E = {aguila, sol} = {0, 1}.
(
aguila p
Xn =
,
p [0, 1],
n Z+ .
sol
1p

Ejemplo (Pacientes)
Sea Xn el numero de pacientes graves que solicitan tratamiento el da n
en la sala de emergencias del hospital la Raza en Mexico D.F.
E = {0, 1, . . . , K } donde K es el numero maximo de pacientes que
puede ser recibido en la recepci
on de emergencias por da.
En ambos ejemplos las variables aleatorias son independientes
entre si.
5/ 55

Introducci
on a las cadenas de Markov: I Tiempo discreto
Introducci
on
Procesos Estoc
asticos

Ejemplo (Ajedrez)
Sea Xn la posici
on de un caballo en un tablero de ajedrez despues de n
movimientos.

6/ 55

Introducci
on a las cadenas de Markov: I Tiempo discreto
Introducci
on
Procesos Estoc
asticos

Ejemplo (Ajedrez)
Sea Xn la posici
on de un caballo en un tablero de ajedrez despues de n
movimientos.
Ejemplo
Para ir de Mexico D.F. a Guanajuato se puede ir por la carretera libre o
la autopista de cuota. Sea Xn la distancia recorrida despues de
n-minutos por un autom
ovil que se dirige a Guanajuato desde el D.F.
(X )
(X )
Claramente, Xn+1 = Xn + Yn+10 donde Yn+10 denota la distancia
recorrida en el periodo [n, n + 1[ y esta depende del punto inicial.

6/ 55

Introducci
on a las cadenas de Markov: I Tiempo discreto
Introducci
on
Procesos Estoc
asticos

Ejemplo (Ajedrez)
Sea Xn la posici
on de un caballo en un tablero de ajedrez despues de n
movimientos.
Ejemplo
Para ir de Mexico D.F. a Guanajuato se puede ir por la carretera libre o
la autopista de cuota. Sea Xn la distancia recorrida despues de
n-minutos por un autom
ovil que se dirige a Guanajuato desde el D.F.
(X )
(X )
Claramente, Xn+1 = Xn + Yn+10 donde Yn+10 denota la distancia
recorrida en el periodo [n, n + 1[ y esta depende del punto inicial.
En ambos ejemplos el valor de Xn depende de X0 , X1 , . . . , Xn1 .

6/ 55

Introducci
on a las cadenas de Markov: I Tiempo discreto
Introducci
on
Procesos Estoc
asticos

Ejemplo (Ajedrez)
Sea Xn la posici
on de un caballo en un tablero de ajedrez despues de n
movimientos.
Ejemplo
Para ir de Mexico D.F. a Guanajuato se puede ir por la carretera libre o
la autopista de cuota. Sea Xn la distancia recorrida despues de
n-minutos por un autom
ovil que se dirige a Guanajuato desde el D.F.
(X )
(X )
Claramente, Xn+1 = Xn + Yn+10 donde Yn+10 denota la distancia
recorrida en el periodo [n, n + 1[ y esta depende del punto inicial.
En ambos ejemplos el valor de Xn depende de X0 , X1 , . . . , Xn1 .
Ejemplo (El merenguero)
Si el resultado de un volado es aguila el merenguero gana un peso y en
caso contrario nosotros ganamos un peso. Sea Sn la fortuna del
merenguero despues de n-lanzamientos y n {0, 1, 2, . . .}. El espacio de
estados es E = {0, 1, . . . , N + M }, donde N =nuestra fortuna y
M =fortuna del merenguero.

6/ 55

Introducci
on a las cadenas de Markov: I Tiempo discreto
Introducci
on
Procesos Estoc
asticos

Ejemplo (Evoluci
on de una epidemia en una poblaci
on)
Un individuo de la poblaci
on puede estar en los siguientes estados:
enfermo(e), contagiado y por lo tanto contagioso (c), inmune a la
enfermedad (i), sano pero no inmune (s), muerto (m).

7/ 55

Introducci
on a las cadenas de Markov: I Tiempo discreto
Introducci
on
Procesos Estoc
asticos

Ejemplo (Evoluci
on de una epidemia en una poblaci
on)
Un individuo de la poblaci
on puede estar en los siguientes estados:
enfermo(e), contagiado y por lo tanto contagioso (c), inmune a la
enfermedad (i), sano pero no inmune (s), muerto (m). Seg
un la
informaci
on dada por el sistema de salud de la poblacion se tienen las
siguientes transiciones:
(
contagiado (contagioso)
sano >
no contagiado (sano)
(
enfermo
contagiado (contagioso)>
sano inmune
(
sano inmune
enfermo >
muerto
sano inmune > sano inmune,
muerto > muerto.
7/ 55

Introducci
on a las cadenas de Markov: I Tiempo discreto
Introducci
on
Procesos Estoc
asticos

Ejemplo (Procesos de Ramificaci

on)
Al tiempo inicial n = 0 hay una partcula. Al tiempo n = 1 esta partcula
muere y da nacimiento a X partculas identicas (entre si y a su
progenitor). A cada generaci
on subsecuente n = 2, 3, . . . cada partcula
existente muere y da nacimiento a un n
umero aleatorio de partculas
identicas, sus descendientes. Supondremos que todos los tama
nos de las
familias son independientes y que todos tiene la misma ley que X .

8/ 55

Introducci
on a las cadenas de Markov: I Tiempo discreto
Introducci
on
Procesos Estoc
asticos

Ejemplo (Procesos de Ramificaci

on)
Al tiempo inicial n = 0 hay una partcula. Al tiempo n = 1 esta partcula
muere y da nacimiento a X partculas identicas (entre si y a su
progenitor). A cada generaci
on subsecuente n = 2, 3, . . . cada partcula
existente muere y da nacimiento a un n
umero aleatorio de partculas
identicas, sus descendientes. Supondremos que todos los tama
nos de las
familias son independientes y que todos tiene la misma ley que X . Sea
(Zn , n 0) los tama
nos de las poblaci
on en la n-esima generacion.

8/ 55

Introducci
on a las cadenas de Markov: I Tiempo discreto
Introducci
on
Procesos Estoc
asticos

Ejemplo (Procesos de Ramificaci

on)
Al tiempo inicial n = 0 hay una partcula. Al tiempo n = 1 esta partcula
muere y da nacimiento a X partculas identicas (entre si y a su
progenitor). A cada generaci
on subsecuente n = 2, 3, . . . cada partcula
existente muere y da nacimiento a un n
umero aleatorio de partculas
identicas, sus descendientes. Supondremos que todos los tama
nos de las
familias son independientes y que todos tiene la misma ley que X . Sea
(Zn , n 0) los tama
nos de las poblaci
on en la n-esima generacion. Este
es un proceso estocastico llamado Proceso de Ramificaci
on.

8/ 55

Introducci
on a las cadenas de Markov: I Tiempo discreto
Introducci
on
Procesos Estoc
asticos

Ejemplo (Procesos de Ramificaci

on)
Al tiempo inicial n = 0 hay una partcula. Al tiempo n = 1 esta partcula
muere y da nacimiento a X partculas identicas (entre si y a su
progenitor). A cada generaci
on subsecuente n = 2, 3, . . . cada partcula
existente muere y da nacimiento a un n
umero aleatorio de partculas
identicas, sus descendientes. Supondremos que todos los tama
nos de las
familias son independientes y que todos tiene la misma ley que X . Sea
(Zn , n 0) los tama
nos de las poblaci
on en la n-esima generacion. Este
es un proceso estocastico llamado Proceso de Ramificaci
on. E = Z+ ,
y el n
umero de partculas al tiempo n + 1 depende solamente de aquellas
presentes al tiempo n y no de las generaciones anteriores. De hecho
Zn+1 =

Zn
X

(n)

Xi

i=1
(n)

donde Xi el n
umero de descendientes del i -esimo individuo presente en
la poblaci
on en la n-esima generaci
on.
8/ 55

Introducci
on a las cadenas de Markov: I Tiempo discreto
Introducci
on
Procesos Estoc
asticos

Ejemplo (Procesos de Ramificaci

on)
Al tiempo inicial n = 0 hay una partcula. Al tiempo n = 1 esta partcula
muere y da nacimiento a X partculas identicas (entre si y a su
progenitor). A cada generaci
on subsecuente n = 2, 3, . . . cada partcula
existente muere y da nacimiento a un n
umero aleatorio de partculas
identicas, sus descendientes. Supondremos que todos los tama
nos de las
familias son independientes y que todos tiene la misma ley que X . Sea
(Zn , n 0) los tama
nos de las poblaci
on en la n-esima generacion. Este
es un proceso estocastico llamado Proceso de Ramificaci
on. E = Z+ ,
y el n
umero de partculas al tiempo n + 1 depende solamente de aquellas
presentes al tiempo n y no de las generaciones anteriores. De hecho
Zn+1 =

Zn
X

(n)

Xi

i=1
(n)

donde Xi el n
umero de descendientes del i -esimo individuo presente en
la poblaci
on en la n-esima generaci
on. Modelo introducido por Galton y
Watson para estudio de la desaparici
on de familias.

8/ 55

Introducci
on a las cadenas de Markov: I Tiempo discreto
Introducci
on
Procesos Estoc
asticos

Ejemplo (Inventarios)
Una tienda de aparatos electr
onicos vende televisiones y opera bajo el
siguiente esquema. Si al final del da el n
umero de unidades disponibles es
1 o 0, se ordenan nuevas unidades para llevar el total a 5. Supondremos
que la mercanca llega antes de que la tienda abra al da siguiente. Sea
Xn el n
umero de unidades disponibles en la tienda al final del n-esimo
da y supongamos que diariamente el n
umero de clientes que compran un
ipod es 0, 1, 2
o 3 con probabilidad 0.3; 0.4; 0.2; y 0.1 respectivamente.

9/ 55

Introducci
on a las cadenas de Markov: I Tiempo discreto
Introducci
on
Procesos Estoc
asticos

Ejemplo (Inventarios)
Una tienda de aparatos electr
onicos vende televisiones y opera bajo el
siguiente esquema. Si al final del da el n
umero de unidades disponibles es
1 o 0, se ordenan nuevas unidades para llevar el total a 5. Supondremos
que la mercanca llega antes de que la tienda abra al da siguiente. Sea
Xn el n
umero de unidades disponibles en la tienda al final del n-esimo
da y supongamos que diariamente el n
umero de clientes que compran un
ipod es 0, 1, 2
o 3 con probabilidad 0.3; 0.4; 0.2; y 0.1 respectivamente.
(
(Xn Dn+1 )+ si Xn > 1
Xn+1 =
(5 Dn+1 )+
si Xn 1
Con Dn+1 la demanda el da n + 1.

9/ 55

Introducci
on a las cadenas de Markov: I Tiempo discreto
Nociones b
asicas de cadenas de Markov
Definici
on de Cadena de Markov

En los ejemplos del merenguero, la epidemia, el proceso de ramificacion y

los inventarios se tiene que el proceso estocastico subyacente es tal que el
futuro depende solamente del presente y no del pasado estricto.

10/ 55

Introducci
on a las cadenas de Markov: I Tiempo discreto
Nociones b
asicas de cadenas de Markov
Definici
on de Cadena de Markov

En los ejemplos del merenguero, la epidemia, el proceso de ramificacion y

los inventarios se tiene que el proceso estocastico subyacente es tal que el
futuro depende solamente del presente y no del pasado estricto. Esto es
lo que se llama la propiedad de Markov

10/ 55

Introducci
on a las cadenas de Markov: I Tiempo discreto
Nociones b
asicas de cadenas de Markov
Definici
on de Cadena de Markov

En los ejemplos del merenguero, la epidemia, el proceso de ramificacion y

los inventarios se tiene que el proceso estocastico subyacente es tal que el
futuro depende solamente del presente y no del pasado estricto. Esto es
lo que se llama la propiedad de Markov
Dicho de otro, dado el presente, el futuro es independientemente del
pasado,
P ({Evento del pasado} {Evento del futuro}|Evento del presente)
= P ({Evento del pasado}|Evento del presente)
P ({Evento del futuro}|Evento del presente) .

10/ 55

Introducci
on a las cadenas de Markov: I Tiempo discreto
Nociones b
asicas de cadenas de Markov
Definici
on de Cadena de Markov

Cadenas de Markov
Definici
on
Sea (, F, P) un espacio de probabilidad y E un conjunto no vaco, finito
o numerable. Un proceso estocastico o sucesi
on de variables aleatorias
{Xn : E , n N},
se llama cadena de Markov con espacio de estados E si satisface la
condici
on de Markov, es decir, si para todo n 1 y toda sucesion
x0 , x1 , . . . , xn1 , xn , xn+1 E , se cumple:
P (Xn+1 = xn+1 |Xn = xn , Xn1 = xn1 , . . . , X0 = x0 )
= P (Xn+1 = xn+1 |Xn = xn ) .

(1)

La distribuci
on de X0 se llama distribuci
on inicial de la cadena y en
muchos casos la denotaremos por (x ) = P(X0 = x ), x E .
11/ 55

Introducci
on a las cadenas de Markov: I Tiempo discreto
Nociones b
asicas de cadenas de Markov
Algunas precisiones

Supondremos que E Z, y en consecuencia E es ordenado.

12/ 55

Introducci
on a las cadenas de Markov: I Tiempo discreto
Nociones b
asicas de cadenas de Markov
Algunas precisiones

Supondremos que E Z, y en consecuencia E es ordenado.

La familia
{P (Xn+1 = y|Xn = x ) , n N, x , y E },
se le llama familia de probabilidades de transici
on de la cadena.
Estas describen la evoluci
on de la cadena en el tiempo.

12/ 55

Introducci
on a las cadenas de Markov: I Tiempo discreto
Nociones b
asicas de cadenas de Markov
Algunas precisiones

Supondremos que E Z, y en consecuencia E es ordenado.

La familia
{P (Xn+1 = y|Xn = x ) , n N, x , y E },
se le llama familia de probabilidades de transici
on de la cadena.
Estas describen la evoluci
on de la cadena en el tiempo.
Para todo n N y x E se tiene que
1 = P (Xn+1 E |Xn = x )
= P (yE {Xn+1 = y}|Xn = x )
X
=
P (Xn+1 = y|Xn = x ) .
yE

12/ 55

Introducci
on a las cadenas de Markov: I Tiempo discreto
Nociones b
asicas de cadenas de Markov
Algunas precisiones

Si las probabilidades de ir de un estado a otro en una unidad de

tiempo no depende del instante de tiempo en el cual se inicia, es
decir si
P (Xn+1 = y|Xn = x ) = Px ,y no depende de n, x , y E ,
diremos que la cadena es homog
enea con respecto al tiempo.

13/ 55

Introducci
on a las cadenas de Markov: I Tiempo discreto
Nociones b
asicas de cadenas de Markov
Algunas precisiones

Si las probabilidades de ir de un estado a otro en una unidad de

tiempo no depende del instante de tiempo en el cual se inicia, es
decir si
P (Xn+1 = y|Xn = x ) = Px ,y no depende de n, x , y E ,
diremos que la cadena es homogenea con respecto al tiempo.
En este curso solo nos interesaremos por las cadenas de Markov
homog
eneas en el tiempo y en la mayora de los casos con
espacio de estados E finito.

13/ 55

Introducci
on a las cadenas de Markov: I Tiempo discreto
Nociones b
asicas de cadenas de Markov
Algunas precisiones

Si las probabilidades de ir de un estado a otro en una unidad de

tiempo no depende del instante de tiempo en el cual se inicia, es
decir si
P (Xn+1 = y|Xn = x ) = Px ,y no depende de n, x , y E ,
diremos que la cadena es homogenea con respecto al tiempo.
En este curso solo nos interesaremos por las cadenas de Markov
homogeneas en el tiempo y en la mayora de los casos con espacio de
estados E finito.
La familia de probabilidades de transici
on
P = {Px ,y , (x , y) E E },
sera llamada matriz de transici
on de la cadena. P cumple que
X
X
Px ,y =
P (Xn+1 = y|Xn = x ) = 1,
x E.
yE

yE

Se dice que P , es una matriz estoc

astica o de Markov.
13/ 55

Introducci
on a las cadenas de Markov: I Tiempo discreto
Nociones b
asicas de cadenas de Markov
Algunas precisiones

Si las probabilidades de ir de un estado a otro en una unidad de

tiempo no depende del instante de tiempo en el cual se inicia, es
decir si
P (Xn+1 = y|Xn = x ) = Px ,y no depende de n, x , y E ,
diremos que la cadena es homogenea con respecto al tiempo.
En este curso solo nos interesaremos por las cadenas de Markov
homogeneas en el tiempo y en la mayora de los casos con espacio de
estados E finito.
La familia de probabilidades de transici
on
P = {Px ,y , (x , y) E E },
sera llamada matriz de transici
on de la cadena. P cumple que
X
X
Px ,y =
P (Xn+1 = y|Xn = x ) = 1,
x E.
yE

yE

Se dice que P , es una matriz estocastica o de Markov.

Diremos que el proceso estocastico {Xn , n N} es una cadena de
Markov (, P), donde es la distribuci
on de X0 y P es la matriz de
probabilidades de transici
on.

13/ 55

Introducci
on a las cadenas de Markov: I Tiempo discreto
Nociones b
asicas de cadenas de Markov
Ejemplos de matrices de transici
on

El sistema Bonus-Malus en el seguro de autom

oviles
En Hong Kong y en otros lugares del mundo, se usa un sistema para fijar
las primas de seguro de autom
ovil conocido como Bonus-Malus que
consiste de 6 clases de tarificaci
on, de 1 fort bonus a 6 fort malus, que se
rige por las siguientes reglas:
si un asegurado no tuvo siniestros durante el periodo, entonces pasa
de la categora i a la categora max{1, i 1},
si el asegurado tiene al menos un siniestro entonces pasa de la
categora i a la 6.
Si Xn denota la categora en cual se encuentra un individuo al n-esimo
periodo entonces {Xn , n 0} es una cadena de Markov con espacio de
estados {1, 2, . . . , 6}. Un asegurado tiene un siniestro con probabilidad
1 p en un periodo.

14/ 55

Introducci
on a las cadenas de Markov: I Tiempo discreto
Nociones b
asicas de cadenas de Markov
Ejemplos de matrices de transici
on

La matriz de transici
on asociada

p 0
p 0

0 p
P=
0 0

0 0
0 0

esta dada por

0
0
0
p
0
0

0
0
0
0
p
0

0
0
0
0
0
p

1p
1p
1p
1p
1p
1p

15/ 55

Introducci
on a las cadenas de Markov: I Tiempo discreto
Nociones b
asicas de cadenas de Markov
Ejemplos de matrices de transici
on

La matriz de transici
on asociada

p 0
p 0

0 p
P=
0 0

0 0
0 0

esta dada por

0
0
0
p
0
0

0
0
0
0
p
0

0
0
0
0
0
p

1p
1p
1p
1p
1p
1p

Cu
al es la proporci
on de tiempo que un cliente pasa en el estado
j despu
es de n pasos, n 1 Nnj , dado que X0 = j ?

15/ 55

Introducci
on a las cadenas de Markov: I Tiempo discreto
Nociones b
asicas de cadenas de Markov
Ejemplos de matrices de transici
on

La matriz de transici
on asociada

p 0
p 0

0 p
P=
0 0

0 0
0 0

esta dada por

0
0
0
p
0
0

0
0
0
0
p
0

0
0
0
0
0
p

1p
1p
1p
1p
1p
1p

Cual es la proporci
on de tiempo que un cliente pasa en el estado j
despues de n pasos, n 1 Nnj , dado que X0 = j ?
Cu
al es la prima promedio que paga un asegurado?

15/ 55

Introducci
on a las cadenas de Markov: I Tiempo discreto
Nociones b
asicas de cadenas de Markov
Ejemplos de matrices de transici
on

La matriz de transici
on asociada

p 0
p 0

0 p
P=
0 0

0 0
0 0

esta dada por

0
0
0
p
0
0

0
0
0
0
p
0

0
0
0
0
0
p

1p
1p
1p
1p
1p
1p

Cual es la proporci
on de tiempo que un cliente pasa en el estado j
despues de n pasos, n 1 Nnj , dado que X0 = j ?
Cual es la prima promedio que paga un asegurado? Sea c una funcion
que determina la prima a pagar en funci
on de la categora. c es una
funci
on definida en {1, 2, . . . , 6} no-decreciente que toma solo valores
positivos. La prima promedio que pagara un individuo en n periodos sera
entonces:
(n)
n
6
X
Nj
1X
c(Xj ), =
c(j )
n j =1
n
j =1
15/ 55

Introducci
on a las cadenas de Markov: I Tiempo discreto
Nociones b
asicas de cadenas de Markov
Ejemplos de matrices de transici
on

Ejemplo (Merenguero)
En este ejemplo, M la fortuna del merenguero, N nuestra fortuna, p la
probabilidad de aguila, y de que el merenguero gane un peso, y Sn =la
fortuna del merenguero despues de n volados, n 0. {Sn , n 0} es una
cadena de Markov con matriz de transici
on

16/ 55

Introducci
on a las cadenas de Markov: I Tiempo discreto
Nociones b
asicas de cadenas de Markov
Ejemplos de matrices de transici
on

Ejemplo (Merenguero)
En este ejemplo, M la fortuna del merenguero, N nuestra fortuna, p la
probabilidad de aguila, y de que el merenguero gane un peso, y Sn =la
fortuna del merenguero despues de n volados, n 0. {Sn , n 0} es una
cadena de Markov con matriz de transici
on

si i , j = 0
1,

p
si 0 < i < N + M , j = i + 1

P(Sn+1 = j |Sn = i ) = Pi,j = 1 p si 0 < i < N + M , j = i 1

1
si i , j = N + M

0
en otro caso
y ley inicial P(S0 = M ) = 1.

16/ 55

Introducci
on a las cadenas de Markov: I Tiempo discreto
Nociones b
asicas de cadenas de Markov
Ejemplos de matrices de transici
on

Ejemplo (Merenguero)
En este ejemplo, M la fortuna del merenguero, N nuestra fortuna, p la
probabilidad de aguila, y de que el merenguero gane un peso, y Sn =la
fortuna del merenguero despues de n volados, n 0. {Sn , n 0} es una
cadena de Markov con matriz de transici
on

si i , j = 0
1,

p
si 0 < i < N + M , j = i + 1

P(Sn+1 = j |Sn = i ) = Pi,j = 1 p si 0 < i < N + M , j = i 1

1
si i , j = N + M

0
en otro caso
ando retirarse del juego? Cu
al es la
y ley inicial P(S0 = M ) = 1. Cu
probabilidad de que el merenguero pierda todo su captal?Cu
al es
el tiempo promedio que durar
a el juego?
16/ 55

Introducci
on a las cadenas de Markov: I Tiempo discreto
Nociones b
asicas de cadenas de Markov
Ejemplos de matrices de transici
on

Lema
Sea {Sn , n 0} una caminata aleatoria simple en {0, 1, . . . , N }, con
barreras absorbentes en 0 y N ; Pi,i+1 = p y q = Pi,i1 = 1 p,
0 < i < N , P0,0 = 1 = PN ,N . Se tiene que
q j q N
( p ) ( p ) , si p 6= q
N
1( pq )
P(Caminata absorbida en 0|S0 = j ) =
N j
si p = q = 1/2.
N ,
Si T es el tiempo de absorci
on en {0, N }, T = inf{n 0 : Sn {0, N }}
entonces

q j
j N 1( p ) , si p 6= q
qp
qp 1( q )N
E (T |S0 = j ) =
p

j (N j ),
si p = q = 1/2.

17/ 55

Introducci
on a las cadenas de Markov: I Tiempo discreto
Nociones b
asicas de cadenas de Markov
Ejemplos de matrices de transici
on

Demostraci
on: T
ecnica del primer paso

h(j ) = P(Caminata absorbida en 0|S0 = j ) es solucion al sistema de

ecuaciones lineales
h(j ) = ph(j + 1) + qh(j 1), 0 < j < N ,

h(0) = 1, h(N ) = 0.

L(j ) = E (T |S0 = j ) , es soluci

on al sistema de ecuaciones lineales
L(0) = 0 = L(N ),

L(j ) = 1 + pL(j + 1) + qL(j 1),

0 < j < N.

18/ 55

Introducci
on a las cadenas de Markov: I Tiempo discreto
Nociones b
asicas de cadenas de Markov
Ejemplos de matrices de transici
on

Caminatas aleatorias en Zd

S0 Zd , (Yi , i 1) v.a.i.i.d. toman en Zd , y son independientes de S0 .

Al proceso estocastico (Sn , n 0)
Sn+1 = Sn + Yn+1 ,

n 0,

se le llama caminata aleatoria.

19/ 55

Introducci
on a las cadenas de Markov: I Tiempo discreto
Nociones b
asicas de cadenas de Markov
Ejemplos de matrices de transici
on

Caminatas aleatorias en Zd

S0 Zd , (Yi , i 1) v.a.i.i.d. toman en Zd , y son independientes de S0 .

Al proceso estocastico (Sn , n 0)
Sn+1 = Sn + Yn+1 ,

n 0,

se le llama caminata aleatoria. En Z2 se ve

19/ 55

Introducci
on a las cadenas de Markov: I Tiempo discreto
Nociones b
asicas de cadenas de Markov
Ejemplos de matrices de transici
on

En Z3 ,

20/ 55

Introducci
on a las cadenas de Markov: I Tiempo discreto
Nociones b
asicas de cadenas de Markov
Ejemplos de matrices de transici
on

En Z3 , mientras que en Londres se ve como

20/ 55

Introducci
on a las cadenas de Markov: I Tiempo discreto
Nociones b
asicas de cadenas de Markov
Ejemplos de matrices de transici
on

Ejemplo (La cadena de Ehrenfest)

T. Ehrenfest describi
o un experimento con 2 urnas, A y B , dentro de las
cuales estan distribuidas N moleculas. En cada paso del experimento, se
escoge al azar una y solo una molecula, esta es removida de la urna en la
cual se encuentra y es colocada en la otra urna. El proceso estocastico
{Xn , n N} definido por
Xn = #moleculas presentes en la urna A al instante n,

n N,

21/ 55

Introducci
on a las cadenas de Markov: I Tiempo discreto
Nociones b
asicas de cadenas de Markov
Ejemplos de matrices de transici
on

Ejemplo (La cadena de Ehrenfest)

T. Ehrenfest describi
o un experimento con 2 urnas, A y B , dentro de las
cuales estan distribuidas N moleculas. En cada paso del experimento, se
escoge al azar una y solo una molecula, esta es removida de la urna en la
cual se encuentra y es colocada en la otra urna. El proceso estocastico
{Xn , n N} definido por
Xn = #moleculas presentes en la urna A al instante n,

n N,

es una cadena de Markov y su espacio de estados {0, 1, 2, . . . , N }.

21/ 55

Introducci
on a las cadenas de Markov: I Tiempo discreto
Nociones b
asicas de cadenas de Markov
Ejemplos de matrices de transici
on

Ejemplo (La cadena de Ehrenfest)

T. Ehrenfest describi
o un experimento con 2 urnas, A y B , dentro de las
cuales estan distribuidas N moleculas. En cada paso del experimento, se
escoge al azar una y solo una molecula, esta es removida de la urna en la
cual se encuentra y es colocada en la otra urna. El proceso estocastico
{Xn , n N} definido por
Xn = #moleculas presentes en la urna A al instante n,

n N,

es una cadena de Markov y su espacio de estados {0, 1, 2, . . . , N }.

Cuales son las probabilidades de transici
on?

21/ 55

Introducci
on a las cadenas de Markov: I Tiempo discreto
Nociones b
asicas de cadenas de Markov
Ejemplos de matrices de transici
on

Ejemplo (La cadena de Ehrenfest)

T. Ehrenfest describi
o un experimento con 2 urnas, A y B , dentro de las
cuales estan distribuidas N moleculas. En cada paso del experimento, se
escoge al azar una y solo una molecula, esta es removida de la urna en la
cual se encuentra y es colocada en la otra urna. El proceso estocastico
{Xn , n N} definido por
Xn = #moleculas presentes en la urna A al instante n,

n N,

es una cadena de Markov y su espacio de estados {0, 1, 2, . . . , N }.

Cuales son las probabilidades de transici
on? Se tiene que
(
(
1 si j = 1,
1 j = N 1,
P0,j =
PN ,j =
0 en otro caso
0 en otro caso,

Pi,j =

0,

i
N

N i

N
0

si|i j | > 1,
si j = i 1,
,
si j = i + 1,
si i = j .

para i {1, 2, . . . , N 1}.

21/ 55

Introducci
on a las cadenas de Markov: I Tiempo discreto
Nociones b
asicas de cadenas de Markov
Recurrencia aleatoria y simulaci
on

Recurrencia aleatoria y simulaci

on

Sean X0 es una variable aleatoria que toma valores en E ,

{Yn : S , n N}, una sucesi
on de variables aleatorias
independientes entre si y de X0 y F : E S E . En general, cualquier
fenomeno descrito por una relaci
on en recurrencia aleatoria de la forma
Xn+1 = F (Xn , Yn+1 ),

n N,

es una cadena de Markov.

22/ 55

Introducci
on a las cadenas de Markov: I Tiempo discreto
Nociones b
asicas de cadenas de Markov
Recurrencia aleatoria y simulaci
on

Toda cadena de Markov con espacio de estados finito se puede simular

usando esto. Sea {Xn , n 0} una cadena de Markov (, P) y
b0 X0 ,
E = {0, 1, . . . , M }. El proceso estocastico definido mediante X
bn+1 = F (X
bn , Yn+1 ),
X
para n 0,

23/ 55

Introducci
on a las cadenas de Markov: I Tiempo discreto
Nociones b
asicas de cadenas de Markov
Recurrencia aleatoria y simulaci
on

Toda cadena de Markov con espacio de estados finito se puede simular

usando esto. Sea {Xn , n 0} una cadena de Markov (, P) y
b0 X0 ,
E = {0, 1, . . . , M }. El proceso estocastico definido mediante X
bn+1 = F (X
bn , Yn+1 ),
X
para n 0, con F : E [0, 1] E , definida como x E , z [0, 1],
F (x , z ) = min{i E :

i
X

Px ,j > z },

j =0

y Yi Uniforme[0, 1], tiene la misma distribuci

on que
X = (Xn , n 0).

23/ 55

Introducci
on a las cadenas de Markov: I Tiempo discreto
Nociones b
asicas de cadenas de Markov
Recurrencia aleatoria y simulaci
on

Toda cadena de Markov con espacio de estados finito se puede simular

usando esto. Sea {Xn , n 0} una cadena de Markov (, P) y
b0 X0 ,
E = {0, 1, . . . , M }. El proceso estocastico definido mediante X
bn+1 = F (X
bn , Yn+1 ),
X
para n 0, con F : E [0, 1] E , definida como x E , z [0, 1],
F (x , z ) = min{i E :

i
X

Px ,j > z },

j =0

y Yi Uniforme[0, 1], tiene la misma distribuci

on que
b estan dadas por
on de X
X = (Xn , n 0). Las probabilidades de transici
bn+1 = l |X
bn = x ) = P (F (x , Yn+1 ) = l )
P(X
=P

l1
X
j =0

Px ,j Yn+1 <

l
X

!
Px ,j

= Px ,l .

j =0
23/ 55

Introducci
on a las cadenas de Markov: I Tiempo discreto
Nociones b
asicas de cadenas de Markov
Probabilidades de Trayectorias

La probabilidad de que una cadena de Markov siga la trayectoria

x0 , x1 , . . . , xn esta dada por
P(X0 = x0 , X1 = x1 , . . . , Xn = xn )
= P(X0 = x0 ) Px0 ,x1 Px1 ,x2 Pxn1 ,xn .
C
omo se justifica esta identidad?

24/ 55

Introducci
on a las cadenas de Markov: I Tiempo discreto
Nociones b
asicas de cadenas de Markov
Probabilidades de Trayectorias

La probabilidad de que una cadena de Markov siga la trayectoria

x0 , x1 , . . . , xn esta dada por
P(X0 = x0 , X1 = x1 , . . . , Xn = xn )
= P(X0 = x0 ) Px0 ,x1 Px1 ,x2 Pxn1 ,xn .
C
omo se justifica esta identidad?
Si A E n+1 es tal que
A = (x0 ,x1 ,...,xn )A {x0 , x1 , . . . , xn }
entonces
P ((X0 , X1 , . . . , Xn ) A)
X
=
P(X0 = x0 ) Px0 ,x1 Px1 ,x2 Pxn1 ,xn .
(x0 ,x1 ,...,xn )A

24/ 55

Introducci
on a las cadenas de Markov: I Tiempo discreto
Nociones b
asicas de cadenas de Markov
Inferencia para matrices de transici
on

C
omo se estima la matriz de transici
on?
Usando verosimilitud.
P(X0 = x0 , X1 = x1 , X2 = x2 , . . . , Xn = xn )
= P(X0 = x0 )Px0 ,x1 Px1 ,x2 Pxn1 ,xn = P(X0 = x0 )

Pi,ji,j ,

i,j E

donde ni,j
= #transiciones de i a j en la sucesi
on {x0 , x1 , x2 , . . . , xn }.

25/ 55

Introducci
on a las cadenas de Markov: I Tiempo discreto
Nociones b
asicas de cadenas de Markov
Inferencia para matrices de transici
on

C
omo se estima la matriz de transici
on?
Usando verosimilitud.
P(X0 = x0 , X1 = x1 , X2 = x2 , . . . , Xn = xn )
= P(X0 = x0 )Px0 ,x1 Px1 ,x2 Pxn1 ,xn = P(X0 = x0 )

Pi,ji,j ,

i,j E

donde ni,j
= #transiciones de i a j en la sucesi
on {x0 , x1 , x2 , . . . , xn }.
Se debe maximizar en (Pi,j , i , j E , a , a E ), la funcion
X
X
X

ni,j
log Pi,j +
i (1
Pi,j ).
i,j E

iE

j E

25/ 55

Introducci
on a las cadenas de Markov: I Tiempo discreto
Nociones b
asicas de cadenas de Markov
Inferencia para matrices de transici
on

C
omo se estima la matriz de transici
on?
Usando verosimilitud.
P(X0 = x0 , X1 = x1 , X2 = x2 , . . . , Xn = xn )
= P(X0 = x0 )Px0 ,x1 Px1 ,x2 Pxn1 ,xn = P(X0 = x0 )

Pi,ji,j ,

i,j E

donde ni,j
= #transiciones de i a j en la sucesi
on {x0 , x1 , x2 , . . . , xn }.
Se debe maximizar en (Pi,j , i , j E , a , a E ), la funcion
X
X
X

ni,j
log Pi,j +
i (1
Pi,j ).
i,j E

iE

j E

Derivando e igualando a cero

na,b
na,b
a = 0 Pa,b =
, a, b E . Usando la restriccion
Pa,b
a P
P

j E Pa,j = 1 y definiendo na :=
j E na,j , se ve que el EMV es
ba,b =
P

na,b
, a, b E .
na

25/ 55

Introducci
on a las cadenas de Markov: I Tiempo discreto
Nociones b
asicas de cadenas de Markov
Inferencia para matrices de transici
on

Ejemplo (Pesqueras)
En Karnataka, costa oeste de India, se pesca principalmente lo que se
encuentra en las capas superiores del mar abierto: Sardina (A), Mackerel
(B), Carangids (C), Whitebaits (D). Trimestralmente se mide cual es la
especie dominante.

26/ 55

Introducci
on a las cadenas de Markov: I Tiempo discreto
Nociones b
asicas de cadenas de Markov
Inferencia para matrices de transici
on

Ejemplo (Pesqueras)
En Karnataka, costa oeste de India, se pesca principalmente lo que se
encuentra en las capas superiores del mar abierto: Sardina (A), Mackerel
(B), Carangids (C), Whitebaits (D). Trimestralmente se mide cual es la
especie dominante.
Se tiene evidencia estadstica de que la predominancia de especies en un
trimestre s
olo depende del trimestre anterior.

26/ 55

Introducci
on a las cadenas de Markov: I Tiempo discreto
Nociones b
asicas de cadenas de Markov
Inferencia para matrices de transici
on

Ejemplo (Pesqueras)
En Karnataka, costa oeste de India, se pesca principalmente lo que se
encuentra en las capas superiores del mar abierto: Sardina (A), Mackerel
(B), Carangids (C), Whitebaits (D). Trimestralmente se mide cual es la
especie dominante.
Se tiene evidencia estadstica de que la predominancia de especies en un
trimestre s
olo depende del trimestre anterior.
Xn =especie dominante el trimestre n, Xn {A, B , C , D}. {Xn , n 0}
es una cadena de Markov.

26/ 55

Introducci
on a las cadenas de Markov: I Tiempo discreto
Nociones b
asicas de cadenas de Markov
Inferencia para matrices de transici
on

Ejemplo (Pesqueras)
En Karnataka, costa oeste de India, se pesca principalmente lo que se
encuentra en las capas superiores del mar abierto: Sardina (A), Mackerel
(B), Carangids (C), Whitebaits (D). Trimestralmente se mide cual es la
especie dominante.
Se tiene evidencia estadstica de que la predominancia de especies en un
trimestre s
olo depende del trimestre anterior.
Xn =especie dominante el trimestre n, Xn {A, B , C , D}. {Xn , n 0}
es una cadena de Markov.
Usando muestreos realizados entre 1961 y 2003 y el EMV de las
probabilidades de transici
on se obtuvo

A
B
C
D
A 0.6786 0.22619 0.0238 0.0714

P =
B 0.2879 0.5606 0.1212 0.0303 .
C 0.3333 0.3889 0.2778

0
D
0.25
0.375
0.375
0
26/ 55

Introducci
on a las cadenas de Markov: I Tiempo discreto
Nociones b
asicas de cadenas de Markov
Inferencia para matrices de transici
on

Ejemplo (Pesqueras)
En Karnataka, costa oeste de India, se pesca principalmente lo que se
encuentra en las capas superiores del mar abierto: Sardina (A), Mackerel
(B), Carangids (C), Whitebaits (D). Trimestralmente se mide cual es la
especie dominante.
Se tiene evidencia estadstica de que la predominancia de especies en un
trimestre s
olo depende del trimestre anterior.
Xn =especie dominante el trimestre n, Xn {A, B , C , D}. {Xn , n 0}
es una cadena de Markov.
Usando muestreos realizados entre 1961 y 2003 y el EMV de las
probabilidades de transici
on se obtuvo

A
B
C
D
A 0.6786 0.22619 0.0238 0.0714

P =
B 0.2879 0.5606 0.1212 0.0303 .
C 0.3333 0.3889 0.2778

0
D
0.25
0.375
0.375
0
Solamente puede ser usado para estudiar lo ocurrido en el periodo
muestreado mas no para predecir.

26/ 55

Introducci
on a las cadenas de Markov: I Tiempo discreto
Ecuaciones de Chapman-Kolmogorov

Para x , y E se define a P(0)

x ,y como
P(0)
x ,y

= x ,y

(
1
=
0

si x = y
.
si x =
6 y

A la funci
on , se le conoce como la delta de Kronecker. A la
matriz cuyas entradas estan dadas por {x ,y , x , y E } se le
denotara por I .

27/ 55

Introducci
on a las cadenas de Markov: I Tiempo discreto
Ecuaciones de Chapman-Kolmogorov

Para x , y E se define a P(0)

x ,y como
P(0)
x ,y

= x ,y

(
1
=
0

si x = y
.
si x =
6 y

A la funci
on , se le conoce como la delta de Kronecker. A la
matriz cuyas entradas estan dadas por {x ,y , x , y E } se le
denotara por I .
Para m 1 y para x , y E denotaremos por P(m)
x ,y a la probabilidad
de ir del estado x al estado y en m pasos, es decir
P(m)
x ,y = P (Xn+m = y|Xn = x ) ,

para n 0.

27/ 55

Introducci
on a las cadenas de Markov: I Tiempo discreto
Ecuaciones de Chapman-Kolmogorov

Se dice que un vector {i , i E }, es un vector de probabilidad si

P
asticas se define como
iE i = 1. El producto de dos matrices estoc
ABx ,y =

Ax ,z Bz ,y ,

z E

y la de una matriz estocastica A y un vector de probabilidad como

X
x Ax ,y .
Ay =
x E

28/ 55

Introducci
on a las cadenas de Markov: I Tiempo discreto
Ecuaciones de Chapman-Kolmogorov

Se dice que un vector {i , i E }, es un vector de probabilidad si

P
asticas se define como
iE i = 1. El producto de dos matrices estoc
ABx ,y =

Ax ,z Bz ,y ,

z E

y la de una matriz estocastica A y un vector de probabilidad como

X
x Ax ,y .
Ay =
x E

El producto de dos matrices estoc

asticas es una matriz estoc
astica
y el producto por la izquierda de un vector de probabilidad con una
matriz estoc
astica es un vector de probabilidad

28/ 55

Introducci
on a las cadenas de Markov: I Tiempo discreto
Ecuaciones de Chapman-Kolmogorov

Proposici
on (Ecuaciones de Chapman-Kolmogorov)
Sea {Xn , n N} una cadena de Markov con matriz de transicion P y
vector de probabilidad inicial (x ) = P(X0 = x ), x E . Se tiene que
X
(r )
P(Xn = y|X0 = x ) = P(n)
P(s)
n N x , y E ,
x ,y =
x ,z Pz ,y ,
z E

donde r , s son cualesquiera dos enteros tales que r + s = n. En

(n)
particular, la matriz {Px ,y , (x , y) E E } es la n-esima potencia de la
matriz P . Ademas,
P(Xn = y) = P(n)
y .

29/ 55

Introducci
on a las cadenas de Markov: I Tiempo discreto
Ecuaciones de Chapman-Kolmogorov

La probabilidad de que en el intervalo [m, m + n] la cadena realice la

trayectoria xm , xm+1 , . . . , xm+n esta dada por
P(Xm = xm , Xm+1 = xm+1 , . . . , Xm+n = xm+n )
= P(Xm+1 = xm+1 , . . . , Xm+n = xm+n |Xm = xm ) P(Xm = xm )
= P(Xm = xm ) Pxm ,xm+1 Pxm+1 ,xm+2 Pxm+n1 ,xm+n
=

P(m)
x
| {zm }

ir del estado inicial a xm

Pxm ,xm+1 Pxm+1 ,xm+2 Pxm+n1 ,xm+n

|
{z
}
realizar la trayectoria xm , xm+1 , . . . xm+n

30/ 55

Introducci
on a las cadenas de Markov: I Tiempo discreto
Ecuaciones de Chapman-Kolmogorov

Un ejemplo menos simple pero mas interesante es: la probabilidad del

evento X visita el estado x en el instante k por la primera vez esta
dada por
P (X visita el estado x en el instante k por la primera vez)
X
=
P(X0 = x0 , X1 = x1 , . . . , Xk 1 = xk 1 , Xk = x )
x0 ,x1 ,...,xk 1 E \{x }

(x0 ) Px0 ,x1 Px1 ,x2 Pxk 1 ,x .

x0 ,x1 ,...,xk 1 E \{x }

31/ 55

Introducci
on a las cadenas de Markov: I Tiempo discreto
Ecuaciones de Chapman-Kolmogorov
Cadena con dos estados

Cadena con dos estados

Sea {Xn , n 0} una cadena de Markov con dos estados E = {0, 1}, y
matriz de transici
on dada por


1

1
para algunos , [0, 1], tales que 0 < + < 2.

32/ 55

Introducci
on a las cadenas de Markov: I Tiempo discreto
Ecuaciones de Chapman-Kolmogorov
Cadena con dos estados

Cadena con dos estados

Sea {Xn , n 0} una cadena de Markov con dos estados E = {0, 1}, y
matriz de transici
on dada por


1

1
para algunos , [0, 1], tales que 0 < + < 2. Cu
al es el valor de
la probabilidad de ir de un estado a otro en n-pasos?

32/ 55

Introducci
on a las cadenas de Markov: I Tiempo discreto
Ecuaciones de Chapman-Kolmogorov
Cadena con dos estados

Cadena con dos estados

Sea {Xn , n 0} una cadena de Markov con dos estados E = {0, 1}, y
matriz de transici
on dada por


1

1
para algunos , [0, 1], tales que 0 < + < 2. Cual es el valor de
la probabilidad de ir de un estado a otro en n-pasos? La ecuacion de
Chapman-Kolmogorov implica
(n)

P(Xn = 0|X0 = 0) = P0,0 ,

n 1.

32/ 55

Introducci
on a las cadenas de Markov: I Tiempo discreto
Ecuaciones de Chapman-Kolmogorov
Cadena con dos estados

(0)

Se tiene que P(0,0) = 1, y para n 0,



(n+1)
P(0,0) = P(n) P
= (1

(0,0)

(n)
) P(0,0)

(n)

+ P(0,1)

(n)

condicionando % posicion al tiempo n,

(n)

= (1 ) P(0,0) +(1 P(0,0) )

(n)

(n)

P(0,0) + P(0,1) = 1

(n)

= (1 ) P(0,0) +;

33/ 55

Introducci
on a las cadenas de Markov: I Tiempo discreto
Ecuaciones de Chapman-Kolmogorov
Cadena con dos estados

(0)

Se tiene que P(0,0) = 1, y para n 0,



(n+1)
P(0,0) = P(n) P
= (1

(0,0)

(n)
) P(0,0)

(n)

+ P(0,1)

(n)

condicionando % posicion al tiempo n,

(n)

= (1 ) P(0,0) +(1 P(0,0) )

(n)

(n)

P(0,0) + P(0,1) = 1

(n)

= (1 ) P(0,0) +;
Se verifica mediante inducci
on que
(n)

P(0,0) =

+
(1 )n ,
+
+

n {1, 2, 3, . . .}

33/ 55

Introducci
on a las cadenas de Markov: I Tiempo discreto
Ecuaciones de Chapman-Kolmogorov
Cadena con dos estados

(0)

Se tiene que P(0,0) = 1, y para n 0,



(n+1)
P(0,0) = P(n) P
= (1

(0,0)

(n)
) P(0,0)

(n)

+ P(0,1)

(n)

condicionando % posicion al tiempo n,

(n)

= (1 ) P(0,0) +(1 P(0,0) )

(n)

(n)

P(0,0) + P(0,1) = 1

(n)

= (1 ) P(0,0) +;
Se verifica mediante inducci
on que
(n)

P(0,0) =

+
(1 )n ,
+
+

n {1, 2, 3, . . .}

(1 )n ,
+
+

n {1, 2, 3, . . .}

Y por lo tanto
(n)

P(0,1) =

33/ 55

Introducci
on a las cadenas de Markov: I Tiempo discreto
Ecuaciones de Chapman-Kolmogorov
Cadena con dos estados

Por simetra,
(n)

+
(1 )n ,
+
+

(1 )n ,
+
+

P(1,1) =
(n)

P(1,0)

n {2, 3, . . .}

34/ 55

Introducci
on a las cadenas de Markov: I Tiempo discreto
Ecuaciones de Chapman-Kolmogorov
Cadena con dos estados

Por simetra,
(n)

+
(1 )n ,
+
+

(1 )n ,
+
+

P(1,1) =
(n)

P(1,0)

n {2, 3, . . .}

En resumen,
P(n) =

1
+


+

(1 )n
+


.

34/ 55

Introducci
on a las cadenas de Markov: I Tiempo discreto
Ecuaciones de Chapman-Kolmogorov
Cadena con dos estados

Por simetra,
(n)

+
(1 )n ,
+
+

(1 )n ,
+
+

P(1,1) =
(n)

P(1,0)

n {2, 3, . . .}

En resumen,
P(n) =

1
+


+

(1 )n
+


.

Se tiene que 1 < 1 < 1, y por lo tanto para n suficientemente

grande
!
P(n)

34/ 55

Introducci
on a las cadenas de Markov: I Tiempo discreto
Ecuaciones de Chapman-Kolmogorov
Cadena con dos estados

Por simetra,
(n)

+
(1 )n ,
+
+

(1 )n ,
+
+

P(1,1) =
(n)

P(1,0)

n {2, 3, . . .}

En resumen,
P(n) =

1
+


+

(1 )n
+


.

Se tiene que 1 < 1 < 1, y por lo tanto para n suficientemente

grande
!
P(n)

Es decir que para i = 0, 1

lim P(Xn = 0|X0 = i ) =

,
+

lim P(Xn = 1|X0 = i ) =

34/ 55

Introducci
on a las cadenas de Markov: I Tiempo discreto
Ecuaciones de Chapman-Kolmogorov
Cadena con dos estados

El lmite de P(n) es una matriz de transici

on cuyos renglones son iguales
al vector el vector := (0 , 1 ) definido por
0 =

,
+

1 =

.
+

35/ 55

Introducci
on a las cadenas de Markov: I Tiempo discreto
Ecuaciones de Chapman-Kolmogorov
Cadena con dos estados

El lmite de P(n) es una matriz de transici

on cuyos renglones son iguales
al vector el vector := (0 , 1 ) definido por
0 =

,
+

1 =

.
+

Ademas, satisface el sistema de ecuaciones P = ,



1

(0 , 1 )
= (0 , 1 )

1
y 0 + 1 = 1. Se dice que es un vector de probabilidad invariante.

35/ 55

Introducci
on a las cadenas de Markov: I Tiempo discreto
Ecuaciones de Chapman-Kolmogorov
Cadena con dos estados

El lmite de P(n) es una matriz de transici

on cuyos renglones son iguales
al vector el vector := (0 , 1 ) definido por
0 =

,
+

1 =

.
+

Ademas, satisface el sistema de ecuaciones P = ,



1

(0 , 1 )
= (0 , 1 )

1
y 0 + 1 = 1. Se dice que es un vector de probabilidad invariante.
Teorema En general, si E es finito y x E para el cual
lim P(n)
x ,y := (y),

y E ,

entonces = ((z ))z E es un vector de probabilidad tal que P = .

35/ 55

Introducci
on a las cadenas de Markov: I Tiempo discreto
Ecuaciones de Chapman-Kolmogorov
La cadena de Ehrenfest

La cadena de Ehrenfest
Supongamos que en el modelo de Ehrenfest se tienen 4 partculas, esto es
N = 4 y se tiene que P esta dada por

0 1 0 0 0
1 0 3 0 0
4 2 4 2

P=
0 4 03 4 01 .
0 0

0
4
4
0 0 0 1 0

36/ 55

Introducci
on a las cadenas de Markov: I Tiempo discreto
Ecuaciones de Chapman-Kolmogorov
La cadena de Ehrenfest

La cadena de Ehrenfest
Supongamos que en el modelo de Ehrenfest se tienen 4 partculas, esto es
N = 4 y se tiene que P esta dada por

0 1 0 0 0
1 0 3 0 0
4 2 4 2

P=
0 4 03 4 01 .
0 0

0
4
4
0 0 0 1 0
En un n
umero par (respectivamente, impar) de pasos solo podemos
movernos entre estados que se encuentran a distancia par
(respectivamente, impar), por ejemplo, s empezamos en 2 en un numero
par de pasos solo podemos movernos a los estados 0, 2, y 4.

36/ 55

Introducci
on a las cadenas de Markov: I Tiempo discreto
Ecuaciones de Chapman-Kolmogorov
La cadena de Ehrenfest

Se intuye un comportamiento peri

odico

0.25
0
0.75
0
0
0.625
0
0.375

0
0.75
0
P(2) =
0.125
0
0.375
0
0.625
0
0
0.75
0
En general, para k

+ 0
0 +

P(2k ) =
+ 0
0 +
+ 0

0
0
0.125
0
0.250

1,
+
0
+
0
+

0
+
0
+
0

+
0
+
0
+

P(2k +1) =

0
+
0
+
0

+
0
+
0
+

0
+
0
+
0

+
0
+
0
+

0
+
0
+
0

37/ 55

Introducci
on a las cadenas de Markov: I Tiempo discreto
Ecuaciones de Chapman-Kolmogorov
La cadena de Ehrenfest

P(128) =

0.06666667
0
0.06666667
0
0.06666667

(129)

0
0.3333333
0
0.3333333
0

0
0.08333333
0
0.08333333
0

0.6666667
0
0.6666667
0
0.6666667

0.4
0
0 0.75
0.4
0
0.0 0.75
0.4
0

0.6
0
0.6
0
0.6

0
0.6666667
0
0.6666667
0
0
0.1666667
0
0.1666667
0

0.2666667
0
0.2666667
0
0.2666667

38/ 55

Introducci
on a las cadenas de Markov: I Tiempo discreto
Ecuaciones de Chapman-Kolmogorov
La cadena de Ehrenfest

P(128) =

0.06666667
0
0.06666667
0
0.06666667

(129)

0
0.3333333
0
0.3333333
0

0
0.08333333
0
0.08333333
0

0.6666667
0
0.6666667
0
0.6666667

0.4
0
0 0.75
0.4
0
0.0 0.75
0.4
0

0.6
0
0.6
0
0.6

0
0.6666667
0
0.6666667
0
0
0.1666667
0
0.1666667
0

0.2666667
0
0.2666667
0
0.2666667

Las potencias pares de P mayores de 128 son iguales a P(128) y las

impares a P(129) .

38/ 55

Introducci
on a las cadenas de Markov: I Tiempo discreto
Ecuaciones de Chapman-Kolmogorov
La cadena de Ehrenfest

P(128) =

0.06666667
0
0.06666667
0
0.06666667

(129)

0
0.3333333
0
0.3333333
0

0
0.08333333
0
0.08333333
0

0.6666667
0
0.6666667
0
0.6666667

0.4
0
0 0.75
0.4
0
0.0 0.75
0.4
0

0.6
0
0.6
0
0.6

0
0.6666667
0
0.6666667
0
0
0.1666667
0
0.1666667
0

0.2666667
0
0.2666667
0
0.2666667

Las potencias pares de P mayores de 128 son iguales a P(128) y las

impares a P(129) .
No puede haber un lmite de la matriz de transici
on.
38/ 55

Introducci
on a las cadenas de Markov: I Tiempo discreto
Comunicaci
on

Teorema
Para cualesquiera x , y E , se tiene que las siguientes afirmaciones son
equivalentes:
(i) Del estado x se puede acceder al estado y, x y, i.e. n 0,
(n)
Px ,y > 0,
(ii) Px ,x1 Px1 ,x2 Pxn2 ,xn1 Pxn1 ,y > 0, para algunos
x1 , . . . , xn1 E ; o dicho de otro modo, con probabilidad positiva
existe una trayectoria que lleva de x a y.
(iii) P(Xn = y para alg
un n 1|X0 = x ) > 0.

39/ 55

Introducci
on a las cadenas de Markov: I Tiempo discreto
Recurrencia y Transitoriedad

Definici
on
Para x E , definimos Tx = inf{n 1 : Xn = x }, el primer tiempo de
entrada a x .
Diremos que un estado x E es recurrente si
P(Tx < |X0 = x ) = P(Xn = x para alg
un n 1|X0 = x ) = 1.
Diremos que un estado x E es transitorio si
P(Tx < |X0 = x ) = P(Xn = x para alg
un n 1|X0 = x ) < 1.

40/ 55

Introducci
on a las cadenas de Markov: I Tiempo discreto
Recurrencia y Transitoriedad

Proposici
on
Si x es recurrente
P(Xn = x para una infinidad de ns |X0 = x ) = 1
Si x es transitorio
P(Xn = x para una infinidad de ns |X0 = x ) = 0.
Sean x = P(Tx < |X0 = x ) y Nx la variable aleatoria que cuenta
el numero total de visitas al estado x . Se tiene que Nx sigue una ley
geometrica, es decir que
k 1

P(Nx = k |X0 = x ) = (x )

(1 x ),

k 1.

41/ 55

Introducci
on a las cadenas de Markov: I Tiempo discreto
Ley fuerte

Sea Nny el n
umero de visitas al estado y en n pasos.
Teorema (Ley fuerte)
Para y E estado transitorio Nny < con probabilidad 1.

42/ 55

Introducci
on a las cadenas de Markov: I Tiempo discreto
Ley fuerte

Sea Nny el n
umero de visitas al estado y en n pasos.
Teorema (Ley fuerte)
Para y E estado transitorio Nny < con probabilidad 1.
Para y E estado recurrente,
lim

1{Ty <}
1 y
Nn =
,
n
E(Ty |X0 = y)

con probabilidad 1.

y
lim

1
P(Ty < |X0 = x )
E (Nny |X0 = x ) =
,
n
E(Ty |X0 = y)

x E .

42/ 55

Introducci
on a las cadenas de Markov: I Tiempo discreto
Ley fuerte

Sea Nny el n
umero de visitas al estado y en n pasos.
Teorema (Ley fuerte)
Para y E estado transitorio Nny < con probabilidad 1.
Para y E estado recurrente,
lim

1{Ty <}
1 y
Nn =
,
n
E(Ty |X0 = y)

con probabilidad 1.

y
lim

1
P(Ty < |X0 = x )
E (Nny |X0 = x ) =
,
n
E(Ty |X0 = y)

x E .

Si E es finito e irreducible entonces el vector

(y) =

1
,
E(Ty |X0 = y)

es el u
nico vector de probabilidad invariante.

x E,
42/ 55

Introducci
on a las cadenas de Markov: I Tiempo discreto
Ley fuerte

El sistema Bonus-Malus en el seguro de autom

oviles
En Hong Kong y en otros lugares del mundo, se usa un sistema para fijar
las primas de seguro de autom
ovil conocido como Bonus-Malus que
consiste de 6 clases de tarificaci
on, de 1 fort bonus a 6 fort malus, que se
rige por las siguientes reglas:
si un asegurado no tuvo siniestros durante el periodo, entonces pasa
de la categora i a la categora max{1, i 1},
si el asegurado tiene al menos un siniestro entonces pasa de la
categora i a la 6.
Si Xn denota la categora en cual se encuentra un individuo al n-esimo
periodo entonces {Xn , n 0} es una cadena de Markov con espacio de
estados {1, 2, . . . , 6}

43/ 55

Introducci
on a las cadenas de Markov: I Tiempo discreto
Ley fuerte

La matriz de transici
on asociada

p 0
p 0

0 p
P=
0 0

0 0
0 0

esta dada por

0
0
0
p
0
0

0
0
0
0
p
0

0
0
0
0
0
p

1p
1p
1p
1p
1p
1p

44/ 55

Introducci
on a las cadenas de Markov: I Tiempo discreto
Ley fuerte

La matriz de transici
on asociada

p 0
p 0

0 p
P=
0 0

0 0
0 0

esta dada por

0
0
0
p
0
0

0
0
0
0
p
0

0
0
0
0
0
p

1p
1p
1p
1p
1p
1p

Si p (0, 1) el u
nico vector = ((1), (2), . . . , (6)) que es invariante
para la matriz P, es decir P = , y que satisface que
(1) + (2) + + (6) = 1, es el vector dado por
(1) = p 5 , (2) = p 4 (1 p), (3) = p 3 (1 p),
(4) = p 2 (1 p), (5) = p(1 p), (6) = (1 p).

44/ 55

Introducci
on a las cadenas de Markov: I Tiempo discreto
Ley fuerte

Cu
al es la proporci
on de tiempo que un cliente pasa en el estado
j despu
es de n pasos, n 1 Nnj , dado que X0 = j ?

45/ 55

Introducci
on a las cadenas de Markov: I Tiempo discreto
Ley fuerte

Cual es la proporci
on de tiempo que un cliente pasa en el estado j
despues de n pasos, n 1 Nnj , dado que X0 = j ? Dado que la cadena es
irreducible y con espacio de estados finito
1
1 j
Nn (j ) =
,
n
E(Tj |X0 = j )
con probabilidad 1.

45/ 55

Introducci
on a las cadenas de Markov: I Tiempo discreto
Ley fuerte

Cual es la proporci
on de tiempo que un cliente pasa en el estado j
despues de n pasos, n 1 Nnj , dado que X0 = j ? Dado que la cadena es
irreducible y con espacio de estados finito
1
1 j
Nn (j ) =
,
n
E(Tj |X0 = j )
con probabilidad 1.
Cu
al es la prima promedio que paga un asegurado?

45/ 55

Introducci
on a las cadenas de Markov: I Tiempo discreto
Ley fuerte

Cual es la proporci
on de tiempo que un cliente pasa en el estado j
despues de n pasos, n 1 Nnj , dado que X0 = j ? Dado que la cadena es
irreducible y con espacio de estados finito
1
1 j
Nn (j ) =
,
n
E(Tj |X0 = j )
con probabilidad 1.
Cual es la prima promedio que paga un asegurado? Denotemos por c
una funci
on que determina la prima a pagar en funci
on de la categora. c
es una funci
on definida en {1, 2, . . . , 6} no-decreciente que toma solo
valores positivos. La prima promedio que pagara un individuo en n
periodos sera entonces:
(n)
n
6
6
X
X
Nj
1X
c(Xj ), =
c(j )

(j )c(j ),
n j =1
n
j =1
j =1

con probabilidad 1.
45/ 55

Introducci
on a las cadenas de Markov: I Tiempo discreto
Ley fuerte

Aplicaci
on a la Inferencia de matrices de transici
on.
Vimos que un EMV de la matriz de transici
on es
bi,j =
P

#transiciones de i a j en n pasos
=
#transiciones que parten de i en n pasos

Pn

1{(X ,X )=(i,j )}
Pn k 1 k
k =0 1{Xk =i}

k =1

46/ 55

Introducci
on a las cadenas de Markov: I Tiempo discreto
Ley fuerte

Aplicaci
on a la Inferencia de matrices de transici
on.
Vimos que un EMV de la matriz de transici
on es
bi,j =
P

#transiciones de i a j en n pasos
=
#transiciones que parten de i en n pasos

Pn

1{(X ,X )=(i,j )}
Pn k 1 k
k =0 1{Xk =i}

k =1

El proceso Yk = (Xk , Xk +1 ), k 0 es tambien una cadena de Markov

con espacio de estados E E , y es recurrente si la cadena (Xk , k 0) lo
es.

46/ 55

Introducci
on a las cadenas de Markov: I Tiempo discreto
Ley fuerte

Aplicaci
on a la Inferencia de matrices de transici
on.
Vimos que un EMV de la matriz de transici
on es
bi,j =
P

#transiciones de i a j en n pasos
=
#transiciones que parten de i en n pasos

Pn

1{(X ,X )=(i,j )}
Pn k 1 k
k =0 1{Xk =i}

k =1

El proceso Yk = (Xk , Xk +1 ), k 0 es tambien una cadena de Markov

con espacio de estados E E , y es recurrente si la cadena (Xk , k 0) lo
es.
Si ((x ), x E ) es vector de probabilidad invariante para {Xk , k 0}
entonces (x ,y) := (x )Px ,y , con (x , y) E 2 es un vector de
probabilidad invariante para la matriz de transici
on de la cadena
(Yk , k 0).

46/ 55

Introducci
on a las cadenas de Markov: I Tiempo discreto
Ley fuerte

Aplicaci
on a la Inferencia de matrices de transici
on.
Vimos que un EMV de la matriz de transici
on es
bi,j =
P

#transiciones de i a j en n pasos
=
#transiciones que parten de i en n pasos

Pn

1{(X ,X )=(i,j )}
Pn k 1 k
k =0 1{Xk =i}

k =1

El proceso Yk = (Xk , Xk +1 ), k 0 es tambien una cadena de Markov

con espacio de estados E E , y es recurrente si la cadena (Xk , k 0) lo
es.
Si ((x ), x E ) es vector de probabilidad invariante para {Xk , k 0}
entonces (x ,y) := (x )Px ,y , con (x , y) E 2 es un vector de
probabilidad invariante para la matriz de transici
on de la cadena
(Yk , k 0). Si X es una cadena recurrente, irreducible y E es finito.
Entonces Y tambien lo es y por el teorema anterior, con probabilidad 1
Pn
k =1 1{(Xk 1 ,Xk )=(i,j )}
i Pi,j ,
(i , j ) E 2 .
n
n
Mas a
un con probabilidad 1
Pn
k =0 1{Xk =i}
i , i E .
n
n +1

46/ 55

Introducci
on a las cadenas de Markov: I Tiempo discreto
Ley fuerte

Por lo anterior, se tiene que el EMV de la probabilidad de transicion es

fuertemente consistente, es decir que con probabilidad 1
bi,j =
P

#transiciones de i a j en n pasos
Pi,j .
#transiciones que parten de i en n pasos n

47/ 55

Introducci
on a las cadenas de Markov: I Tiempo discreto
Ley fuerte

Por lo anterior, se tiene que el EMV de la probabilidad de transicion es

fuertemente consistente, es decir que con probabilidad 1
bi,j =
P

#transiciones de i a j en n pasos
Pi,j .
#transiciones que parten de i en n pasos n

Es posible ver que el estimador es tambien asint

oticamente normal y es
posible construir intervalos de confianza.

47/ 55

Introducci
on a las cadenas de Markov: I Tiempo discreto
Ley fuerte

Teorema (Estacionaria)
Sea X = {Xn , n 0} una cadena de Markov con caractersticas (, P ) y
supongamos que es invariante para P . Entonces,
para todo m N se tiene P (m) = , es decir que
P(Xm = y) = (y),

y E ;

48/ 55

Introducci
on a las cadenas de Markov: I Tiempo discreto
Ley fuerte

Teorema (Estacionaria)
Sea X = {Xn , n 0} una cadena de Markov con caractersticas (, P ) y
supongamos que es invariante para P . Entonces,
para todo m N se tiene P (m) = , es decir que
P(Xm = y) = (y),

y E ;

la cadena de Markov X es estacionaria, es decir que para todo

m, n N se cumple que el vector (Xm+1 , . . . , Xm+n ) tiene la
misma ley que (X1 , . . . , Xn ) , esto es
P (Xm+1 = x1 , . . . , Xm+n = xn ) = P (X1 = x1 , . . . , Xn = xn ) ,
para todo x1 , . . . , xn E .

48/ 55

Introducci
on a las cadenas de Markov: I Tiempo discreto
Ley fuerte

Es inmediato que 0 (y) 1, para todo y E pues esto se vale para

(n)
las potencia de la matriz de transici
on P , 0 Px ,y 1, para todo n 1
y x, y E.

49/ 55

Introducci
on a las cadenas de Markov: I Tiempo discreto
Ley fuerte

Es inmediato que 0 (y) 1, para todo y E pues esto se vale para

(n)
las potencia de la matriz de transici
on P , 0 Px ,y 1, para todo n 1
y x , y E . Es un vector de probabilidad:
X
X
X
(y) =
lim Px(n)
Px(n)
,y = lim
,y = 1.
yE

yE

yE

49/ 55

Introducci
on a las cadenas de Markov: I Tiempo discreto
Ley fuerte

Es inmediato que 0 (y) 1, para todo y E pues esto se vale para

(n)
las potencia de la matriz de transici
on P , 0 Px ,y 1, para todo n 1
y x , y E . Es un vector de probabilidad:
X
X
X
(y) =
lim Px(n)
Px(n)
,y = lim
,y = 1.
yE

yE

yE

Es invariante: por las ecuaciones de Chapman-Kolmogorov tenemos que

para todo y E .
X
(y) = lim Px(n+1)
= lim
Px(n)
,y
,z Pz ,y
n

X
z E

lim

Px(n)
,z Pz ,y

z E

(z )Pz ,y

z E

49/ 55

Introducci
on a las cadenas de Markov: I Tiempo discreto
Ley fuerte

Sea X = {Xn , n 0} una cadena de Markov con matriz de transicion

0
1
0
1/2 1/2 .
P = 0
1/2
0
1/2
Encontrar una ley invariante para X .

50/ 55

Introducci
on a las cadenas de Markov: I Tiempo discreto
Ley fuerte

Sea X = {Xn , n 0} una cadena de Markov con matriz de transicion

0
1
0
1/2 1/2 .
P = 0
1/2
0
1/2
Encontrar una ley invariante para X . Debemos resolver el sistema

0
1
0
1
1/2 1/2 = 2 ,
(1 , 2 , 3 )P = 0
1/2
0
1/2
3

50/ 55

Introducci
on a las cadenas de Markov: I Tiempo discreto
Ley fuerte

Equivalentemente, resolver el sistemas de ecuaciones

1 =

1
1
1
1
3 , 1 + 2 = 2 , 2 + 3 = 3 .
2
2
2
2

Su soluci
on queda determinada en terminos de 3 pues
1 =

1
3 , 2 = 3 .
2

Para determinar el valor de 3 se utiliza la condici

on,
1 + 2 + 3 = 1.
Despues de algunos
calculos elementales se llega a la solucion:


= 51 , 25 , 25 .

51/ 55

Introducci
on a las cadenas de Markov: I Tiempo discreto
Ley fuerte

La n-esima potencia de la matriz de transici

on esta dada por
 n 
 n  2
 n 
1
1
4
(n)
P1,1 = +
cos
sin
.
5
2
5
2
5
2
Por lo tanto,
(n)

lim P1,1 =

1
= (1).
5

52/ 55

Introducci
on a las cadenas de Markov: I Tiempo discreto
Ley fuerte

Teorema
En el caso en que el espacio de estados E es finito siempre existe una ley
invariante

53/ 55

Introducci
on a las cadenas de Markov: I Tiempo discreto
Ley fuerte

Teorema
Sea P una matriz estocastica asociada a una cadena de Markov
{Xn , n N} con espacio de estados E finito y supongamos que existe un
entero n tal que P(n) tiene todas sus entradas estrictamente positivas.
Se tienen las siguientes propiedades.
Cuando n tiende a infinito, P(n) converge entrada por entrada a una
matriz tal que todos sus renglones son iguales a un mismo vector
de probabilidad cuyas entradas son estrictamente positivas.

54/ 55

Introducci
on a las cadenas de Markov: I Tiempo discreto
Ley fuerte

Teorema
Sea P una matriz estocastica asociada a una cadena de Markov
{Xn , n N} con espacio de estados E finito y supongamos que existe un
entero n tal que P(n) tiene todas sus entradas estrictamente positivas.
Se tienen las siguientes propiedades.
Cuando n tiende a infinito, P(n) converge entrada por entrada a una
matriz tal que todos sus renglones son iguales a un mismo vector
de probabilidad cuyas entradas son estrictamente positivas.
El vector es el u
nico vector de probabilidad invariante para P, eso
es P = ; cualquier otro vector v tal que v P = v es un m
ultiplo
de ;

54/ 55

Introducci
on a las cadenas de Markov: I Tiempo discreto
Ley fuerte

Teorema
Sea P una matriz estocastica asociada a una cadena de Markov
{Xn , n N} con espacio de estados E finito y supongamos que existe un
entero n tal que P(n) tiene todas sus entradas estrictamente positivas.
Se tienen las siguientes propiedades.
Cuando n tiende a infinito, P(n) converge entrada por entrada a una
matriz tal que todos sus renglones son iguales a un mismo vector
de probabilidad cuyas entradas son estrictamente positivas.
El vector es el u
nico vector de probabilidad invariante para P, eso
es P = ; cualquier otro vector v tal que v P = v es un m
ultiplo
de ;
Se tienen las siguientes convergencias:
lim P(Xn = x ) = (x ),

x E,

y
lim Py (Xn = x ) = (x ),

con (x ) la componente x del vector .

x, y E,
54/ 55