Lección 1

Cadenas de Markov
Lección 1

Profa. Teresa Velasco Sanjuan

25 de marzo de 2020
Lección 1
Distribuciones estacionarias y vectores propios

Distribuciones estacionarias

Recordemos que dada una C.M. (cadena de Markov) con matriz de transición P, el
vector (renglón) aleatorio π = (π0 , π1 , . . .) es una distribución estacionaria si

πP = π

Por otro lado, ustedes ya probaron (examen parcial 1), que para toda matriz estocástia
1
 
 1 
P el valor uno es un valor propio, pues el vector columna λ =   satisface que
..
.

Pλ=λ
Lección 1
Distribuciones estacionarias y vectores propios

Distribuciones estacionarias

Recordemos que dada una C.M. (cadena de Markov) con matriz de transición P, el
vector (renglón) aleatorio π = (π0 , π1 , . . .) es una distribución estacionaria si

πP = π

Por otro lado, ustedes ya probaron (examen parcial 1), que para toda matriz estocástia
1
 
 1 
P el valor uno es un valor propio, pues el vector columna λ =   satisface que
..
.

Pλ=λ
Lección 1
Distribuciones estacionarias y vectores propios

Como la matriz P y P t tienen los mismos valores propios, resulta entonces que el valor
uno es también siempre un valor propio de P t

(Atención: P y P t siempre tienen los mismos valores propios, pero no necesariamente

los mismos vectores propios)

Sea u un vector propio de la matriz P t correspondiente al valor propio uno, es decir, u

es un vector columna que satisface

Pt u = u
Tomando transpuesta de ambos lados, tenemos que la ecuación anterior es equivalente
a
ut P = ut

Si sucede que
I el vector u tiene todas sus entradas no negativas
I la suma de las entradas de u es finita (esto sucede en particular cuando el espacio
de estados es finito)
Lección 1
Distribuciones estacionarias y vectores propios

Como la matriz P y P t tienen los mismos valores propios, resulta entonces que el valor
uno es también siempre un valor propio de P t

(Atención: P y P t siempre tienen los mismos valores propios, pero no necesariamente

los mismos vectores propios)

Sea u un vector propio de la matriz P t correspondiente al valor propio uno, es decir, u

es un vector columna que satisface

Pt u = u
Tomando transpuesta de ambos lados, tenemos que la ecuación anterior es equivalente
a
ut P = ut

Si sucede que
I el vector u tiene todas sus entradas no negativas
I la suma de las entradas de u es finita (esto sucede en particular cuando el espacio
de estados es finito)
Lección 1
Distribuciones estacionarias y vectores propios

Como la matriz P y P t tienen los mismos valores propios, resulta entonces que el valor
uno es también siempre un valor propio de P t

(Atención: P y P t siempre tienen los mismos valores propios, pero no necesariamente

los mismos vectores propios)

Sea u un vector propio de la matriz P t correspondiente al valor propio uno, es decir, u

es un vector columna que satisface

Pt u = u
Tomando transpuesta de ambos lados, tenemos que la ecuación anterior es equivalente
a
ut P = ut

Si sucede que
I el vector u tiene todas sus entradas no negativas
I la suma de las entradas de u es finita (esto sucede en particular cuando el espacio
de estados es finito)
Lección 1
Distribuciones estacionarias y vectores propios

Como la matriz P y P t tienen los mismos valores propios, resulta entonces que el valor
uno es también siempre un valor propio de P t

(Atención: P y P t siempre tienen los mismos valores propios, pero no necesariamente

los mismos vectores propios)

Sea u un vector propio de la matriz P t correspondiente al valor propio uno, es decir, u

es un vector columna que satisface

Pt u = u
Tomando transpuesta de ambos lados, tenemos que la ecuación anterior es equivalente
a
ut P = ut

Si sucede que
I el vector u tiene todas sus entradas no negativas
I la suma de las entradas de u es finita (esto sucede en particular cuando el espacio
de estados es finito)
Lección 1
Distribuciones estacionarias y vectores propios

Como la matriz P y P t tienen los mismos valores propios, resulta entonces que el valor
uno es también siempre un valor propio de P t

(Atención: P y P t siempre tienen los mismos valores propios, pero no necesariamente

los mismos vectores propios)

Sea u un vector propio de la matriz P t correspondiente al valor propio uno, es decir, u

es un vector columna que satisface

Pt u = u
Tomando transpuesta de ambos lados, tenemos que la ecuación anterior es equivalente
a
ut P = ut

Si sucede que
I el vector u tiene todas sus entradas no negativas
I la suma de las entradas de u es finita (esto sucede en particular cuando el espacio
de estados es finito)
Lección 1
Distribuciones estacionarias y vectores propios

Como la matriz P y P t tienen los mismos valores propios, resulta entonces que el valor
uno es también siempre un valor propio de P t

(Atención: P y P t siempre tienen los mismos valores propios, pero no necesariamente

los mismos vectores propios)

Sea u un vector propio de la matriz P t correspondiente al valor propio uno, es decir, u

es un vector columna que satisface

Pt u = u
Tomando transpuesta de ambos lados, tenemos que la ecuación anterior es equivalente
a
ut P = ut

Si sucede que
I el vector u tiene todas sus entradas no negativas
I la suma de las entradas de u es finita (esto sucede en particular cuando el espacio
de estados es finito)
Lección 1
Distribuciones estacionarias y vectores propios

Como la matriz P y P t tienen los mismos valores propios, resulta entonces que el valor
uno es también siempre un valor propio de P t

(Atención: P y P t siempre tienen los mismos valores propios, pero no necesariamente

los mismos vectores propios)

Sea u un vector propio de la matriz P t correspondiente al valor propio uno, es decir, u

es un vector columna que satisface

Pt u = u
Tomando transpuesta de ambos lados, tenemos que la ecuación anterior es equivalente
a
ut P = ut

Si sucede que
I el vector u tiene todas sus entradas no negativas
I la suma de las entradas de u es finita (esto sucede en particular cuando el espacio
de estados es finito)
Lección 1
Distribuciones estacionarias y vectores propios

Entonces el vector renglón

1
π= P ut
k uk
es un vector aleatorio que resulta ser una distribución estacionaria para la matriz P

Esto es fácil de ver, pues

1
πP = P ut P
k uk

1
= P ut
k uk

= π
Lección 1
Distribuciones estacionarias y vectores propios

Entonces el vector renglón

1
π= P ut
k uk
es un vector aleatorio que resulta ser una distribución estacionaria para la matriz P

Esto es fácil de ver, pues

1
πP = P ut P
k uk

1
= P ut
k uk

= π
Lección 1
Distribuciones estacionarias y vectores propios

Algoritmo

Recordemos que si u es un vector propio de una matriz A, entonces cualquier múltiplo

escalar de u también será vector propio, de mod que una forma de hallar una
distribución estacionaria para la matriz estocástica P es

I Hallar un vector propio u para P t correspondiente al valor propio uno

I Si este vector u tiene todas sus entradas del mismo signo (o algunas cero),
multiplicarlo por una constante adecuada de modo que las entradas del nuevo
vector, π, sumen uno
I El vector π será un vector (renglón) estacionario para la matriz P
El algoritomo anterior es muy fácil de implementar en R como veremos a continuación.
Lección 1
Distribuciones estacionarias y vectores propios

Algoritmo

Recordemos que si u es un vector propio de una matriz A, entonces cualquier múltiplo

escalar de u también será vector propio, de mod que una forma de hallar una
distribución estacionaria para la matriz estocástica P es

I Hallar un vector propio u para P t correspondiente al valor propio uno

I Si este vector u tiene todas sus entradas del mismo signo (o algunas cero),
multiplicarlo por una constante adecuada de modo que las entradas del nuevo
vector, π, sumen uno
I El vector π será un vector (renglón) estacionario para la matriz P
El algoritomo anterior es muy fácil de implementar en R como veremos a continuación.
Lección 1
Distribuciones estacionarias y vectores propios

Algoritmo

Recordemos que si u es un vector propio de una matriz A, entonces cualquier múltiplo

escalar de u también será vector propio, de mod que una forma de hallar una
distribución estacionaria para la matriz estocástica P es

I Hallar un vector propio u para P t correspondiente al valor propio uno

I Si este vector u tiene todas sus entradas del mismo signo (o algunas cero),
multiplicarlo por una constante adecuada de modo que las entradas del nuevo
vector, π, sumen uno
I El vector π será un vector (renglón) estacionario para la matriz P
El algoritomo anterior es muy fácil de implementar en R como veremos a continuación.
Lección 1
Distribuciones estacionarias y vectores propios

Algoritmo

Recordemos que si u es un vector propio de una matriz A, entonces cualquier múltiplo

escalar de u también será vector propio, de mod que una forma de hallar una
distribución estacionaria para la matriz estocástica P es

I Hallar un vector propio u para P t correspondiente al valor propio uno

I Si este vector u tiene todas sus entradas del mismo signo (o algunas cero),
multiplicarlo por una constante adecuada de modo que las entradas del nuevo
vector, π, sumen uno
I El vector π será un vector (renglón) estacionario para la matriz P
El algoritomo anterior es muy fácil de implementar en R como veremos a continuación.
Lección 1
Distribuciones estacionarias y vectores propios

Algoritmo

Recordemos que si u es un vector propio de una matriz A, entonces cualquier múltiplo

escalar de u también será vector propio, de mod que una forma de hallar una
distribución estacionaria para la matriz estocástica P es

I Hallar un vector propio u para P t correspondiente al valor propio uno

I Si este vector u tiene todas sus entradas del mismo signo (o algunas cero),
multiplicarlo por una constante adecuada de modo que las entradas del nuevo
vector, π, sumen uno
I El vector π será un vector (renglón) estacionario para la matriz P
El algoritomo anterior es muy fácil de implementar en R como veremos a continuación.
Lección 1
Distribuciones estacionarias y vectores propios

Ejemplo

Consideremos nuevamente la matriz estocástica del clima en la Tierra de Oz con

espacio de estados S = {g , r , s} (buen clima, lluvia, nieve)

b r s
 1 1 
b 0 2 2
P=  
1 1 1
 
r 
 4 2 4


 
s 1 1 1
4 4 2

Calcularemos su distribución estacionaria en R

Lección 1
Distribuciones estacionarias y vectores propios

Ejemplo

Consideremos nuevamente la matriz estocástica del clima en la Tierra de Oz con

espacio de estados S = {g , r , s} (buen clima, lluvia, nieve)

b r s
 1 1 
b 0 2 2
P=  
1 1 1
 
r 
 4 2 4


 
s 1 1 1
4 4 2

Calcularemos su distribución estacionaria en R

Lección 1
Distribuciones estacionarias y vectores propios

Ejemplo

Consideremos nuevamente la matriz estocástica del clima en la Tierra de Oz con

espacio de estados S = {g , r , s} (buen clima, lluvia, nieve)

b r s
 1 1 
b 0 2 2
P=  
1 1 1
 
r 
 4 2 4


 
s 1 1 1
4 4 2

Calcularemos su distribución estacionaria en R

Lección 1
Distribuciones estacionarias y vectores propios

Construimos la matriz P

P < −matrix(c(0, 1/2, 1/2, 1/4, 1/2, 1/4, 1/4, 1/4, 1/2), nrow = 3, byrow = T )

El comando eigen(”matriz”) devuelve

I Un objeto llamado values con los valores propios de la matriz.
I Un objeto llamado vectors con los vectores propios correspondientes a cada valor
propio
Probemos este comando con la matriz P t

eigen(t(P))

Observemos que el valor uno es un valor propio, cuyo vector propio correspondiente es
 1 
3
 
2
 
u=
 3


 
2
3
Lección 1
Distribuciones estacionarias y vectores propios

Construimos la matriz P

P < −matrix(c(0, 1/2, 1/2, 1/4, 1/2, 1/4, 1/4, 1/4, 1/2), nrow = 3, byrow = T )

El comando eigen(”matriz”) devuelve

I Un objeto llamado values con los valores propios de la matriz.
I Un objeto llamado vectors con los vectores propios correspondientes a cada valor
propio
Probemos este comando con la matriz P t

eigen(t(P))

Observemos que el valor uno es un valor propio, cuyo vector propio correspondiente es
 1 
3
 
2
 
u=
 3


 
2
3
Lección 1
Distribuciones estacionarias y vectores propios

Construimos la matriz P

P < −matrix(c(0, 1/2, 1/2, 1/4, 1/2, 1/4, 1/4, 1/4, 1/2), nrow = 3, byrow = T )

El comando eigen(”matriz”) devuelve

I Un objeto llamado values con los valores propios de la matriz.
I Un objeto llamado vectors con los vectores propios correspondientes a cada valor
propio
Probemos este comando con la matriz P t

eigen(t(P))

Observemos que el valor uno es un valor propio, cuyo vector propio correspondiente es
 1 
3
 
2
 
u=
 3


 
2
3
Lección 1
Distribuciones estacionarias y vectores propios

Construimos la matriz P

P < −matrix(c(0, 1/2, 1/2, 1/4, 1/2, 1/4, 1/4, 1/4, 1/2), nrow = 3, byrow = T )

El comando eigen(”matriz”) devuelve

I Un objeto llamado values con los valores propios de la matriz.
I Un objeto llamado vectors con los vectores propios correspondientes a cada valor
propio
Probemos este comando con la matriz P t

eigen(t(P))

Observemos que el valor uno es un valor propio, cuyo vector propio correspondiente es
 1 
3
 
2
 
u=
 3


 
2
3
Lección 1
Distribuciones estacionarias y vectores propios

Construimos la matriz P

P < −matrix(c(0, 1/2, 1/2, 1/4, 1/2, 1/4, 1/4, 1/4, 1/2), nrow = 3, byrow = T )

El comando eigen(”matriz”) devuelve

I Un objeto llamado values con los valores propios de la matriz.
I Un objeto llamado vectors con los vectores propios correspondientes a cada valor
propio
Probemos este comando con la matriz P t

eigen(t(P))

Observemos que el valor uno es un valor propio, cuyo vector propio correspondiente es
 1 
3
 
2
 
u=
 3


 
2
3
Lección 1
Distribuciones estacionarias y vectores propios

Construimos la matriz P

P < −matrix(c(0, 1/2, 1/2, 1/4, 1/2, 1/4, 1/4, 1/4, 1/2), nrow = 3, byrow = T )

El comando eigen(”matriz”) devuelve

I Un objeto llamado values con los valores propios de la matriz.
I Un objeto llamado vectors con los vectores propios correspondientes a cada valor
propio
Probemos este comando con la matriz P t

eigen(t(P))

Observemos que el valor uno es un valor propio, cuyo vector propio correspondiente es
 1 
3
 
2
 
u=
 3


 
2
3
Lección 1
Distribuciones estacionarias y vectores propios

Construimos la matriz P

P < −matrix(c(0, 1/2, 1/2, 1/4, 1/2, 1/4, 1/4, 1/4, 1/2), nrow = 3, byrow = T )

El comando eigen(”matriz”) devuelve

I Un objeto llamado values con los valores propios de la matriz.
I Un objeto llamado vectors con los vectores propios correspondientes a cada valor
propio
Probemos este comando con la matriz P t

eigen(t(P))

Observemos que el valor uno es un valor propio, cuyo vector propio correspondiente es
 1 
3
 
2
 
u=
 3


 
2
3
Lección 1
Distribuciones estacionarias y vectores propios

Construimos la matriz P

P < −matrix(c(0, 1/2, 1/2, 1/4, 1/2, 1/4, 1/4, 1/4, 1/2), nrow = 3, byrow = T )

El comando eigen(”matriz”) devuelve

I Un objeto llamado values con los valores propios de la matriz.
I Un objeto llamado vectors con los vectores propios correspondientes a cada valor
propio
Probemos este comando con la matriz P t

eigen(t(P))

Observemos que el valor uno es un valor propio, cuyo vector propio correspondiente es
 1 
3
 
2
 
u=
 3


 
2
3
Lección 1
Distribuciones estacionarias y vectores propios

Ahora, ”normalizaremos” el vector u dividiéndolo entre la suma de sus entradas, es

decir, sea  
3 1 2 2
π=
5 3 3 3

O bien  
1 2 2
π=
5 5 5
En R esto lo hacemos llamando u a la primer columna del objeto vectors, es decir

u < − eigen(t(P))$vectors[, 1]

Finalmente nuestra distribución estacionaria será

pii < − u/sum(u)

(El nombre pi en R está reservado para el número π por lo que a la distribución

estacionaria le llamé pii)

Verifica los cálculos en R en tu computadora.

Lección 1
Distribuciones estacionarias y vectores propios

Ahora, ”normalizaremos” el vector u dividiéndolo entre la suma de sus entradas, es

decir, sea  
3 1 2 2
π=
5 3 3 3

O bien  
1 2 2
π=
5 5 5
En R esto lo hacemos llamando u a la primer columna del objeto vectors, es decir

u < − eigen(t(P))$vectors[, 1]

Finalmente nuestra distribución estacionaria será

pii < − u/sum(u)

(El nombre pi en R está reservado para el número π por lo que a la distribución

estacionaria le llamé pii)

Verifica los cálculos en R en tu computadora.

Lección 1
Distribuciones estacionarias y vectores propios

Ahora, ”normalizaremos” el vector u dividiéndolo entre la suma de sus entradas, es

decir, sea  
3 1 2 2
π=
5 3 3 3

O bien  
1 2 2
π=
5 5 5
En R esto lo hacemos llamando u a la primer columna del objeto vectors, es decir

u < − eigen(t(P))$vectors[, 1]

Finalmente nuestra distribución estacionaria será

pii < − u/sum(u)

(El nombre pi en R está reservado para el número π por lo que a la distribución

estacionaria le llamé pii)

Verifica los cálculos en R en tu computadora.

Lección 1
Distribuciones estacionarias y vectores propios

Ahora, ”normalizaremos” el vector u dividiéndolo entre la suma de sus entradas, es

decir, sea  
3 1 2 2
π=
5 3 3 3

O bien  
1 2 2
π=
5 5 5
En R esto lo hacemos llamando u a la primer columna del objeto vectors, es decir

u < − eigen(t(P))$vectors[, 1]

Finalmente nuestra distribución estacionaria será

pii < − u/sum(u)

(El nombre pi en R está reservado para el número π por lo que a la distribución

estacionaria le llamé pii)

Verifica los cálculos en R en tu computadora.

Lección 1
Distribuciones estacionarias y vectores propios

Ahora, ”normalizaremos” el vector u dividiéndolo entre la suma de sus entradas, es

decir, sea  
3 1 2 2
π=
5 3 3 3

O bien  
1 2 2
π=
5 5 5
En R esto lo hacemos llamando u a la primer columna del objeto vectors, es decir

u < − eigen(t(P))$vectors[, 1]

Finalmente nuestra distribución estacionaria será

pii < − u/sum(u)

(El nombre pi en R está reservado para el número π por lo que a la distribución

estacionaria le llamé pii)

Verifica los cálculos en R en tu computadora.

Lección 1
Distribuciones estacionarias y vectores propios

Ahora, ”normalizaremos” el vector u dividiéndolo entre la suma de sus entradas, es

decir, sea  
3 1 2 2
π=
5 3 3 3

O bien  
1 2 2
π=
5 5 5
En R esto lo hacemos llamando u a la primer columna del objeto vectors, es decir

u < − eigen(t(P))$vectors[, 1]

Finalmente nuestra distribución estacionaria será

pii < − u/sum(u)

(El nombre pi en R está reservado para el número π por lo que a la distribución

estacionaria le llamé pii)

Verifica los cálculos en R en tu computadora.

Lección 1
Distribuciones estacionarias y vectores propios

Ahora, ”normalizaremos” el vector u dividiéndolo entre la suma de sus entradas, es

decir, sea  
3 1 2 2
π=
5 3 3 3

O bien  
1 2 2
π=
5 5 5
En R esto lo hacemos llamando u a la primer columna del objeto vectors, es decir

u < − eigen(t(P))$vectors[, 1]

Finalmente nuestra distribución estacionaria será

pii < − u/sum(u)

(El nombre pi en R está reservado para el número π por lo que a la distribución

estacionaria le llamé pii)

Verifica los cálculos en R en tu computadora.

Lección 1
Distribuciones estacionarias y vectores propios

Ejercicios

1. Considera la matriz de transición del ejemplo 3,7 del libro con N = 5 y determina
su distribución estacionaria usando el algoritmo visto en esta lección.

Tu resultado debe coincidir con la distribución de una variable aleatoria binomial

1
con parámetros n = 5 y p =
2
2. Resuelve, usando R, el ejercicio 3,1 de la página 144 del libro.
Lección 1
Distribuciones estacionarias y vectores propios

Ejercicios

1. Considera la matriz de transición del ejemplo 3,7 del libro con N = 5 y determina
su distribución estacionaria usando el algoritmo visto en esta lección.

Tu resultado debe coincidir con la distribución de una variable aleatoria binomial

1
con parámetros n = 5 y p =
2
2. Resuelve, usando R, el ejercicio 3,1 de la página 144 del libro.
Lección 1
Distribuciones estacionarias y vectores propios

Ejercicios

1. Considera la matriz de transición del ejemplo 3,7 del libro con N = 5 y determina
su distribución estacionaria usando el algoritmo visto en esta lección.

Tu resultado debe coincidir con la distribución de una variable aleatoria binomial

1
con parámetros n = 5 y p =
2
2. Resuelve, usando R, el ejercicio 3,1 de la página 144 del libro.