1.3.

Cadeias de Markov
1.3.1. Cadeias de Markov em tempo discreto
Consideremos um processo estocastico discreto
{X
n
: n = 0, 1, 2, . . . } que assume um numero nito ou in-
nito numeravel de estados.
Se X
n
= i, dizemos que o processo se encontra no estado i
no instante n .
Admitiremos que existe uma probabilidade xa p
ij
do processo
transitar para o estado j a partir do estado i, isto e,
p
ij
= P[X
n+1
= j|X
n
= i], n 0.
1
Denicao 1.3.1.1 Um processo estocastico
{X
n
: n = 0, 1, 2, . . . } e uma cadeia de Markov, ou possui
a propriedade markoviana, se
P[X
n+1
= j|X
n
= i, X
n1
= i
n1
, . . . , X
1
= i
1
, X
0
= i
0
]
= P[X
n+1
= j|X
n
= i] = p
ij
,
para quaisquer estados i
0
, i
1
, . . . , i
n1
, i, j e n 0.
A propriedade markoviana pode ser interpretada do seguinte
modo: a probabilidade condicional de qualquer estado futuro,
conhecidos os estados do presente e do passado, e independente
dos estados do passado, ou seja, para predizer o futuro so pre-
cisamos de conhecer o presente.
2
As probabilidades condicionais p
ij
, i, j 0 sao chamadas pro-
babilidades de transicao (a um passo).
Como consequencia imediata temos
p
ij
0, , i, j 0 e

j=0
p
ij
= 1.
Por outro lado, as probabilidades de transicao nao dependem
do instante n, ou seja,
p
ij
= P[X
n+1
= j|X
n
= i] = P[X
1
= j|X
0
= i] , n 1,
pelo que se dizem estacionarias ou homogeneas.
3
As probabilidades de transicao sao dispostas numa matriz P de-
nominada matriz de transicao
P =
_

_
p
00
p
01
p
02
. . .
p
10
p
11
p
12
. . .
p
20
p
21
p
22
. . .
.
.
.
.
.
.
.
.
.
.
.
.
_

_
As cadeias de Markov sao importantes porque conseguem mo-
delar varios fenomenos reais.
Exemplo 1.3.1.1 Suponhamos que a probabilidade de chover
num determinado dia depende apenas das condicoes meteo-
rologicas do dia anterior, mais especicamente se choveu ou
nao no dia anterior. Admitamos que se chover hoje, a probabi-
lidade de chover amanha e , enquanto se nao chover hoje, a
probabilidade de chover amanha e .
4
Se
X
n
= estado do tempo no dia n
e consideramos os estados
0 : chove e 1 : nao chove,
entao {X
n
: n IN} e uma cadeia de Markov discreta com matriz
de transicao
P =
0 1
0 1
1 1
5
Exemplo 1.3.1.2 Se admitirmos que num segmento de ADN
(ou ARN) o nucleotido que aparece numa determinada posicao
depende apenas do nucleotido na posicao anterior, entao
estamos perante uma cadeia de Markov com quatro estados: A,
C, G e T (U).
Exerccio 1.3.1.1 Num determinado dia o Evaristo pode sentir-
se contente, assim assim ou triste. Suponhamos que se o Eva-
risto esta hoje contente, amanha estara contente, assim assim ou
triste com probabilidade 0.5, 0.4 e 0.1, respectivamente. Caso
hoje se sinta assim assim, amanha estara contente, assim assim
ou triste com probabilidade 0.3, 0.4 e 0.3, respectivamente; e
se estiver hoje triste, amanha estara contente, assim assim ou
triste com probabilidade 0.2, 0.3 e 0.5, respectivamente.
Caracterize o processo.
6
Os ultimos exemplos sao exemplos de cadeias de Markov de
primeira ordem porque a probabilidade de um estado depende
apenas do estado imediatamente anterior.
Exemplo 1.3.1.3 Suponhamos que o estado do tempo num
determinado dia depende apenas das condicoes meteorologicas
dos dois dias anteriores. Admitamos que se choveu ontem e hoje,
a probabilidade de chover amanha e 0.7; se nao choveu ontem
mas hoje sim, a probabilidade de chover amanha e 0.5; se choveu
ontem mas hoje nao, a probabilidade de chover amanha e 0.4;
e se nao choveu ontem nem hoje, a probabilidade de chover
amanha e 0.2.
Caracterizemos o processo descrito.
7
Se quisermos uma cadeia com mais memoria, ou seja, que
a probabilidade de um estado dependa dos n estados imediata-
mente anteriores, entao estamos perante uma cadeia de Mar-
kov de ordem n. Estas sao transformaveis em cadeias de Mar-
kov de primeira ordem.
Exemplo 1.3.1.4 Uma cadeia de Markov de 3
a
ordem para mo-
delar o ADN e tratado como uma cadeia de Markov de 1
a
ordem
com 64 = 4
3
estados. Por exemplo, partindo do terno GCT, os
estados seguintes sao
CTA CTC CTG ou CTT ,
em que as probabilidades de transicao correspondentes sao, res-
pectivamente,
P(A|GCT) P(C|GCT) P(G|GCT) e P(T|GCT) .
8
Existem varios problemas em Biologia que podem ser modelados
por cadeias de Markov. Por exemplo,
quando os dados e os padroes nao sao tao claros;
quando se pretende arranjar um metodo que seja capaz de
reconhecer um padrao, pelo que ha que aprender com os
dados.
Denicao 1.3.1.2 Uma cadeia de Markov cujo espaco dos esta-
dos e constitudo pelos inteiros i = 0, 1, 2, . . . , e um passeio
aleatorio se para algum 0 < p < 1,
p
i,i+1
= p e p
i,i1
= 1 p , i = 0, 1, 2, . . .
9
Exerccio 1.3.1.2 Consideremos um jogador que ganha ou
perde um euro em cada aposta com probabilidade p e 1 p,
respectivamente. Determine a matriz de transicao, sabendo que
o jogador inicia o jogo com um euro e que decide parar de jogar
quando car sem dinheiro ou quando tiver em seu poder tres
euros.
Nota. Os estados 0 e 3 do exerccio anterior sao denominados
estados absorventes porque uma vez atingidos nao sera
possvel sair deles. Trata-se de um exemplo de um passeio
aleatorio com barreiras.
Denicao 1.3.1.3 Um estado i diz-se absorvente se p
ii
= 1.
10
Consideremos
p
(n)
ij
= P[X
m+n
= j|X
m
= i] , i, j 0 e n 1,
ou seja, p
(n)
ij
e a probabilidade condicional do processo transitar
para o estado j no instante m+n, encontrando-se no estado i
no instante m.
Do facto de uma cadeia de Markov ter falta de memoria, resulta
que
p
(n)
ij
= P[X
n
= j|X
0
= i] , i, j 0 e n 1.
11
Prova-se que
p
(2)
ij
= P[X
n+2
= j|X
n
= i] = P[X
2
= j|X
0
= i]
=

k=0
p
ik
p
kj
.
Exerccio 1.3.1.3 Considerando o exerccio 1.3.1.1, determine
a probabilidade do Evaristo depois de amanha se encontrar
contente dado que hoje esta triste.
12
Generalizando,
p
(m+n)
ij
= P[X
m+n
= j|X
0
= i] =

k=0
p
(m)
ik
p
(n)
kj
, m, n 0 e i, j 0.
As equacoes anteriores sao conhecidas pelas equacoes de
Chapman-Kolmogorov e permitem determinar as probabili-
dades de transicao a n passos.
Por exemplo,
p
(3)
ij
= p
(2+1)
ij
=

k=0
p
(2)
ik
p
kj
ou p
(3)
ij
= p
(1+2)
ij
=

k=0
p
ik
p
(2)
kj
.
13
Se P
(n)
denotar a matriz de transicao a n passos, isto e,
P
(n)
=
_

_
p
(n)
00
p
(n)
01
p
(n)
02
. . .
p
(n)
10
p
(n)
11
p
(n)
12
. . .
p
(n)
20
p
(n)
21
p
(n)
22
. . .
.
.
.
.
.
.
.
.
.
.
.
.
_

_
entao as equacoes de Chapman-Kolmogorov permitem concluir
que
P
(m+n)
= P
(m)
P
(n)
,
pelo que
P
(n)
= P P
(n1)
= P P P
(n2)
= . . . = P P P = P
n
.
14
Exerccio 1.3.1.4 Suponha que as transicoes entre nucleotidos
no ADN se fazem segundo uma cadeia de Markov com matriz
de transicao
A C G T
A 0.25 0.16 0.33 0.26
C 0.12 0.38 0.34 0.16
G 0.16 0.34 0.38 0.12
T 0.26 0.33 0.16 0.25
Se um segmento de ADN comecar com a citosina, qual a proba-
bilidade do quarto nucleotido, a contar do incio, ser a timina?
15
Pode interessar-nos conhecer P(X
n
= j), a probabilidade abso-
luta do processo se encontrar no estado j no instante n, inde-
pendentemente do estado inicial.
Para o efeito, precisamos da distribuicao inicial da cadeia, ou
seja, das probabilidades
P(X
0
= i) , i = 0, 1, 2, . . . ,
em que

i=0
P(X
0
= i) = 1.
Exemplo 1.3.1.5 Suponhamos que na analise de um segmento
de ADN temos a seguinte distribuicao inicial
P(X
0
= A) = 0.3, P(X
0
= C) = 0.4,
P(X
0
= G) = 0.2, P(X
0
= T) = 0.1
16
Prova-se que
P(X
n
= j) =

i=0
P(X
0
= i)p
(n)
ij
j = 0, 1, 2, . . .
Exerccio 1.3.1.5 Considerando o exerccio 1.3.1.4 e as proba-
bilidades do exemplo anterior, determine a probabilidade de num
segmento de ADN o quarto nucleotido ser a timina.
17
Classicacao dos estados de uma cadeia de Markov
Denicao 1.3.1.4 Dizemos que o estado j e acessvel a partir
do estado i se p
(n)
ij
> 0 para algum n 0.
No exerccio 1.3.1.4, todos os estados sao acessveis a partir dos
outros, pois p
ij
> 0.
Exemplo 1.3.1.6 A cadeia de Markov com matriz de transicao
P =
_

_
1/2 1/2 0
1/2 1/4 1/4
0 1/3 2/3
_

_
tem todos os estados acessveis a partir dos outros.
18
Neste caso vericamos que
P
(2)
=
_

_
1/2 3/8 1/8
3/8 19/48 11/48
1/6 11/36 19/36
_

_ .
Denicao 1.3.1.5 Dois estados i e j dizem-se comunicantes
se qualquer um deles e acessvel a partir do outro, e escrevemos
i j.
A relacao comunicacaoverica as propriedades:
i) i i;
ii) se i j, entao j i;
iii) se i j e j k, entao i k.
19
Os estados comunicantes formam uma classe de equivalencia.
Denicao 1.3.1.6 Uma cadeia e irredutvel se todos os seus
estados sao comunicantes.
Exemplo 1.3.1.7 A cadeia de Markov com matriz de transicao
P =
_

_
1/2 1/2 0
1/2 1/4 1/4
0 1/3 2/3
_

_
e irredutvel.
20
Exerccio 1.3.1.6 Determine os estados comunicantes da cadeia
de Markov com matriz de transicao
P =
_

_
1/2 1/2 0 0
1/2 1/2 0 0
1/4 1/4 1/4 1/4
0 0 0 1
_

_
.
Seja
f
ii
= P(processo revista o estado i a partir do estado i)
Denicao 1.3.1.7 Se f
ii
= 1, o estado i diz-se recorrente. Se
f
ii
< 1, o estado i diz-se transeunte.
Nota. Os estados absorventes sao casos particulares de estados
recorrentes.
21
Um estado recorrente sera visitado um numero innito de vezes,
enquanto um estado transeunte sera visitado um numero nito
de vezes.
Seja
N
i
= n
o
de instantes em que o processo se encontra no estado i, partindo deste estado.
Entao
N
i
Geometrica(1 f
ii
).
Assim sendo,
E(N
i
) =
1
1 f
ii
=
_
_
_
, se f
ii
= 1
< , se f
ii
< 1
.
22
Numa cadeia de Markov nita (espaco de estados nito) pelo
menos um estado da cadeia tem que ser recorrrente.
Proposicao 1.3.1.1 Se os estados i e j sao comunicantes, entao:
i) i e recorrrente se e so se j e recorrente;
ii) i e transeunte se e so se j e transeunte.
Da proposicao anterior concluimos que uma cadeia de Markov
nita e irredutvel so possui estados recorrentes.
23
Exerccio 1.3.1.7 Considere as cadeias de Markov com matrizes
de transicao
a)
_
0 1
1 0
_
b)
_

_
0 0 1/2 1/2
1 0 0 0
0 1 0 0
0 1 0 0
_

_
c)
_

_
1/4 3/4 0 0 0
1/2 1/2 0 0 0
0 0 1 0 0
0 0 1/3 2/3 0
1 0 0 0 0
_

_
Identique os estados transeuntes e recorrentes de cada cadeia.
Uma cadeia de Markov com matriz de transicao a) tem estados
com perodo 2.
Por exemplo, se X
0
= 1, entao X
1
= 0, X
2
= 1, X
3
= 0, etc.
24
Denicao 1.3.1.8 Dizemos que um estado i tem perodo d
(d > 1) se p
(n)
ii
= 0 para todo o n = d, 2d, 3d, . . . , sendo d o maior
inteiro positivo que verica a propriedade.
Nota. Armar que o estado i tem perodo 2 nao quer dizer que
p
(2)
ii
= 1.
Um estado que possa ser visitado em dois instantes consecutivos
diz-se aperodico (d = 1).
Exemplo 1.3.1.8 Se as transicoes entre nucleotidos (estados)
no ADN se zer segundo uma cadeia de Markov com matriz de
transicao do exerccio 1.3.1.4, entao os estados sao aperodicos.
25
Proposicao 1.3.1.2 Se os estados i e j sao comunicantes,
entao i tem perodo d se e so se j tem perodo d.
Probabilidades limites ou estacionarias
Consideremos novamente a matriz de transicao que descreve o
estado de esprito do Evaristo (exerccio 1.3.1.1), ou seja,
P =
0 1 2
0 0.5 0.4 0.1
1 0.3 0.4 0.3
2 0.2 0.3 0.5
26
Entao
P
(9)
=
0 1 2
0 0.3387 0.3710 0.2903
1 0.3387 0.3710 0.2903
2 0.3387 0.3710 0.2903
Tudo indica que existe uma probabilidade limite do Evaristo se
encontrar num estado de esprito num futuro distante, indepen-
dentemente do estado de esprito dele hoje.
27
Um resultado importante sobre o comportamento a longo
prazo de uma cadeia de Markov e o
Proposicao 1.3.1.3 Numa cadeia de Markov irredutvel e
ergodica existe lim
n
p
(n)
ij
e este nao depende de i.
Nota. Uma cadeia de Markov nita irredutvel e ergodica.
Denotando por

j
= lim
n
p
(n)
ij
j 0,
28
entao
j
e a unica solucao nao negativa das equacoes esta-
cionarias

j
=

i=0

i
p
ij
com

j=0

j
= 1 e j 0.
Nota. As probabilidades
j
tambem podem ser interpretadas
como probabilidades estacionarias, isto e, se a distribuicao
inicial do estado j for
j
= P(X
0
= j), entao P(X
n
= j) =
j
,
n = 1, 2, . . . .
29
As equacoes estacionarias para o processo que descreve o estado
de esprito do Evaristo sao
_

0
= 0.5
0
+0.3
1
+0.2
2

1
= 0.4
0
+0.4
1
+0.3
2

2
= 0.1
0
+0.3
1
+0.5
2

0
+
1
+
2
= 1
Resolvendo o sistema de equacoes
_

0
= 0.5
0
+0.3
1
+0.2
2

1
= 0.4
0
+0.4
1
+0.3
2

0
+
1
+
2
= 1

_
0.5
0
0.3
1
0.2
2
= 0
0.4
0
0.6
1
+0.3
2
= 0

0
+
1
+
2
= 1
30
obtemos
_

0
= 21/62 0.3387

1
= 23/62 0.3710

2
= 9/31 0.2903
.
Consequentemente, o Evaristo estara contente em 33,87% dos
dias, assim assim em 37.1% dos dias e triste em 29.03% dos
dias.
31
Exerccio 1.3.1.8 Consideremos o exerccio 1.3.1.4 em que
A C G T
A 0.25 0.16 0.33 0.26
C 0.12 0.38 0.34 0.16
G 0.16 0.34 0.38 0.12
T 0.26 0.33 0.16 0.25
Determine as probabilidades limite.
Tempo de primeira passagem e de recorrencia
O tempo de primeira passagem entre os estados i e j e o
numero de transicoes que leva o processo a visitar pela primeira
vez o estado j a partir do estado i.
32
Se j = i, o tempo de primeira passagem chama-se tempo de
recorrencia do estado i.
Consideremos
f
(n)
ij
= P(tempo de 1
a
passagem entre i e j e n)
Por exemplo, para calcularmos f
(2)
ij
basta atendermos ao es-
quema
X
0
X
1
X
2
i = j j
33
As probabilidades de 1
a
passagem podem ser calculadas recursi-
vamente
f
(1)
ij
= p
(1)
ij
= p
ij
f
(2)
ij
= p
(2)
ij
f
(1)
ij
p
jj
.
.
.
f
(n)
ij
= p
(n)
ij
f
(1)
ij
p
(n1)
jj
f
(2)
ij
p
(n2)
jj
f
(n1)
ij
p
jj
Exerccio 1.3.1.9 Considere novamente o exerccio 1.3.1.1. Se
o Evaristo estiver hoje contente, qual a probabilidade de car
triste pela primeira vez depois de amanha?
34
O tempo medio de primeira passagem entre i e j,
ij
, pode ser
calculado resolvendo o sistema

ij
= 1 +

k=j
p
ik

kj
sem recurso `as probabilidades de 1
a
passagem f
(n)
ij
.
Exerccio 1.3.1.10 Ao m de quanto tempo, em media, o Eva-
risto ca triste quando esta contente?
35
Quando j = i,
ii
e o tempo de recorrencia do estado i, e

ii
=
1

i
, i = 0, 1, 2, . . .
Exerccio 1.3.1.11 Determine o tempo medio de recorrencia
do estado tristepara o Evaristo.
36
Aplicacoes das cadeias de Markov na analise de
sequencias biologicas
As cadeias de Markov podem ser usadas para modelar a de-
pendencia da posi cao de um nucleotido (amino acido) relativa-
mente ao do seu vizinho da esquerda.
Por exemplo, qual a probabilidade de observarmos a
sequencia
ATACGGC ?
37
Neste caso,
P(ATACGGC) = P(A)p
AT
p
TA
p
AC
p
CG
p
GG
p
GC
.
Podemos pensar numa cadeia de Markov como um processo
de geracao de sequencias de qualquer comprimento nito L
(L 2), x
1
x
2
. . . x
L
, em que x
i
A.
Assim sendo,
P(x
1
x
2
. . . x
L
) = P(x
1
)p
x
1
x
2
p
x
2
x
3
p
x
L1
x
L
38
Nota. As probabilidades iniciais P(x
i
) (
i
) e de transicao p
x
i
x
j
(p
ij
) tem que ser conhecidas a priori.
Consideremos, por exemplo, genes de codicacao de
protenas em organismos procariotas (e.g., em bacterias).
Um gene procariota consiste numa regiao de codicacao com
um codao de inicializacao (usualmente ATG, mas `as vezes
CTG ou TTG) e um codao de nalizacao (TAA, TAG ou
TGA).
As cadeias de Markov permitem modelar genes procariotas.
(sequencias open reading frames, ORF)
39
Nota. Na analise de sequencias biologicas e usual considerar
dois outros estados, o estado inicial B e o estado nal E
(estado absorvente) que traduzem, por exemplo, o incio e
o m de um gene, respectivamente. Estes estados tambem
podem ser representados por 0.
Para gerarmos sequencias de letras com uma cadeia de Markov
as probabilidades iniciais e de transicao devem ser seleccionadas
de uma certa forma. Para o efeito, podemos usar dados reais
(training data).
Tambem ha que admitir a priori um diagrama de transicao
entre os estados.
40
Diagrama de transicao entre os estados
41
Suponhamos que para um conjunto de sequencias de ADN n ge-
nes procariotas foram experimentalmente identicados. Entao
p
ab
=
N
ab

cA
N
ac
em que
N
ab
= n
o
de vezes que b precede a nos dados.
Nota. Se o nucleotido a nao gurar nos dados, entao estes
sao insucientes para estimar p
ab
. Podemos usar neste caso
pseudocontagens.
Quanto `as probabilidades iniciais p
0a
(
a
), a A,
p
0a
=
n
o
de vezes que a inicia a sequencia
n
.
42
Exemplo 1.3.1.9 Seja n = 4 e suponhamos que sao dadas
sequencias que se conhecem serem de genes procariotas:
s
1
: ATGCTATTGATTTAA
s
2
: GTGAAAGACTTCTAA
s
3
: ATGCCCGATGAACGCTAG
s
4
: ATGAAGCATGATTAA
Ignorando os codoes de inicializacao e de nalizacao (a azul), ou
seja, considerando apenas os ORF correspondentes:
p
0A
=
1
2
, p
0C
=
1
2
, p
0G
= 0, p
0T
= 0.
43
p
AA
=
4
13
, p
AC
=
2
13
, p
AG
=
2
13
, p
AT
=
5
13
, p
A0
= 0
p
CA
=
1
9
, p
CC
=
2
9
, p
CG
=
2
9
, p
CT
=
2
9
, p
C0
=
2
9
p
GA
=
5
7
, p
GC
=
2
7
, p
GG
= 0, p
GT
= 0, p
G0
= 0
p
TA
=
1
10
, p
TC
=
1
10
, p
TG
=
3
10
, p
TT
=
3
10
, p
T0
=
2
10
Consequentemente, se tivessemos admitido o diagrama de
transicao atras, este teria que ser corrigido em funcao dos dados.
44
Exemplo 1.3.1.10 Se quisermos estimar as probabilidade P(A),
P(C), P(G) e P(T) a partir das sequencias
ACCGCGCTTA
GCTTAGTGAC
TAGCCGTTAC
as estimativas de maxima verosimilhanca sao
P(A) =
6
30
= 0.2, P(C) =
9
30
= 0.3, P(G) =
7
30
= 0.23, P(T) =
8
30
.
45
Suponhamos agora que desejamos usar o modelo obtido para
determinar se uma sequencia nao identicada de ADN e a
sequencia de um gene procariota.
Procura-se um codao de inicializacao e o primeiro codao de
nalizacao que o segue na esperanca de que o segmento
obtido seja um gene.
Pode acontecer que dois codoes de inicializacao sejam en-
contrados sem um codao de nalizacao entre eles (50% dos
casos). Qual o ORF que corresponde ao gene?
46
A sequencia nao identicada de ADN s = x
1
x
2
. . . x
L
e tratada
como se fosse gerada por uma cadeia de Markov, pelo que
P(s) = P(x
1
x
2
. . . x
L
) = P
0x
1
p
x
1
x
2
p
x
2
x
3
p
x
L1
x
L
p
x
L
0
Se P(s) for grande comparativamente a um valor estipulado,
entao existe uma boa chance da sequencia provir de um gene
procariota (desde que os dados sejam representativos).
Nota. Dada a simplicidade do modelo podemos obter negati-
vos falsos (baixas probabilidades) ou positivos falsos (elevadas
probabilidades).
47
Exemplo 1.3.1.11 Se considerarmos a sequencia nao identi-
cada de ADN
ATGCTAGTGATTGATTAA
entao existem dois possveis genes procariotas
s
1
: 0CTAGTGATTGAT0
s
2
: 0ATTGAT0
Considerando os dados do exemplo 1.3.1.9, vem
P(s
1
) = 0, (p
GT
= 0)
e
P(s
2
) = p
0A
p
AT
p
TT
p
TG
p
GA
p
AT
p
T0
=
1
2

5
13

3
10

3
10

5
7

5
13

2
10
=
2250
2366000
0.00095
48
A analise de genes para a codicacao de protenas em organis-
mos eucariotas e mais complicada porque as regioes codicantes
chamadas exons sao interrompidas por regioes nao codicantes
denominadas introns. Neste caso, a pesquisa de genes pode ser
feita recorrendo a cadeias de Markov escondidas.
49