ALGORITMO DE VITERBI

MODELOS DE MARKOV
OCULTOS
 PROCESOS ESTOCASTICOS

Conjunto de v.a {Xt}tT tal que su

distribucin conjunta es conocida.

Espacio de parmetros del proceso: T

Espacio de Estados: Conjunto de
todos los valores que pueden tomar la
v.a
 PROCESOS ESTOCASTICOS

Conjunto de v.a {Xt}tT tal que su

distribucin conjunta es conocida.

T: Espacio de parmetros del proceso

Espacio de Estados: Conjunto de
todos los valores que pueden tomar la
v.a
 PROCESOS ESTOCASTICOS

Estados Parmetros Procesos

Contable Contable Cadena
Contable Infinito no Markov
Infinito no Cont Estocstico
Cont. Contable Estocstico
Infinito Infinito Estocstico
 CADENA DE MARKOV
Finito contable, Finito contable
Lanzar una moneda 1000.000 de veces
Espacio de estados S= {0,1}
Espacio de Parmetros T= {1,2,......1000.000}

Def: Sea un proceso {Yn}nT un proceso estocstico con

espacio de estados y parmetros contables se dice que el
proceso es una cadena de markov si
P(Yn = in | Yn1=i1,Yn2=i2,.....Ynj=ij) n1<n2<n3...<nj)
P(Yn=in | Yns=is) : Probabilidad que en el perodo n este
en el estado in
 CADENA DE MARKOV

Posibles Casos:
Que el resultado solo dependa del
ltimo tiempo
Cuando las Yn son independientes,
entonces las partes no dependen una de
la otra.
 CADENA DE MARKOV

MATRIZ DE TRANSICIN
Yn= No de pieza ocupada por el ratn en el tiempo n (No de pieza ocupada
despus de n movimientos)
Pij = P(Yn=j / Yn-1 = i)
Xn 1 2 3 4 5 6 7 8 9
Xn-1
1 0 0 0 0 0 0 0
1 2 3
2 1/3 0 1/3 0 1/3 0 0 0 0
.
4 5 6 9

0 <= Pij <= 1

7 8 9
Pij = 1 i-fila
 MODELO DE MARKOV APLICADO A UNA
SECUENCIA DE DATOS
Definiciones
Secuencia finita de datos: yt1t4 = {yt1, yt2, yt3, yt4}
V.a que tome el valor de y: P(Y=y)
Modelo de probabilidad: P(x)
Distribucin de Probabilidad Conjunta de una secuencia de
observaciones

YT1= {Y1,Y2,Y3,....YT) Es dada por:

P(yT1)= P(y1)P(y2/ y1)P(y3/y1y2)P(y4/y1y2y3) .....

T
P(yT1)= P(y1) P(yt/yt-1
1
)
 MODELO DE MARKOV
OCULTOS
Definiciones
Dado que para una variable de estados multinomial Qt
{1,2,...n}, el nmero de parmetros requeridos para
representar la probabilidad de
Transicin P(qt|q t-1,q t-2,....q t-k} es O(n k+1), y dado que para
un k pequeo no se satisfacen los supuestos estadsticos
para un modelo de Markov, se asume la hiptesis, de que
los datos pasados en el secuencia pueden ser
consistentemente modelados a travs de una variable de
estado.
 MODELO DE MARKOV
OCULTOS
Supuestos de un HMM

Yt : Proceso Observable no Markoviano

Qt: Conjunto de estados, Markoviano no observable de
orden 1.
Resume todos los valores pasados de las variables
observadas y ocultas cuando se quiere predecir la variable
observada Yt en el estado Q t+1.:
 MODELO DE MARKOV
OCULTOS

Supuestos de un HMM
T
La secuencia observada Y1= {Y1,Y2,Y3,....YT) Se relaciona con
La secuencia de estados Q T= {Q ,Q ,Q ,....Q ) no observados
1 1 2 3 T

Independencia P(y 1 |qt1,yt-1 ) = P(yt | qt)

1

P(q t+1 |q1,y

t t ) = P(qt+1 | qt)
1
 MODELO DE MARKOV
OCULTOS

Supuestos de un HMM

Probabilidad de Estado Inicial P(q1) 1 inicial, 0 otros casos

Probabilidad de Transicin P(qt|q t-1)
Probabilidad de Emisin P(yt|q t)
Estado Inicial
Estado Final
 MODELO DE MARKOV OCULTOS

Distribucin Conjunta de HMM

T-1 T
P(y1,q1) = P(q1) P(q t+1| qt) P(yt|qt)
T T
t=1 t=1

P(y1,q1) = P(q1) P(y1|q1) P(q t| qt-1) P(yt|qt,qt-1)

T
T T
t=2

Dado que Q1 no es observada realmente interesa

T

representar la distribucin de P(yT1), entonces,

P(yT1) = P(y
T T
1,q1)
T
T

P(y1t , qt) = P(yt|qt) P(qt|q t-1) P(yt-11 , q t-1))

 MODELO DE MARKOV OCULTOS

Problemas Bsicos con HMM

.Evaluacin de la Probabilidad: Calcular eficientemente la
probabilidad de una secuencia dada.
Algoritmo de Forward o de Avance
Algoritmo de Backward o Retroceso

Secuencia de estados ptimo

Algoritmo de Viterbi

Estimacin de Parmetros
Algoritmo de Baum-Welch (maximizacin): Optimizar las
probabilidad de los parmetros del modelo, con el fin de ajustar
los parmetros secuencia de entrenamiento hasta un punto
dado.
 MODELO DE MARKOV OCULTOS

Probabilidades de Transicin en un HMM

Para algunas aplicaciones como en datos secuenciales o

reconocimientos de cadenas (discurso) en un HMM se asume
que los estados ocultos tienen un valor discreto, con una
distribucin multinomial, haciendo entonces que la probabilidad
de Transicin se pueda representar como:

P(qt|q t-1) = A ij = P(Qt = i| q t-1 = j)

Este supuesto no siempre se puede aplicar, cuando los estados

ocultos presentan un comportamiento continuo se habla de un
espacio de estados, en que la probabilidad es gaussiana. Por otro
lado tambin pueden ser hbridos (discreta-continua)
 MODELO DE MARKOV OCULTOS

Probabilidades de Emisin en un HMM

Para algunas aplicaciones como en datos secuenciales en un

HMM Yt es una v.a discreta independiente y
P(yt|q t), es multinomial.

Entonces: P(yt|q t) = Bij = P(Yi | Qt =j)

Y el vector de va. Yt se puede dividir en sub-vectores Yti y

calcular:
i P(yti| qt)

Sin embargo en algunas aplicaciones, la distribucin de

emisin es normal o mezcla de normal
 MODELO DE MARKOV OCULTOS

Un ejemplo para generar una cadena en un HMM

Sea QT = {1,2,3,F} = {a,b,c} P(q1) {1,0,0,0}

1 2 3 F a b c
1 0.2 0.5 0.3 0.0 Bij = 1 0.0 0.3 0.7
A ij =
2 0.1 0.0 0.9 0.0 2 0.3 0.6 0.1
3 0.0 0.0 0.4 0.6 3 1.0 0.0 0.0
 MODELO DE MARKOV OCULTOS

a 0.0 0.3 1.0

b 0.3 0.6 0.0
c 0.7 0.1 0.0

0.2 0.4
0.1

iNI 1 0.5 0.9 0.6

C 1 2 3 F
0.3

P(y1, qt) = P(yt|qt) P(qt|q t-1) P(yt-11 , q t-1))

P(cab, qt) = (P1.B1,c)

(1x0.7)
 MODELO DE MARKOV OCULTOS
Un ejemplo para generar una cadena en un HMM
a 0.0 0.3 1.0
b 0.3 0.6 0.0
c 0.7 0.1 0.0

0.2 0.4
0.1

iNI 1 0.5 0.9 0.6

C 1 2 3 F
0.3

P(y1, qt) = P(yt|qt) P(qt|q t-1) P(yt-11 , q t-1))

P(cab, qt) = (P1.B1,c) (A1,2.B2,b)

(1x0.7) (0.5 x 0.6)
 MODELO DE MARKOV OCULTOS
Un ejemplo para generar una cadena en un HMM
a 0.0 0.3 1.0
b 0.3 0.6 0.0
c 0.7 0.1 0.0

0.2 0.4
0.1

iNI 1 0.5 0.9 0.6

C 1 2 3 F
0.3

P(y1, qt) = P(yt|qt) P(qt|q t-1) P(yt-11 , q t-1))

P(cab, qt) = (P1.B1,c) (A1,2.B2,b) (A2,3.B3,a)

(1x0.7) (0.5 x 0.6) (0.9 x 1)
 MODELO DE MARKOV OCULTOS
Un ejemplo para generar una cadena en un HMM
a 0.0 0.3 1.0
b 0.3 0.6 0.0
c 0.7 0.1 0.0

0.2 0.4
0.1

iNI 1 0.5 0.9 0.6

C 1 2 3 F
0.3

P(y1, qt) = P(yt|qt) P(qt|q t-1) P(yt-11 , q t-1))

P(cab, qt) = (P1.B1,c) (A1,2.B2,b) (A2,3.B3,a) A3,F

(1x0.7) (0.5 x 0.6) (0.9 x 1) (0.6 x 1)
 MODELO DE MARKOV OCULTOS
Un ejemplo para generar una cadena en un HMM
a 0.0 0.3 1.0
b 0.3 0.6 0.0
c 0.7 0.1 0.0

0.2 0.4
0.1

iNI 1 0.5 0.9 0.6

C 1 2 3 F
0.3

P(y1, qt) = P(yt|qt) P(qt|q t-1) P(yt-11 , q t-1))

P(cab, qt) = (P1.B1,c) (A1,2.B2,b) (A2,3.B3,a) A3,F

(1x0.7) (0.5 x 0.6) (0.9 x 1) (0.6 x 1)

+ (P1.B1,c)
(1x0.7)
 MODELO DE MARKOV OCULTOS
Un ejemplo para generar una cadena en un HMM
a 0.0 0.3 1.0
b 0.3 0.6 0.0
c 0.7 0.1 0.0

0.2 0.4
0.1

iNI 1 0.5 0.9 0.6

C 1 2 3 F
0.3

P(y1, qt) = P(yt|qt) P(qt|q t-1) P(yt-11 , q t-1))

P(cab, qt) = (P1.B1,c) (A1,2.B2,b) (A2,3.B3,a) A3,F

(1x0.7) (0.5 x 0.6) (0.9 x 1) (0.6 x 1)

+ (P1.B1,c) (A1,2.B2,b)
(1x0.7) (0.2 x 0.3)
 MODELO DE MARKOV OCULTOS
Un ejemplo para generar una cadena en un HMM
a 0.0 0.3 1.0
b 0.3 0.6 0.0
c 0.7 0.1 0.0

0.2 0.4
0.1

iNI 1 0.5 0.9 0.6

C 1 2 3 F
0.3

P(y1, qt) = P(yt|qt) P(qt|q t-1) P(yt-11 , q t-1))

P(cab, qt) = (P1.B1,c) (A1,2.B2,b) (A2,3.B3,a) A3,F

(1x0.7) (0.5 x 0.6) (0.9 x 1) (0.6 x 1)

+ (P1.B1,c) (A1,2.B2,b) (A2,3.B3,a)

(1x0.7) (0.2 x 0.3) (0.3 x 1)
 MODELO DE MARKOV OCULTOS
Un ejemplo para generar una cadena en un HMM
a 0.0 0.3 1.0
b 0.3 0.6 0.0
c 0.7 0.1 0.0

0.2 0.4
0.1

iNI 1 0.5 0.9 0.6

C 1 2 3 F
0.3

P(y1, qt) = P(yt|qt) P(qt|q t-1) P(yt-11 , q t-1))

P(cab, qt) = (P1.B1,c) (A1,2.B2,b) (A2,3.B3,a) A3,F

(1x0.7) (0.5 x 0.6) (0.9 x 1) (0.6 x 1)

+ (P1.B1,c) (A1,2.B2,b) (A2,3.B3,a) A3,F

(1x0.7) (0.2 x 0.3) (0.3 x 1) (0.6 x 1)
 MODELO DE MARKOV OCULTOS
Un ejemplo para generar una cadena en un HMM
a 0.0 0.3 1.0
b 0.3 0.6 0.0
c 0.7 0.1 0.0

0.2 0.4
0.1

iNI 1 0.5 0.9 0.6

C 1 2 3 F
0.3

P(y1, qt) = P(yt|qt) P(qt|q t-1) P(yt-11 , q t-1))

P(cab, qt) = (P1.B1,c) (A1,2.B2,b) (A2,3.B3,a) A3,F

0.1134
(1x0.7) (0.5 x 0.6) (0.9 x 1) (0.6 x 1)
+0.00756
+ (P1.B1,c) (A1,2.B2,b) (A2,3.B3,a) A3,F 0.12
(1x0.7) (0.2 x 0.3) (0.3 x 1) (0.6 x 1)
 MODELO DE MARKOV OCULTOS

ALGORITMO DE VITERBI

Muy usado para reconocimiento de voz, biologa molecular,

fonemas, palabras, codificadores entre otros).

Para secuencia de estados le corresponde una secuencia de

labels de clasificacin (e.d, palabras, caracteres, fonemas,
sufijos).
T T
Dado una secuencia observada Y1 = y1, inferir la ms probable
T
secuencia de estados Q1 = q1 T

V(i,t) = P(y1|Q1=i) P(Q1=i) Si t=1

Max {P(yt|Qt=i) P(Q=i|Qt-1=j) V(j,t-1)} Si t>1
j
 MODELO DE MARKOV OCULTOS

EJEMPLO DE VITERBI V(bcbaa,t)

t b c b a a
IC
iN

Ini 1
1

0.0
0.2

0.3
0.7 1
1
0.5

0.3
0.3

0.1

0.6
2
2

0.1
0.9

1.0
0.0 3
3

0.0
0.6

F
F
 MODELO DE MARKOV OCULTOS

EJEMPLO DE VITERBI V(bcbaa,t)

t b c b a a
IC
iN

Ini 1
1

0.0
0.2

0.3
0.7 1 1*0.3
1
0.5

0.3
0.1
0.3

0.6
2
2

0.1
0.9

1.0
0.0 3
3

0.0
0.6

F
F
 MODELO DE MARKOV OCULTOS

EJEMPLO DE VITERBI V(bcbaa,t)

t b c b a a
IC
iN

Ini 1
1

0.0
0.2

0.3
0.7 1 0.3 (0.3)*(0.2*0.7)
1
0.5

0.3
0.1
0.3

0.6
2 0.0
2

0.1
0.9

1.0
0.0 3 0.0
3

0.0
0.6

F
F
 MODELO DE MARKOV OCULTOS

EJEMPLO DE VITERBI V(bcbaa,t)

t b c b a a
IC
iN

Ini 1
1

0.0
0.2

0.3
0.7 1 0.3
1
0.5

0.3
0.1
0.3

0.6
2 0.0 (0.3)*(0.5*0.1)
2

0.1
0.9

1.0
0.0 3 0.0
3

0.0
0.6

F
F
 MODELO DE MARKOV OCULTOS

EJEMPLO DE VITERBI V(bcbaa,t)

t b c b a a
IC
iN

Ini 1
1

0.0
0.2

0.3
0.7 1 0.3
1
0.5

0.3
0.1
0.3

0.6
2 0.0
2

0.1
0.9

1.0
0.0 3 0.0 (0.3)*(0.3*0.0)
3

0.0
0.6

F
F
 MODELO DE MARKOV OCULTOS

EJEMPLO DE VITERBI V(bcbaa,t)

t b c b a a
IC
iN

Ini 1
1

0.0
0.2

0.3
0.7 1 0.3 0.042 (0.042)*(0.2*0.3)
1
0.5

0.3
0.1
0.3

0.6
2 0.0 0.015
2

0.1
0.9

1.0
0.0 3 0.0 0.000
3

0.0
0.6

F
F
 MODELO DE MARKOV OCULTOS

EJEMPLO DE VITERBI V(bcbaa,t)

t b c b a a
IC
iN

Ini 1
1

0.0
0.2

0.3
0.7 1 0.3 0.042
1
0.5

0.3
0.1
0.3

0.6
2 0.0 0.015
2

0.1 (0.042)*(0.5*0.6)
0.9

1.0
0.0 3 0.0 0.000
3

0.0
0.6

F
F
 MODELO DE MARKOV OCULTOS

EJEMPLO DE VITERBI V(bcbaa,t)

t b c b a a
IC
iN

Ini 1
1

0.0
0.2

0.3
0.7 1 0.3 0.042
1
0.5

0.3
0.1
0.3

0.6
2 0.0 0.015
2

0.1
0.9

1.0
0.0 3 0.0 0.000 (0.042)*(0.3*0.0)
3

0.0
0.6

F
F
 MODELO DE MARKOV OCULTOS

EJEMPLO DE VITERBI V(bcbaa,t)

t b c b a a
IC
iN

Ini 1
1

0.0
0.2

0.3
0.7 1 0.3 0.042 (0.042)*(0.2*0.3)
1
0.5

0.3
0.3

0.1

0.6
2 0.015 (0.042)*(0.5*0.6)
2

0.1
0.9

1.0
0.0 3 0
3

0.0
(0.042)*(03*0.0 )
0.6

F
F
 MODELO DE MARKOV OCULTOS

EJEMPLO DE VITERBI V(bcbaa,t)

t b c b a a
IC
iN

Ini 1
1

0.0
0.2

0.3
0.7 1 0.3 0.042 0.0025
1
0.5

0.3
0.1
0.3

0.6
2 0.0 0.015
2

0.1 0.0126
0.9

1.0
0.0 3 0.0 0.000 0.000
3

0.0
0.6

F
F
 MODELO DE MARKOV OCULTOS

EJEMPLO DE VITERBI V(bcbaa,t)

t b c b a a
IC
iN

Ini 1
1

0.0
0.2

0.3
0.7 1 0.3 0.042 0.0025 0.0126*(0.1*0.0)
1
0.5

0.3
0.1
0.3

0.6
2 0.0 0.015
2

0.1 0.0126
0.9

1.0
0.0 3 0.0 0.000 0.000
3

0.0
0.6

F
F
 MODELO DE MARKOV OCULTOS

EJEMPLO DE VITERBI V(bcbaa,t)

t b c b a a
IC
iN

Ini 1
1

0.0
0.2

0.3
0.7 1 0.3 0.042 0.0025
1
0.5

0.3
0.1
0.3

0.6
2 0.0 0.015
2

0.1 0.0126 0.0126*(0.0*0.3)

0.9

1.0
0.0 3 0.0 0.000 0.000
3

0.0
0.6

F
F
 MODELO DE MARKOV OCULTOS

EJEMPLO DE VITERBI V(bcbaa,t)

t b c b a a
IC
iN

Ini 1
1

0.0
0.2

0.3
0.7 1 0.3 0.042 0.0025
1
0.5

0.3
0.1
0.3

0.6
2 0.0 0.015
2

0.1 0.0126
0.9

1.0
0.0 3 0.0 0.000 0.000 0.0126*(0.9*1.0)
3

0.0
0.6

F
F
 MODELO DE MARKOV OCULTOS

EJEMPLO DE VITERBI V(bcbaa,t)

t b c b a a
IC
iN

Ini 1
1

0.0
0.2

0.3
0.7 1 0.3 0.042 0.0025 0.00
1
0.5

0.3
0.1
0.3

0.6
2 0.0 0.015
2

0.1 0.0126 0.0004

0.9

1.0
0.0 3 0.0 0.000 0.000 0.0113
3

0.0
0.6

F
F
 MODELO DE MARKOV OCULTOS

EJEMPLO DE VITERBI V(bcbaa,t)

t b c b a a
IC
iN

Ini 1
1

0.0
0.2

0.3
0.7 1 0.3 0.042 0.0025 0.00 0.00
1
0.5

0.3
0.1
0.3

0.6
2 0.0 0.015
2

0.1 0.0126 0.0004 0.00

0.9

1.0
0.0 3 0.0 0.000 0.000 0.0113 0.0045
3

0.0
0.6

F 0.0027
F