ALGORITMO DE VITERBI

MODELOS DE MARKOV OCULTOS

PROCESOS ESTOCASTICOS Conjunto de v.a {Xt}tT tal que su distribucin conjunta es conocida.

Espacio de parmetros del proceso: T Espacio de Estados: Conjunto de todos los valores que pueden tomar la v.a

PROCESOS ESTOCASTICOS Conjunto de v.a {Xt}tT tal que su distribucin conjunta es conocida.

T: Espacio de parmetros del proceso Espacio de Estados: Conjunto de todos los valores que pueden tomar la v.a

PROCESOS ESTOCASTICOS
Estados Contable Contable Infinito no Cont. Infinito Parmetros Contable Infinito no Cont Contable Infinito Procesos Cadena Markov Estocstico Estocstico Estocstico

CADENA DE MARKOV
Finito contable, Finito contable Lanzar una moneda 1000.000 de veces Espacio de estados S= {0,1} Espacio de Parmetros T= {1,2,......1000.000}

Def: Sea un proceso {Yn}nT un proceso estocstico con espacio de estados y parmetros contables se dice que el proceso es una cadena de markov si P(Yn = in | Yn1=i1,Yn2=i2,.....Ynj=ij) n1<n2<n3...<nj) P(Yn=in | Yns=is) : Probabilidad que en el perodo n este en el estado in

CADENA DE MARKOV

Posibles Casos: Que el resultado solo dependa del ltimo tiempo Cuando las Yn son independientes, entonces las partes no dependen una de la otra.

CADENA DE MARKOV MATRIZ DE TRANSICIN

Yn= No de pieza ocupada por el ratn en el tiempo n (No de pieza ocupada despus de n movimientos) Pij = P(Yn=j / Yn-1 = i)
Xn Xn-1 1 2 . 9 1 2 3 4 5 6 7 8 9

0 0 0 0 0 0 0 1/3 0 1/3 0 1/3 0 0 0 0

4
7

5
8

6
9

0 <= Pij <= 1 Pij = 1 i-fila

MODELO DE MARKOV APLICADO A UNA SECUENCIA DE DATOS

Definiciones
Secuencia finita de datos: yt1t4 = {yt1, yt2, yt3, yt4} V.a que tome el valor de y: P(Y=y) Modelo de probabilidad: P(x) Distribucin de Probabilidad Conjunta de una secuencia de observaciones
T

Y1= {Y1,Y2,Y3,....YT)

Es dada por:

P(yT)= P(y1)P(y2/ y1)P(y3/y1y2)P(y4/y1y2y3) ..... 1 P(yT)= P(y1) P(yt/yt-1 ) 1 1

T

MODELO DE MARKOV OCULTOS Definiciones

Dado que para una variable de estados multinomial Qt {1,2,...n}, el nmero de parmetros requeridos para representar la probabilidad de Transicin P(qt|q t-1,q t-2,....q t-k} es O(n k+1), y dado que para un k pequeo no se satisfacen los supuestos estadsticos para un modelo de Markov, se asume la hiptesis, de que los datos pasados en el secuencia pueden ser consistentemente modelados a travs de una variable de estado.

MODELO DE MARKOV OCULTOS Supuestos de un HMM

Yt : Proceso Observable no Markoviano Qt: Conjunto de estados, Markoviano no observable de orden 1. Resume todos los valores pasados de las variables observadas y ocultas cuando se quiere predecir la variable observada Yt en el estado Q t+1.:

MODELO DE MARKOV OCULTOS Supuestos de un HMM

T

La secuencia observada Y1= {Y1,Y2,Y3,....YT) Se relaciona con La secuencia de estados Q T {Q ,Q ,Q ,....Q ) no observados 1= 1 2 3 T
Independencia P(y 1 |qt1,yt-1 ) = P(yt | qt) 1
t P(q t+1 |q1t,y1 ) = P(qt+1 | qt)

MODELO DE MARKOV OCULTOS Supuestos de un HMM

Probabilidad de Estado Inicial P(q1) 1 inicial, 0 otros casos Probabilidad de Transicin P(qt|q t-1) Probabilidad de Emisin Estado Inicial Estado Final P(yt|q t)

MODELO DE MARKOV OCULTOS

Distribucin Conjunta de HMM

P(y1,q1) = P(q1) P(q t+1| qt) t=1 P(yt|qt) t=1

T T

T-1

P(y1,q1) = P(q1) P(y1|q1) P(q t| qt-1) P(yt|qt,qt-1) t=2

T T

Dado que Q1 no es observada realmente interesa T representar la distribucin de P(y1), entonces, T T T T P(y1) = P(y1,q1)
T t-1 P(y1, qt) = P(yt|qt) P(qt|q t-1) P(y1 , q t-1)) t

MODELO DE MARKOV OCULTOS

Problemas Bsicos con HMM

.Evaluacin de la Probabilidad: Calcular eficientemente la probabilidad de una secuencia dada. Algoritmo de Forward o de Avance Algoritmo de Backward o Retroceso Secuencia de estados ptimo Algoritmo de Viterbi Estimacin de Parmetros Algoritmo de Baum-Welch (maximizacin): Optimizar las probabilidad de los parmetros del modelo, con el fin de ajustar los parmetros secuencia de entrenamiento hasta un punto dado.

MODELO DE MARKOV OCULTOS

Probabilidades de Transicin en un HMM

Para algunas aplicaciones como en datos secuenciales o reconocimientos de cadenas (discurso) en un HMM se asume que los estados ocultos tienen un valor discreto, con una distribucin multinomial, haciendo entonces que la probabilidad de Transicin se pueda representar como: P(qt|q t-1) = A ij = P(Qt = i| q t-1 = j)

Este supuesto no siempre se puede aplicar, cuando los estados ocultos presentan un comportamiento continuo se habla de un espacio de estados, en que la probabilidad es gaussiana. Por otro lado tambin pueden ser hbridos (discreta-continua)

MODELO DE MARKOV OCULTOS

Probabilidades de Emisin en un HMM

Para algunas aplicaciones como en datos secuenciales en un HMM Yt es una v.a discreta independiente y P(yt|q t), es multinomial. Entonces: P(yt|q t) = Bij = P(Yi | Qt =j)

Y el vector de va. Yt se puede dividir en sub-vectores Yti y calcular: i P(yti| qt)

Sin embargo en algunas aplicaciones, la distribucin de emisin es normal o mezcla de normal

MODELO DE MARKOV OCULTOS

Un ejemplo para generar una cadena en un HMM

Sea QT = {1,2,3,F}

= {a,b,c}

P(q1) {1,0,0,0}

1 A ij = 1 2 3

F Bij = 1 2 3

0.2 0.5 0.3 0.0 0.1 0.0 0.9 0.0 0.0 0.0 0.4 0.6

a b c 0.0 0.3 0.7 0.3 0.6 0.1 1.0 0.0 0.0

MODELO DE MARKOV OCULTOS

a b c 0.0 0.3 0.7
0.2
iNI C

0.3 0.6 0.1

0.1

1.0 0.0 0.0

0.4

0.5 0.3

0.9

0.6

t-1 P(y1, qt) = P(yt|qt) P(qt|q t-1) P(y1 , q t-1))

P(cab, qt) = (P1.B1,c)

(1x0.7)

MODELO DE MARKOV OCULTOS

Un ejemplo para generar una cadena en un HMM
a b c 0.0 0.3 0.7
0.2
iNI C

0.3 0.6 0.1

0.1

1.0 0.0 0.0

0.4

0.5 0.3

0.9

0.6

t-1 P(y1, qt) = P(yt|qt) P(qt|q t-1) P(y1 , q t-1))

P(cab, qt) = (P1.B1,c) (A1,2.B2,b)

(1x0.7) (0.5 x 0.6)

MODELO DE MARKOV OCULTOS

Un ejemplo para generar una cadena en un HMM
a b c 0.0 0.3 0.7
0.2
iNI C

0.3 0.6 0.1

0.1

1.0 0.0 0.0

0.4

0.5 0.3

0.9

0.6

t-1 P(y1, qt) = P(yt|qt) P(qt|q t-1) P(y1 , q t-1))

P(cab, qt) = (P1.B1,c) (A1,2.B2,b) (A2,3.B3,a)

(1x0.7) (0.5 x 0.6) (0.9 x 1)

MODELO DE MARKOV OCULTOS

Un ejemplo para generar una cadena en un HMM
a b c 0.0 0.3 0.7
0.2
iNI C

0.3 0.6 0.1

0.1

1.0 0.0 0.0

0.4

0.5 0.3

0.9

0.6

t-1 P(y1, qt) = P(yt|qt) P(qt|q t-1) P(y1 , q t-1))

P(cab, qt) = (P1.B1,c) (A1,2.B2,b) (A2,3.B3,a) A3,F

(1x0.7) (0.5 x 0.6) (0.9 x 1) (0.6 x 1)

MODELO DE MARKOV OCULTOS

Un ejemplo para generar una cadena en un HMM
a b c 0.0 0.3 0.7
0.2
iNI C

0.3 0.6 0.1

0.1

1.0 0.0 0.0

0.4

0.5 0.3

0.9

0.6

t-1 P(y1, qt) = P(yt|qt) P(qt|q t-1) P(y1 , q t-1))

P(cab, qt) = (P1.B1,c) (A1,2.B2,b) (A2,3.B3,a) A3,F

(1x0.7) (0.5 x 0.6) (0.9 x 1) (0.6 x 1)

+ (P1.B1,c)
(1x0.7)

MODELO DE MARKOV OCULTOS

Un ejemplo para generar una cadena en un HMM
a b c 0.0 0.3 0.7
0.2
iNI C

0.3 0.6 0.1

0.1

1.0 0.0 0.0

0.4

0.5 0.3

0.9

0.6

t-1 P(y1, qt) = P(yt|qt) P(qt|q t-1) P(y1 , q t-1))

P(cab, qt) = (P1.B1,c) (A1,2.B2,b) (A2,3.B3,a) A3,F

(1x0.7) (0.5 x 0.6) (0.9 x 1) (0.6 x 1)

+ (P1.B1,c) (A1,2.B2,b)
(1x0.7) (0.2 x 0.3)

MODELO DE MARKOV OCULTOS

Un ejemplo para generar una cadena en un HMM
a b c 0.0 0.3 0.7
0.2
iNI C

0.3 0.6 0.1

0.1

1.0 0.0 0.0

0.4

0.5 0.3

0.9

0.6

t-1 P(y1, qt) = P(yt|qt) P(qt|q t-1) P(y1 , q t-1))

P(cab, qt) = (P1.B1,c) (A1,2.B2,b) (A2,3.B3,a) A3,F

(1x0.7) (0.5 x 0.6) (0.9 x 1) (0.6 x 1)

+ (P1.B1,c) (A1,2.B2,b) (A2,3.B3,a)

(1x0.7) (0.2 x 0.3) (0.3 x 1)

MODELO DE MARKOV OCULTOS

Un ejemplo para generar una cadena en un HMM
a b c 0.0 0.3 0.7
0.2
iNI C

0.3 0.6 0.1

0.1

1.0 0.0 0.0

0.4

0.5 0.3

0.9

0.6

t-1 P(y1, qt) = P(yt|qt) P(qt|q t-1) P(y1 , q t-1))

P(cab, qt) = (P1.B1,c) (A1,2.B2,b) (A2,3.B3,a) A3,F

(1x0.7) (0.5 x 0.6) (0.9 x 1) (0.6 x 1)

+ (P1.B1,c) (A1,2.B2,b) (A2,3.B3,a) A3,F

(1x0.7) (0.2 x 0.3) (0.3 x 1) (0.6 x 1)

MODELO DE MARKOV OCULTOS

Un ejemplo para generar una cadena en un HMM
a b c 0.0 0.3 0.7
0.2
iNI C

0.3 0.6 0.1

0.1

1.0 0.0 0.0

0.4

0.5 0.3

0.9

0.6

t-1 P(y1, qt) = P(yt|qt) P(qt|q t-1) P(y1 , q t-1))

P(cab, qt) = (P1.B1,c) (A1,2.B2,b) (A2,3.B3,a) A3,F

(1x0.7) (0.5 x 0.6) (0.9 x 1) (0.6 x 1)

0.1134 +0.00756 0.12

+ (P1.B1,c) (A1,2.B2,b) (A2,3.B3,a) A3,F

(1x0.7) (0.2 x 0.3) (0.3 x 1) (0.6 x 1)

MODELO DE MARKOV OCULTOS

ALGORITMO DE VITERBI

Muy usado para reconocimiento de voz, biologa molecular, fonemas, palabras, codificadores entre otros). Para secuencia de estados le corresponde una secuencia de labels de clasificacin (e.d, palabras, caracteres, fonemas, sufijos). T T Dado una secuencia observada Y1 = y1, inferir la ms probable T T secuencia de estados Q1 = q1 V(i,t) = P(y1|Q1=i) P(Q1=i) Si t=1

Max {P(yt|Qt=i) P(Q=i|Qt-1=j) V(j,t-1)} Si t>1 j

MODELO DE MARKOV OCULTOS

EJEMPLO DE VITERBI
t
iN IC 1

V(bcbaa,t) b c
1

Ini
0.2

0.0 0.3 0.7 0.3 0.6 0.1 1.0 0.0 0.0

0.3

1
0.1

1
0.5 2 0.9 3 0.6 F

2 3 F

MODELO DE MARKOV OCULTOS

EJEMPLO DE VITERBI
t
iN IC 1

V(bcbaa,t) b c
1
1*0.3

Ini
0.2

0.0 0.3 0.7

0.3

1
0.1

1 0.5

0.3 0.6 0.1 1.0 0.0 0.0

2 3 F

2 0.9 3 0.6 F

MODELO DE MARKOV OCULTOS

EJEMPLO DE VITERBI
t
iN IC 1

V(bcbaa,t) b c
1
0.3

Ini
0.2

0.0 0.3 0.7

0.3

1
0.1

(0.3)*(0.2*0.7)

1 0.5

0.3 0.6 0.1 1.0 0.0 0.0

2 3 F

2 0.9 3 0.6 F

0.0

0.0

MODELO DE MARKOV OCULTOS

EJEMPLO DE VITERBI
t
iN IC 1

V(bcbaa,t) b c
1
0.3

Ini
0.2

0.0 0.3 0.7

0.3

1
0.1

1 0.5

0.3 0.6 0.1 1.0 0.0 0.0

2 3 F

2 0.9 3 0.6 F

0.0

(0.3)*(0.5*0.1)

0.0

MODELO DE MARKOV OCULTOS

EJEMPLO DE VITERBI
t
iN IC 1

V(bcbaa,t) b c
1
0.3

Ini
0.2

0.0 0.3 0.7

0.3

1
0.1

1 0.5

0.3 0.6 0.1 1.0 0.0 0.0

2 3 F

2 0.9 3 0.6 F

0.0

0.0

(0.3)*(0.3*0.0)

MODELO DE MARKOV OCULTOS

EJEMPLO DE VITERBI
t
iN IC 1

V(bcbaa,t) b c
1
0.3 0.042

Ini
0.2

0.0 0.3 0.7

0.3

1
0.1

(0.042)*(0.2*0.3)

1 0.5

0.3 0.6 0.1 1.0 0.0 0.0

2 3 F

2 0.9 3 0.6 F

0.0

0.015

0.0

0.000

MODELO DE MARKOV OCULTOS

EJEMPLO DE VITERBI
t
iN IC 1

V(bcbaa,t) b c
1
0.3 0.042

Ini
0.2

0.0 0.3 0.7

0.3

1
0.1

1 0.5

0.3 0.6 0.1 1.0 0.0 0.0

2 3 F

2 0.9 3 0.6 F

0.0

0.015

(0.042)*(0.5*0.6)

0.0

0.000

MODELO DE MARKOV OCULTOS

EJEMPLO DE VITERBI
t
iN IC 1

V(bcbaa,t) b c
1
0.3 0.042

Ini
0.2

0.0 0.3 0.7

0.3

1
0.1

1 0.5

0.3 0.6 0.1 1.0 0.0 0.0

2 3 F

2 0.9 3 0.6 F

0.0

0.015
(0.042)*(0.3*0.0)

0.0

0.000

MODELO DE MARKOV OCULTOS

EJEMPLO DE VITERBI
t
iN IC 1

V(bcbaa,t) b c
1
0.3 0.042

Ini
0.2

0.0 0.3 0.7 0.3 0.6 0.1 1.0 0.0 0.0

0.3

1
0.1

(0.042)*(0.2*0.3)

1
0.5 2 0.9 3 0.6 F

2 3 F

0.015
0

(0.042)*(0.5*0.6)

(0.042)*(03*0.0 )

MODELO DE MARKOV OCULTOS

EJEMPLO DE VITERBI
t
iN IC 1

V(bcbaa,t) b c
1
0.3 0.042

Ini
0.2

0.0 0.3 0.7

0.3

1
0.1

0.0025

1 0.5

0.3 0.6 0.1 1.0 0.0 0.0

2 3 F

2 0.9 3 0.6 F

0.0

0.015

0.0126
0.000

0.0

0.000

MODELO DE MARKOV OCULTOS

EJEMPLO DE VITERBI
t
iN IC 1

V(bcbaa,t) b c
1
0.3 0.042

Ini
0.2

0.0 0.3 0.7

0.3

1
0.1

0.0025

0.0126*(0.1*0.0)

1 0.5

0.3 0.6 0.1 1.0 0.0 0.0

2 3 F

2 0.9 3 0.6 F

0.0

0.015

0.0126
0.000

0.0

0.000

MODELO DE MARKOV OCULTOS

EJEMPLO DE VITERBI
t
iN IC 1

V(bcbaa,t) b c
1
0.3 0.042

Ini
0.2

0.0 0.3 0.7

0.3

1
0.1

0.0025

1 0.5

0.3 0.6 0.1 1.0 0.0 0.0

2 3 F

2 0.9 3 0.6 F

0.0

0.015

0.0126
0.000

0.0126*(0.0*0.3)

0.0

0.000

MODELO DE MARKOV OCULTOS

EJEMPLO DE VITERBI
t
iN IC 1

V(bcbaa,t) b c
1
0.3 0.042

Ini
0.2

0.0 0.3 0.7

0.3

1
0.1

0.0025

1 0.5

0.3 0.6 0.1 1.0 0.0 0.0

2 3 F

2 0.9 3 0.6 F

0.0

0.015

0.0126
0.000 0.0126*(0.9*1.0)

0.0

0.000

MODELO DE MARKOV OCULTOS

EJEMPLO DE VITERBI
t
iN IC 1

V(bcbaa,t) b c
1
0.3 0.042

Ini
0.2

0.0 0.3 0.7

0.3

1
0.1

0.0025

0.00

1 0.5

0.3 0.6 0.1 1.0 0.0 0.0

2
0.9

2 3 0.6 F

0.0

0.015

0.0126
0.000

0.0004 0.0113

3 F

0.0

0.000

MODELO DE MARKOV OCULTOS

EJEMPLO DE VITERBI
t
iN IC 1

V(bcbaa,t) b c
1
0.3 0.042

Ini
0.2

0.0 0.3 0.7

0.3

1
0.1

0.0025

0.00

0.00

1 0.5

0.3 0.6 0.1 1.0 0.0 0.0

2
0.9

2 3 0.6 F

0.0

0.015

0.0126
0.000

0.0004 0.0113

0.00 0.0045 0.0027

3 F

0.0

0.000