Fuente afín o adjunta de una fuente de información de Markov

A partir de la fuente-M, una fuente de información de Markov de orden m, es posible construir

una fuente de información de memoria nula llamada fuente-𝑀 ̅ (fuente afín o adjunta de M).

̅ son los mismos de la fuente-M, es decir:

Los símbolos del alfabeto de esta fuente-𝑀

𝑆𝑀 = 𝑆𝑀̅ = {𝑆1 , 𝑆2 , ⋯ , 𝑆𝑞 }
̅:
Y las probabilidades de emisión de estos símbolos en la fuente-𝑀
𝑞𝑚

𝑃𝑟𝑜𝑏(𝑆𝑖 ) = 𝑃(𝑆𝑖 ) = 𝑃𝑖 = ∑ 𝑃(𝑆𝑖 /𝛼𝑗 ) ∙ 𝑤𝑗

𝑗=1

Ejemplo:

Dado los siguientes datos:

𝑃𝑊 = 𝑊
0.8 0 0.5 0
0.2 0 0.5 0
𝑃=
0 0.5 0 0.2
0 0.5 0 0.8
𝑤1
𝑤2
𝑊=𝑤
3
𝑤4
0.8 0 0.5 0 𝑤1 𝑤1
0.2 0 0.5 0 𝑤2 𝑤2
∙ =
0 0.5 0 0.2 𝑤3 𝑤3
0 0.5 0 0.8 𝑤4 𝑤4
𝑤1 + 𝑤2 + 𝑤3 + 𝑤4 = 1
Resolviendo el sistema de ecuaciones tenemos:
5
𝑤1 =
14
2
𝑤2 =
14
 2
𝑤3 =
14
5
𝑤4 =
14
̅.
A partir de los anteriores datos hallar la fuente-𝑀

Solución:

𝑆 = {𝑆1 , 𝑆2 } = {0, 1}

Calculemos las probabilidades de 𝑆𝑖

𝑞𝑚

𝑃𝑟𝑜𝑏(𝑆𝑖 ) = 𝑃(𝑆𝑖 ) = 𝑃𝑖 = ∑ 𝑃(𝑆𝑖 /𝛼𝑗 ) ∙ 𝑤𝑗

𝑗=1

Sabemos:

𝛼1 = 00 𝛼2 = 01 𝛼3 = 10 𝛼4 = 11
𝛼1 = 00 0.8 0 0.5 0
𝛼2 = 01 02 0 0.5 0
𝛼3 = 10 0 0.5 0 0.2
𝛼4 = 11 0 0.5 0 0.8
*
22

𝑃(𝑆1 ) = 𝑃(0) = ∑ 𝑃(𝑆1 /𝛼𝑗 ) ∙ 𝑤𝑗

𝑗=1

𝑃(𝑆1 ) = 𝑃(0) = 𝑃(𝑆1 /𝛼1 ) ∙ 𝑤1 + 𝑃(𝑆1 /𝛼2 ) ∙ 𝑤2 + 𝑃(𝑆1 /𝛼3 ) ∙ 𝑤3 + 𝑃(𝑆1 /𝛼4 ) ∙ 𝑤4
5 2 2 5
𝑃(𝑆1 ) = 𝑃(0) = 𝑃(0/00) ∙ + 𝑃(0/01) ∙ + 𝑃(0/10) ∙ + 𝑃(0/11) ∙
14 14 14 14
5 2 2 5
𝑃(𝑆1 ) = 𝑃(0) = (0,8) ∙ + (0,5) ∙ + (0,5) ∙ + (0,2) ∙
14 14 14 14
1
𝑃(𝑆1 ) = 𝑃(0) = = 0.5
2
*
22

𝑃(𝑆2 ) = 𝑃(1) = ∑ 𝑃(𝑆2 /𝛼𝑗 ) ∙ 𝑤𝑗

𝑗=1

𝑃(𝑆2 ) = 𝑃(1) = 𝑃(𝑆2 /𝛼1 ) ∙ 𝑤1 + 𝑃(𝑆2 /𝛼2 ) ∙ 𝑤2 + 𝑃(𝑆2 /𝛼3 ) ∙ 𝑤3 + 𝑃(𝑆2 /𝛼4 ) ∙ 𝑤4
5 2 2 5
𝑃(𝑆2 ) = 𝑃(1) = 𝑃(1/00) ∙ + 𝑃(1/01) ∙ + 𝑃(1/10) ∙ + 𝑃(1/11) ∙
14 14 14 14
5 2 2 5
𝑃(𝑆2 ) = 𝑃(1) = (0,2) ∙ + (0,5) ∙ + (0,5) ∙ + (0,8) ∙
14 14 14 14
1
𝑃(𝑆2 ) = 𝑃(1) = = 0.5
2
Otra forma de calcular:
𝑃(𝐴̅) = 1 − 𝑃(𝐴)

1
𝑃(𝑆1 ) = 𝑃(0) =
2
𝑆 = {𝑆1 , 𝑆2 } = {0, 1}
1 1
𝑃(𝑆2 ) = 𝑃(1) = 1 − 𝑃(𝑆1 ) = 1 − =
2 2
̅ resultantes es:
Luego, la fuente-𝑀

𝑖 𝑀̅ 𝑃(𝑆𝑖 )
1 𝑆1 = 0 0.5
2 𝑆2 = 1 0.5
1

Entropía:
𝑞
1
𝐻(𝑆̅) = ∑ 𝑃(𝑆𝑖 ) log
𝑃(𝑆𝑖 )
𝑖=1

En el ejemplo:
2
1
𝐻(𝑆̅) = ∑ 𝑃(𝑆𝑖 ) log
𝑃(𝑆𝑖 )
𝑖=1

1 1
𝐻(𝑆̅) = 𝑃(𝑆1 ) log + 𝑃(𝑆2 ) log
𝑃(𝑆1 ) 𝑃(𝑆2 )
1 1
𝐻(𝑆̅) = (0.5) log + (0.5) log
0.5 0.5
𝐻(𝑆̅) = 1
Extensión n-ésima de una fuente de Markov

Sea la fuente-M una fuente de Markov de orden m con alfabeto 𝑆 = {𝑆1 , 𝑆2 , ⋯ , 𝑆𝑞 } y la matriz
de transiciones 𝑃.

Llamaremos Fuente-𝑀𝑛 a la n-ésima extensión de la fuente-M original.

La Fuente-𝑀𝑛 es también una fuente de Markov, definida por:

Alfabeto:

𝑆 𝑛 = {𝜎1 , 𝜎2 , ⋯ , 𝜎𝑞𝑛 } ( 𝑞 𝑛 símbolos)

Donde:

𝜎𝑗 = 𝑆𝑗1 𝑆𝑗2 ⋯ 𝑆𝑗𝑛 con 𝑆𝑗𝑖 ∈ 𝑆

Probabilidades condicionales:
𝜇
𝑃(𝜎𝑖 /𝜎𝑗1 𝜎𝑗2 ⋯ 𝜎𝑗𝜇 ) (existen 𝑞 𝑛 estados)

𝑃(𝑆𝑖1 𝑆𝑖2 ⋯ 𝑆𝑖𝑛 /𝑆𝑗11 𝑆𝑗12 ⋯ 𝑆𝑗1𝑛 𝑆𝑗21 𝑆𝑗22 ⋯ 𝑆𝑗2𝑛 ⋯ 𝑆𝑗𝜇1 𝑆𝑗𝜇2 ⋯ 𝑆𝑗𝜇𝑛 )

= 𝑃(𝑆𝑖1 /𝑆𝑗11 𝑆𝑗12 ⋯ 𝑆𝑗1𝑛 𝑆𝑗21 𝑆𝑗22 ⋯ 𝑆𝑗2𝑛 ⋯ 𝑆𝑗𝜇1 𝑆𝑗𝜇2 ⋯ 𝑆𝑗𝜇𝑛 )
∙ 𝑃(𝑆𝑖2 /𝑆𝑗12 ⋯ 𝑆𝑗1𝑛 𝑆𝑗21 𝑆𝑗22 ⋯ 𝑆𝑗2𝑛 ⋯ 𝑆𝑗𝜇1 𝑆𝑗𝜇2 ⋯ 𝑆𝑗𝜇𝑛 𝑆𝑖1 ) ∙)
∙ 𝑃(𝑆𝑖3 /𝑆𝑗13 ⋯ 𝑆𝑗1𝑛 𝑆𝑗21 𝑆𝑗22 ⋯ 𝑆𝑗2𝑛 ⋯ 𝑆𝑗𝜇1 𝑆𝑗𝜇2 ⋯ 𝑆𝑗𝜇𝑛 𝑆𝑖1 𝑆𝑖2 ) ⋯ 𝑃(𝑆𝑖𝑛
/𝑆𝑗1𝑛 𝑆𝑗21 𝑆𝑗22 ⋯ 𝑆𝑗2𝑛 ⋯ 𝑆𝑗𝜇1 𝑆𝑗𝜇2 ⋯ 𝑆𝑗𝜇𝑛 𝑆𝑖1 𝑆𝑖2 ⋯ 𝑆𝑖(𝑛−1) )

OBS

En cada una de las probabilidades condicionales sólo se toman en cuenta los últimos m
símbolos (después /), los únicos que pueden recordarse.

Reescribimos:

Sean 𝑆ℎ1 𝑆ℎ2 ⋯ 𝑆ℎ𝑚 los últimos m símbolos de

𝑆𝑗11 𝑆𝑗12 ⋯ 𝑆𝑗1𝑛 𝑆𝑗21 𝑆𝑗22 ⋯ 𝑆𝑗2𝑛 ⋯ 𝑆𝑗𝜇1 𝑆𝑗𝜇2 ⋯ 𝑆𝑗𝜇𝑛 . Luego:

𝑃(𝜎𝑖 /𝜎𝑗1 𝜎𝑗2 ⋯ 𝜎𝑗𝜇 ) = 𝑃(𝑆𝑖1 𝑆𝑖2 ⋯ 𝑆𝑖𝑛 /𝑆𝑗11 𝑆𝑗12 ⋯ 𝑆𝑗1𝑛 𝑆𝑗21 𝑆𝑗22 ⋯ 𝑆𝑗2𝑛 ⋯ 𝑆𝑗𝜇1 𝑆𝑗𝜇2 ⋯ 𝑆𝑗𝜇𝑛 )

= 𝑃(𝑆𝑖1 /𝑆ℎ1 𝑆ℎ2 ⋯ 𝑆ℎ𝑚 ) ∙ 𝑃(𝑆𝑖2 /𝑆ℎ2 ⋯ 𝑆ℎ𝑚 𝑆𝑖1 )

∙ 𝑃(𝑆𝑖3 /𝑆ℎ3 ⋯ 𝑆ℎ𝑚 𝑆𝑖1 𝑆𝑖2 ) ⋯ 𝑃(𝑆𝑖𝑛 /𝑆ℎ𝑛 𝑆ℎ(𝑛+1) ⋯ 𝑆𝑖1 𝑆𝑖2 ⋯ 𝑆𝑖(𝑛−1) )

(𝑚 ≥ 𝑛)

= 𝑃(𝑆𝑖1 /𝑆ℎ1 𝑆ℎ2 ⋯ 𝑆ℎ𝑚 ) ∙ 𝑃(𝑆𝑖2 /𝑆ℎ2 ⋯ 𝑆ℎ𝑚 𝑆𝑖1 )

∙ 𝑃(𝑆𝑖3 /𝑆ℎ3 ⋯ 𝑆ℎ𝑚 𝑆𝑖1 𝑆𝑖2 ) ⋯ 𝑃(𝑆𝑖𝑛 /𝑆𝑖(𝑛−𝑚) 𝑆𝑖(𝑛−𝑚+1) ⋯ 𝑆𝑖1 𝑆𝑖2 ⋯ 𝑆𝑖(𝑛−1) )

(𝑚 < 𝑛)
Ejemplo:

Sea la siguiente fuente-M con

𝑆 = {𝑆1 , 𝑆2 } = {0, 1}

𝑞 = 2, 𝑜𝑟𝑑𝑒𝑛 𝑚 = 2

Los 𝑞 𝑚 = 22 = 4 estados son:

 𝛼1 = 𝑆1 𝑆1 = 00

𝛼2 = 𝑆1 𝑆2 = 01
𝛼3 = 𝑆2 𝑆1 = 10

𝛼4 = 𝑆2 𝑆2 = 11
Listado de probabilidades:

𝑃(0/00) = 0.8 𝑃(𝛼1 − −→ 𝛼1 ) = 0.8

𝑃(1/00) = 0.2 𝑃(𝛼1 − −→ 𝛼2 ) = 0.2
𝑃(0/01) = 0.5 𝑃(𝛼2 − −→ 𝛼3 ) = 0.5
𝑃(1/01) = 0.5 𝑃(𝛼2 − −→ 𝛼4 ) = 0.5
𝑃(0/10) = 0.5 𝑃(𝛼3 − −→ 𝛼1 ) = 0.5
𝑃(1/10) = 0.5 𝑃(𝛼3 − −→ 𝛼2 ) = 0.5
𝑃(0/11) = 0.2 𝑃(𝛼4 − −→ 𝛼3 ) = 0.2
𝑃(1/11) = 0.8 𝑃(𝛼4 − −→ 𝛼4 ) = 0.8

Matriz de transiciones:

00 01 10 11
00 0.8 0 0.5 0
01 02 0 0.5 0
10 0 0.5 0 0.2
11 0 0.5 0 0.8
Fuente extendida-𝑀𝑛

La n-ésima extensión de la fuente-M, con n=2

𝑆 𝑛 = {𝜎1 , 𝜎2 , 𝜎3 , 𝜎4 }
𝜎1 = 𝑆1 𝑆1 = 00

𝜎2 = 𝑆1 𝑆2 = 01
𝜎3 = 𝑆2 𝑆1 = 10

𝜎4 = 𝑆2 𝑆2 = 11
Orden: techo(m/n)=𝜇 = 1

Conjunto Beta ( de estados de la extensión):

𝛽1 = 𝜎1 = 𝑆1 𝑆1 = 00

𝛽2 = 𝜎2 = 𝑆1 𝑆2 = 01

𝛽3 = 𝜎3 = 𝑆2 𝑆1 = 10
𝛽4 = 𝜎4 = 𝑆2 𝑆2 = 11
Listado de probabilidades de la fuente extendida:

P(00/00)=P(0/00)P(0/00)=0.8(0.8)=0.64 𝑃(𝛽1 − −→ 𝛽1 ) =0.64

P(00/01)=P(0/01)P(0/10)=0.5(0.5)=0.25 𝑃(𝛽2 − −→ 𝛽1 ) =0.25
P(00/10)=P(0/10)P(0/00)=0.5(0.8)=0.4 𝑃(𝛽3 − −→ 𝛽1 ) = 0.4
 P(00/11)=P(0/11)P(0/10)=0.2(0.5)=0.1 𝑃(𝛽4 − −→ 𝛽1 ) =0.1
P(01/00)=P(0/00)P(1/00)=0.8(0.2)=0.16 𝑃(𝛽1 − −→ 𝛽2 ) =0.16
P(01/01)=P(0/01)P(1/10)=0.5(0.5)=0.25 𝑃(𝛽2 − −→ 𝛽2 ) =0.25
P(01/10)=P(0/10)P(1/00)=0.5(0.2)=0.1 𝑃(𝛽3 − −→ 𝛽2 ) =0.1
P(01/11)=P(0/11)P(1/10)=0.2(0.5)=0.1 𝑃(𝛽4 − −→ 𝛽2 ) =0.1
P(10/00)=P(1/00)P(0/01)=0.2(0.5)=0.1 𝑃(𝛽1 − −→ 𝛽3 ) =0.1
P(10/01)=P(1/01)P(0/11)=0.5(0.2)=0.1 𝑃(𝛽2 − −→ 𝛽3 ) =0.1
P(10/10)=P(1/10)P(0/01)=0.5(0.5)=0.25 𝑃(𝛽3 − −→ 𝛽3 ) = 0.25
P(10/11)=P(1/11)P(0/11)=0.8(0.2)=0.16 𝑃(𝛽4 − −→ 𝛽3 ) =0.16
P(11/00)=P(1/00)P(1/01)=0.2(0.5)=0.1 𝑃(𝛽1 − −→ 𝛽4 ) = 0.1
P(11/01)=P(1/01)P(1/11)=0.5(0.8)=0.4 𝑃(𝛽2 − −→ 𝛽4 ) = 0.4
P(11/10)=P(1/10)P(1/01)=0.5(0.5)=0.25 𝑃(𝛽3 − −→ 𝛽4 ) =0.25
P(11/11)=P(1/11)P(1/11)=0.8(0.8)=0.64 𝑃(𝛽4 − −→ 𝛽4 ) =0.64

Matriz de transición entre estados (de la fuente extendida)

00 01 10 11
𝑆1 𝑆1 𝑆1 𝑆2 𝑆2 𝑆1 𝑆2 𝑆2
𝜎1 𝜎2 𝜎3 𝜎4
𝛽1 𝛽2 𝛽3 𝛽4
𝛽1 0.64 0.25 0.4 0.1
𝛽2 0.16 0.25 0.1 0.1
𝛽3 0.1 0.1 0.25 0.16
𝛽4 0.1 0.4 0.25 0.64