EXTENSIÓN DE UNA FUENTE

Podemos denotar una extensión de una fuente 𝑆 como 𝑆 𝑛 , cuyas probabilidades de emisión
se las puede calcular al multiplicar adecuadamente cada una de ellas:

Si consideramos una fuente sin memoria 𝑆 con alfabeto 𝑆 = 0, 1 y probabilidad de emisión

𝑃 0 = 0,2 ; 𝑃 1 = 0,8 entonces una segunda extensión vendrá representada:

Sus entropías (extensión de fuente sin memoria estacionaria)

UNIDAD 1

se relacionan: 𝐻 𝑆 𝑛 = 𝑛𝐻(𝑆)
FUENTES DE INFORMACIÓN
 EXTENSIÓN DE UNA FUENTE

Se debe tener en consideración la siguiente relación:

𝑚
𝑃≥
𝑛
Donde:
𝑚 es el orden de la fuente
𝑛 es la extensión de la fuente
La relación nos indica la extensión de la fuente de orden 𝑷 cuyo alfabeto consiste en
las secuencias de 𝒏 símbolos del alfabeto 𝒎
𝑚
El valor de 𝑃 siempre va a ser el menor número entero igual o superior a
𝑛

La tercera extensión de la fuente de Markov de orden 5

Sería una fuente de 2do orden de 𝑞 𝑛 símbolos.
UNIDAD 1

5
𝑃 ≥ → 𝑃 = 1,666 ≅ 2
3
FUENTES DE INFORMACIÓN
 EXTENSIÓN DE UNA FUENTE
La segunda extensión de una fuente de markov de orden 2 con alfabeto 0, 1
2
𝑃≥
22
Sería una fuente de Markov de orden 1 con 𝑞 símbolos.
Es decir, orden 1 con 4 símbolos

La tercera extensión de la fuente de Markov de orden 5 con alfabeto 0, 1

5
𝑃 ≥ → 𝑃 = 1,666 ≅ 2
3
Sería una fuente de 2do orden de 𝑞 3 símbolos.
UNIDAD 1

FUENTES DE INFORMACIÓN
 EXTENSIÓN DE UNA FUENTE
La extensión de una fuente de markov orden 𝒎 𝒕𝒉
Sea 𝑀 → fuente de markov 1er orden con alfabeto 0, 1 y probabilidades de transición
𝑃 0 0 = 0,3 ; 𝑃 1 0 = 0,7 ; 𝑃 0 1 = 0,4 ; 𝑃 1 1 = 0,6
Una segunda extensión de 𝑀 tiene 𝑚 = 1, 𝑛 = 2, 𝑃 = 1 con alfabeto 00, 01, 10, 11 y las
probabilidades de transición serían:
𝑃 00 00 = 𝑃 0 0 𝑃 0 0 = 0,09
𝑃 01 00 = 𝑃 0 0 𝑃 1 0 = 0,21
𝑃 10 00 = 𝑃 1 0 𝑃 0 1 = 0,28
𝑃 11 00 = 𝑃 1 0 𝑃 1 1 = 0,42
𝑃 00 11 = 𝑃 0 1 𝑃 0 0 = 0,12
𝑃 01 11 = 𝑃 0 1 𝑃 1 0 = 0,28
𝑃 10 11 = 𝑃 1 1 𝑃 0 1 = 0,24
𝑃 11 11 = 𝑃 1 1 𝑃 1 1 = 0,36
UNIDAD 1

FUENTES DE INFORMACIÓN
 EXTENSIÓN DE UNA FUENTE

TEOREMA:
Si 𝑀𝑛 es la extensión de una fuente de Markov 𝑀, la entropía esta
relacionada por:
𝐻 𝑀𝑛 = 𝑛𝐻(𝑀)
Y
𝐻 𝑀ഥ 𝑛 ≥ 𝐻 𝑀𝑛 = 𝑛𝐻(𝑀)
UNIDAD 1

FUENTES DE INFORMACIÓN