Codificación de fuentes

Plantilla para títulos 2 de

información
Departamento de Electrónica y Telecomunicaciones
Profesor: Andrés Betancur
 Longitud media de un código

Dado un código bloque asocia los símbolos 𝑠1 , 𝑠2 … 𝑠𝑞 con palabras

respectivas 𝑋1, 𝑋2 … 𝑋𝑞 . Suponiendo que las probabilidades de los símbolos
son respectivamente 𝑃1 , 𝑃2 … 𝑃𝑞 y sus longitudes son equivalentes a 𝑙1 , 𝑙2 … 𝑙𝑞
La longitud media de un código, 𝐿, está dada por:
𝑞

𝐿 = ෍ 𝑃𝑖 𝑙𝑖
𝑖=1

En la codificación de fuentes
se desea buscar un código
que sea univoco, instantáneo,
además, compacto.
𝐿 es posible estimarla tanto
para fuentes de memoria
nulas o fuentes de Markov.
Recordemos que la entropía (para
una fuente nula es:
𝑞
1
𝐻 𝑆 = ෍ 𝑃𝑖 log( )
𝑃𝑖
𝑖=1
Para exigirle al código que sea
instantáneo, aplicamos la la
inecuación de Kraft y obtenemos la
siguiente desigualdad:
𝐻 𝑆 ≤ 𝐿 . log 𝑟
Donde:
𝑟: es el número de símbolos del
alfabeto código (código r-ario).
Para un código binario, la entropía es:

𝐻 𝑆 ≤𝐿
Lo anterior nos indica que 𝐿 (la longitud media del código
empleado para codificar la fuente S) nunca es menor que la
entropía (Información media por símbolo emitida por la fuente).

𝐿 será mínimo si, y solo si, se eligen las longitudes que siguen la
siguiente condición
1
𝑙𝑖 = 𝑙𝑜𝑔𝑟 ( )
𝑃𝑖
Luego tal logaritmo debe ser un numero entero para cualquier
valor de 𝑖.
 Ejemplo 1
Se tiene la siguiente fuente de memoria nula compuesta de 4 símbolos y
son equiprobables.
𝑞
Simbolos Probabilidad 1
𝐻 𝑆 = ෍ 𝑃𝑖 log
S1 1/4 𝑃𝑖
𝑖=1
S2 1/4 1 1 1 1 1 1 1 1
𝐻(𝑆) = log + log + log + log
S3 1/4 4 1/4 4 1/4 4 1/4 4 1/4

S4 1/4 𝐻 𝑆 = 2 𝑏𝑖𝑡𝑠/𝑠𝑖𝑚𝑏𝑜𝑙𝑜
NO se puede lograr codificar esta fuente con un código binario
univoco de longitud media inferior a 2 bits/símbolo.

La longitud mínima que puede obtenerse sigue la siguiente

condición:

1 Símbolos Código
𝑙𝑖 = 𝑙𝑜𝑔
𝑃𝑖 S1 00
S2 01
1 S3 10
𝑙𝑖 = 𝑙𝑜𝑔 =2
1 S4 11
4
 Ejemplo 2
𝑞
Simbolos Probabilidad 1
𝐻 𝑆 = ෍ 𝑃𝑖 log
S1 1/2 𝑃𝑖
𝑖=1
S2 1/4 1 1 1 1 1 1 1 1
𝐻(𝑆) = log + log + log + log
S3 1/8 2 1/2 4 1/4 8 1/8 8 1/8

S4 1/8 𝐻 𝑆 = 1.75 𝑏𝑖𝑡𝑠/𝑠𝑖𝑚𝑏𝑜𝑙𝑜

La longitud mínima que puede obtenerse sigue la

siguiente condición:
 1 1
𝑙1 = 𝑙𝑜𝑔 = 𝑙𝑜𝑔 = 1 𝑏𝑖𝑡
𝑃1 1
2

1 1 Simbolos Probabilidad
𝑙2 = 𝑙𝑜𝑔 = 𝑙𝑜𝑔 = 2 𝑏𝑖𝑡𝑠
𝑃2 1 S1 0
4
S2 10
S3 110
1 1
𝑙3 = 𝑙𝑜𝑔 = 𝑙𝑜𝑔 = 3 𝑏𝑖𝑡𝑠 S4 111
𝑃3 1
8

1 1
𝑙4 = 𝑙𝑜𝑔 = 𝑙𝑜𝑔 = 3 𝑏𝑖𝑡𝑠
𝑃4 1
8
Comprobemos el código calculando la longitud media del código.
𝑞
1 1 1 1
𝐿 = ෍ 𝑃𝑖 𝑙𝑖 = × 1 + × 2 + × 3 + × 3
2 4 8 8
𝑖=1

𝐿 = 1.75 𝑏𝑖𝑡𝑠/𝑠𝑖𝑚𝑏𝑜𝑙𝑜
En efecto se asegura la longitud mínima posible con estas reglas, el
código es unívoco e instantáneo.
 Primer teorema de Shannon o
Teorema de codificación sin ruido
El número medio de símbolos r-arios correspondientes a un símbolo de la
fuente puede hacerse tan pequeño, pero no inferior, a la entropía de la fuente
expresada en unidades de orden r.

𝐿𝑛 1
𝐻𝑟 𝑆 ≤ < 𝐻𝑟 𝑆 +
𝑛 𝑛

Esta relación incluye los casos de extensión de una fuente S. La longitud

media de una fuente (incluyendo su extensión) esta acotada por los limites
definidos en la desigualdad.
¡MUCHAS GRACIAS!