Fernando Alberto Rodrguez Duc

INTRODUCCIN A LA CODIFICACIN DE FUENTE

Una seal digital esta definida como aquella que ha perdido su analoga con la fuente que la
produce, y esta representada por un cdigo.
El proceso de digitalizacin bsico cuenta con las operaciones de muestreo, cuantificacin
y codificacin.
En este documento nos referiremos a la ltima de ellas, se supone que las anteriores ya han
sido vistas.
Existen varios tipos de codificacin: de fuente, de canal y de lnea.
La codificacin de fuente trata de adaptar la fuente al medio de comunicacin eliminndole
la redundancia, la codificacin de canal intenta proteger el mensaje del ruido en la
transmisin insertando redundancia, y finalmente la de lnea, la cual es una codificacin
elctrica de capa uno creada a los efectos de mantener el sincronismo (clock) y bajo nivel
de corriente continua.
Existen cdigos que juntan las dos primeras funciones quitando redundancia y al mismo
tiempo protegiendo el mensaje del ruido trmico blanco y gaussiano (AWGN).
A continuacin veremos la codificacin de fuente.
Para realizar esta codificacin primero debemos analizar el generador de sucesos en la
fuente, y uno de los parmetros bsicos para esta tarea es evaluar la cantidad de
informacin que transmite cada suceso, cuanto, pulso o smbolo, que puede generar esta
fuente.
Supongamos el caso de una seal analgica continua la cual se ha muestreado, sta sera la
fuente de informacin, luego de la cuantificacin emite M pulsos distintos (pulsos
cuantificados) a una razn de fs pulsos por segundo [pulsos/s].
Cada pulso transporta una cantidad de informacin que es inversamente proporcional a su
probabilidad de ocurrencia y que se mide en bits de informacin:
I [bits ] = log 2 ( 1

Ps

) Ps es la probabilidad de ocurrencia del suceso s.

Esta expresin se deriva de la teora de la informacin y se basa en la necesidad de

encontrar un modelo matemtico que mida esta propiedad, teniendo en cuenta que los
sucesos que ms informacin transmiten son aquellos menos probables:
Ps 0 I
Ps 1 I 0
La inversa de Ps da 1/Ps -> Infinito si Ps -> 0 y 1 si Ps-> 1
Si adoptamos la funcin logartimica vemos que su comportamiento cumple con la
necesidades de la medicin de Cantidad de Informacin, pues:
x->1 log x ->0 y x->0 log x -> infinito.
Adems se adopta el logaritmo en base dos por ser la decisin bsica entre dos sucesos,
verdadero / falso, y el sistema numrico con base ms pequea.

Pgina 1 de 7

Fernando Alberto Rodrguez Duc

Por otro lado una fuente suele tener varios sucesos distintos, en el caso de un sistema
cuantificado tengo M cuantos posibles, cada uno se producir con una probabilidad
especfica Ps, de all puedo calcular la I que transmite cada cuanto.
Para calificar una fuente que emite M cuantos, puedo sacar un promedio de la cantidad de
informacin que transmite cada cuanto o smbolo, as definimos la entropa de una fuente
como:
M

k =1

k =1

H [bits / smbolo ] = Pk I k = Pk log 2 ( 1

Pk

Por ejemplo si queremos medir la entropa de un sistema que maneja smbolos digitales
binarios, supongamos que los llamamos 1 y 0, nuestra fuente enviara 1s con una
probabilidad P1 y 0s con P0, el promedio de informacin que enva la fuente o entropa
1
1
podemos definir P1 = 1 P0, reemplazando en la
sera: H = P1 log 2 + P0 log 2
P1
P0
1
1
expresin anterior: H = (1 P0 ) log 2
+ P0 log 2
quedando todo en funcin de P0.
(1 P0 )
P0
Graficando H en funcin de P0 :
Entropia en funcin de P0
1
0.9
0.8
0.7

0.6
0.5
0.4
0.3
0.2
0.1
0

0.1

0.2

0.3

0.4

0.5
P0

0.6

0.7

0.8

0.9

Se observa que la mxima entropa sucede cuando P1 = P0, P1 = P0 = 0,5 o 1/n donde n es la
cantidad de smbolos distintos de la fuente.
Por lo tanto la mxima transferencia de informacin por smbolo sucede cuando los
mismos son equiprobables, pues se produce el caso de mxima incertesa o duda en la
ocurrencia de los mismos.
Finalmente dijimos que la fuente emite fs pulsos cuantificados por segundo, podramos
calcular una tasa de informacin utilizando este promedio (entropa):
R[bits / s ] = Hf s , se destaca que se est midiendo bits de informacin por segundo, no
confundir con los bits de sealizacin que se vern prximamente.
Para codificar esta seal debo utilizar una fuente de smbolos. Estos pueden ser: binarios
(0, 1), ternarios (A, B, C), cuaternarios (W, X, Y, Z), n-arios (a, b, c, ... , n).
Si la cantidad de niveles distintos de la fuente bsica (n) es igual o mayor a la cantidad de
cuantos distintos (M), asigno un nivel o smbolo a cada cuanto y cada vez que debo enviar

Pgina 2 de 7

Fernando Alberto Rodrguez Duc

un pulso cuantificado, dependiendo del valor de cuantificacin, envo un smbolo, con esto
creamos el cdigo.
Por supuesto debe existir una coordinacin con el receptor.
Si n es menor que M debo adoptar un cdigo conformado por una combinacin de estos n
smbolos bsicos para representar cada uno de los cuantos que debo transmitir, a esta
cadena de smbolos bsicos se la denomina palabra o string. Esta operacin normalmente se
la conoce como extensin de la fuente bsica de smbolos n-arios.
nM
nM

codifico simple
Debo codificar conformando palabras, extensin de la fuente.

Veamos un ejemplo con los smbolos binarios, ternarios y cuaternarios especificados

anteriormente:

Cuanto Q
1,5v
3,0v
-1,5v
-3,0v

Ps
0,5
0,25
0,125
0,125

S. Binario
00
01
10
11

S. Ternario
AB
AC
AA
BA

S. Cuaternario
X
Y
W
Z

En la tercera columna tenemos palabras formadas con la fuente bsica binaria con smbolos
1 y 0, en la cuarta columna tenemos palabras o strings formadas con una fuente ternaria con
smbolos A, B y C; finalmente la fuente cuaternaria esta representada por X, Y, W y Z.
Estos cuatro valores pueden representar por ejemplo las cuatro tensiones distintas de los
cuatro valores cunticos, pero nada tienen que ver con los valores de cuantificacin,
solamente existe una asociacin convencional entre el cuanto Q y el valor a asignar a cada
uno de ellos para codificar.
Cada palabra cdigo va a estar conformada por estos n smbolos bsicos y su longitud ser
s, por lo tanto la cantidad de palabras distintas para codificar nuestros pulsos cuantificados
dependern de la naturaleza de los smbolos bsicos y de la longitud de la palabra; pero
para asignarle una a cada cuanto distinto que puede emitir la fuente, esta cantidad debe ser
mayor o igual a la cantidad de estos valores diferentes:
ns M
de forma tal que pueda asociar una palabra cdigo a cada pulsos cuantificado distinto que
produce mi fuente. Esto es el CDIGO DE FUENTE del sistema.
Si mis smbolos bsicos son binarios (n = 2) con s = 2 puedo generar como mximo 4
combinaciones o palabras cdigos, si s = 3 puedo crear hasta 8 palabras de tres smbolos
binarios cada una.
Si los smbolos son ternarios (a, b, c, n = 3), con palabras de longitud s igual a 2 puedo
generar hasta 9 combinaciones: aa, ab, ac, bb, ba, bc, cc, ca, cb.
Ahora podemos definir la velocidad o tasa de sealizacin como:
simbolos muestras
R = s
fs
cuyo resultado nos dar en [smbolos/segundos].
s
muestra

Pgina 3 de 7

Fernando Alberto Rodrguez Duc

En este caso R indica la cantidad de smbolos elctricos que se emiten en la unidad de
tiempo, obsrvese que cada smbolo va a emitir una cantidad de bits de informacin de
acuerdo a su probabilidad de ocurrencia, por lo tanto las dos tasas pueden o no coincidir, lo
ideal y el objetivo de la codificacin de fuente es hacerlas iguales.
A veces, en alguna bibliografa, se denomina a esta unidad [smbolos/seg] como Baudio,
que representa la cantidad de cambios o variaciones que puede sufrir una seal o
portadora en la unidad de tiempo.
Aqu solamente lo referimos a la amplitud, pero cuando este concepto se extiende a la
portadora, el cambio podra producirse en la fase o en su frecuencia instantnea.
Si los smbolos son binarios la unidad es bit/seg.
Nuevamente debo destacar que no se debe confundir con la tasa de transmisin de
informacin, que en este caso sera la velocidad a la que transmite informacin este sistema
de comunicaciones.
El ancho de banda de la seal transmitida esta relacionado a travs de la desigualdad:
BW R/2,

R de sealizacin (elctrica).

A partir de esta desigualdad podemos observar que en la medida que se pueda disminuir R
se achica el ancho de banda de la seal a transmitir, con los beneficios derivados de esta
disminucin.
Con el nimo de ocupar el menor ancho de banda cabra preguntarnos: Cmo podemos
minimizar la tasa de sealizacin?
Observamos que esta velocidad de transmisin de smbolos esta directamente relacionada
con fs y s.
La frecuencia de muestreo esta fijada por la desigualdad de Nyquist y ya se han analizado
sus limitaciones. Pero disminuyendo la longitud de la palabra tambin podramos
ahorrarnos ancho de banda de transmisin. Analicemos este tema:
El cdigo podra tener longitud de palabra constante, como en nuestro ejemplo, o variable.
Sera bastante lgico hacer un cdigo con palabras de longitud variables relacionado con la
probabilidad del cuanto a codificar.
De forma tal que los cuantos ms probables de ser emitidos, los ms numerosos en el
trfico, los hacemos lo ms corto posible, y reservamos las palabras ms largas, mayor s
para los sucesos menos probables, ms raros.
Como todas las palabras no tienen la misma longitud s, se define la longitud media del
cdigo de fuente como:
M
simbolos
s = Pk sk
donde Pk es la probabilidad de ocurrencia del smbolo k y sk es la
k =1
palabra
longitud del mismo.
Se puede demostrar que la longitud mnima de un cdigo esta definido por la entropa de su
fuente y el tipo de smbolos bsicos:
M

Pk Ik M
log 2 1

H
Pk
k =1
smin =
=
= P
log 2 n
log 2 n
k =1 k log 2 n
Observar que en el ltimo trmino existe una transformacin de logaritmo en base dos a
base n.

Pgina 4 de 7

Fernando Alberto Rodrguez Duc

smin
100
s
Veamos tres cdigos conformados con smbolos bsicos binarios:

% =

El rendimiento de un cdigo se define como:

SIMBOLO

PRO.

COD I

COD II

COD III

S0

0,5

00

S1

0,25

01

10

01

S2

0,125

10

110

011

S3

0,125

11

111

0111

1,75

1,875

S media

Podemos ver que el COD I, tiene longitud media 2 bits de sealizacin / smbolo, el COD
II 1,75 y COD III 1,875.
Calculando la longitud mnima nos da 1,75 bits de sealizacin por smbolo, por lo tanto
los rendimientos son:
87,50%,
100% y
93,33%
respectivamente.
Se concluye que el COD II es el de mayor rendimiento.
Que significa esto?
Si se envan fs muestras por segundo se podra determinar una velocidad media de
transmisin como R = Ls f s [bits de sealizacin / seg], el COD I producir 2fS bit/seg, el
COD II 1,75fS bit/seg y el COD III producir 1,875fS bit/seg.
Como BW R/2, la transmisin con el COD II requerir el menor ancho de banda.
Por eso se prefiere el cdigo de menor longitud media pues producir menor R de
sealizacin elctrica y por lo tanto ocupar menos ancho de banda para transmitir la
misma cantidad de informacin.
Con respecto a esto ltimo podramos preguntarnos: cunta informacin transmite esta
fuente en la unidad de tiempo?
De acuerdo a la expresin vista R[bits / s ] = Hf s , calculamos H y la tasa de transmisin de
informacin ser: R = 1,75 fS [bits/seg] de informacin.
Vemos que el cdigo de mayor rendimiento hace coincidir ambas velocidades.
Con este tipo de codificacin, denominada de fuente, se trata de sacar redundancia al
mensaje para producir una transmisin ms compacta.
Para finalizar podemos decir que adems de las caractersticas descritas anteriormente, los
cdigos deben ser UNVOCAMENTE DECODIFICABLES (UD), cada smbolo debe
representar a un suceso de la fuente, el receptor cuando recibe una sucesin de smbolos narios no debe confundirse en la decodificacin.
Una de las propiedades que se buscan, para cumplir la caracterstica UD, es que sean
prefijos, lo cual significa que ningn smbolo comience con otro, observemos que el CODI
y COD II, son prefijos, COD III no, el primer smbolo es prefijo de los otros tres, el

Pgina 5 de 7

Fernando Alberto Rodrguez Duc

segundo es de los otros dos. Sin embargo este ltimo cdigo tambin es UD, como se
puede observar en la tabla el 0 se usa para indicar el inicio de un smbolo, y estos se
diferencia por la cantidad de 1s.
Se concluye que la condicin de prefijo califica a un cdigo como univocamente
decodificable, sin embargo esta no es una condicin excluyente.
Se
dejan
estos
temas
para
un
estudio
posterior,
ms
detallado.

Pgina 6 de 7

Fernando Alberto Rodrguez Duc

CODOFICACIN

ADAPTA

FUENTE

MEDIO

A TRAVS

A TRAVS

TEORA DE LA
INFORMACIN

MEDICIONES
ELCTRCAS

DETERMINO

DETERMINO

BW

OBTENGO

S/N

OBTENGO

CAPACIDAD DE
CANAL (SHANNON)

CODIGO de
FUENTE
TAL QUE SE
CUMPLA

C = B Log (1 + S/N)

R<=C

Mapa conceptual sobre la CODIFICACIN de fuente

Pgina 7 de 7