Teorema de Shannon y Capacidad de Canal

La pregunta ms importante asociada con un canal de comunicacin es la tasa mxima a la

que se puede transferir informacin. La informacin solo puede transferirse por una seal si la
seal se le permite cambiar. Las seales anlogas que se transmiten por los canales fsicos no
pueden cambiar rpida o arbitrariamente. La tasa por la cual una seal puede cambiar se
determina por el ancho de banda. De hecho se rige por la misma Ley de Nyquist-Shannon
como en el caso de muestreo; una seal de ancho de banda B puede cambiar a una tasa
mxima de 2B. Si cada cambio se usa para representar un smbolo, la tasa de informacin
mxima es 2B. El teorema de Nyquist-Shannon no hace observacin acerca de la magnitud del
cambio. Si los cambios de magnitudes distintas se asocian cada uno con un smbolo separado,
la tasa de informacin puede aumentarse. As, si en cada instante la seal cambia, se pueden
tomar uno de los M smbolos equiprobables que pueden transmitirse, por lo que la tasa de
informacin R queda:

R= ( max1 T ) log M =2 B log M

i
D D

Esta ecuacin establece que cuando M tiende a infinito, as lo har la tasa de

informacin. Existe entonces un lmite para el nmero de niveles? El lmite se
establece por la presencia de ruido. Si continuamos subdividiendo la magnitud de
los cambios en sus intervalos decrecientes, se llega a un punto donde no se puede
distinguir los niveles separadamente debido a la presencia de ruido. El ruido por
consiguiente ofrece un lmite en la tasa mxima a la que se puede transmitir la
informacin. Obviamente, lo que realmente importa es la relacin seal-a-ruido
(SNR). Hay un mximo terico para la tasa en que la informacin pase sin errores
sobre el canal. Este mximo se denomina la capacidad del canal C. La Ley de
Hartley-Shannon establece que la capacidad de canal C se da por la mxima
cantidad de informacin de un evento Yn dado que ha sido transmitido como un
evento Xm:

C=max { I {Y =n X =m } }=max { I { Y =n X=m }I { X=m } } =max { I {Y =n X=m}}

Como se demostr con la entropa, el valor mximo se encuentra cuando se

transmiten M smbolos equiprobables. Luego:

C=max { I {Y =n X =m } }log D M =B log D (1+SNR )

El teorema no establece sobre cmo se cumple la capacidad del canal. De hecho,

los canales solo se acercan a este lmite. La tarea de proporcionar una alta eficacia
del canal es la meta de las tcnicas de decodificacin, como se ver ms adelante.
La falla para encontrar un desempeo perfecto se mide por la Tasa de Error de Bits
(BER). Tpicamente las BERs son del orden de 106. Para un canal dado existe una
tcnica que permita la transmisin libre de errores a travs del canal a una
velocidad R, siempre y cuando R C, la capacidad del canal. La identidad se
cumple solo cuando la SNR es infinita. Como vimos anteriormente, la parte
sorprendente de esta teora es la existencia de la capacidad del canal. Esto ofrece
transmisin libre de errores, pero no define que cdigo es el que se requiere. En
efecto, lo que se puede deducir de la prueba del teorema es que debe ser lo
suficientemente largo. Nadie ha encontrado aun un cdigo que permita el uso de un
canal por su capacidad. Sin embargo, Shannon ha vencido el reto, en el sentido de
probar que el cdigo existe. La ley de Hartley-Shannon nos dice que la mxima tasa
de informacin de un canal de ancho de banda cero es cero. As, las seales con
ancho de banda cero no contienen informacin. Para permitir al canal llevar
informacin debemos introducir capacidad para un cambio a peridico. La
consecuencia de un cambio a peridico es introducir una expansin de frecuencias
en la seal. Una consideracin terica detallada nos lleva a la ley de Nyquist-
Shannon en donde una seal de ancho de banda B puede cambiar en una forma a
peridica a una tasa mxima de 2B. Consideremos el caso de una seal cuadrada,
el cual lo podemos aplicar para el resto de seales peridicas. Si una seal de onda
cuadrada se reemplaza con una secuencia a peridica de 1s y 0s, el espectro
cambia substancialmente. Los componentes armnicos discretos se reemplazan por
un rango continuo de frecuencias cuya forma es la funcin de muestreo sinc(). All
hay varios rasgos para notar:
 El ancho de banda de la seal solo se puede aproximar a un valor finito. La
mayora de la energa est contenida en una regin limitada llamada el lbulo
principal. Sin embargo, algo de energa queda en todas las frecuencias.
Si existen dos cambios en el periodo T, el ancho del lbulo principal es 4/T La
ley de Nyquist-Shannon establece que si una seal tiene un ancho de banda
4/T , entonces el nmero mximo de cambios que pueden tener lugar es 8/T
por segundo, o 8 cambios en el periodo T. Si cada cambio se toma para
representar 1 bit, est claro que esta seal no lleva tanta informacin como
lo permite el ancho de banda.
El espectro tiene frecuencias positivas y negativas. estas son simtricas
sobre el origen.

El ancho de banda de un canal de comunicacin est limitado por la construccin

fsica del canal. La ley de Nyquist-Shannon pone un lmite en el nmero mximo de
cambios a peridicos por unidad de tiempo que la seal puede realizar. Es la tarea
del modulador para hacer uso mejor del ancho de banda disponible. Sin embargo, el
modulador es reprimido por su diseo fsico y construccin, y puede o no puede
acercarse al lmite de Nyquist en su funcionamiento.

Para un ancho de banda dado, esta ley de Hartley-Shannon establece que si la SNR
tiende a infinito, as lo har la capacidad. Est claro que los mtodos que se han
descrito ahora no cumplen est ley. Esta incapacidad para satisfacer la ecuacin de
Hartley-Shannon es explicada a menudo lejos de determinar que es una relacin
terica, y que se debe tratar para el entorno prctico. Esta no es una explicacin
buena ni correcta. La ley es vlida para sistemas cuyos entradas y salidas pueden
tomar algn valor. Como esto no es cierto para los sistemas reales, la ecuacin no
se satisface, pero no hay razn porque debe ser (derivando una relacin alternativa
para los canales binarios). La caracterstica notable de la ley de Hartley-Shannon no
es que los canales que se utilicen no la obedezcan, sino que un mensaje puede
transmitirse libre de errores. Si se consideran los anteriores resultados se puede ver
que, para una SNR finita, se tiene siempre una probabilidad de error finita. Es esta
la existencia de una capacidad del canal, no su forma funcional, lo que hace la
ecuacin una relacin importante. Es importante entender la diferencia entre la
mxima tasa de bits y capacidad del canal. La tasa de datos mxima est
determinada por el diseo del sistema, y se asocia con una tasa de error dada. La
capacidad del canal es la tasa mxima que el canal puede transmitir datos libre de
error. Claramente, la capacidad del canal no puede exceder la mxima tasa de
datos. Sin embargo, no se ha dicho lo concerniente como puede realizarse una
transmisin libre de errores.

Primer teorema de Shannon

Es evidente que la longitud media del cdigo L tendr un lmite inferior mayor que cero, ya
que los datos no se pueden comprimir infinitamente. Tendremos por tanto que L Lmin. Pero
cul es ese lmite por debajo de cual ya no se puede comprimir la informacin?

El Primer Teorema de Shannon nos da la respuesta a esta pregunta, y se puede enunciar as:
Dada una fuente digital sin memoria con entropa H(S), la longitud media del cdigo L para
cualquier cdigo sin prdidas esta acotado inferiormente por L H(S).

Un cdigo ser tanto mejor cuanto ms se aproxime su longitud media a la entropa de la

fuente. Para medir esto podemos calcular la eficiencia de un cdigo que se define como:

=H (S)/ L 0 1

Donde es la eficiencia de la codificacin. De esta manera sabemos si la codificacin ha

sido eficiente o por el contrario sigue habiendo redundancia y podramos haber diseado mejor
nuestro codificador.

Supongamos que tenemos una fuente de informacin sin memoria que entrega smbolos del
alfabeto S = {A, B, C, D} con una probabilidad de aparicin:
P(A) = 0.5 P (B) = 0.25
P(C) = 0.125 P (D) = 0.125
La informacin contenida en cada smbolo, medida en bits por smbolo, ser:
I(A) = 1 I(B) = 2
I(C) = 3 I(D) = 3
Como ya comentamos anteriormente, tienen mayor informacin los smbolos menos probables.
Si adems tenemos que asociar ms bits del alfabeto binario Sb a los smbolos menos
probables y menos a los ms probables por razones de eficiencia, por qu no asociar a cada
smbolo un nmero de bits igual a la informacin por smbolo que contienen? Si hacemos esto,
la eficiencia del cdigo es mxima, es decir, la longitud media del cdigo coincidir con la
entropa de la fuente:
S
I ( i)= H ( S)
pi
k1
p i l i=
i=0
k1
L=
i =0

Este resultado es el deseable para todos los casos, pero hay factores que impiden que esto se
logre fcilmente, como en este caso. Por ejemplo, en el caso de que la informacin contenida
en cada smbolo sea un nmero no entero. Quiz en este caso debiramos utilizar
agrupaciones de smbolos. Un problema que se plantea al utilizar cdigos de longitud variable
es cmo distinguir unos smbolos de otros. O mejor planteado el problema: cmo asignar los
bits a los smbolos para que la secuencia se pueda decodificar unvocamente. Una condicin
suficiente (pero no necesaria) para lograr esto es conseguir que ningn smbolo sea prefijo de
otro smbolo. Vamos a ver esto con el ejemplo que hemos presentado antes. Las secuencias
de bits que asociamos a los smbolos son:

A=0 B = 10
C = 110 D = 111

Vemos que ningn smbolo empieza por la secuencia de A (0), ni por la secuencia de B (10),
y por obviamente ni por la secuencia de C ni la de D. Esta condicin nos garantiza que la
secuencia 0110010101100011101111000110010... puede ser decodificada unvocamente.
Para un nmero reducido de smbolos, este proceso puede hacerse manualmente. Pero si el
nmero de smbolos crece, es conveniente tener un algoritmo. El algoritmo debe constar de
dos partes, un compresor que aplique la codificacin y un descompresor que decodifique la
secuencia recuperando los datos originales.

Segundo teorema de Shannon

El segundo teorema, definido como el teorema Hartley-Shannon establece que, la

capacidad de un canal gaussiano de banda limitada:

C=max { I {Y =n X =m } }log D M =B log D (1+SNR)

El teorema de Shannon-Hartley nos dice que es posible transmitir informacin libre de ruido
siempre y cuando la tasa de informacin no exceda la Capacidad del Canal.
As, si el nivel de S/N es menor, o sea la calidad de la seal es ms cercana al ruido, la
capacidad del canal disminuir.

Esta capacidad mxima es inalcanzable, ya que la frmula de Shannon supone unas

condiciones que en la prctica no se dan. No tiene en cuenta el ruido impulsivo, ni la
atenuacin ni la distorsin. Representa el lmite terico mximo alcanzable.

Cuanto nivel de SNR requeriramos para transmitir sobre la capacidad del canal telefnico,
digamos a 56,000 bps?

De la formula de Shannon:

C = B log2(SNR + 1) = B log2(10^(dB/10) + 1)

Despejando los dB

bps/B = log2(10^(dB/10) + 1)
2^(bps/B) = 10^(dB/10) + 1
10^(dB/10) = 2^(bps/B) - 1
dB/10 = 1og10 (2^(bps/B) - 1)
dB = 10*1og10 (2^(bps/B) - 1)

Sustituyendo

B= 3,000 y bps = 56,000

dB = 10*1og10 (2^(56,000/3,000) - 1)
dB = S/N= 56.2 dB

Lo que significa que si queremos rebasar el lmite de Shannon debemos de aumentar el nivel
de SNR.