COMUNICACIONES

3K 1 Ing. Corbella Ricardo

Sistema de comunicacin
Fuente y emisor
Medio de enlace
Receptor y destino
Todo sistema de comunicacin tiene 1 componente ms DIVERSAS FUENTES DE RUIDO
Establecido el enlace de comunicacin, no debemos poner de acuerdo en el volumen de
la conversacin, idioma a utilizar, gestos, etc, algo que llamaremos mas adelante el
protocolo de la comunicacin.
Repasando, en la figura se presento
simblicamente un sistema de comunicacin. La
fuente de informacin selecciona a partir de un
conjunto de posibles mensajes el mensaje
deseado. El transmisor transforma el mensaje
en una seal que es enviada por el canal de
comunicacin al receptor.
El receptor hace las veces de un transmisor
invertido que cambia la seal transmitida en un
mensaje y pasa este mensaje a su destinatario.
Cuando yo hablo con ustedes, mi cerebro es la
fuente de informacin, el de ustedes el
destinatario, mi sistema vocal es el transmisor, y
su odo, con su octavo par de nervios craneanos,
es el receptor.
Desafortunadamente, es caracterstico del proceso de
transmitir la seal que se agreguen a sta ciertas
cosas que no son proporcionadas deliberadamente
por la fuente de informacin. Estos aditamentos
indeseados pueden ser distorsiones de sonido (en
telefona, por ejemplo), o estticos (en
radiotelefona), o distorsiones de la forma o
sombreado de una imagen (televisin), o errores de
transmisin (telegrafa o facsmil). Todos estos
cambios en la seal pueden ser llamados ruidos.
Los problemas que han de estudiarse en un sistema
de comunicacin tienen que ver con la cantidad de
informacin, la capacidad del canal de comunicacin,
el proceso de codificacin que puede utilizarse para
cambiar el mensaje en una seal y los efectos del
ruido
Cuando se instalaron las lneas telefnicas, nadie imagin que
algn da el hilo de cobre se utilizara para transportar los bits que
un modulador (modem) transforma en impulsos elctricos. Ahora,
queremos comprimir estos bits en paquetes que ocupen el
mnimo espacio posible, que los ruidos de la lnea no alteren la
informacin y que todo se haga a la mayor velocidad posible. Y
tambin, queremos hacer esto mismo en otros soportes, como la
fibra ptica, el telfono celular o el disco compacto. Para
conseguirlo hay que recurrir a la informtica, a la ingeniera
electrnica y de telecomunicaciones y a las matemticas. En
definitiva, hay que ser un experto en la Teora de la Informacin
(TI) o mas precisamente diriamos hoy en las TICs (Tecnologas de
la informacin y comunicacin)
La teora de la informacin estudia la
medicin de los mensajes y las condiciones
que se requieren para transmitirlos con los
mnimos errores para que el destinatario
pueda interpretar el mensaje.

Claude Shannon
Un aspecto de dicha teora lo constituye la teora de la
transmisin de mensajes, dada a conocer, en 1948, por Claude
Shannon.
Cuando a uno le exponen la teora por primera vez, resulta
bastante abstracta; pero es ah donde radica toda su potencia: es
tan abstracta y tan genrica que se puede aplicar en multitud de
casos.
Shannon consigui determinar con unidades el concepto de
informacin, creando as la medida de "cantidad de informacin".
Desde entonces se le puede dar un tratamiento matemtico a este
trmino tan ambiguo.
Shannon se apoy en trabajos previos, la mayora de ellos
encaminados a resolver problemas de telegrafa y telefona. Entre
estos predecesores podemos destacar a Poincar, Pupin, Fourier,
Nyquist y Hartley.

Teora de la Informacin
Claude Elwood Shannon Naci en Gaylord, Michigan, el 30
de abril de 1916. Se grado en Michigan y fue al MIT,
donde escribi una tesis sobre el uso del lgebra de Boole
para el anlisis y optimizacin de circuitos de
conmutacin. En 1941 se traslad a Bell Telephones,
donde ejerci hasta 1972 como investigador matemtico.
En 1948 public el importante trabajo titulado "A
Mathematical Theory of Communication" en el Bell System
Technical Journal. Este trabajo fundament las bases de la
teora de la informacin. Tambin proporcion un mtodo
para analizar las secuencias de errores de una seal
Shannon fue galardonado en 1966 con la National Medal of
Science.

Por su parte, entre las consecuencias
de la teora de la informacin de
Shannon est, entre otras, el
establecer la mejor codificacin de
nuestros mensajes para un canal
determinado de transmisin, es decir,
establecer una codificacin ptima,
como veremos ms adelante.
Cunta informacin obtenemos
cuando nos dicen que cierta persona
tiene el pelo oscuro, o que es un
hombre o una mujer?

Parece difcil intentar cuantificar de forma precisa
este concepto, pero lo vamos a hacer partiendo
precisamente de su idea intuitiva.
Lo primero que debe quedarnos claro es que el
hecho de obtener informacin es equivalente al
de disminuir la indeterminacin con respecto a
algo, de tal forma que se obtiene tanta ms
informacin cuanto ms disminuya el grado de
incertidumbre que tenemos de cierto fenmeno.
Veamos esto con un ejemplo: Si nos dicen las
siguientes frases
-La persona que describo tiene el pelo oscuro.
-La persona que describo es mujer.
En la primera frase se nos da un dato de
todos los posibles (claro, castao, pelirrojo,
rubio, canoso, ...), al igual que en la segunda,
pero en esta ltima el abanico de
posibilidades no es tan grande (solo dos
posibilidades),
por tanto la primera nos da ms informacin,
al disminuir mucho ms la incertidumbre que
tenamos con respecto a la persona.
Otro ejemplo: El alfabeto espaol se compone de
27 letras. Si un computador genera letras al azar,
la informacin que nos suministra el conocer que
letra ha salido ser mayor que en cualquiera de
los casos anteriores porque el nmero de estados
posibles es mayor (27).

Conclusin: La cantidad de informacin que
obtenemos con un mensaje es directamente
proporcional al nmero de estados posibles de
la cuestin planteada.

estados de numero I
27 ; 2 ; 6
3 2 1
I I I
La idea de la extensin o medida de un mensaje coincide con la cuanta o contenido
del mensaje de una fuente. La unidad de mensaje lo constituye el simple impulso
binario de una decisin s-no (1 bit), es decir, el contenido del mensaje es 1 cuando
tiene 1 bit/signo. Cada smbolo del sistema binario (0, 1) corresponde a una unidad
de mensaje.

Cuando la decisin debe tomarse entre varios signos de igual probabilidad, el
contenido del mensaje puede determinarse fcilmente por una subdivisin de
impulsos binarios simples. As, por ejemplo, si son ocho los signos posibles se
puede alcanzar el deseado partiendo de la salida A por medio de 3 impulsos
binarios. Si el 6 es el punto elegido, la seal que llega de A deber tener la
forma 010. Por tanto, una fuente de mensaje con 8 = 2
3
signos contiene lb 8 = 3
bit (lb logaritmo en base 2; b binario). Si son 32 los signos dados, tendremos lb
32 = 5 bit.
Podemos concluir que la cantidad de informacin para eventos equiprobables se
puede expresar como una relacin logartmica en base 2 del numero de eventos

bles equiprobla eventos n bit n lb I = ] [
Ahora la probabilidad de ocurrencia para eventos con igual probabilidad
[bit] p lb I entonces
p
n
n
p = = =
1 1
Existen aqu dos casos extremos que concuerdan con la idea intuitiva, con lo que corroboramos que
vamos por buen camino: Cuando la probabilidad de que algo suceda es 1, el suceso es seguro que
ocurre, y la cantidad de informacin que obtenemos es nula, ya que -Lg(1)=0. Por el contrario cuando el
suceso tiene probabilidad 0, la informacin obtenida es +infinito , ya que tiene la mxima incertidumbre
posible.
Esta medida tiene dos propiedades que hay que resaltar:
a) La incertidumbre aumenta con el nmero de resultados, ya que se cumple que
log n < log (n+1)
b) La incertidumbre asociada a una experiencia compuesta de otras dos (m y n
resultados posibles respectivamente) es la suma de las incertidumbres asociadas a cada
una de ellas, puesto que
log (m x n) = log m + log n

La dificultad estriba en que no tiene en cuenta la probabilidad de ocurrencia de los resultados,
lo que significa que asigna el mismo valor a cada resultado, aunque uno de ellos tenga el 99%
y los restantes sumados el 1%.
La solucin a esta dificultad surge de la expresin
] [bit p lb p H
n
i
i i
=
Pi es la probabilidad que tiene la seal i de ser transmitida o dicho de otra forma el
evento i de ocurrir. Como se considera cada seal por sus probabilidades de
ocurrencia, se tiene una medicin de la incertidumbre promedio o esperada en el
mensaje total o conjunto de mensajes- siendo i un mensaje.

PODEMOS SEGUIR EL SIGUIENTE RAZONAMIENTO PARA LLEGAR
A LA CONCLUSION DE SHANNON
Shannon propone que la cantidad de informacin de un signo es inversamente proporcional
a su probabilidad, es decir, directamente proporcional a su sorpresa. Por ejemplo, un
smbolo complejo como buenos das (puede imaginarse un alfabeto con smbolos as,
un alfabeto de frases hechas), no nos trae mucha informacin. Es previsible que el
interlocutor saludar con una frase conocida. Tanto es as, que muchas veces slo se
responde con una frase convencional. Pero si alguien grita Fuego!, palabra que es
poco probable, nuestra reaccin es mucho menos convencional. Siendo h la medida de
informacin del k-simo signo, lo anterior se expresa:
Pero la informacin es aditiva. Es decir, si tenemos dos signos, su informacin conjunta ser
la suma de sus medidas de informacin h:
h(s
m
,s
n
) = h(P[s
m
]) + h(P[s
n
])
Pero por tratarse de probabilidades:
h(P[s
m
]) + h(P[s
n
]) = h(P[s
m
] P[s
n
])
Shannon concluy que la funcin h debera ser logartmica por la propiedad de los
logaritmos que:
log
b
x + log
b
y = log
b
(xy)
Donde b es la base del logaritmo. Llamando p
i
a la probabilidad del i-simo smbolo, y
tomando logaritmos de base 2, la medida de informacin media H sera:

] [bit p lb p H
n
i
i i
=
Ntese que cualquier logaritmo de 1/p
i
es positivo pues al ser
0 s p
i
s 1, 1/p
i
> 1. Al invertir 1/p
i
, queda un logaritmo de p
i

que es negativo por ser, como se dijo, 0 s p
i
s 1. Para
recuperar el valor positivo de la entropa se coloca un signo
negativo delante del smbolo de sumatoria.
Se dice que Shannon buscaba un nombre para H cuando le
recordaron que Boltzmann tena una funcin llamada
entropa que responda a la H de Shannon. Por eso la llam
entropa. Trabajos posteriores mostraron su compatibilidad
con la de Boltzmann. Podramos definir a la Entropa
como el paso de un estado de orden previsible a un
estado de desorden aleatorio.

A partir del estudio anterior, es claro que la medida de la informacin,
(en bits) de un mensaje es igual al nmero mnimo de pulsos binarios que
se necesitan para codificar el mensaje.
Ejemplo: Supongamos un semforo que encontramos 2 de cada 6 veces en rojo; 1 de cada 6
veces en amarillo; y 3 de cada 6 veces en verde. Tomando en consideracin que log
2
x = ln
x/ln 2, calculamos la entropa segn la siguiente tabla:
Si un tercio de las veces que llegamos al semforo est cada uno de los colores la
tabla es la siguiente:

Como se ve, H aumenta por la equiprobabilidad (1/3) y es mxima. El resultado de H no
nos debe asombrar pues con dos bits en un computador podemos alcanzar hasta cuatro
estados:
00
01
10
11
Aqu son tres estados, por lo que podemos arreglarnos con 1,58 bits.
A la potencia de la seal transmitida (S - de signal), se le adiciona la potencia de ruido (N - de
noise) llegando al receptor una potencia que podramos expresar en principio como la suma
de las dos potencias (S + N). Una transmisin sin parsitos y sin distorsiones solo es posible
cuando, tanto en el emisor como durante el transporte a travs del canal y en el receptor, no
se pierde contenido alguno del mensaje ni se introducen seales parsitas.
(Las Prdidas que se introducen en el canal de transmisin, por resistencia hmica por ejemplo, dan
como resultado una disminucin de la energa a lo largo del canal; si la potencia se reduce tanto que
ya no es suficiente para una recepcin perfecta, se pueden conectar amplificadores intermedios a
cuya salida se obtiene una recuperacin de la potencia de la seal).


Parte de la esencia de las comunicaciones la constituye la
transmisin de mensajes, no necesariamente en su forma original,
sino solo en su contenido.
Mientras avanzamos, no perdamos de vista el sistema de comunicacin
Representacin de la informacin

Puede ser numrica, alfabtica, simblica, por lenguaje.

Ejemplo: 24/01/03 24-01-03 24-1-03 24/01/2003
01/24/03 01-24-03 1-24-03 01-24-2003 ...
- Todos son el da 24 de enero del ao 2003.
Vitaminas: B12, C, ...
Grupo sanguneo: A2 Rh+ ...
Elementos: Fe, Si, Hg ...
Compuestos qumicos: H2O, CO2 ...
Ms comn, Lenguaje con cdigo: Hoy hace calor

Veremos qu informacin nos entrega un mensaje dependiendo del contexto en
que nos encontremos. Esto puede ser:

a) En funcin de la extensin del mensaje recibido.
b) En funcin de la utilidad del mensaje recibido.
c) En funcin de la sorpresa del mensaje recibido.
d) Dependiendo del entorno de esa sorpresa.
e) En funcin de la probabilidad de recibir un mensaje.

En funcin de la extensin del mensaje
Ante una pregunta cualquiera, una respuesta concreta y extensa nos entregar mayor informacin sobre
el tema en particular, y diremos que estamos ante una mayor cantidad de informacin.
Pregunta: Hace calor all? (una playa en particular)
Respuesta 1: S, hace mucho calor.
Respuesta 2: Cuando no sopla el viento, el calor all es inaguantable pues supera los 42 grados a la
sombra.
En funcin de la utilidad del mensaje
Ante una pregunta cualquiera, una respuesta ms til y clara nos dejar con la sensacin de haber
recibido una mayor cantidad de informacin.
Pregunta: Hace calor all? (una playa en particular)
Respuesta 1: S, sobre 30 grados.
Respuesta 2: Si no hay viento del sur y el mar est en calma, es normal que la temperatura suba bastante.
En funcin de la sorpresa del mensaje
Ante una pregunta cualquiera, una respuesta ms inesperada y sorprendente, nos dar la sensacin de
contener una mayor cantidad de informacin.
Pregunta: Hace calor all? (ahora Finlandia en otoo)
Respuesta 1: S, muchsimo. Es insoportable.
Respuesta 2: En esta poca del ao, la temperatura es ms suave y el tiempo muy agradable.
Dependencia del entorno (sorpresa)
Ante una pregunta cualquiera, una respuesta inesperada y sorprendente en el entorno, nos dar la sensacin de
contener una mayor cantidad de informacin.
Pregunta: Hace calor all? (ahora las mismas respuestas hablan de la temperatura en un horno)
Respuesta 1: S, muchsimo. Es insoportable.
Respuesta 2: En esta poca del ao, la temperatura es ms suave y el tiempo muy agradable.
En funcin de la probabilidad de recibir un mensaje
Este enfoque probabilstico es el que nos interesar en cuanto a la definicin de Cantidad de Informacin.
Pregunta: Dnde reside el prfugo del FBI?
Respuesta 1: En un pas de Europa.
Respuesta 2: En una ciudad de Espaa.
Respuesta 3: En el nmero 17 de la calle de la Vega en Sevilla, Espaa.
Entre las consecuencias de la teora de la informacin de Shannon est, entre
otras, el establecer la mejor codificacin de nuestros mensajes para un canal
determinado de transmisin, es decir, establecer una codificacin ptima,
como veremos ms adelante.

Ahora supongamos que necesitamos transmitir uno cualquiera de
dos mensajes, a y b, que tienen la misma probabilidad. Estos pueden ser,
por ejemplo, reseas del tiempo como "asoleado" o "lluvioso". Podemos
transmitir cada uno de estos mensajes mediante una forma de onda
apropiada. Si suponemos que empleamos pulsos binarios para su
transmisin, se puede asignar la no existencia de pulso (pulso de cero volt)
al mensaje a (asoleado) y un pulso (de 1 volt) al mensaje b (lluvioso).

Sin duda, se necesita un mnimo de 1 pulso binario para transmitir
cualquiera de los dos mensajes equiprobables. En consecuencia, la
informacin de cualquiera de ellos se define como 1 bit. Ntese que la
longitud del mensaje no tiene nada que ver con su contenido de
informacin. Siempre se necesitar un pulso binario para transmitir
cualquiera de los dos mensajes equiprobables, al margen de su longitud o
cualquier otra caracterstica. Tambin, es evidente que un pulso binario es
capaz de transmitir un bit de informacin.

Continuemos el anlisis para la cantidad de
informacin:
Habamos conocido que para eventos
equiprobables
[bit] p lb I entonces
p
n
n
p = = =
1 1
De lo contrario resultaba
] [bit p lb p H
n
i
i i
=
La cantidad total de signos depende del lenguaje y evidentemente
no todos los mensajes contendrn todos los signos. Por otra parte,
sus frecuencias relativas tienden a estabilizarse si los textos son
suficientemente largos aunque en textos cortos pueden ser muy
inestables.
La idea es que los lenguajes permiten componer secuencias de
"caracteres" con ciertas libertades pero ni absolutamente aleatorias
ni estrictamente deterministas. Por ejemplo, despus de una b en
espaol pueden aparecer varias letras como a, e, i, o, u, r, l... pero
no puede aparecer una w o una p. Si encontramos una secuencia br
sabemos que despus slo puede aparecer una vocal.
Estas secuencias tiene tambin sus probabilidades asociadas y el
anlisis de todo ello se puede hacer calculando lo que se llama
entropa condicional. que es la incertidumbre asociada a la
aparicin de un signo j despus de que se ha dado uno anterior i.


"Sgeun un etsduio de una uivenrsdiad ignlsea, no
ipmotra el odren en el que las ltears etsan ersciats, la
uicna csoa ipormtnate es que la pmrirea y la utlima
ltera esetn ecsritas en la psiocion cocrrtea. El rsteo
peuden etsar ttaolmntee mal y aun asi pordas lelelo sin
pobrleams. Etso es pquoreno lemeos cada ltera por si
msima, snio la paalbra en un tdoo
Si han podido comprender el prrafo anterior, han hecho
un buen trabajo de correccin de errores. Para un ser
humano, resulta tan sencillo que puede leerlo hasta un
nio de seis aos. Eso tambin nos dice que el lenguaje
es redundante. Textos incorrectos o mutilados pueden
comprenderse con relativa facilidad. Como cuando se
envan mensajes por celular del estilo "kdams a ls 7 en l
br, bsos, tq.
Veamos este ejercicio, supongamos que estamos en un puesto de observacin meteorolgica, y
nuestra misin consiste en enviar mensajes acerca del estado del tiempo. Para simplificar, vamos a
suponer tan slo cuatro estados del tiempo: soleado, nublado, lluvioso y con niebla. Pero estamos
en un lugar remoto y solamente tenemos una lnea telegrfica por la que transmitir mensajes
formados por elementos binarios (1= seal, 0= no seal). Si los cuatro estados del tiempo son
igualmente probables, podemos realizar el siguiente tipo de codificacin:
Soleado = 00, Nublado = 01, Lluvioso = 10, Con niebla = 11

Es decir, una codificacin en forma de dos elementos binarios o bits. Cada mensaje consta de dos bits.
De esa forma, un mensaje semanal que indicase "soleado, niebla, niebla, nublado" se transmitira
como 00111101. Esto sera bastante bueno si los cuatro fenmenos meteorolgicos fuesen
equiprobables.

Pero imaginemos que no lo sea. Supongamos que las probabilidades fuesen: 50% para la niebla, 25%
para el sol, 12.5% para las nubes y otro tanto para la lluvia.
En ese caso, podemos imaginarnos otros tipos de codificacin ms eficaces, esto es, que nos
permitan reducir el nmero de bits que necesitamos.

Como por ejemplo: Soleado = 10, Nublado = 110, Lluvioso = 1110, Niebla = 0
Veamos que este cdigo es ms eficiente. De cada mil mensajes, tendremos en promedio 500 veces
"niebla" (500*1=500 bits en total), 250 "soleado" (250*2=500 bits), 125 "nubes" (125*3=375 bits) y
125 "lluvia" (125*4=500 bits). El nmero total de bits que hemos empleado es, sumando,
500+500+375+500=1875 bits. En el primer cdigo hubiramos necesitado 2000 bits.

Es decir, codificando el evento ms probable con un menor nmero de bits, hemos conseguido un
cdigo que es un 6% ms eficiente y nos permitir, en promedio, transmitir la misma informacin
un 6% ms rpido. Esto podemos hacerlo porque nos apoyamos en el hecho de que los sucesos no
tienen todos la misma probabilidad.
REDUNDANCIA:
Casi todos los smbolos de un mensaje en lenguaje
natural contienen informacin que se puede extraer de los
smbolos de alrededor (informacin que, en la prctica, se
est enviando dos veces), o en otras palabras, porque el
lenguaje natural es redundante. Puesto que tenemos
mecanismos para definir la cantidad de informacin que
presenta un suceso, podemos intentar medir el exceso de
informacin (redundancia) de un lenguaje. Para ello
vamos a dar una serie de definiciones:
ndice de un lenguaje. Definiremos el ndice de un
lenguaje para mensajes de longitud k como:

k
M H
r
k
k
) (
=
Siendo H
k
(M) la entropa de todos los posibles mensajes de longitud k. Estamos
midiendo el n de bits de informacin que nos aporta cada carcter en mensajes
de una longitud determinada. Para idiomas como el ingls, r
k
suele valer
alrededor de 1.3 bits/letra para valores pequeos de k.
ndice absoluto de un mensaje. Es el mximo n de bits de informacin
que pueden ser codificados en cada carcter, asumiendo que todas las
combinaciones de caracteres son igualmente probables. Suponiendo m
letras diferentes en nuestro alfabeto (27 en el Espaol), este ndice vale:
R = Log
2
(m)
En el caso del Espaol podemos codificar 4.7 bits/letra
aproximadamente, por lo que el nivel de redundancia es alto.
Redundancia de un mensaje. Es la diferencia entre las 2 magnitudes
anteriores:
D = R r
ndice de redundancia:
I = D / R
Sin embargo, para medir la autntica redundancia de un lenguaje hemos
de tener en cuenta secuencias de cualquier n de caracteres, por lo que el
ndice debera calcularse como:

n
m H
r
n
n
) (
lim

=
Una de las aplicaciones de la Teora de la Informacin es la compresin de datos, que simplemente trata de eliminar
la redundancia dentro de un archivo. Otra de las aplicaciones son los Cdigos de Redundancia Cclica (CRC), que
permiten introducir un campo de longitud mnima en el mensaje, de forma que este proporcione la mayor
redundancia posible. As, si el mensaje original resultase daado, la probabilidad de que el CRC aadido siga siendo
correcto es mnima.