Unidad 1: INTRODUCCIN A LOS SISTEMAS DE

COMUNICACIN
1.1 Teora de la informacin
La Teora de la informacin o Teora matemtica de la comunicacin, es una rama de la Teora
de la probabilidad y de la Matemtica Estadstica que trata con sistemas de comunicacin,
transmisin de datos, codificaciones, teora del ruido, correccin de errores, entre otros.
A partir del auge de los medios de comunicacin, en lo que respecta al procesamiento y
transmisin de informacin, alrededor de 1930 se desarrolla el primer modelo cientfico del
proceso de comunicacin. Este modelo se denomin: la Teora de la Informacin o Teora
Matemtica de la Comunicacin. Este conjunto de conocimientos aparece en el rea de la
telegrafa donde surge la necesidad de conocer, con precisin, la capacidad de los diversos
sistemas de comunicacin para transmitir informacin.
Los primeros enunciados de las leyes matemticas que gobiernan dicho sistema fueron
efectuados por Hartley (1928) y sus aportes se consideran como el comienzo de todo el conjunto
de conocimientos que forman la actual de la Teora de la Informacin. Posteriormente, Shannon y
Weaver (1949) establecieron los principios finales de esta teora.
La palabra comunicacin en el rea de la Teora de la Informacin se utiliza en un sentido muy
amplio en el que "quedan incluidos todos los procedimientos a travs de los cuales una mente
puede influir en otra". As, entonces se consideran todas las formas que el hombre utiliza para
transmitir sus ideas: la palabra hablada, escrita o transmitida (telfono, radio, telgrafo, etc.), los
gestos, la msica, las imgenes, los movimientos, etc.
Entre los aos 1948 y 1949 Shannon y Wiener, crearon los cimientos de la moderna Teora de la
Comunicacin (Estadstica); ambos investigadores se ocuparon de la extraccin de la informacin
de un fondo de ruido. Wiener trat el caso cuando las seales que transportan informacin se
encuentran ms all del control del diseador, total o parcialmente y todo el procesamiento se
desarrolla en el extremo receptor. Entonces, en estos trminos, es posible establecer el problema
del siguiente modo: dado un conjunto posible de seales sin que se puedan elegir, ms el
inevitable ruido, cmo establecer la mejor estimacin de los valores presentes y futuros de la
seal que se est recibiendo? (Teora de la deteccin).
Puede representarse un sistema de comunicacin como se muestra en la figura 1. Aqu se ven los
bloques principales y sus interconexiones. En cuanto al tema de las perturbaciones, stas se
analizarn en otro mdulo.

Materia: Estructura del Ordenador II

Profesora: Ing. Silvia Carrera

-1-

Fuente de
Informacin

Seal
transmitida
Seal recibida

Canal

Transmisor

perturbaciones

Receptor

Destino

Figura 1.

Fuente de informacin: selecciona el mensaje deseado de entre varios posibles.

Transmisor: transforma o codifica esta informacin en una seal apta para ser transmitida por un
canal de comunicacin.
Seal elctrica transmitida: mensaje codificado en el transmisor.
Seal recibida: mensaje decodificado en el receptor.
Canal de comunicaciones: medio a travs del cual las seales son transmitidas al punto de
recepcin.

Materia: Estructura del Ordenador II

Profesora: Ing. Silvia Carrera

-2-

Perturbaciones: conjunto de distorsiones no deseadas por la fuente de informacin y que afectan

a la seal. Pueden consistir en distorsiones del sonido (radio, telfono), distorsiones de la imagen
(T.V.), errores de transmisin (telgrafo), jitter, ruido blanco, etc.
Receptor: decodifica o vuelve a transformar la seal transmitida en el mensaje original o en una
aproximacin de este hacindolo llegar a su destino.
Los sistema de comunicaciones son bastantes amplios como para incluir los diferentes contextos
en que se presenta la comunicacin (conversacin, T.V., danza, etc.). Para mostrar lo expuesto
podemos considerar lo que ocurre con la radio. En este caso, la fuente de informacin pertenece a
la persona que habla por el micrfono. El mensaje lo constituyen las palabras y sonidos que esta
persona emite para ello. El micrfono y el resto del equipo electrnico constituyen el transmisor
que transforma este mensaje en ondas electromagnticas, que constituyen la seal, la cual viaja a
travs del espacio libre que existe entre las antenas transmisoras y receptoras es el canal,
mientras que lo que altera o cambia a la seal original forma parte de la fuente de ruido. El equipo
de radio de cada hogar es el receptor y el sonido que ste emite corresponde al mensaje
recuperado. Las personas que escuchan este mensaje radial son los destinatarios del mensaje.
Del mismo modo, podemos ejemplificar lo expuesto mediante este texto que usted se encuentra
leyendo ahora. Para este caso, nuestros cerebros son la fuente de informacin y nuestros
pensamientos, constituyen el mensaje. El teclado de la computadora constituye el transmisor que
transforma nuestros pensamientos en lenguaje escrito, el cual corresponde a la seal. El papel es
el canal y cualquier error de puntuacin, manchas, espacios en blanco, etc., constituyen la fuente
de ruido. Por ltimo, usted que est leyendo este texto, es a la vez el receptor y destinatario, que a
travs de la lectura recobra el mensaje por nosotros enviado.
Hay que destacar que el problema del significado del mensaje no es relevante en el rea de las
comunicaciones. El inters principal de la Teora de la Informacin lo constituye todo aquello
relacionado con la capacidad y fidelidad para transmitir informacin de los diferentes sistemas de
comunicaciones.
En los ejemplos presentados, el mensaje podra haber consistido en una secuencia de letras
carentes de todo significado e igualmente el problema de cunta informacin es transmitida
estara presente. Teniendo en cuenta un sentido amplio, la Teora de la Informacin trata acerca
de la cantidad de informacin que es transmitida por la fuente al receptor al enviar un determinado
mensaje, sin tener en cuenta el significado o propsito de dicho mensaje. No interesa tanto la
pregunta: "Qu tipo de informacin?" sino ms bien, "Cunta informacin?" es la que transmite
la fuente desde el origen al destino.
ASPECTOS DESTACADOS:
Es importante, antes de analizar la capacidad y fidelidad de un canal de comunicacin
determinado para transmitir informacin, precisar los alcances de este ltimo concepto.
La palabra informacin es definida en trminos estrictamente estadsticos, bajo el supuesto que
puede ser tratado de manera semejante a como son tratadas las cantidades fsicas como masa y
energa. El concepto de "informacin" no est relacionado con lo que decimos, sino ms bien, con
lo que podramos decir. Es correcto decir que el concepto de informacin se relaciona con la
libertad de eleccin que tenemos para seleccionar un mensaje determinado de un conjunto de
posibles mensajes que emite una fuente. Si nos encontramos en una situacin en la que tenemos

Materia: Estructura del Ordenador II

Profesora: Ing. Silvia Carrera

-3-

que seleccionar entre dos nicos mensajes posibles, se dice, de un modo arbitrario, que la
informacin correspondiente a esta situacin es la unidad.
El conocimiento que abarca La Teora de la Informacin, entonces, define el trmino informacin
como el grado de libertad de una fuente para elegir un mensaje de un conjunto de posibles
mensajes de la fuente emisora.
Cuando medimos cunta informacin da la fuente al receptor al transmitir un mensaje, se parte del
supuesto que cada eleccin est asociada a cierta probabilidad, entonces algunos mensajes son
ms probables que otros. Uno de los propsitos de esta teora es determinar la cantidad de
informacin que proporciona un mensaje, esta cantidad puede ser calculada a partir de su
probabilidad de ser transmitida por el canal.
La eleccin ms simple es la que existe entre dos posibilidades, en que cada una tiene una
probabilidad de 1/2 (0,5). Por ejemplo, al tirar una moneda al aire ambas posibilidades (cara y
sello) tienen la misma probabilidad de salir. El caso del lenguaje e idioma es diferente.
Shannon en su momento estableci un problema como el siguiente: dado el conjunto de mensajes
posibles que una fuente puede producir, no de nuestra eleccin Cmo se presentar el mensaje
para que la informacin sea producida de la mejor manera sobre un sistema dado, con sus
limitaciones fsicas inherentes? Para manejar este problema es necesario concentrarse ms en la
informacin que en la seal elctrica.
Entonces, la Teora de la Informacin es un tema matemtico que trata con 3 conceptos bsicos:
La medida de la informacin
La capacidad de un canal de comunicarse para transferir informacin
La codificacin como un medio de utilizar los canales a toda su capacidad.
Estos conceptos se encuentran ligados, en lo que puede llamarse Teorema Fundamental de la
Teora de la Informacin, el cual resumido reza lo siguiente: dada una fuente de Informacin y un
canal de comunicacin, existe una tcnica de codificacin tal que la informacin se puede
transmitir sobre un canal a cualquier rapidez menor que la capacidad del canal y una frecuencia
de errores arbitrariamente pequeo, no obstante la presencia del ruido.
Lo sorprendente del teorema es: la Transmisin Libre de errores sobre un canal ruidos, una
condicin que se obtiene por medio de la codificacin.
En esencia, la codificacin se emplea para acoplar la fuente y el canal de comunicacin, a fin de
que sea completamente segura la transferencia de informacin.
Medicin de la informacin. Autoinformacin
Teniendo en cuenta que la Teora de las Comunicaciones tiene de forma, consideraciones
probabilsticas, se puede establecer un primer principio de la medicin de informacin. ste
establece que mientras ms probable sea un mensaje menos informacin proporcionar, lo cual
puede expresarse con la siguiente expresin matemtica:
I(xi) > I(xk) si y slo si P(xi) < P(xk)

Materia: Estructura del Ordenador II

Profesora: Ing. Silvia Carrera

-4-

En esta expresin:
I(xi) : representa la cantidad de informacin de xi, cuya probabilidad asociada es p(xi)
I(xk) : representa la cantidad de informacin de xk, cuya probabilidad asociada es p(xk)
Segn esta expresin matemtica, es la probabilidad que tiene un mensaje de ser enviado y no su
contenido, lo que determina su valor informativo. El contenido slo es importante en la medida que
afecta la probabilidad. La cantidad de informacin que proporciona un mensaje vara de un
contexto a otro, porque la probabilidad de enviar un mensaje vara de un contexto a otro.
Otro principio que tiene relacin con las elecciones sucesivas, establece que si son seleccionados
los mensajes X e Y de una fuente de mensajes, la cantidad de informacin proporcionada por
ambos mensajes ser igual a la cantidad de informacin proporcionada por X ms la cantidad de
informacin proporcionada por Y, dado que X ya ha sido seleccionada, lo cual puede ser
expresado del siguiente modo:
I(xi e yj) = f p(xi) + f p(yj/xi)
En esta segunda expresin matemtica, los elementos involucrados representan:
I(xi e yj) : representa la cantidad de informacin proporcionada por los mensajes xi e yj
f : representa la funcin p(xi)
p(yj/xi) : probabilidad de yj habindose dado previamente xi .
Ahora bien, la gran mayora de las fuentes que producen informacin, generan mensajes que no
consisten en una nica eleccin entre posibilidades de igual probabilidad, sino en elecciones
sucesivas entre posibilidades de probabilidad variable y dependiente. A este tipo de secuencias se
las denomina procesos estocsticos. Anteriormente expresamos que el caso ms tpico son las
letras y palabras que conforman el lenguaje. Cuando escribimos en espaol, este hecho
constituye un proceso de elecciones dependientes. Por ejemplo, al formar una palabra se elige
una primera letra de todas las posibles primeras letras con diferentes probabilidades; luego, se
elige la segunda letra cuya probabilidad depende de la primera letra seleccionada, y as
sucesivamente hasta formar la palabra deseada. Es lo mismo que ocurre en el caso de las
palabras para formar oraciones.
En los idiomas la presencia de la redundancia, hace posible que si se pierde una fraccin de un
mensaje sea posible completarlo en forma muy aproximada al original. Este hecho se puede
observar al eliminar varias letras de una oracin sin que este hecho impida al lector completar las
omisiones y rehacer la oracin para que tenga sentido.
La redundancia est presente. Pero su presencia permite disminuir el tiempo en la codificacin de
los mensajes. Mxime cuando en realidad no leemos cada una de las letras y palabras que
conforman un texto, sino que vamos adivinando lo que viene, haciendo una especie de prediccin
en base a la experiencia personal. Para el caso del telgrafo, por ejemplo, podramos ahorrar
tiempo ideando un cdigo poco redundante y transmitiendo el mensaje a travs de un canal sin
ruido. Ahora bien, cuando el canal empleado tiene ruido es aconsejable no emplear un proceso de
codificacin que elimine toda la redundancia, pues la redundancia nos ayuda a combatir el ruido.

Materia: Estructura del Ordenador II

Profesora: Ing. Silvia Carrera

-5-

La presencia del ruido har que la seal se deteriore, cuando la seal viaja a travs del canal de
comunicaciones desde el origen o fuente al destino de la transmisin; sin embargo la redundancia
tiene la caracterstica de rehacer el mensaje, de forma tal que el sistema de comunicaciones
cumpla su objetivo, comunicar una estacin emisora con una receptora, que desconoce cul es el
mensaje que se enva por el canal (si conociese el mensaje entonces no se necesitara transmitir
nada). Si hay partes del mensaje original sin redundancias, y estas a causa del ruido se pierden,
entonces estas partes no pueden rehacerse.
Las redundancias cumplen la importante funcin de permitir rehacer partes de un mensaje
deteriorado por el ruido inevitable, que siempre est presente alterando la seal original.

1.1.1 Informacin mutua o Autoinformacin

En la Teora de las Comunicaciones, y en particular en la Teora de la Informacin, la informacin
mutua de dos variables aleatorias es una cantidad que cuantiza la dependencia mutua de dos
variables. Se usa el bit, como unidad de medida para determinar la cantidad de informacin, ya
que suelen ser usados logaritmos de base dos (un bit tiene dos estados posibles: 1 y 0).
Entonces, la informacin mutua de dos variables aleatorias discretas X e Y puede definir con la
siguiente expresin matemtica:

En esta expresin, p(x,y) es la funcin de distribucin de probabilidad conjunta de X e Y, y p1(x) y

p2(y) son las funciones de distribucin de probabilidad marginal de X e Y respectivamente.
En el caso continuo, reemplazamos la suma con una integral doble definida:

p(x,y) es de nuevo la funcin de distribucin de probabilidad conjunta de X e Y, y p1(x) y p2(y) son

las distribuciones de probabilidad marginales de X e Y respectivamente.
Las definiciones anteriormente presentadas, tienen un problema, y es el siguiente: la base del
logaritmo no se ha especificado. Para evitarlo, la funcin I puede parametrizarse como I(X,Y,b)
donde b es la base. Como la unidad de medida ms comn de informacin mutua es el bit, se
puede especificar base 2.
La informacin mutua mide la informacin que X e Y comparten: mide en cunto el conocimiento
de una variable reduce nuestra incertidumbre sobre la otra. Segn lo expuesto, si X e Y son

Materia: Estructura del Ordenador II

Profesora: Ing. Silvia Carrera

-6-

independientes, entonces conocer X no da informacin sobre Y. Lo mismo ocurre al revs, por lo

que su informacin mutua es cero. En el otro extremo, si X e Y son idnticas entonces toda
informacin proporcionada por X es compartida por Y: saber X determina el valor de Y y
viceversa. Entonces, por lo tanto, la informacin mutua es igual a la informacin contenida en Y (o
X) por s sola, tambin llamada la entropa de Y (o X: claramente si X e Y son idnticas tienen
idntica entropa).
Simplificando las expresiones matemticas, la autoinformacin se define en trminos de los
mensajes individuales o smbolos que una fuente puede producir, la expresin es:
Ak = log 2 ( 1/ pk) bits
Donde:
Ak representa la autoinformacin del mensaje k
Pk representa su probabilidad de ocurrencia.

1.1.2
1.1.2 Entropa
La autoinformacin o informacin mutua, no es una descripcin til de la fuente en relacin con la
comunicacin. Un sistema de comunicaciones no est diseado para un mensaje en particular,
sino ms bien para todos los mensajes posibles. Aunque el flujo instantneo de informacin de
una fuente puede ser errtico, se debe describir la fuente en trminos de la informacin promedio
producida. Esta informacin promedio recibe el nombre de entropa de la fuente.
Para caracterizar la informacin de una secuencia de smbolos se utiliza la Entropa.
Para poder trabajar el concepto de entropa y lo que este concepto significa hay que trabajar el
concepto de canal de comunicacin.
Para trabajar el concepto de entropa, hay que precisar el concepto de canal de comunicacin
Un canal de comunicacin es el medio de transmisin por el que viajan las seales elctricas
portadoras de la informacin que el emisor enva al receptor. Estas vas de comunicaciones: los
canales, pueden ser personales o masivos: los canales personales son aquellos en donde la
comunicacin es directa, voz a voz. Puede darse de uno a uno o de uno a varios. Se consideran
canales masivos los que se generan por medio de la radio, o por medio de la televisin e incluso
informtico.
Los canales de transmisin son adecuados para algunas seales elctricas concretas, con lo cual
estamos sealando que no todos los canales (o vnculos) son aptos para cualquier tipo de seal
elctrica. Para poder representa estos conceptos con claridad podemos expresar que las seales
elctricas se propagan muy bien por los medios conductores como el cobre, pero estas seales
elctricas no pueden propagarse por las fibras pticas, pues ellas requieren que dichas seales
sean previamente convertidas a seales lumnicas.
Un canal se define por un conjunto de propiedades fsicas, algunas de ellas son: la naturaleza de
la seal que es capaz de transmitir, la velocidad de transmisin, el ancho de banda, el nivel de

Materia: Estructura del Ordenador II

Profesora: Ing. Silvia Carrera

-7-

ruido que genera que se genera en l, el modo de insercin del equipo transmisor y del equipo
receptor, etc.
Un clsico ejemplo de canal de comunicaciones es la atmsfera libre. Para seales
electromagnticas se puede utilizar multitud de canales dependiendo de la frecuencia de las
seales transmitidas: cables, el vaco (satlites), la propia atmsfera, entre otros.
Un medio de transmisin muy usado lo constituyen las fibras pticas, las seales
electromagnticas se convierten en seales lumnicas, estas seales viajan revotando dentro de
las paredes de la fibra. Estas fibras son inmune a muchos tipos de ruidos y distorsiones que son
bastantes representativas en otros medios, por ejemplo los cables coaxiales.
Otro tema importante referido a los canales de comunicaciones es el hecho de tener presente que
para hacer un modelo de un esquema conceptual, los canales se consideran ideales, lo cual
evidentemente no es cierto.
La entropa tiene importancia en otros mbitos del conocimiento. En sistemas fsicos en los cuales
se quiere conocer la cantidad de informacin y su entropa, utilizan una expresin matemtica
relacional entre estos elementos, esta expresin se representa con la siguiente formulacin:
S >= S I > 0
Como ya expresamos anteriormente, los canales de comunicaciones no son ideales. El hecho de
utilizar un esquema con canales ideales, hace posible simplificar el modelo asociado para el
estudio terico. Ahora bien, el modelo que se construye con esta simplificacin no dista mucho de
lo que sucede con canales reales. Simplemente luego se corrige mediante parmetros. No
debemos olvidar que las Matemticas son justamente esto, una herramienta que permite realizar
un modelo de una situacin haciendo simplificaciones, y luego ajustando el modelo, llegamos a
representar la realidad para controlarla. Todo aquello que se le pueda construir un modelo es
controlable, por ejemplo, el ruido hoy por hoy no tiene un modelo matemtico asociado a l por
ello el ruido no es controla.
El aspecto crucial de la Teora de la Informacin es la MEDIDA DE LA INFORMACIN.
Para poder representar lo expuesto daremos un ejemplo:
Si enunciamos tres mensajes como:
1) saldr el sol
2) llover
3) Habr un huracn
La cantidad de informacin de estos tres mensajes es muy diferente, el mensaje 1 tiene mayor
probabilidad, mientras que el mensaje 3 es el que tiene mayor informacin. Esto quiere decir que
la medida de la informacin est relacionada con la incertidumbre; la incertidumbre de parte del
usuario acerca de cul ser el mensaje. El mensaje menos probable es el que lleva ms
informacin.

Materia: Estructura del Ordenador II

Profesora: Ing. Silvia Carrera

-8-

Por lo expuesto anteriormente, el concepto bsico de entropa en Teora de la Informacin est

vinculado con la incertidumbre. Es tambin la cantidad de "ruido" o "desorden" que contiene o
libera un sistema. De esta forma, podremos hablar de la cantidad de informacin que lleva una
seal portadora de un mensaje.
Consideremos algn texto escrito en espaol, codificado como una cadena de letras, espacios y
signos de puntuacin (nuestra seal ser una cadena de caracteres). Puesto que
estadsticamente, algunos caracteres no son habituales (por ejemplo, 'w'), mientras otros s lo son
(como la 'a'), la cadena de caracteres no ser tan "aleatoria" como podra llegar a ser. No
podemos predecir con exactitud cul ser el siguiente carcter en la cadena, y eso la hara
aparentemente aleatoria. Ahora bien, es la entropa la encargada de medir precisamente esa
aleatoriedad.
La entropa es una medida muy til, pues nos indica el lmite terico para la compresin de datos.
Tambin es una medida de la informacin contenida en el mensaje. Su clculo se realiza
mediante la siguiente frmula:
H = PJ log ( 1/ PJ) bits / smbolo (1)
Los lmites del smbolo de son, desde j = 1, hasta m
Puede ser usada para determinar la capacidad del canal necesario para transmitir la informacin.
Cul es el significado de la entropa de la comunicacin como se escribi en la (1): aunque no se
puede decir cul ser el smbolo inmediato que la fuente produzca, en el promedio se espera
obtener H bits de informacin por smbolo o N H bits en un mensaje de N smbolos, si N es
grande.
Para un tamao fijo de alfabeto (m fijo) la entropa de una fuente discreta depende de las
probabilidades de los smbolos pero est limitado por:
0 H log m
En el lmite inferior H=0 la fuente no entrega informacin (en promedio) y, por lo tanto, no existe
incertidumbre en el mensaje (ejemplo una fuente que produce los mismos smbolos en forma
continua, o sea todas las probabilidades de los smbolos son cero, salvo por el smbolo P = 1. En
el otro extremo, la entropa mxima corresponde a la mxima incertidumbre.

Materia: Estructura del Ordenador II

Profesora: Ing. Silvia Carrera

-9-