Teora de la informacin

La teora de la informacin tambin conocida como teora matemtica de la

comunicacin (Mathematical Theory of Communication) o teora matemtica de
la informacin, es una propuesta terica presentada por Claude E.
Shannon y Warren Weaver a finales de la dcada de los 40. Esta teora est
relacionada con las leyes matemticas que rigen la transmisin y el
procesamiento de la informacin y se ocupa de la medicin de la informacin y
de la representacin de la misma as como tambin de la capacidad de los
sistemas de comunicacin para transmitir y procesar informacin.
1
La Teora de
la Informacin es una rama de la teora matemtica y de las ciencias de la
computacin que estudia la informacin y todo lo relacionado con
ella: canales, compresin de datos, criptografa y temas relacionados.
Historia
La teora de la informacin surgi a finales de la Segunda Guerra Mundial en
los aos cuarenta. Fue iniciada por Claude E. Shannon a travs de un artculo
publicado en el Bell System Technical Journal en 1948, titulado Una teora
matemtica de la comunicacin (texto completo en ingls). En esta poca se
buscaba utilizar de manera ms eficiente los canales de comunicacin,
enviando una cantidad de informacin por un determinado canal y midiendo su
capacidad; se buscaba la transmisin ptima de los mensajes. Esta teora es el
resultado de trabajos comenzados en la dcada 1910 por Andrei A. Markovi, a
quien le sigui Ralp V. L. Hartley en 1927, quien fue el precursor del lenguaje
binario. A su vez, Alan Turing en 1936, realiz el esquema de una mquina
capaz de tratar informacin con emisin de smbolos, y finalmente Shannon,
matemtico, ingeniero electrnico y criptgrafo americano conocido como "el
padre de la teora de la informacin junto a Warren Weaver contribuyeron en la
culminacin y el asentamiento de la Teora Matemtica de la Comunicacin de
1949 que hoy es mundialmente conocida por todos como la Teora de la
Informacin-. Weaver consigui darle un alcance superior al planteamiento
inicial, creando un modelo simple y lineal: Fuente/codificador/mensaje
canal/descodificador/destino. La necesidad de una base terica para la
tecnologa de la comunicacin surgi del aumento de la complejidad y de la
masificacin de las vas de comunicacin, tales como el telfono, las redes
de teletipo y los sistemas de comunicacin por radio. La teora de la
informacin tambin abarca todas las restantes formas de transmisin y
almacenamiento de informacin, incluyendo la televisin y los impulsos
elctricos que se transmiten en las computadoras y en la grabacin ptica de
datos e imgenes. La idea es garantizar que el transporte masivo de datos no
sea en modo alguno una merma de la calidad, incluso si los datos se
comprimen de alguna manera. Idealmente, los datos se pueden restaurar a su
forma original al llegar a su destino. En algunos casos, sin embargo, el objetivo
es permitir que los datos de alguna forma se convierten para la transmisin en
masas, se reciban en el punto de destino, y convertidos fcilmente a su formato
original, sin perder ninguna de la informacin transmitida.
2


Desarrollo de la teora
El modelo propuesto por Shannon es un sistema general de la comunicacin
que parte de una fuente de informacin desde la cual, a travs de
un transmisor, se emite unaseal, la cual viaja por un canal, pero a lo largo de
su viaje puede ser interferida por algn ruido. La seal sale del canal, llega a
un receptor que decodifica la informacin convirtindola posteriormente
en mensaje que pasa a un destinatario. Con el modelo de la teora de la
informacin se trata de llegar a determinar la forma ms econmica, rpida y
segura de codificar un mensaje, sin que la presencia de algn ruido complique
su transmisin. Para esto, el destinatario debe comprender la seal
correctamente, el problema es que aunque exista un mismo cdigo de por
medio, esto no significa que el destinatario va captar el significado que el
emisor le quiso dar al mensaje. La codificacin puede referirse tanto a la
transformacin de voz o imagen en seales elctricas o electromagnticas,
como al cifrado de mensajes para asegurar su privacidad. Un concepto
fundamental en la teora de la informacin es que la cantidad de informacin
contenida en un mensaje es un valor matemtico bien definido y medible. El
trmino cantidad no se refiere a la cuanta de datos, sino a la probabilidad de
que un mensaje, dentro de un conjunto de mensajes posibles, sea recibido. En
lo que se refiere a la cantidad de informacin, el valor ms alto se le asigna al
mensaje que menos probabilidades tiene de ser recibido. Si se sabe con
certeza que un mensaje va a ser recibido, su cantidad de informacin es 0.
3


Finalidad
Con el modelo de la teora de la informacin se trata de llegar a determinar la
forma ms econmica, rpida y segura de codificar un mensaje, sin que la
presencia de algn ruido complique su transmisin. Para esto, el destinatario
debe comprender la seal correctamente, el problema es que aunque exista un
mismo cdigo de por medio, esto no significa que el destinatario va captar el
significado que el emisor le quiso dar al mensaje. Otro aspecto importante
dentro de esta teora es la resistencia a la distorsin que provoca el ruido, la
facilidad de codificacin y descodificacin, as como la velocidad de
transmisin. Es por esto que se dice que el mensaje tiene muchos sentidos, y
el destinatario extrae el sentido que debe atribuirle al mensaje, siempre y
cuando haya un mismo cdigo en comn. La teora de la informacin tiene
ciertas limitantes como lo es la acepcin del concepto del cdigo, el significado
que se quiere transmitir no cuenta tanto como el nmero de alternativas
necesario para definir el hecho sin ambigedad

Teora aplicada a la tecnologa
La teora de la Informacin se encuentra an hoy en da en relacin con una de
las tecnologas en boga, el Internet. Desde el punto de vista social, Internet
representa unos significativos beneficios potenciales ya que ofrece
oportunidades sin precedentes para dar poder a los individuos y conectarlos
con fuentes cada vez ms ricas de informacin digital. Internet fue creado a
partir de un proyecto del departamento de defensa de los Estados
Unidos llamado DARPANET (Defense Advanced Research Project
Network)iniciado en 1969 y cuyo propsito principal era la investigacin y
desarrollo de protocolos de comunicacin para redes de rea amplia para ligar
redes de transmisin de paquetes de diferentes tipos capaces de resistir las
condiciones de operacin ms difciles, y continuar funcionando an con la
prdida de una parte de la red (por ejemplo en caso de guerra). Estas
investigaciones dieron como resultado el protocolo TCP/IP, (Transmission
Control Protocol/Internet Protocol) un sistema de comunicaciones muy slido y
robusto bajo el cual se integran todas las redes que conforman lo que se
conoce actualmente como Internet. El enorme crecimiento de Internet se debe
en parte a que es una red basada en fondos gubernamentales de cada pas
que forma parte de Internet, lo que proporciona un servicio prcticamente
gratuito. A principios de 1994 comenz a darse un crecimiento explosivo de las
compaas con propsitos comerciales en Internet, dando as origen a una
nueva etapa en el desarrollo de la red. Descrito a grandes rasgos, TCP/IP mete
en paquetes la informacin que queremos enviar y la saca de los paquetes
para utilizarla cuando la recibimos. A estos paquetes los podemos comparar
con sobres de correo; TCP/IP guarda la informacin, cierra el sobre y en la
parte exterior pone la direccin a la cual va dirigida y la direccin de quien la
enva. Mediante este sistema, los paquetes viajan a travs de la red hasta que
llegan al destino deseado; una vez ah, la computadora de destino quita el
sobre y procesa la informacin; en caso de ser necesario enva una respuesta
a la computadora de origen usando el mismo procedimiento. Cada mquina
que est conectada a Internet tiene una direccin nica, esto hace que la
informacin que enviamos no equivoque el destino. Existen dos formas de dar
direcciones, con letras o con nmeros. Realmente, las computadoras utilizan
las direcciones numricas para mandar paquetes de informacin, pero las
direcciones con letras fueron implementadas para facilitar su manejo a los
seres humanos. Una direccin con letras consta de dos a cuatro partes. Una
direccin numrica est compuesta por cuatro partes. Cada una de estas
partes est dividida por puntos.
Ejemplo: sedet.com.mx 107.248.185.1 microsoft.com198.105.232.6
Una de las aplicaciones de la teora de la informacin son los archivos ZIP,
documentos que se comprimen para su transmisin a travs de correo
electrnico o como parte de los procedimientos de almacenamiento de datos.
La compresin de los datos hace posible completar la transmisin en menos
tiempo. En el extremo receptor, un software se utiliza para la liberacin o
descompresin del archivo, restaurando los documentos contenidos en el
archivo ZIP a su formato original. La teora de la informacin tambin entra en
uso con otros tipos de archivos; por ejemplo, los archivos de audio y video que
se reproducen en un reproductor de MP3 se comprimen para una fcil
descarga y almacenamiento en el dispositivo. Cuando se accede a los archivos
se amplan para que estn inmediatamente disponibles para su uso.
4


Elementos de la Teora


Esquema de la comunicacin ideado por Claude E. Shannon.

Fuente
Una fuente es todo aquello que emite mensajes. Por ejemplo, una fuente puede
ser una computadora y mensajes sus archivos, una fuente puede ser un
dispositivo de transmisin de datos y mensajes los datos enviados, etc. Una
fuente es en s misma un conjunto finito de mensajes: todos los posibles
mensajes que puede emitir dicha fuente. En compresin de datos tomaremos
como fuente al archivo a comprimir y como mensajes a los caracteres que
conforman dicho archivo.

Tipo de Fuentes
Por la naturaleza generativa de sus mensajes una fuente puede ser aleatoria o
determinstica. Por la relacin entre los mensajes emitidos una fuente puede
ser estructurada o no estructurada (o catica).
Existen varios tipos de fuentes. Para la teora de la informacin interesan las
fuentes aleatorias y estructuradas. Una fuente es aleatoria cuando no es
posible predecir cual es el prximo mensaje a emitir por la misma. Una fuente
es estructurada cuando posee un cierto nivel de redundancia, una fuente no
estructurada o de informacin pura es aquella en que todos los mensajes son
absolutamente aleatorios sin relacin alguna ni sentido aparente, este tipo de
fuente emite mensajes que no se pueden comprimir, un mensaje para poder
ser comprimido debe poseer un cierto nivel de redundancia, la informacin pura
no puede ser comprimida sin que haya una perdida de conocimiento sobre el
mensaje.
5

Mensaje
Un mensaje es un conjunto de ceros y unos. Un archivo, un paquete de datos
que viaja por una red y cualquier cosa que tenga una representacin binaria
puede considerarse un mensaje. El concepto de mensaje se aplica tambin a
alfabetos de ms de dos smbolos, pero debido a que tratamos con informacin
digital nos referiremos casi siempre a mensajes binarios.
Cdigo
Un cdigo es un conjunto de unos y ceros que se usan para representar a un
cierto mensaje de acuerdo a reglas o convenciones preestablecidas. Por
ejemplo al mensaje 0010 lo podemos representar con el cdigo 1101 usando
para codificar la funcin (NOT). La forma en la cual codificamos es arbitraria.
Un mensaje puede, en algunos casos representarse con un cdigo de menor
longitud que el mensaje original. Supongamos que a cualquier mensaje S lo
codificamos usando un cierto algoritmo de forma tal que cada S es codificado
en L(S) bits, definimos entonces a la informacin contenida en el mensaje S
como la cantidad mnima de bits necesarios para codificar un mensaje.
Informacin
La informacin contenida en un mensaje es proporcional a la cantidad de bits
que se requieren como mnimo para representar al mensaje. El concepto de
informacin puede entenderse ms fcilmente si consideramos un ejemplo.
Supongamos que estamos leyendo un mensaje y hemos ledo "string of ch", la
probabilidad de que el mensaje contine con "aracters" es muy alta por lo tanto
cuando realmente leemos "aracters" del archivo la cantidad de informacin que
recibimos es muy baja pues estabamos en condiciones de predecir que era lo
que iba a ocurrir. La ocurrencia de mensajes de alta probabilidad de aparicin
aporta menos informacin que la ocurrencia de mensajes menos probables. Si
luego de "string of ch" leemos "imichurri" la cantidad de informacin que
recibimos es mucho mayor.
Entropa e informacin
La informacin es tratada como magnitud fsica, caracterizando la informacin
de una secuencia de smbolos utilizando la Entropa. Se parte de la idea de que
los canales no son ideales, aunque muchas veces se idealicen las no
linealidades, para estudiar diversos mtodos de envo de informacin o la
cantidad de informacin til que se pueda enviar a travs de un canal.
La informacin necesaria para especificar un sistema fsico tiene que ver con
su entropa. En concreto en ciertas reas de la fsica extraer informacin del
estado actual de un sistema requiere reducir su entropa, de tal manera que la
entropa del sistema y la cantidad de informacin extraible estn relacionadas
por:


Entropa de una fuente
Artculo principal: Entropa (informacin).
De acuerdo a la teora de la informacin, el nivel de informacin de una fuente
se puede medir segn la entropa de la misma. Los estudios sobre la entropa
son de suma importancia en la teora de la informacin y se deben
principalmente a C. E. Shannon, existen a su vez un gran nmero de
propiedades respecto de la entropa de variables aleatorias debidas a A.
Kolmogorov. Dada una fuente "F" que emite mensajes, resulta frecuente
observar que los mensajes emitidos no resulten equiprobables sino que tienen
una cierta probabilidad de ocurrencia dependiendo del mensaje. Para codificar
los mensajes de una fuente intentaremos pues utilizar menor cantidad de bits
para los mensajes ms probables y mayor cantidad de bits para los mensajes
menos probables de forma tal que el promedio de bits utilizados para codificar
los mensajes sea menor a la cantidad de bits promedio de los mensajes
originales. Esta es la base de la compresin de datos. A este tipo de fuente se
la denomina fuente de orden-0 pues la probabilidad de ocurrencia de un
mensaje no depende de los mensajes anteriores, a las fuentes de orden
superior se las puede representar mediante una fuente de orden-0 utilizando
tcnicas de modelizacin apropiadas. Definimos a la probabilidad de ocurrencia
de un mensaje en una fuente como la cantidad de apariciones de dicho
mensaje dividido el total de mensajes. Supongamos que P
i
es la probabilidad
de ocurrencia del mensaje-i de una fuente, y supongamos que L
i
es la longitud
del cdigo utilizado para representar a dicho mensaje, la longitud promedio de
todos los mensajes codificados de la fuente se puede obtener como:

Promedio ponderado de las longitudes de los cdigos de acuerdo a sus
probabilidades de ocurrencia, al nmero "H" se lo denomina "Entropa de la
fuente" y tiene gran importancia. La entropa de la fuente determina el nivel
de compresin que podemos obtener como mximo para un conjunto de
datos, si consideramos como fuente a un archivo y obtenemos las
probabilidades de ocurrencia de cada carcter en el archivo podremos
calcular la longitud promedio del archivo comprimido, se demuestra que no
es posible comprimir estadsticamente un mensaje/archivo ms all de su
entropa. Lo cual implica que considerando nicamente la frecuencia de
aparicin de cada carcter la entropa de la fuente nos da el lmite terico
de compresin, mediante otras tcnicas no-estadsticas puede, tal vez,
superarse este lmite.
El objetivo de la compresin de datos es encontrar los L
i
que minimizan a
"H", adems los L
i
se deben determinar en funcin de los P
i
, pues la
longitud de los cdigos debe depender de la probabilidad de ocurrencia de
los mismos (los ms ocurrentes queremos codificarlos en menos bits). Se
plantea pues:

A partir de aqu y tras intrincados procedimientos matemticos que fueron
demostrados por Shannon oportunamente se llega a que H es mnimo cuando
f(P
i
) = log
2
(1/P
i
). Entonces:

La longitud mnima con la cual puede codificarse un mensaje puede calcularse
como L
i
=log
2
(1/P
i
) = -log
2
(P
i
). Esto da una idea de la longitud a emplear en los
cdigos a usar para los caracteres de un archivo en funcin de su probabilidad
de ocurrencia. Reemplazando L
i
podemos escribir a H como:

De aqu se deduce que la entropa de la fuente depende nicamente de la
probabilidad de ocurrencia de cada mensaje de la misma, por ello la
importancia de los compresores estadsticos (aquellos que se basan en la
probabilidad de ocurrencia de cada carcter). Shannon demostr,
oportunamente que no es posible comprimir una fuente estadsticamente ms
all del nivel indicado por su entropa.
6

7