Está en la página 1de 5

Francois Esteban Escobar 4990-11-16814

Teora matemtica de la Informacin: Claude Shannon


La teora de la informacin tambin conocida como teora matemtica
de la comunicacin (Mathematical Theory of Communication) o teora
matemtica de la informacin, es una propuesta terica presentada por
Claude E. Shannon y Warren Weaver a finales de la dcada de los 40.
Esta teora est relacionada con las leyes matemticas que rigen la
transmisin y el procesamiento de la informacin y se ocupa de la
medicin de la informacin y de la representacin de la misma as como
tambin de la capacidad de los sistemas de comunicacin para
transmitir y procesar informacin.1 La Teora de la Informacin es una
rama de la teora matemtica y de las ciencias de la computacin que
estudia la informacin y todo lo relacionado con ella: canales,
compresin de datos, criptografa y temas relacionados.
Antecedentes histricos
La teora de la informacin surgi a finales de la Segunda Guerra
Mundial en los aos cuarenta. Fue iniciada por Claude E. Shannon a
travs de un artculo publicado en el Bell System Technical Journal en
1948, titulado Una teora matemtica de la comunicacin (texto
completo en ingls). En esta poca se buscaba utilizar de manera ms
eficiente los canales de comunicacin, enviando una cantidad de
informacin por un determinado canal y midiendo su capacidad; se
buscaba la transmisin ptima de los mensajes. Esta teora es el
resultado de trabajos comenzados en la dcada 1910 por Andrei A.
Markovi, a quien le sigui Ralp V. L. Hartley en 1927, quien fue el
precursor del lenguaje binario. A su vez, Alan Turing en 1936, realiz el
esquema de una mquina capaz de tratar informacin con emisin de
smbolos, y finalmente Shannon, matemtico, ingeniero electrnico y
criptgrafo americano conocido como "el padre de la teora de la
informacin junto a Warren Weaver contribuyeron en la culminacin y el
asentamiento de la Teora Matemtica de la Comunicacin de 1949 que
hoy es mundialmente conocida por todos como la Teora de la
Informacin-. Weaver consigui darle un alcance superior al
planteamiento inicial, creando un modelo simple y lineal:
Fuente/codificador/mensaje canal/descodificador/destino.
La necesidad de una base terica para la tecnologa de la comunicacin
surgi del aumento de la complejidad y de la masificacin de las vas de
comunicacin, tales como el telfono, las redes de teletipo y los
sistemas de comunicacin por radio. La teora de la informacin tambin
abarca todas las restantes formas de transmisin y almacenamiento de
informacin, incluyendo la televisin y los impulsos elctricos que se
transmiten en las computadoras y en la grabacin ptica de datos e

Francois Esteban Escobar 4990-11-16814


imgenes. La idea es garantizar que el transporte masivo de datos no
sea en modo alguno una merma de la calidad, incluso si los datos se
comprimen de alguna manera. Idealmente, los datos se pueden
restaurar a su forma original al llegar a su destino. En algunos casos, sin
embargo, el objetivo es permitir que los datos de alguna forma se
convierten para la transmisin en masas, se reciban en el punto de
destino, y convertidos fcilmente a su formato original, sin perder
ninguna de la informacin transmitida.

Desarrollo de la teora
El modelo propuesto por Shannon es un sistema general de la
comunicacin que parte de una fuente de informacin desde la cual, a
travs de un transmisor, se emite una seal, la cual viaja por un canal,
pero a lo largo de su viaje puede ser interferida por algn ruido. La seal
sale del canal, llega a un receptor que decodifica la informacin
convirtindola posteriormente en mensaje que pasa a un destinatario.
Con el modelo de la teora de la informacin se trata de llegar a
determinar la forma ms econmica, rpida y segura de codificar un
mensaje, sin que la presencia de algn ruido complique su transmisin.
Para esto, el destinatario debe comprender la seal correctamente, el
problema es que aunque exista un mismo cdigo de por medio, esto no
significa que el destinatario va captar el significado que el emisor le
quiso dar al mensaje. La codificacin puede referirse tanto a la
transformacin de voz o imagen en seales elctricas o
electromagnticas, como al cifrado de mensajes para asegurar su
privacidad. Un concepto fundamental en la teora de la informacin es
que la cantidad de informacin contenida en un mensaje es un valor
matemtico bien definido y medible. El trmino cantidad no se refiere a
la cuanta de datos, sino a la probabilidad de que un mensaje, dentro de
un conjunto de mensajes posibles, sea recibido. En lo que se refiere a la
cantidad de informacin, el valor ms alto se le asigna al mensaje que
menos probabilidades tiene de ser recibido. Si se sabe con certeza que
un mensaje va a ser recibido, su cantidad de informacin es 0. 3
Finalidad
Con el modelo de la teora de la informacin se trata de llegar a
determinar la forma ms econmica, rpida y segura de codificar un
mensaje, sin que la presencia de algn ruido complique su transmisin.
Para esto, el destinatario debe comprender la seal correctamente, el
problema es que aunque exista un mismo cdigo de por medio, esto no
significa que el destinatario va captar el significado que el emisor le
quiso dar al mensaje. Otro aspecto importante dentro de esta teora es

Francois Esteban Escobar 4990-11-16814


la resistencia a la distorsin que provoca el ruido, la facilidad de
codificacin y descodificacin, as como la velocidad de transmisin. Es
por esto que se dice que el mensaje tiene muchos sentidos, y el
destinatario extrae el sentido que debe atribuirle al mensaje, siempre y
cuando haya un mismo cdigo en comn. La teora de la informacin
tiene ciertas limitantes como lo es la acepcin del concepto del cdigo,
el significado que se quiere transmitir no cuenta tanto como el nmero
de alternativas necesario para definir el hecho sin ambigedad. Si la
seleccin del mensaje se plantea nicamente entre dos alternativas
diferentes, la teora de Shannon postula arbitrariamente que el valor de
la informacin es uno. esta unidad de informacin recibe el nombre de
bit. Para que el valor de la informacin sea un bit, todas las alternativas
deben ser igual de probables y estar disponibles. Es importante saber si
la fuente de informacin tiene el mismo grado de libertad para elegir
cualquier posibilidad o si se halla bajo alguna influencia que la induce a
una cierta eleccin. La cantidad de informacin crece cuando todas las
alternativas son igual de probables o cuando mayor sea el nmero de
alternativas. Pero en la prctica comunicativa real no todas las
alternativas son igualmente probables, lo cual contribuye un tipo de
proceso estocstico denominado Markoff. el subtipo de Markoff dice que
la cadena de smbolos est configurada de manera que cualquier
secuencia de esa cadena es representativa de toda la cadena completa.
Teora aplicada a la tecnologa
La teora de la Informacin se encuentra an hoy en da en relacin con
una de las tecnologas en boga, el Internet. Desde el punto de vista
social, Internet representa unos significativos beneficios potenciales ya
que ofrece oportunidades sin precedentes para dar poder a los
individuos y conectarlos con fuentes cada vez ms ricas de informacin
digital.
Una de las aplicaciones de la teora de la informacin son los archivos
ZIP, documentos que se comprimen para su transmisin a travs de
correo electrnico o como parte de los procedimientos de
almacenamiento de datos. La compresin de los datos hace posible
completar la transmisin en menos tiempo. En el extremo receptor, un
software se utiliza para la liberacin o descompresin del archivo,
restaurando los documentos contenidos en el archivo ZIP a su formato
original. La teora de la informacin tambin entra en uso con otros tipos
de archivos; por ejemplo, los archivos de audio y video que se
reproducen en un reproductor de MP3 se comprimen para una fcil
descarga y almacenamiento en el dispositivo. Cuando se accede a los
archivos se amplan para que estn inmediatamente disponibles para su
uso.4

Francois Esteban Escobar 4990-11-16814


Elementos de la Teora
Esquema de la comunicacin ideado por Claude E. Shannon.
Fuente
Una fuente es todo aquello que emite mensajes. Por ejemplo, una fuente
puede ser una computadora y mensajes sus archivos, una fuente puede
ser un dispositivo de transmisin de datos y mensajes los datos
enviados, etc. Una fuente es en s misma un conjunto finito de mensajes:
todos los posibles mensajes que puede emitir dicha fuente. En
compresin de datos tomaremos como fuente al archivo a comprimir y
como mensajes a los caracteres que conforman dicho archivo.
Tipo de Fuentes
Por la naturaleza generativa de sus mensajes una fuente puede ser
aleatoria o determinstica. Por la relacin entre los mensajes emitidos
una fuente puede ser estructurada o no estructurada (o catica).
Existen varios tipos de fuentes. Para la teora de la informacin interesan
las fuentes aleatorias y estructuradas. Una fuente es aleatoria cuando
no es posible predecir cual es el prximo mensaje a emitir por la misma.
Una fuente es estructurada cuando posee un cierto nivel de
redundancia, una fuente no estructurada o de informacin pura es
aquella en que todos los mensajes son absolutamente aleatorios sin
relacin alguna ni sentido aparente, este tipo de fuente emite mensajes
que no se pueden comprimir, un mensaje para poder ser comprimido
debe poseer un cierto nivel de redundancia, la informacin pura no
puede ser comprimida sin que haya una perdida de conocimiento sobre
el mensaje.5
Mensaje
Un mensaje es un conjunto de ceros y unos. Un archivo, un paquete de
datos que viaja por una red y cualquier cosa que tenga una
representacin binaria puede considerarse un mensaje. El concepto de
mensaje se aplica tambin a alfabetos de ms de dos smbolos, pero
debido a que tratamos con informacin digital nos referiremos casi
siempre a mensajes binarios.
Cdigo
Un cdigo es un conjunto de unos y ceros que se usan para representar
a un cierto mensaje de acuerdo a reglas o convenciones preestablecidas.
Por ejemplo al mensaje 0010 lo podemos representar con el cdigo 1101

Francois Esteban Escobar 4990-11-16814


usando para codificar la funcin (NOT). La forma en la cual codificamos
es arbitraria. Un mensaje puede, en algunos casos representarse con un
cdigo de menor longitud que el mensaje original. Supongamos que a
cualquier mensaje S lo codificamos usando un cierto algoritmo de forma
tal que cada S es codificado en L(S) bits, definimos entonces a la
informacin contenida en el mensaje S como la cantidad mnima de bits
necesarios para codificar un mensaje.
Informacin
La informacin contenida en un mensaje es proporcional a la cantidad de
bits que se requieren como mnimo para representar al mensaje. El
concepto de informacin puede entenderse ms fcilmente si
consideramos un ejemplo. Supongamos que estamos leyendo un
mensaje y hemos ledo "string of ch", la probabilidad de que el mensaje
contine con "aracters" es muy alta por lo tanto cuando realmente
leemos "aracters" del archivo la cantidad de informacin que recibimos
es muy baja pues estabamos en condiciones de predecir que era lo que
iba a ocurrir. La ocurrencia de mensajes de alta probabilidad de
aparicin aporta menos informacin que la ocurrencia de mensajes
menos probables. Si luego de "string of ch" leemos "imichurri" la
cantidad de informacin que recibimos es mucho mayor.