Teora matemtica de la Informacin: Shanon y Weaver Teora de la informacin La teora de la informacin tambin conocida como teora matemtica de la comunicacin

(Mathematical Theory of Communication) o teora matemtica de la informacin, es una propuesta terica presentada por Claude E. Shannon y Warren Weaver a finales de la dcada de los 40. Esta teora est relacionada con las leyes matemticas que rigen la transmisin y el procesamiento de la informacin y se ocupa de la medicin de la informacin y de la representacin de la misma as como tambin de la capacidad de los sistemas de comunicacin para transmitir y procesar informacin.1 La Teora de la Informacin es una rama de la teora matemtica y de las ciencias de la computacin que estudia la informacin y todo lo relacionado con ella: canales, compresin de datos, criptografa y temas relacionados. Antecedentes histricos La teora de la informacin surgi a finales de la Segunda Guerra Mundial en los aos cuarenta. Fue iniciada por Claude E. Shannon a travs de un artculo publicado en el Bell System Technical Journal en 1948, titulado Una teora matemtica de la comunicacin (texto completo en ingls). En esta poca se buscaba utilizar de manera ms eficiente los canales de comunicacin, enviando una cantidad de informacin por un determinado canal y midiendo su capacidad; se buscaba la transmisin ptima de los mensajes. Esta teora es el resultado de trabajos comenzados en la dcada 1910 por Andrei A. Markovi, a quien le sigui Ralp V. L. Hartley en 1927, quien fue el precursor del lenguaje binario. A su vez, Alan Turing en 1936, realiz el esquema de una mquina capaz de tratar informacin con emisin de smbolos, y finalmente Shannon, matemtico, ingeniero electrnico y criptgrafo americano conocido como "el padre de la teora de la informacin junto a Warren Weaver contribuyeron en la culminacin y el asentamiento de la Teora Matemtica de la Comunicacin de 1949 que hoy es mundialmente conocida por todos como la Teora de la Informacin-. Weaver consigui darle un alcance superior al planteamiento inicial, creando un modelo simple y lineal: Fuente/codificador/mensaje canal/descodificador/destino. La necesidad de una base terica para la tecnologa de la comunicacin surgi del aumento de la complejidad y de la masificacin de las vas de comunicacin, tales como el telfono, las redes de teletipo y los sistemas de comunicacin por radio. La teora de la informacin tambin abarca todas las restantes formas de transmisin y almacenamiento de informacin, incluyendo la televisin y los impulsos elctricos que se transmiten en las computadoras y en la grabacin ptica de datos e imgenes. La idea es garantizar que el transporte masivo de datos no sea en modo alguno una merma de la calidad, incluso si los datos se comprimen de alguna manera. Idealmente, los datos se pueden restaurar a su forma original al llegar a su destino. En algunos casos, sin embargo, el objetivo es permitir que los datos de alguna forma se convierten para la transmisin en masas, se reciban en el punto de destino, y convertidos fcilmente a su formato original, sin perder ninguna de la informacin transmitida.

Desarrollo de la teora El modelo propuesto por Shannon es un sistema general de la comunicacin que parte de una fuente de informacin desde la cual, a travs de un transmisor, se emite una seal, la cual viaja por un canal, pero a lo largo de su viaje puede ser interferida por algn ruido. La seal sale del canal, llega a un receptor que decodifica la informacin convirtindola posteriormente en mensaje que pasa a un destinatario. Con el modelo de la teora de la informacin se trata de llegar a determinar la forma ms econmica, rpida y segura de codificar un mensaje, sin que la presencia de algn ruido complique su transmisin. Para esto, el destinatario debe comprender la seal correctamente, el problema es que aunque exista un mismo cdigo de por medio, esto no significa que el destinatario va captar el significado que el emisor le quiso dar al mensaje. La codificacin puede referirse tanto a la transformacin de voz o imagen en seales elctricas o electromagnticas, como al cifrado de mensajes para asegurar su privacidad. Un concepto fundamental en la teora de la informacin es que la cantidad de informacin contenida en un mensaje es un valor matemtico bien definido y medible. El trmino cantidad no se refiere a la cuanta de datos, sino a la probabilidad de que un mensaje, dentro de un conjunto de mensajes posibles, sea recibido. En lo que se refiere a la cantidad de informacin, el valor ms alto se le asigna al mensaje que menos probabilidades tiene de ser recibido. Si se sabe con certeza que un mensaje va a ser recibido, su cantidad de informacin es 0. 3 Finalidad Con el modelo de la teora de la informacin se trata de llegar a determinar la forma ms econmica, rpida y segura de codificar un mensaje, sin que la presencia de algn ruido complique su transmisin. Para esto, el destinatario debe comprender la seal correctamente, el problema es que aunque exista un mismo cdigo de por medio, esto no significa que el destinatario va captar el significado que el emisor le quiso dar al mensaje. Otro aspecto importante dentro de esta teora es la resistencia a la distorsin que provoca el ruido, la facilidad de codificacin y descodificacin, as como la velocidad de transmisin. Es por esto que se dice que el mensaje tiene muchos sentidos, y el destinatario extrae el sentido que debe atribuirle al mensaje, siempre y cuando haya un mismo cdigo en comn. La teora de la informacin tiene ciertas limitantes como lo es la acepcin del concepto del cdigo, el significado que se quiere transmitir no cuenta tanto como el nmero de alternativas necesario para definir el hecho sin ambigedad. Si la seleccin del mensaje se plantea nicamente entre dos alternativas diferentes, la teora de Shannon postula arbitrariamente que el valor de la informacin es uno. esta unidad de informacin recibe el nombre de bit. Para que el valor de la informacin sea un bit, todas las alternativas deben ser igual de probables y estar disponibles. Es importante saber si la fuente de informacin tiene el mismo grado de libertad para elegir cualquier posibilidad o si se halla bajo alguna influencia que la induce a una cierta eleccin. La cantidad de informacin crece cuando todas las alternativas son igual de probables o cuando mayor sea el nmero de alternativas. Pero en la prctica comunicativa real no todas las alternativas son igualmente probables, lo cual contribuye un tipo de proceso estocstico

denominado Markoff. el subtipo de Markoff dice que la cadena de smbolos est configurada de manera que cualquier secuencia de esa cadena es representativa de toda la cadena completa. Teora aplicada a la tecnologa La teora de la Informacin se encuentra an hoy en da en relacin con una de las tecnologas en boga, el Internet. Desde el punto de vista social, Internet representa unos significativos beneficios potenciales ya que ofrece oportunidades sin precedentes para dar poder a los individuos y conectarlos con fuentes cada vez ms ricas de informacin digital. Una de las aplicaciones de la teora de la informacin son los archivos ZIP, documentos que se comprimen para su transmisin a travs de correo electrnico o como parte de los procedimientos de almacenamiento de datos. La compresin de los datos hace posible completar la transmisin en menos tiempo. En el extremo receptor, un software se utiliza para la liberacin o descompresin del archivo, restaurando los documentos contenidos en el archivo ZIP a su formato original. La teora de la informacin tambin entra en uso con otros tipos de archivos; por ejemplo, los archivos de audio y video que se reproducen en un reproductor de MP3 se comprimen para una fcil descarga y almacenamiento en el dispositivo. Cuando se accede a los archivos se amplan para que estn inmediatamente disponibles para su uso.4 Elementos de la Teora Esquema de la comunicacin ideado por Claude E. Shannon. Fuente Una fuente es todo aquello que emite mensajes. Por ejemplo, una fuente puede ser una computadora y mensajes sus archivos, una fuente puede ser un dispositivo de transmisin de datos y mensajes los datos enviados, etc. Una fuente es en s misma un conjunto finito de mensajes: todos los posibles mensajes que puede emitir dicha fuente. En compresin de datos tomaremos como fuente al archivo a comprimir y como mensajes a los caracteres que conforman dicho archivo. Tipo de Fuentes Por la naturaleza generativa de sus mensajes una fuente puede ser aleatoria o determinstica. Por la relacin entre los mensajes emitidos una fuente puede ser estructurada o no estructurada (o catica). Existen varios tipos de fuentes. Para la teora de la informacin interesan las fuentes aleatorias y estructuradas. Una fuente es aleatoria cuando no es posible predecir cual es el prximo mensaje a emitir por la misma. Una fuente es estructurada cuando posee un cierto nivel de redundancia, una fuente no estructurada o de informacin pura es aquella en que todos los mensajes son absolutamente aleatorios sin relacin alguna ni sentido aparente, este tipo de fuente emite mensajes que no se pueden comprimir, un mensaje

para poder ser comprimido debe poseer un cierto nivel de redundancia, la informacin pura no puede ser comprimida sin que haya una perdida de conocimiento sobre el mensaje.5 Mensaje Un mensaje es un conjunto de ceros y unos. Un archivo, un paquete de datos que viaja por una red y cualquier cosa que tenga una representacin binaria puede considerarse un mensaje. El concepto de mensaje se aplica tambin a alfabetos de ms de dos smbolos, pero debido a que tratamos con informacin digital nos referiremos casi siempre a mensajes binarios. Cdigo Un cdigo es un conjunto de unos y ceros que se usan para representar a un cierto mensaje de acuerdo a reglas o convenciones preestablecidas. Por ejemplo al mensaje 0010 lo podemos representar con el cdigo 1101 usando para codificar la funcin (NOT). La forma en la cual codificamos es arbitraria. Un mensaje puede, en algunos casos representarse con un cdigo de menor longitud que el mensaje original. Supongamos que a cualquier mensaje S lo codificamos usando un cierto algoritmo de forma tal que cada S es codificado en L(S) bits, definimos entonces a la informacin contenida en el mensaje S como la cantidad mnima de bits necesarios para codificar un mensaje. Informacin La informacin contenida en un mensaje es proporcional a la cantidad de bits que se requieren como mnimo para representar al mensaje. El concepto de informacin puede entenderse ms fcilmente si consideramos un ejemplo. Supongamos que estamos leyendo un mensaje y hemos ledo "string of ch", la probabilidad de que el mensaje contine con "aracters" es muy alta por lo tanto cuando realmente leemos "aracters" del archivo la cantidad de informacin que recibimos es muy baja pues estabamos en condiciones de predecir que era lo que iba a ocurrir. La ocurrencia de mensajes de alta probabilidad de aparicin aporta menos informacin que la ocurrencia de mensajes menos probables. Si luego de "string of ch" leemos "imichurri" la cantidad de informacin que recibimos es mucho mayor.