Teora de la informacin
La teora de la informacin, tambin conocida como
teora matemtica de la comunicacin (mathematical
theory of communication) o teora matemtica de la
informacin, es una propuesta terica presentada por
Claude E. Shannon y Warren Weaver a nales de la dca-
da de los aos 1940. Esta teora est relacionada con las
leyes matemticas que rigen la transmisin y el procesa-
miento de la informacin y se ocupa de la medicin de la
informacin y de la representacin de la misma, as como
tambin de la capacidad de los sistemas de comunicacin
para transmitir y procesar informacin.[1] La teora de la
informacin es una rama de la teora matemtica y de las
ciencias de la computacin que estudia la informacin y
todo lo relacionado con ella: canales, compresin de datos
y criptografa, entre otros.
1 Historia
La teora de la informacin surgi a nales de la Segunda
Guerra Mundial, en los aos cuarenta. Fue iniciada por
Claude E. Shannon a travs de un artculo publicado en
el Bell System Technical Journal en 1948, titulado Una
teora matemtica de la comunicacin (texto completo
en ingls). En esta poca se buscaba utilizar de manera
ms eciente los canales de comunicacin, enviando una
cantidad de informacin por un determinado canal y mi-
diendo su capacidad; se buscaba la transmisin ptima
de los mensajes. Esta teora es el resultado de trabajos
comenzados en la dcada 1910 por Andrei A. Marko-
vi, a quien le sigui Ralp V. L. Hartley en 1927, quien
fue el precursor del lenguaje binario. A su vez, Alan Tu-
ring en 1936, realiz el esquema de una mquina capaz
de tratar informacin con emisin de smbolos, y nal-
mente Claude Elwood Shannon, matemtico, ingeniero
electrnico y criptgrafo estadounidense, conocido como
el padre de la teora de la informacin, junto a Wa-
rren Weaver, contribuy en la culminacin y el asenta-
miento de la Teora Matemtica de la Comunicacin de
1949 que hoy es mundialmente conocida por todos co-
mo la Teora de la Informacin-. Weaver consigui darle
un alcance superior al planteamiento inicial, creando un
modelo simple y lineal: Fuente/codicador/mensaje ca-
nal/decodicador/destino. La necesidad de una base te-
rica para la tecnologa de la comunicacin surgi del au-
mento de la complejidad y de la masicacin de las vas
de comunicacin, tales como el telfono, las redes de
teletipo y los sistemas de comunicacin por radio. La teo-
ra de la informacin tambin abarca todas las restantes
formas de transmisin y almacenamiento de informacin,
incluyendo la televisin y los impulsos elctricos que se
transmiten en las computadoras y en la grabacin ptica
de datos e imgenes. La idea es garantizar que el trans-
porte masivo de datos no sea en modo alguno una merma
de la calidad, incluso si los datos se comprimen de algu-
na manera. Idealmente, los datos se pueden restaurar a su
forma original al llegar a su destino. En algunos casos, sin
embargo, el objetivo es permitir que los datos de alguna
forma se conviertan para la transmisin en masa, se reci-
ban en el punto de destino y sean convertidos fcilmente a
su formato original, sin perder ninguna de la informacin
transmitida.[2]
2 Desarrollo de la teora
El modelo propuesto por Shannon es un sistema general
de la comunicacin que parte de una fuente de informa-
cin desde la cual, a travs de un transmisor, se emite
una seal, la cual viaja por un canal, pero a lo largo de su
viaje puede ser interferida por algn ruido. La seal sale
del canal, llega a un receptor que decodica la informa-
cin convirtindola posteriormente en mensaje que pasa
a un destinatario. Con el modelo de la teora de la in-
formacin se trata de llegar a determinar la forma ms
econmica, rpida y segura de codicar un mensaje, sin
que la presencia de algn ruido complique su transmisin.
Para esto, el destinatario debe comprender la seal co-
rrectamente; el problema es que aunque exista un mismo
cdigo de por medio, esto no signica que el destinata-
rio va a captar el signicado que el emisor le quiso dar al
mensaje. La codicacin puede referirse tanto a la trans-
formacin de voz o imagen en seales elctricas o electro-
magnticas, como al cifrado de mensajes para asegurar
su privacidad. Un concepto fundamental en la teora de
la informacin es que la cantidad de informacin conteni-
da en un mensaje es un valor matemtico bien denido y
medible. El trmino cantidad no se reere a la cuanta de
datos, sino a la probabilidad de que un mensaje, dentro
de un conjunto de mensajes posibles, sea recibido. En lo
que se reere a la cantidad de informacin, el valor ms
alto se le asigna al mensaje que menos probabilidades tie-
ne de ser recibido. Si se sabe con certeza que un mensaje
va a ser recibido, su cantidad de informacin es cero.[3]
1
2 5 ELEMENTOS DE LA TEORA

3 Finalidad mentales de cada pas que forma parte de Internet, lo que

proporciona un servicio prcticamente gratuito. A princi-
Otro aspecto importante dentro de esta teora es la re- pios de 1994 comenz a darse un crecimiento explosivo
sistencia a la distorsin que provoca el ruido, la facilidadde las compaas con propsitos comerciales en Internet,
de codicacin y descodicacin, as como la velocidad dando as origen a una nueva etapa en el desarrollo de la
de transmisin. Es por esto que se dice que el mensaje red. Descrito a grandes rasgos, TCP/IP mete en paque-
tiene muchos sentidos, y el destinatario extrae el sentido tes la informacin que se quiere enviar y la saca de los
que debe atribuirle al mensaje, siempre y cuando haya paquetes para utilizarla cuando se recibe. Estos paquetes
un mismo cdigo en comn. La teora de la informacin pueden compararse con sobres de correo; TCP/IP guarda
tiene ciertas limitaciones, como lo es la acepcin del con- la informacin, cierra el sobre y en la parte exterior pone
cepto del cdigo. El signicado que se quiere transmitir la direccin a la cual va dirigida y la direccin de quien
no cuenta tanto como el nmero de alternativas necesa- la enva. Mediante este sistema, los paquetes viajan a tra-
rio para denir el hecho sin ambigedad. Si la seleccin vs de la red hasta que llegan al destino deseado; una vez
del mensaje se plantea nicamente entre dos alternativas ah, la computadora de destino quita el sobre y procesa
diferentes, la teora de Shannon postula arbitrariamente la informacin; en caso de ser necesario enva una res-
que el valor de la informacin es uno. Esta unidad de in- puesta a la computadora de origen usando el mismo pro-
formacin recibe el nombre de bit. Para que el valor de cedimiento. Cada mquina que est conectada a Internet
la informacin sea un bit, todas las alternativas deben ser tiene una direccin nica; esto hace que la informacin
igual de probables y estar disponibles. Es importante sa- que se enva no equivoque el destino. Existen dos formas
ber si la fuente de informacin tiene el mismo grado de de dar direcciones, con letras o con nmeros. Realmente,
libertad para elegir cualquier posibilidad o si se halla ba-las computadoras utilizan las direcciones numricas pa-
jo alguna inuencia que la induce a una cierta eleccin. ra mandar paquetes de informacin, pero las direcciones
La cantidad de informacin crece cuando todas las al- con letras fueron implementadas para facilitar su manejo
ternativas son igual de probables o cuanto mayor sea el a los seres humanos. Una direccin con letras consta de
nmero de alternativas. Pero en la prctica comunicativa dos a cuatro partes. Una direccin numrica est com-
real no todas las alternativas son igualmente probables, puesta por cuatro partes. Cada una de estas partes est
lo cual constituye un tipo de proceso estocstico denomi- dividida por puntos.
nado Marko. El subtipo de Marko dice que la cadena Ejemplo: sedet.com.mx 107.248.185.1
de smbolos est congurada de manera que cualquier se-
Una de las aplicaciones de la teora de la informacin son
cuencia de esa cadena es representativa de toda la cadena
los archivos ZIP, documentos que se comprimen para su
completa.
transmisin a travs de correo electrnico o como parte
de los procedimientos de almacenamiento de datos. La
compresin de los datos hace posible completar la trans-
4 Teora aplicada a la tecnologa misin en menos tiempo. En el extremo receptor, un soft-
ware se utiliza para la liberacin o descompresin del ar-
chivo, restaurando los documentos contenidos en el ar-
La Teora de la Informacin se encuentra an hoy en da chivo ZIP a su formato original. La teora de la informa-
en relacin con una de las tecnologas en boga, Internet. cin tambin entra en uso con otros tipos de archivo; por
Desde el punto de vista social, Internet representa unos ejemplo, los archivos de audio y vdeo que se reproducen
signicativos benecios potenciales, ya que ofrece opor- en un reproductor de MP3 se comprimen para una fcil
tunidades sin precedentes para dar poder a los individuos descarga y almacenamiento en el dispositivo. Cuando se
y conectarlos con fuentes cada vez ms ricas de informa- accede a los archivos se amplan para que estn inmedia-
cin digital. Internet fue creado a partir de un proyecto tamente disponibles para su uso.[4]
del departamento de defensa de los Estados Unidos lla-
mado DARPANET (Defense Advanced Research Project
Network) iniciado en 1969 y cuyo propsito principal era
la investigacin y desarrollo de protocolos de comunica-
5 Elementos de la teora
cin para redes de rea amplia para ligar redes de transmi-
sin de paquetes de diferentes tipos capaces de resistir las 5.1 Fuente
condiciones de operacin ms difciles, y continuar fun-
cionando an con la prdida de una parte de la red (por Una fuente es todo aquello que emite mensajes. Por ejem-
ejemplo en caso de guerra). Estas investigaciones dieron plo, una fuente puede ser una computadora y mensajes
como resultado el protocolo TCP/IP (Transmission Con- sus archivos; una fuente puede ser un dispositivo de trans-
trol Protocol/Internet Protocol), un sistema de comunica- misin de datos y mensajes los datos enviados, etc. Una
ciones muy slido y robusto bajo el cual se integran to- fuente es en s misma un conjunto nito de mensajes: to-
das las redes que conforman lo que se conoce actualmen- dos los posibles mensajes que puede emitir dicha fuente.
te como Internet. El enorme crecimiento de Internet se En compresin de datos se tomar como fuente el archivo
debe en parte a que es una red basada en fondos guberna- a comprimir y como mensajes los caracteres que confor-
5.5 Informacin
Esquema de la comunicacin ideado por Claude E. Shannon.
man dicho archivo.
5.2 Tipos de fuente
Por la naturaleza generativa de sus mensajes, una fuente
puede ser aleatoria o determinista. Por la relacin entre
los mensajes emitidos, una fuente puede ser estructurada
o no estructurada (o catica).
Existen varios tipos de fuente. Para la teora de la infor-
macin interesan las fuentes aleatorias y estructuradas.
Una fuente es aleatoria cuando no es posible predecir cul
es el prximo mensaje a emitir por la misma. Una fuente
es estructurada cuando posee un cierto nivel de redun-
dancia; una fuente no estructurada o de informacin pura
es aquella en que todos los mensajes son absolutamen-
te aleatorios sin relacin alguna ni sentido aparente. Este
tipo de fuente emite mensajes que no se pueden compri-
mir; un mensaje, para poder ser comprimido, debe po-
seer un cierto grado de redundancia; la informacin pura
no puede ser comprimida sin que haya una prdida de
conocimiento sobre el mensaje.[5]
5.3 Mensaje
Un mensaje es un conjunto de ceros y unos. Un archivo, la entropa del sistema ( S ) y la cantidad de informacin
un paquete de datos que viaja por una red y cualquier cosa ( I ) extrable estn relacionadas por:
que tenga una representacin binaria puede considerarse
un mensaje. El concepto de mensaje se aplica tambin a
alfabetos de ms de dos smbolos, pero debido a que trata-
mos con informacin digital nos referiremos casi siempre
a mensajes binarios.
5.4 Cdigo
Un cdigo es un conjunto de unos y ceros que se usan
para representar un cierto mensaje de acuerdo a reglas
o convenciones preestablecidas. Por ejemplo, al mensaje
0010 lo podemos representar con el cdigo 1101 usan-
do para codicar la funcin (NOT). La forma en la cual
codicamos es arbitraria. Un mensaje puede, en algunos
3
casos, representarse con un cdigo de menor longitud que
el mensaje original. Supongamos que a cualquier mensa-
je S lo codicamos usando un cierto algoritmo de forma
tal que cada S es codicado en L(S) bits; denimos en-
tonces la informacin contenida en el mensaje S como
la cantidad mnima de bits necesarios para codicar un
mensaje.
5.5 Informacin
La informacin contenida en un mensaje es proporcional
a la cantidad de bits que se requieren como mnimo para
representar al mensaje. El concepto de informacin pue-
de entenderse ms fcilmente si consideramos un ejem-
plo. Supongamos que estamos leyendo un mensaje y he-
mos ledo cadena de c"; la probabilidad de que el mensa-
je contine con aracteres es muy alta. As, cuando efec-
tivamente recibimos a continuacin aracteres la canti-
dad de informacin que nos lleg es muy baja pues es-
tbamos en condiciones de predecir qu era lo que iba a
ocurrir. La ocurrencia de mensajes de alta probabilidad
de aparicin aporta menos informacin que la ocurren-
cia de mensajes menos probables. Si luego de cadena de
c leemos himichurri la cantidad de informacin que
estamos recibiendo es mucho mayor.
6 Entropa e informacin
La informacin es tratada como magnitud fsica, carac-
terizando la informacin de una secuencia de smbolos
utilizando la entropa. Se parte de la idea de que los ca-
nales no son ideales, aunque muchas veces se idealicen las
no linealidades, para estudiar diversos mtodos de envo
de informacin o la cantidad de informacin til que se
pueda enviar a travs de un canal.
La informacin necesaria para especicar un sistema f-
sico tiene que ver con su entropa. En concreto, en ciertas
reas de la fsica, extraer informacin del estado actual de
un sistema requiere reducir su entropa, de tal manera que
S SI 0
6.1 Entropa de una fuente
De acuerdo a la teora de la informacin, el nivel de infor-
macin de una fuente se puede medir segn la entropa
de la misma. Los estudios sobre la entropa son de su-
ma importancia en la teora de la informacin y se de-
ben principalmente a C. E. Shannon. Existe, a su vez, un
gran nmero de propiedades respecto de la entropa de
variables aleatorias debidas a A. Kolmogorov. Dada una
fuente F que emite mensajes, resulta frecuente observar
que los mensajes emitidos no resulten equiprobables sino
4 7 OTROS ASPECTOS DE LA TEORA

que tienen una cierta probabilidad de ocurrencia depen- La longitud mnima con la cual puede codicarse un men-
diendo del mensaje. Para codicar los mensajes de una saje puede calcularse como Li=log2 (1/Pi) = -log2 (Pi).
fuente intentaremos pues utilizar menor cantidad de bits Esto da una idea de la longitud a emplear en los cdigos
para los mensajes ms probables y mayor cantidad de bits a usar para los caracteres de un archivo en funcin de su
para los mensajes menos probables, de forma tal que el probabilidad de ocurrencia. Reemplazando Li podemos
promedio de bits utilizados para codicar los mensajes escribir H como:
sea menor a la cantidad de bits promedio de los mensa-
jes originales. Esta es la base de la compresin de datos. n
H= i=0 Pi log2 Pi
A este tipo de fuente se la denomina fuente de orden-0,
pues la probabilidad de ocurrencia de un mensaje no de-
De aqu se deduce que la entropa de la fuente depen-
pende de los mensajes anteriores. A las fuentes de orden
de nicamente de la probabilidad de ocurrencia de cada
superior se las puede representar mediante una fuente de
mensaje de la misma, por ello la importancia de los com-
orden-0 utilizando tcnicas de modelizacin apropiadas.
presores estadsticos (aquellos que se basan en la probabi-
Denimos la probabilidad de ocurrencia de un mensaje
lidad de ocurrencia de cada carcter). Shannon demostr,
en una fuente como la cantidad de apariciones de dicho
oportunamente que no es posible comprimir una fuente
mensaje dividido entre el total de mensajes. Supongamos
estadsticamente ms all del nivel indicado por su entro-
que Pi es la probabilidad de ocurrencia del mensaje-i de
pa. [6][7]
una fuente, y supongamos que Li es la longitud del cdigo
utilizado para representar a dicho mensaje. La longitud
promedio de todos los mensajes codicados de la fuente
se puede obtener como: 7 Otros aspectos de la teora
n Fuentes de informacin
H= i=0 Pi Li
Teorema de muestreo de Nyquist-Shannon
Promedio ponderado de las longitudes de los cdi- Entropa
gos de acuerdo a sus probabilidades de ocurrencia,
al nmero H se lo denomina Entropa de la fuente Neguentropa
y tiene gran importancia. La entropa de la fuente Informacin mutua
determina el nivel de compresin que podemos ob-
tener como mximo para un conjunto de datos, si Canales
consideramos como fuente a un archivo y obtene-
mos las probabilidades de ocurrencia de cada carc- Capacidad
ter en el archivo podremos calcular la longitud pro-
medio del archivo comprimido, se demuestra que Compresin de datos
no es posible comprimir estadsticamente un men-
saje/archivo ms all de su entropa. Lo cual implica Codicacin de fuente
que considerando nicamente la frecuencia de apa-
Cdigos no-singulares
ricin de cada carcter la entropa de la fuente nos
da el lmite terico de compresin, mediante otras Cdigos unvocamente decodicables
tcnicas no-estadsticas puede, tal vez, superarse es- Extensin de cdigo
te lmite.
Cdigos prejo (o cdigos instantneos)
El objetivo de la compresin de datos es encontrar
los Li que minimizan a H, adems los Li se deben de- Control de errores
terminar en funcin de los Pi, pues la longitud de los
cdigos debe depender de la probabilidad de ocu- FEC
rrencia de los mismos (los ms ocurrentes queremos ARQ
codicarlos en menos bits). Se plantea pues: Parada y espera
n Rechazo mltiple
H= i=0 Pi f (Pi ) Rechazo selectivo
Tcnicas hbridas
A partir de aqu y tras intrincados procedimientos mate-
mticos que fueron demostrados por Shannon oportuna- Concatenacin de cdigos
mente se llega a que H es mnimo cuando f(Pi) = log2 Tipo 1
(1/Pi). Entonces: Tipo 2
n
H= i=0 Pi ( log2 Pi ) Deteccin de errores
 5

Bits de redundancia
Mtodos de control de errores
Paridad
Cdigos autochequeo y autocorrec-
tores
Cdigos de bloque
Distancia Hamming
Paridad horizontal y vertical
Cdigos lineales
Cdigos cclicos
CRC16
CRC32

8 Vase tambin
Informacin

Teora algortmica de la informacin

9 Referencias
[1] Teora matemtica de la comunicacin

[2] Teora Matemtica de la Comunicacin

[3] Teora de la Informacin

[4] Teora Matemtico-informacional

[5] Teora de la Informacin | Textos Cientcos

[6] Teora de la Informacin

[7] Teora Matemtica de la Informacin

6 10 TEXT AND IMAGE SOURCES, CONTRIBUTORS, AND LICENSES

10 Text and image sources, contributors, and licenses

10.1 Text
Teora de la informacin Fuente: http://es.wikipedia.org/wiki/Teor%C3%ADa%20de%20la%20informaci%C3%B3n?oldid=80080605
Colaboradores: AstroNomo, PACO, ManuelGR, Interwiki, Sms, Ivan.Romero, Loco085, Yurik, Edub, Rembiapo pohyiete (bot), LP, Ro-
botQuistnix, Sebasg37, Chobot, Jesuja, Eloy, Er Komandante, Chlewbot, Paintman, Fercufer, BOTpolicia, ULIF050020014, Valdrik, Da-
vius, CaesarExcelsus, Thijs!bot, JAnDbot, Gbsuar, TXiKiBoT, Lalaconyforever, Elisardojm, Humberto, Cinevoro, VolkovBot, Urdangaray,
Technopat, Muro Bot, SieBot, Pompilio Zigrino, Correogsk, Estirabot, BetoCG, Nerika, Julian leonardo paez, Ucevista, AVBOT, Diegus-
jaimes, Arjuno3, Luckas-bot, Nallimbot, Barnacaga, SuperBraulio13, Xqbot, Jkbw, Botarel, Execoot, Rcamacho, Frandzi.rangel, Velual,
EmausBot, ChessBOT, WikitanvirBot, Loekiller, Earnaor, MerlIwBot, Nicoletis, Invadibot, Acratta, RosenJax, Addbot, JacobRodrigues,
Egis57 y Annimos: 63

10.2 Images
Archivo:Esquema_de_comunicacin_Shannon.png Fuente: http://upload.wikimedia.org/wikipedia/commons/b/b6/Esquema_de_
comunicaci%C3%B3n_Shannon.png Licencia: CC BY-SA 3.0 Colaboradores: Trabajo propio Artista original: Nicoletis

10.3 Content license

Creative Commons Attribution-Share Alike 3.0