Teoría de la información
La teoría de la información, también conocida como
teoría matemática de la comunicación (mathematical
theory of communication) o teoría matemática de la
información, es una propuesta teórica presentada por
Claude E. Shannon y Warren Weaver a finales de la déca-
da de los años 1940. Esta teoría está relacionada con las
leyes matemáticas que rigen la transmisión y el procesa-
miento de la información y se ocupa de la medición de la
información y de la representación de la misma, así como
también de la capacidad de los sistemas de comunicación
para transmitir y procesar información.[1] La teoría de la
información es una rama de la teoría matemática y de las
ciencias de la computación que estudia la información y
todo lo relacionado con ella: canales, compresión de datos
y criptografía, entre otros.
1 Historia
La teoría de la información surgió a finales de la Segunda
Guerra Mundial, en los años cuarenta. Fue iniciada por
Claude E. Shannon a través de un artículo publicado en
el Bell System Technical Journal en 1948, titulado Una
teoría matemática de la comunicación (texto completo
en inglés). En esta época se buscaba utilizar de manera
más eficiente los canales de comunicación, enviando una
cantidad de información por un determinado canal y mi-
diendo su capacidad; se buscaba la transmisión óptima
de los mensajes. Esta teoría es el resultado de trabajos
comenzados en la década 1910 por Andrei A. Marko-
vi, a quien le siguió Ralp V. L. Hartley en 1927, quien
fue el precursor del lenguaje binario. A su vez, Alan Tu-
ring en 1936, realizó el esquema de una máquina capaz
de tratar información con emisión de símbolos, y final-
mente Claude Elwood Shannon, matemático, ingeniero
electrónico y criptógrafo estadounidense, conocido como
“el padre de la teoría de la información”, junto a Wa-
rren Weaver, contribuyó en la culminación y el asenta-
miento de la Teoría Matemática de la Comunicación de
1949 –que hoy es mundialmente conocida por todos co-
mo la Teoría de la Información-. Weaver consiguió darle
un alcance superior al planteamiento inicial, creando un
modelo simple y lineal: Fuente/codificador/mensaje ca-
nal/decodificador/destino. La necesidad de una base teó-
rica para la tecnología de la comunicación surgió del au-
mento de la complejidad y de la masificación de las vías
de comunicación, tales como el teléfono, las redes de
teletipo y los sistemas de comunicación por radio. La teo-
ría de la información también abarca todas las restantes
formas de transmisión y almacenamiento de información,
1
incluyendo la televisión y los impulsos eléctricos que se
transmiten en las computadoras y en la grabación óptica
de datos e imágenes. La idea es garantizar que el trans-
porte masivo de datos no sea en modo alguno una merma
de la calidad, incluso si los datos se comprimen de algu-
na manera. Idealmente, los datos se pueden restaurar a su
forma original al llegar a su destino. En algunos casos, sin
embargo, el objetivo es permitir que los datos de alguna
forma se conviertan para la transmisión en masa, se reci-
ban en el punto de destino y sean convertidos fácilmente a
su formato original, sin perder ninguna de la información
transmitida.[2]
2 Desarrollo de la teoría
El modelo propuesto por Shannon es un sistema general
de la comunicación que parte de una fuente de informa-
ción desde la cual, a través de un transmisor, se emite
una señal, la cual viaja por un canal, pero a lo largo de su
viaje puede ser interferida por algún ruido. La señal sale
del canal, llega a un receptor que decodifica la informa-
ción convirtiéndola posteriormente en mensaje que pasa
a un destinatario. Con el modelo de la teoría de la in-
formación se trata de llegar a determinar la forma más
económica, rápida y segura de codificar un mensaje, sin
que la presencia de algún ruido complique su transmisión.
Para esto, el destinatario debe comprender la señal co-
rrectamente; el problema es que aunque exista un mismo
código de por medio, esto no significa que el destinata-
rio va a captar el significado que el emisor le quiso dar al
mensaje. La codificación puede referirse tanto a la trans-
formación de voz o imagen en señales eléctricas o electro-
magnéticas, como al cifrado de mensajes para asegurar
su privacidad. Un concepto fundamental en la teoría de
la información es que la cantidad de información conteni-
da en un mensaje es un valor matemático bien definido y
medible. El término cantidad no se refiere a la cuantía de
datos, sino a la probabilidad de que un mensaje, dentro
de un conjunto de mensajes posibles, sea recibido. En lo
que se refiere a la cantidad de información, el valor más
alto se le asigna al mensaje que menos probabilidades tie-
ne de ser recibido. Si se sabe con certeza que un mensaje
va a ser recibido, su cantidad de información es cero.[3]
2 5 ELEMENTOS DE LA TEORÍA

3 Finalidad mentales de cada país que forma parte de Internet, lo que

proporciona un servicio prácticamente gratuito. A princi-
Otro aspecto importante dentro de esta teoría es la re- pios de 1994 comenzó a darse un crecimiento explosivo
sistencia a la distorsión que provoca el ruido, la facilidadde las compañías con propósitos comerciales en Internet,
de codificación y descodificación, así como la velocidad dando así origen a una nueva etapa en el desarrollo de la
de transmisión. Es por esto que se dice que el mensaje red. Descrito a grandes rasgos, TCP/IP mete en paque-
tiene muchos sentidos, y el destinatario extrae el sentido tes la información que se quiere enviar y la saca de los
que debe atribuirle al mensaje, siempre y cuando haya paquetes para utilizarla cuando se recibe. Estos paquetes
un mismo código en común. La teoría de la información pueden compararse con sobres de correo; TCP/IP guarda
tiene ciertas limitaciones, como lo es la acepción del con- la información, cierra el sobre y en la parte exterior pone
cepto del código. El significado que se quiere transmitir la dirección a la cual va dirigida y la dirección de quien
no cuenta tanto como el número de alternativas necesa- la envía. Mediante este sistema, los paquetes viajan a tra-
rio para definir el hecho sin ambigüedad. Si la selección vés de la red hasta que llegan al destino deseado; una vez
del mensaje se plantea únicamente entre dos alternativas ahí, la computadora de destino quita el sobre y procesa
diferentes, la teoría de Shannon postula arbitrariamente la información; en caso de ser necesario envía una res-
que el valor de la información es uno. Esta unidad de in- puesta a la computadora de origen usando el mismo pro-
formación recibe el nombre de bit. Para que el valor de cedimiento. Cada máquina que está conectada a Internet
la información sea un bit, todas las alternativas deben ser tiene una dirección única; esto hace que la información
igual de probables y estar disponibles. Es importante sa- que se envía no equivoque el destino. Existen dos formas
ber si la fuente de información tiene el mismo grado de de dar direcciones, con letras o con números. Realmente,
libertad para elegir cualquier posibilidad o si se halla ba-las computadoras utilizan las direcciones numéricas pa-
jo alguna influencia que la induce a una cierta elección. ra mandar paquetes de información, pero las direcciones
La cantidad de información crece cuando todas las al- con letras fueron implementadas para facilitar su manejo
ternativas son igual de probables o cuanto mayor sea el a los seres humanos. Una dirección con letras consta de
número de alternativas. Pero en la práctica comunicativa dos a cuatro partes. Una dirección numérica está com-
real no todas las alternativas son igualmente probables, puesta por cuatro partes. Cada una de estas partes está
lo cual constituye un tipo de proceso estocástico denomi- dividida por puntos.
nado Markoff. El subtipo de Markoff dice que la cadena Ejemplo: sedet.com.mx 107.248.185.1
de símbolos está configurada de manera que cualquier se-
Una de las aplicaciones de la teoría de la información son
cuencia de esa cadena es representativa de toda la cadena
los archivos ZIP, documentos que se comprimen para su
completa.
transmisión a través de correo electrónico o como parte
de los procedimientos de almacenamiento de datos. La
compresión de los datos hace posible completar la trans-
4 Teoría aplicada a la tecnología misión en menos tiempo. En el extremo receptor, un soft-
ware se utiliza para la liberación o descompresión del ar-
chivo, restaurando los documentos contenidos en el ar-
La Teoría de la Información se encuentra aún hoy en día chivo ZIP a su formato original. La teoría de la informa-
en relación con una de las tecnologías en boga, Internet. ción también entra en uso con otros tipos de archivo; por
Desde el punto de vista social, Internet representa unos ejemplo, los archivos de audio y vídeo que se reproducen
significativos beneficios potenciales, ya que ofrece opor- en un reproductor de MP3 se comprimen para una fácil
tunidades sin precedentes para dar poder a los individuos descarga y almacenamiento en el dispositivo. Cuando se
y conectarlos con fuentes cada vez más ricas de informa- accede a los archivos se amplían para que estén inmedia-
ción digital. Internet fue creado a partir de un proyecto tamente disponibles para su uso.[4]
del departamento de defensa de los Estados Unidos lla-
mado DARPANET (Defense Advanced Research Project
Network) iniciado en 1969 y cuyo propósito principal era
la investigación y desarrollo de protocolos de comunica-
5 Elementos de la teoría
ción para redes de área amplia para ligar redes de transmi-
sión de paquetes de diferentes tipos capaces de resistir las 5.1 Fuente
condiciones de operación más difíciles, y continuar fun-
cionando aún con la pérdida de una parte de la red (por Una fuente es todo aquello que emite mensajes. Por ejem-
ejemplo en caso de guerra). Estas investigaciones dieron plo, una fuente puede ser una computadora y mensajes
como resultado el protocolo TCP/IP (Transmission Con- sus archivos; una fuente puede ser un dispositivo de trans-
trol Protocol/Internet Protocol), un sistema de comunica- misión de datos y mensajes los datos enviados, etc. Una
ciones muy sólido y robusto bajo el cual se integran to- fuente es en sí misma un conjunto finito de mensajes: to-
das las redes que conforman lo que se conoce actualmen- dos los posibles mensajes que puede emitir dicha fuente.
te como Internet. El enorme crecimiento de Internet se En compresión de datos se tomará como fuente el archivo
debe en parte a que es una red basada en fondos guberna- a comprimir y como mensajes los caracteres que confor-
5.5 Información
Esquema de la comunicación ideado por Claude E. Shannon.
man dicho archivo.
5.2 Tipos de fuente
Por la naturaleza generativa de sus mensajes, una fuente
puede ser aleatoria o determinista. Por la relación entre
los mensajes emitidos, una fuente puede ser estructurada
o no estructurada (o caótica).
Existen varios tipos de fuente. Para la teoría de la infor-
mación interesan las fuentes aleatorias y estructuradas.
Una fuente es aleatoria cuando no es posible predecir cuál
es el próximo mensaje a emitir por la misma. Una fuente
es estructurada cuando posee un cierto nivel de redun-
dancia; una fuente no estructurada o de información pura
es aquella en que todos los mensajes son absolutamen-
te aleatorios sin relación alguna ni sentido aparente. Este
tipo de fuente emite mensajes que no se pueden compri-
mir; un mensaje, para poder ser comprimido, debe po-
seer un cierto grado de redundancia; la información pura
no puede ser comprimida sin que haya una pérdida de
conocimiento sobre el mensaje.[5]
5.3 Mensaje
Un mensaje es un conjunto de ceros y unos. Un archivo, la entropía del sistema ( S ) y la cantidad de información
un paquete de datos que viaja por una red y cualquier cosa ( I ) extraíble están relacionadas por:
que tenga una representación binaria puede considerarse
un mensaje. El concepto de mensaje se aplica también a
alfabetos de más de dos símbolos, pero debido a que trata-
mos con información digital nos referiremos casi siempre
a mensajes binarios.
5.4 Código
Un código es un conjunto de unos y ceros que se usan
para representar un cierto mensaje de acuerdo a reglas
o convenciones preestablecidas. Por ejemplo, al mensaje
0010 lo podemos representar con el código 1101 usan-
do para codificar la función (NOT). La forma en la cual
codificamos es arbitraria. Un mensaje puede, en algunos
3
casos, representarse con un código de menor longitud que
el mensaje original. Supongamos que a cualquier mensa-
je S lo codificamos usando un cierto algoritmo de forma
tal que cada S es codificado en L(S) bits; definimos en-
tonces la información contenida en el mensaje S como
la cantidad mínima de bits necesarios para codificar un
mensaje.
5.5 Información
La información contenida en un mensaje es proporcional
a la cantidad de bits que se requieren como mínimo para
representar al mensaje. El concepto de información pue-
de entenderse más fácilmente si consideramos un ejem-
plo. Supongamos que estamos leyendo un mensaje y he-
mos leído “cadena de c"; la probabilidad de que el mensa-
je continúe con “aracteres” es muy alta. Así, cuando efec-
tivamente recibimos a continuación “aracteres” la canti-
dad de información que nos llegó es muy baja pues es-
tábamos en condiciones de predecir qué era lo que iba a
ocurrir. La ocurrencia de mensajes de alta probabilidad
de aparición aporta menos información que la ocurren-
cia de mensajes menos probables. Si luego de “cadena de
c” leemos “himichurri” la cantidad de información que
estamos recibiendo es mucho mayor.
6 Entropía e información
La información es tratada como magnitud física, carac-
terizando la información de una secuencia de símbolos
utilizando la entropía. Se parte de la idea de que los ca-
nales no son ideales, aunque muchas veces se idealicen las
no linealidades, para estudiar diversos métodos de envío
de información o la cantidad de información útil que se
pueda enviar a través de un canal.
La información necesaria para especificar un sistema fí-
sico tiene que ver con su entropía. En concreto, en ciertas
áreas de la física, extraer información del estado actual de
un sistema requiere reducir su entropía, de tal manera que
S ≥S−I ≥0
6.1 Entropía de una fuente
De acuerdo a la teoría de la información, el nivel de infor-
mación de una fuente se puede medir según la entropía
de la misma. Los estudios sobre la entropía son de su-
ma importancia en la teoría de la información y se de-
ben principalmente a C. E. Shannon. Existe, a su vez, un
gran número de propiedades respecto de la entropía de
variables aleatorias debidas a A. Kolmogorov. Dada una
fuente F que emite mensajes, resulta frecuente observar
que los mensajes emitidos no resulten equiprobables sino
4 7 OTROS ASPECTOS DE LA TEORÍA

que tienen una cierta probabilidad de ocurrencia depen- La longitud mínima con la cual puede codificarse un men-
diendo del mensaje. Para codificar los mensajes de una saje puede calcularse como Li=log2 (1/Pi) = -log2 (Pi).
fuente intentaremos pues utilizar menor cantidad de bits Esto da una idea de la longitud a emplear en los códigos
para los mensajes más probables y mayor cantidad de bits a usar para los caracteres de un archivo en función de su
para los mensajes menos probables, de forma tal que el probabilidad de ocurrencia. Reemplazando Li podemos
promedio de bits utilizados para codificar los mensajes escribir H como:
sea menor a la cantidad de bits promedio de los mensa-
jes originales. Esta es la base de la compresión de datos. ∑n
H= i=0 −Pi log2 Pi
A este tipo de fuente se la denomina fuente de orden-0,
pues la probabilidad de ocurrencia de un mensaje no de-
De aquí se deduce que la entropía de la fuente depen-
pende de los mensajes anteriores. A las fuentes de orden
de únicamente de la probabilidad de ocurrencia de cada
superior se las puede representar mediante una fuente de
mensaje de la misma, por ello la importancia de los com-
orden-0 utilizando técnicas de modelización apropiadas.
presores estadísticos (aquellos que se basan en la probabi-
Definimos la probabilidad de ocurrencia de un mensaje
lidad de ocurrencia de cada carácter). Shannon demostró,
en una fuente como la cantidad de apariciones de dicho
oportunamente que no es posible comprimir una fuente
mensaje dividido entre el total de mensajes. Supongamos
estadísticamente más allá del nivel indicado por su entro-
que Pi es la probabilidad de ocurrencia del mensaje-i de
pía. [6][7]
una fuente, y supongamos que Li es la longitud del código
utilizado para representar a dicho mensaje. La longitud
promedio de todos los mensajes codificados de la fuente
se puede obtener como: 7 Otros aspectos de la teoría
∑n • Fuentes de información
H= i=0 Pi Li
• Teorema de muestreo de Nyquist-Shannon
• Promedio ponderado de las longitudes de los códi- • Entropía
gos de acuerdo a sus probabilidades de ocurrencia,
al número H se lo denomina “Entropía de la fuente” • Neguentropía
y tiene gran importancia. La entropía de la fuente • Información mutua
determina el nivel de compresión que podemos ob-
tener como máximo para un conjunto de datos, si • Canales
consideramos como fuente a un archivo y obtene-
mos las probabilidades de ocurrencia de cada carác- • Capacidad
ter en el archivo podremos calcular la longitud pro-
medio del archivo comprimido, se demuestra que • Compresión de datos
no es posible comprimir estadísticamente un men-
saje/archivo más allá de su entropía. Lo cual implica • Codificación de fuente
que considerando únicamente la frecuencia de apa-
• Códigos no-singulares
rición de cada carácter la entropía de la fuente nos
da el límite teórico de compresión, mediante otras • Códigos unívocamente decodificables
técnicas no-estadísticas puede, tal vez, superarse es- • Extensión de código
te límite.
• Códigos prefijo (o códigos instantáneos)
• El objetivo de la compresión de datos es encontrar
los Li que minimizan a H, además los Li se deben de- • Control de errores
terminar en función de los Pi, pues la longitud de los
códigos debe depender de la probabilidad de ocu- • FEC
rrencia de los mismos (los más ocurrentes queremos • ARQ
codificarlos en menos bits). Se plantea pues: • Parada y espera
∑n • Rechazo múltiple
H= i=0 Pi f (Pi ) • Rechazo selectivo
• Técnicas híbridas
A partir de aquí y tras intrincados procedimientos mate-
máticos que fueron demostrados por Shannon oportuna- • Concatenación de códigos
mente se llega a que H es mínimo cuando f(Pi) = log2 • Tipo 1
(1/Pi). Entonces: • Tipo 2
∑n
H= i=0 Pi (− log2 Pi ) • Detección de errores
 5

• Bits de redundancia
• Métodos de control de errores
• Paridad
• Códigos autochequeo y autocorrec-
tores
• Códigos de bloque
• Distancia Hamming
• Paridad horizontal y vertical
• Códigos lineales
• Códigos cíclicos
• CRC16
• CRC32

8 Véase también
• Información

• Teoría algorítmica de la información

9 Referencias
[1] Teoría matemática de la comunicación

[2] Teoría Matemática de la Comunicación

[3] Teoría de la Información

[4] Teoría Matemático-informacional

[5] Teoría de la Información | Textos Científicos

[6] Teoría de la Información

[7] Teoría Matemática de la Información

6 10 TEXT AND IMAGE SOURCES, CONTRIBUTORS, AND LICENSES

10 Text and image sources, contributors, and licenses

10.1 Text
• Teoría de la información Fuente: http://es.wikipedia.org/wiki/Teor%C3%ADa%20de%20la%20informaci%C3%B3n?oldid=80080605
Colaboradores: AstroNomo, PACO, ManuelGR, Interwiki, Sms, Ivan.Romero, Loco085, Yurik, Edub, Rembiapo pohyiete (bot), LP, Ro-
botQuistnix, Sebasg37, Chobot, Jesuja, Eloy, Er Komandante, Chlewbot, Paintman, Fercufer, BOTpolicia, ULIF050020014, Valdrik, Da-
vius, CaesarExcelsus, Thijs!bot, JAnDbot, Gbsuar, TXiKiBoT, Lalaconyforever, Elisardojm, Humberto, Cinevoro, VolkovBot, Urdangaray,
Technopat, Muro Bot, SieBot, Pompilio Zigrino, Correogsk, Estirabot, BetoCG, Nerika, Julian leonardo paez, Ucevista, AVBOT, Diegus-
jaimes, Arjuno3, Luckas-bot, Nallimbot, Barnacaga, SuperBraulio13, Xqbot, Jkbw, Botarel, Execoot, Rcamacho, Frandzi.rangel, Velual,
EmausBot, ChessBOT, WikitanvirBot, Loekiller, Earnaor, MerlIwBot, Nicoletis, Invadibot, Acratta, RosenJax, Addbot, JacobRodrigues,
Egis57 y Anónimos: 63

10.2 Images
• Archivo:Esquema_de_comunicación_Shannon.png Fuente: http://upload.wikimedia.org/wikipedia/commons/b/b6/Esquema_de_
comunicaci%C3%B3n_Shannon.png Licencia: CC BY-SA 3.0 Colaboradores: Trabajo propio Artista original: Nicoletis

10.3 Content license

• Creative Commons Attribution-Share Alike 3.0