Shannon2 en Es

Aftab, Cheung, Kim, Thakkar, Yeddanapudi yo NFORMACIÓN T HEORY y T S.
E re IGITAL R EVOLUCIÓN 1
Teoría de la información
LA TEORÍA DE LA INFORMACIÓN Y LA ERA DIGITAL
UN FTAB, C HEUNG, K ESTOY, T HAKKAR, Y EDDANAPUDI
6.933 - F INAL PAGS APER
6.933 Historia del proyecto, Instituto de Tecnología de Massachusetts

SNAPES@MIT.EDU
Aftab, Cheung, Kim, Thakkar, Yeddanapudi yo NFORMACIÓN T HEORY y T S.E re IGITAL R EVOLUCIÓN 2
INTRODUCCIÓN
La teoría de la información es uno de los pocos campos científicos lo suficientemente afortunados como para tener un
comenzando - Artículo de 1948 de Claude Shannon. La historia de la evolución de cómo pasó de un solo artículo teórico
a un campo amplio que ha redefinido nuestro mundo es fascinante. Brinda la oportunidad de estudiar las interacciones
sociales, políticas y tecnológicas que han ayudado a guiar su desarrollo y definir su trayectoria, y nos da una idea de
cómo evoluciona un nuevo campo.
A menudo escuchamos a Claude Shannon llamado el padre de la era digital. Al comienzo de su artículo, Shannon reconoce el
trabajo realizado antes que él, por pioneros como Harry Nyquist y RVL. Hartley en Bell Labs en la década de 1920. Aunque su
influencia fue profunda, el trabajo de esos pioneros fue limitado y se centró en sus propias aplicaciones particulares. Fue la
visión unificadora de Shannon la que revolucionó la comunicación y generó una multitud de investigaciones sobre
comunicación que ahora definimos como el campo de la Teoría de la Información.
Uno de esos conceptos clave fue su definición del límite para la capacidad del canal. Similar a la Ley de Moore, el límite de
Shannon puede considerarse una profecía autocumplida. Es un punto de referencia que le dice a la gente lo que se puede
hacer y lo que queda por hacer, obligándoles a lograrlo.
Lo que hizo posible, lo que indujo el desarrollo de la codificación como teoría y el desarrollo de
códigos muy complicados, fue el Teorema de Shannon: te dijo que se podía hacer, así que la gente
trató de hacerlo.
[Entrevista a Fano, R. 2001]
A lo largo de nuestra historia, exploramos cómo el área de la codificación, en particular, evoluciona para alcanzar este límite. Fue la
constatación de que ni siquiera estábamos cerca lo que renovó el interés por la investigación en comunicaciones.
La teoría de la información no fue solo un producto del trabajo de Claude Shannon. Fue el resultado de contribuciones cruciales
hechas por muchas personas distintas, de una variedad de orígenes, que tomaron sus ideas y las ampliaron. De hecho, la
diversidad y las direcciones de sus perspectivas e intereses dieron forma a la dirección de la Teoría de la Información.
Al principio, la investigación era principalmente teórica, con pocas aplicaciones prácticas percibidas. Christensen dice que el
dilema del innovador es que no puede obtener apoyo para sus nuevas ideas porque no siempre puede garantizar un beneficio
final. Afortunadamente, la Teoría de la Información fue patrocinada en anticipación a lo que podría proporcionar. Esta
perseverancia e interés continuo eventualmente resultó en la multitud de tecnologías que tenemos hoy.
En este artículo, exploramos cómo estos temas y conceptos se manifiestan en la trayectoria de la Teoría de la Información. Comienza
como un amplio espectro de campos, desde la administración hasta la biología, todos creyendo que la Teoría de la Información es
una 'llave mágica' para la comprensión multidisciplinaria. A medida que el campo se movía de este caos inicial, varias influencias
redujeron su enfoque. Dentro de estos límites establecidos, influencias externas, como la carrera espacial, dirigieron el progreso del
campo. A pesar de todo, la expansión de la teoría de la información fue controlada constantemente por hardware

SNAPES@MIT.EDU
limitaciones tecnológicas; de hecho, la falta de tal tecnología causó la "muerte" de la teoría de la información, y su
amplia disponibilidad está detrás de su abrumador éxito actual.
LA "TEORÍA MATEMÁTICA DE LA COMUNICACIÓN" DE SHANNON
“Antes de 1948, solo existía una idea borrosa de lo que era un mensaje. Había una comprensión
rudimentaria de cómo transmitir una forma de onda y procesar una forma de onda recibida, pero
esencialmente no había comprensión de cómo convertir una forma de onda mensaje en un transmitido forma
de onda. "[Gallager, Claude Shannon: una retrospectiva, 2001 pág. 2683]
En 1948, Shannon publicó su artículo "Una teoría matemática de la comunicación" en el Revista técnica de Bell Systems. Mostró
cómo se puede cuantificar la información con absoluta precisión y demostró la unidad esencial de todos los medios de
información. Las señales telefónicas, texto, ondas de radio e imágenes, esencialmente todos los modos de comunicación,
podrían codificarse en bits. El documento proporcionó un "plan para la era digital" 1
Desde el Revista técnica de Bell Systems estaba dirigido solo a ingenieros de comunicación, el matemático Warren Weaver
"tenía la sensación de que esto debería llegar a un público más amplio que (solo) las personas en el campo", recuerda Betty
Shannon 2. Se reunió con Shannon y, juntos, publicaron "La teoría matemática de la comunicación" en 1949. El cambio de "A"
a "The" estableció el artículo de Shannon como la nueva "escritura" sobre el tema - permitió llegar a un ámbito mucho más
amplio grupo de personas.
¿Por qué fue tan influyente el artículo de Shannon? ¿Qué tenía este periódico para que la gente se refiera a él como uno de los
mayores triunfos intelectuales del siglo XX? La respuesta está en los conceptos innovadores que Una teoría matemática de la
comunicación contiene. Conceptos que fueron lo suficientemente influyentes como para ayudar a cambiar el mundo.
En realidad, hay cuatro conceptos principales en el artículo de Shannon. Tener una idea de cada uno es esencial para comprender el impacto
de la teoría de la información.
Capacidad de canal y teorema de codificación de canal ruidoso

Quizás el más eminente de los resultados de Shannon fue el concepto de que cada canal de comunicación tenía un límite de
velocidad, medido en dígitos binarios por segundo: este es el famoso límite de Shannon, ejemplificado por la famosa y
familiar fórmula de la capacidad de un canal de ruido blanco gaussiano:
CWt =Iniciar sesión2 P + N

norte
1 Gallager, R. Citado en Technology Review,

2 Shannon, B. Entrevista telefónica

SNAPES@MIT.EDU
La mala noticia es que es matemáticamente imposible conseguir una comunicación sin errores por encima del límite. No importa cuán
sofisticado sea el esquema de corrección de errores que utilice, no importa cuánto pueda comprimir los datos, no puede hacer que el
canal vaya más rápido que el límite sin perder algo de información.
La buena noticia es que por debajo del límite de Shannon, es posible transmitir información sin error. Shannon
demostró matemáticamente que había formas de codificar la información que le permitirían llegar al límite sin
errores: sin importar la cantidad de ruido o estática, o cuán débil fuera la señal.
Por supuesto, uno podría necesitar codificar la información con más y más bits, para que la mayoría de ellos pasen y los
perdidos puedan regenerarse a partir de los demás. La mayor complejidad y longitud del mensaje haría que la
comunicación fuera cada vez más lenta, pero esencialmente, por debajo del límite, podría hacer que la probabilidad de
error sea tan baja como desee.
¿Hacer que la posibilidad de error sea tan pequeña como desee? Nadie había pensado nunca en eso.
Cómo consiguió esa idea, cómo llegó a creer tal cosa, no lo sé. Pero casi toda la ingeniería de
comunicaciones moderna se basa en ese trabajo. [Fano, R. citado en Technology Review, julio de 2001]
El teorema de codificación de canal ruidoso es lo que dio lugar a todo el campo de códigos de corrección de errores y codificación
de canal teoría: el concepto de introducir redundancia en la representación digital para proteger contra la corrupción. Hoy, si toma
un CD, lo raspa con un cuchillo y lo reproduce, se reproducirá perfectamente. Eso es gracias al teorema del canal ruidoso.
Arquitectura formal de sistemas de comunicación

El siguiente diagrama ilustra la arquitectura formal que Shannon ofreció como esquema para un sistema de comunicación
general. Abra el comienzo de cualquier libro de texto aleatorio sobre comunicaciones, o incluso un artículo o una
monografía, y encontrará este diagrama.
Figura 1. Tomado de “Una teoría matemática de la comunicación” de Shannon, página 3.
Esta figura representa una de las grandes contribuciones de A Mathematical Theory of Communication: la
arquitectura y el diseño de sistemas de comunicación. Demuestra que cualquier

SNAPES@MIT.EDU
El sistema de comunicación se puede separar en componentes, que se pueden tratar de forma independiente como modelos
matemáticos distintos. Por lo tanto, es posible separar completamente el diseño de la fuente del diseño del canal. El propio
Shannon se dio cuenta de que su modelo tenía “aplicaciones no solo en la teoría de la comunicación, sino también en la teoría de
las máquinas informáticas, el diseño de centrales telefónicas y otros campos”. 3
Todos los sistemas de comunicación actuales se basan esencialmente en este modelo: es verdaderamente 'un modelo para la era
digital'
Representacion digital
Shannon también se dio cuenta de que el contenido del mensaje era irrelevante para su transmisión: no importaba lo que
representara el mensaje. Podría ser texto, sonido, imagen o video, pero todos eran 0 y 1 en el canal. En un artículo de
seguimiento, Shannon también señaló que una vez que los datos se representan digitalmente, se pueden regenerar y
transmitir sin errores.
Esta fue una idea radical para los ingenieros que estaban acostumbrados a pensar en transmitir información como una forma de onda
electromagnética a través de un cable. Antes de Shannon, los ingenieros de comunicaciones trabajaban en sus propios campos distintos,
cada uno con sus propias técnicas distintas: la telegrafía, la telefonía, la transmisión de audio y datos no tenían nada que ver entre sí.
La visión de Shannon unificó toda la ingeniería de la comunicación, estableciendo que el texto, las señales telefónicas, las imágenes y las
películas, todos los modos de comunicación, podían codificarse en bits, un término que se utilizó por primera vez en forma impresa en su artículo.
Esta representación digital es la base fundamental de todo lo que tenemos hoy.
Eficiencia de representación: codificación fuente

En su artículo, Shannon también analiza codificación de fuente, que se ocupa de la representación eficiente de datos. Hoy el término es
sinónimo de compresión de datos. El objetivo básico de la codificación de fuente es eliminar la redundancia en la información para hacer
que el mensaje sea más pequeño. En su exposición, analiza un método sin pérdidas para comprimir datos en la fuente, utilizando un código
de bloque de tasa variable, más tarde llamado código Shannon-Fano.
Un desafío planteado por Shannon en su artículo de 1948 fue el diseño de un código que fuera óptimo en el sentido de que
minimizaría la longitud esperada. (El código Shannon-Fano que introdujo no siempre es óptimo). Tres años más tarde, David
Huffman, un estudiante de la clase del profesor Fano en el MIT, ideó Huffman Coding, que se usa ampliamente para la
compresión de datos. Los archivos JPEG, MP3 y .ZIP son solo algunos ejemplos.
Contenido de entropía e información

Como hemos comentado, el artículo de Shannon expresó la capacidad de un canal: definir la cantidad de información que se
puede enviar por un canal ruidoso en términos de transmitir poder y banda ancha.
Al hacerlo, Shannon demostró que los ingenieros podían elegir enviar una determinada cantidad de información utilizando alta potencia y bajo
ancho de banda, o alto ancho de banda y baja potencia.
3 Shannon, C. Una teoría matemática de la comunicación, pág. 3

SNAPES@MIT.EDU
La solución tradicional era utilizar radios de banda estrecha, que concentrarían toda su potencia en un pequeño rango de
frecuencias. El problema fue que a medida que aumentaba el número de usuarios, se empezaba a agotar el número de canales.
Además, tales radios eran altamente susceptibles a la interferencia: tanta potencia estaba confinada a una pequeña porción del
espectro que una sola señal de interferencia en el rango de frecuencia podría interrumpir la comunicación.
Shannon ofreció una solución a este problema redefiniendo la relación entre información, ruido y poder. Shannon cuantificó la
cantidad de información en una señal, indicando que es la cantidad de datos inesperados que contiene el mensaje. Llamó a esta
información contenido de un mensaje "entropía". En la comunicación digital, un flujo de bits inesperados es simplemente ruido
aleatorio. Shannon demostró que Cuanto más se asemeja una transmisión al ruido aleatorio, más información puede contener, siempre
que esté modulado a un portador apropiado: se necesita un portador de baja entropía para llevar un mensaje de alta entropía. Así,
Shannon afirmó que una alternativa a las radios de banda estrecha era enviar un mensaje con poca potencia, distribuido en un
ancho de banda amplio.
El espectro ensanchado es precisamente una técnica de este tipo: toma una señal de banda estrecha y distribuye su poder sobre una banda
ancha de frecuencias. Esto lo hace increíblemente resistente a las interferencias. Sin embargo, usa rangos de frecuencia adicionales y, por
lo tanto, la FCC hasta hace poco había limitado la técnica a los militares. Ahora se usa ampliamente en teléfonos celulares CDMA.
Ahora que hemos discutido algunos de los conceptos fundamentales en el trabajo de Shannon, demos un paso atrás y veamos cómo la
formalización de estos conceptos inició una cadena de investigación que finalmente se conoció como el campo de la Teoría de la
Información.
TRAYECTORIA DE LA TEORÍA DE LA INFORMACIÓN - I
Comenzamos explorando la historia de la teoría de la información, cómo el campo evolucionó y resistió varias influencias para
convertirse en lo que es hoy. En esencia, trazamos la trayectoria de una nueva ciencia.
Creando el campo
La teoría de la información surgió de los conceptos introducidos en "Una teoría matemática de la comunicación".
Aunque la frase "teoría de la información" nunca se usó en el artículo, el énfasis de Shannon en la palabra
"información" probablemente ayudó a acuñar el término. La idea de que algo tan nebuloso como la "información"
pudiera cuantificarse, analizarse y reducirse a una fórmula matemática atrajo una enorme atención.
Esta emoción inicial dio vida al campo. Pero, ¿cuáles fueron las fuerzas que permitieron este proceso? Según Latour, una de
las tareas en la creación de un nuevo campo es reunir el apoyo y el entusiasmo de las masas. 4. Aunque Shannon tenía la
intención de que su audiencia se limitara a la ingeniería de la comunicación, sus conceptos y metodología de pensamiento
rápidamente se trasladaron a la
prensa popular. 1953 Fortuna La revista describe efusivamente el campo como más crucial para "el progreso del hombre en la paz y la
seguridad en la guerra" que la física nuclear de Einstein.
4 Latour. SEGUNDO, Ciencia en Acción, pág. 150

SNAPES@MIT.EDU
Quizás, sin el apoyo popular y el interés de los investigadores de otros campos, la Teoría de la Información puede no haber
existido como lo hace hoy.
Otra tarea en la creación de un nuevo campo es reclutar aficionados para la fuerza laboral de investigación. 5. Como
mencionado anteriormente, el artículo de Shannon de 1948 atrajo a una multitud de personas para realizar investigaciones sobre la teoría
de la información. En ese momento, estos investigadores eran todos aficionados a quienes el artículo de Shannon les había abierto formas
completamente nuevas de abordar el problema de la transmisión de información. Sin embargo, estos aficionados pronto se convierten en
expertos 6 y posteriormente guió la dirección del campo.
Circulación y propagación de ideas

Identificar los factores que transformaron un solo artículo en un campo floreciente requiere una investigación de las actividades
que ocurrieron poco después de que Shannon presentara su teoría.
Inicialmente hubo un fervor absoluto de emoción. Las universidades comenzaron a ofrecer seminarios que luego se convirtieron en
clases. El Instituto de Ingenieros de Radio, o IRE 7, publicó artículos sobre la investigación actual en una revista destinada a
centrarse únicamente en la Teoría de la Información, y formó un grupo llamado Grupo Profesional sobre Teoría de la Información, o
PGIT. Además, se organizaron simposios para presentar estos trabajos y permitir discusiones en foros.
En medio de todo el entusiasmo inicial, muchos sintieron que con todos los nuevos conceptos e investigaciones que se estaban
generando, era necesario que una generación más joven se involucrara. Como resultado, se organizaron varios seminarios y
departamentos en diferentes universidades, como la Universidad de Michigan y la Universite di Napoli. Estos seminarios luego se
convirtieron en clases, que tuvieron una influencia en el campo porque discutieron preguntas de investigación actuales y produjeron
estudiantes graduados que eventualmente se convertirían en los nuevos profesionales del campo. El profesor Fano, de hecho, impartió
uno de los primeros cursos, 6.574 comúnmente conocido como el 'Curso de Teoría de la Información', en el MIT. En sus primeras
conferencias, Fano comenzó reconociendo que su tema aún no estaba completamente definido:
Comencemos por especificar un modelo de sistema de comunicación al que la teoría a desarrollar se aplicará…
Este modelo debe ser lo suficientemente general para incluir, como casos especiales, la mayoría de los sistemas
de comunicación de interés práctico, pero lo suficientemente simple como para prestarse a un estudio cuantitativo
detallado. [Fano, R. 6.574 apuntes de clase, Archivos del MIT]
En ese momento, el profesor Fano enseñó a su clase utilizando la investigación actual y sus direcciones como fuente de material
didáctico. Extrajo de aquí sus lecturas asignadas, conjuntos de problemas, exámenes y preguntas del proyecto final. De hecho, Huffman
Coding, una forma de representación eficiente, se originó a partir de un artículo final que asignó Fano.
Un segundo curso, 6.575 "Temas avanzados en teoría de la información", fue impartido más tarde por el propio Shannon después de
tomar la cátedra en el MIT en 1956. El profesor G. David Forney, Jr. acredita este curso "como la causa directa de su regreso a la teoría
de la información". . " 8
5 Latour, B. Ciencia en Acción, pág. 150

6 Eden, M. Entrevista
7 IRE, el Instituto de Ingenieros de Radio más tarde se fusionó con AIEE, Instituto Americano de Ingenieros Eléctricos el 1 de enero de 1963 para formar el IEEE.
8 Boletín de la sociedad de TI, pág. 21

SNAPES@MIT.EDU
Hoy, aunque no existe un departamento de Teoría de la Información ni un programa específico dentro del departamento de
EECS en el MIT. El campo se ha vuelto demasiado ubicuo y sus brotes se enseñan en una multitud de áreas diferentes:
Ciencias de la Computación, Tecnología de la Información, Ingeniería Eléctrica, Matemáticas. Además, los conceptos
desarrollados a través de la investigación de la Teoría de la Información se han integrado en el material del curso de diferentes
disciplinas de la ingeniería. El "Curso de Teoría de la Información" numerado 6.574 todavía existe hoy en la forma de 6.441
"Transmisión de Información".
Vemos que, como si siguiera el consejo de Latour, la Teoría de la Información rápidamente se abrió camino en el plan de estudios de
varias instituciones educativas, y Shannon consiguió un puesto universitario. Estas son dos tareas más que Latour considera
importantes para crear un campo 9.
Sin embargo, la educación no solo tuvo lugar en el aula. los Transacciones IRE sobre teoría de la información se convirtió en
una revista cuyo "propósito principal [estaba] asociado con la palabra 'educación' y más específicamente, la educación de los
miembros del PGIT en sintonía con los intereses y tendencias actuales" 10.
Como revista muy conocida, leída y respetada, tenía un gran control sobre la información y la investigación que llegaba a
sus lectores. los Actas, de alguna manera guió al campo por la investigación que eligió presentar en sus publicaciones.
Publicó editoriales de científicos respetados en el campo, incluidas voces tan influyentes como Claude Shannon, Peter Elias
y Norbert Wiener. Su sección de correspondencia sirvió como un foro de discusión escrito que contenía comentarios y
reacciones a los materiales publicados, ya sea dentro de la revista o en otros lugares.
Además de las clases y las revistas de IRE, los primeros simposios jugaron un papel clave en el crecimiento de la Teoría de la
Información. El propósito de los simposios era presentar investigaciones de vanguardia y fomentar una atmósfera de educación y
discusión.
Para estos simposios, los organizadores buscaron "la crema de la cosecha" en términos de ponencias; omitiendo
tutoriales y reseñas. Los resúmenes fueron presentados por muchas personas de diversas áreas de investigación y
revisados por un comité que juzgó si el material estaba dentro del alcance de la conferencia. Se hizo un gran esfuerzo
para mantener la calidad de la investigación lo más alta posible. Cabe señalar que si bien este proceso de selección fue
necesario para la obtención de ponencias dignas dentro del interés de los asistentes, abrió la posibilidad de sesgar los
intereses de los miembros del comité organizador.
A pesar del proceso de selección, los primeros simposios reflejaron una ampliación de alcance y una explosión de
entusiasmo. En el primer Simposio de Londres celebrado en 1950, seis de los veinte artículos presentados fueron sobre
psicología y neurofisiología. Este número aumentó a ocho en el momento del segundo simposio. Pero en la tercera
celebrada en 1956, el alcance era tan amplio que incluía participantes con antecedentes en campos tan diversos como
"anatomía, bienestar animal,

10 Cheathem, T. Una base más amplia para el PGIT, Transacciones IEEE, 1958, pág. 135

SNAPES@MIT.EDU
antropología, informática, economía, electrónica, lingüística, matemáticas, neuropsiquiatría, neurofisiología,

filosofía, fonética, física, teoría política, psicología y estadística ". 11
Carro
A mediados de los años 50, se hizo evidente que la teoría de la información se había convertido en una especie de moda. Esto se debió a la
confusión sobre qué era realmente la teoría de la información.
No me gustó el término teoría de la información. A Claude tampoco le gustó. Verá, el término "teoría
de la información" sugiere que es una teoría sobre la información, pero no lo es. Es el transmisión de
información, no de información. Mucha gente simplemente no entendía esto ... acuñé el término
"información mutua" para evitar tales tonterías: dejar claro que la información siempre es acerca de alguna
cosa. Es información proporcionada por algo, sobre algo.
Tales conceptos erróneos, junto con la creencia de que la teoría de la información serviría como un agente unificador en una amplia gama
de disciplinas, llevaron a algunos investigadores a intentar aplicar la terminología de la teoría de la información a algunos de los campos
más aleatorios.
... las aves tienen claramente el problema de comunicarse en presencia de ruido ... un examen del canto de los
pájaros sobre la base de la teoría de la información podría ... sugerir nuevos tipos de experimentos y análisis de
campo ...
[Bates, J. "Importancia de la teoría de la información para la neurofisiología". Febrero de 1953: pág. 142]
Innumerables artículos superficiales basados en campos 'no relacionados con la ingeniería' se publicaron en el Transacciones
IRE En el momento. Peor aún, los investigadores introducirían deliberadamente las palabras 'Teoría de la información' o
'Cibernética', como se le llamó alternativamente, en su trabajo con la esperanza de atraer fondos. Estos intentos ciegos de
aplicar la teoría de la información a "todo lo que hay bajo el sol" crearon una gran controversia dentro del PGIT sobre cuáles
deberían ser los límites del campo. En diciembre de 1955, LA De Rosa, presidente del PGIT, formalizó estas tensiones en un
editorial titulado "¿En qué campos pasamos?"
¿Debería hacerse un intento por extender nuestros intereses a campos como la administración, la biología,
la psicología y la teoría lingüística, o debería concentrarse estrictamente en la dirección de la comunicación
por radio o cable?
[De Rosa, LA "¿En qué campos pasamos?" Diciembre de 1955: 2]
Los miembros de PGIT estaban divididos. Algunos creían que si el conocimiento y la aplicación de la teoría de la información no se
extendían más allá de las comunicaciones por radio y por cable, el progreso en otros campos podría retrasarse o retrasarse. Al
ampliar el alcance del PGIT, el conocimiento se compartiría con otras áreas. Otros insistieron en limitar el campo a los desarrollos en
radio, electrónica y comunicaciones por cable. Los dos puntos de vista fueron debatidos acaloradamente durante los años siguientes
a través de la correspondencia en el Actas y en otros lugares.
Este es un claro ejemplo de la Gran División, como la define Latour 12. El PGIT es una red científica. Dentro del PGIT,
existía una red interna y externa. Los "iniciados" de Latour consisten
11 Blachman, N. Un informe sobre el tercer Simposio de Londres, Transacciones IEEE, marzo de 1956, pág. 17

SNAPES@MIT.EDU
de los miembros que creían que la teoría de la información debería limitarse a los ingenieros de comunicaciones (o puristas). Los
"forasteros", por supuesto, son los miembros que apoyaron la expansión de la Teoría de la Información a otros campos. En la
Gran División, los de adentro no creen que los de afuera tengan una comprensión correcta de la naturaleza del campo.
En 1956, el debate se había calentado lo suficiente como para que el padre del campo tuviera que abordarlo. En su editorial de
marzo, “The Bandwagon”, Claude Shannon respondió a la pregunta de De Rosa, poniéndose del lado de los puristas. Escribió en
su forma suave habitual, pero mostró signos de frustración por el estado de la teoría de la información. Shannon sintió que la
Teoría de la Información se había "disparado" a más de lo que realmente era, debido a su novedad y exposición popular. La
esposa de Shannon, Betty Shannon, comentó: "Se molestó un poco con la forma en que la gente lo estaba haciendo. La gente
no entendía lo que estaba tratando de hacer". 13 Shannon tenía la intención de que la teoría se dirigiera de una manera muy
específica y, por lo tanto, creía que podría no ser relevante para otras disciplinas. Además, creía que el Transacciones IRE, al ser
una revista académica, debería requerir artículos más cuidadosamente investigados que apliquen de manera apropiada, y no
solo superficial, la Teoría de la Información y lo hagan de una manera más rigurosa.
Un conocimiento profundo de la base matemática y su aplicación en la comunicación es sin duda un

requisito previo para otras aplicaciones. Personalmente creo que muchos de los conceptos de la
teoría de la información resultarán útiles en estos otros campos y, de hecho, algunos resultados ya
son bastante prometedores, pero el establecimiento de tales aplicaciones no es una cuestión trivial
de traducir palabras a un nuevo dominio, sino más bien el lento y tedioso proceso de hipótesis y
verificación experimental.
[Shannon, "The Bandwagon", marzo de 1956]
Norbert Wiener, otro miembro influyente del PGIT, también estuvo de acuerdo con Shannon en que se pensaba erróneamente en el
concepto como la solución a todos los problemas de información.
. . . Como sugiere el Dr. Shannon en su editorial: The Bandwagon, [ Teoría de la información] empieza a
sufrir por la forma indiscriminada en que se la ha tomado como solución de todos los problemas de
información, una especie de llave mágica. Abogo en este editorial para que la Teoría de la Información ...
vuelva al punto de vista desde el que se originó: el ... concepto estadístico de comunicación. [Wiener,
"¿Qué es la teoría de la información?" Junio de 1956]
Tales editoriales aclararon las opiniones del núcleo del PGIT. Vemos una rápida reducción en el número de papeles
'esponjosos' en el Actas - los temas se centran cada vez más en nuevas investigaciones en ingeniería de la comunicación.
En 1958, el destino del campo estaba prácticamente decidido. El mordaz editorial de Peter Elias de 1958 "Two Famous
Papers" cristalizó la "gran división". Tomó una postura mucho más dura que la de Shannon al describir un artículo típico
que no debería publicarse:
El primer artículo tiene el título genérico 'Teoría de la información, fotosíntesis y religión' ... escrito por un
ingeniero o físico ... Sugiero que dejemos de escribirlo y liberemos una gran cantidad de mano de obra
para trabajar en ... problemas importantes que necesitan investigación .

13 Shannon, B. Entrevista telefónica

SNAPES@MIT.EDU
[Elías, P. Dos papeles famosos, Septiembre de 1958]
Las palabras de Elias son las últimas en el debate: el campo ha encontrado sus límites. O mejor dicho, han sido encontrados para
ello. Los puristas, con su control sobre el Actas, y su capacidad para controlar el mismo foro de discusión, había ganado.
Con el campo estableciendo sus límites, el PGIT comenzó a mirar hacia el futuro y cambiar su enfoque hacia el
desarrollo de aplicaciones prácticas. F. Louis Stumpers, ahora presidente honorario de la Unión Internacional de
Ciencias de la Radio, comentó:
Los estudios teóricos y fundamentales son lo primero, y queda mucho trabajo por hacer, pero muchos nos
juzgarán por la aplicación práctica que podamos encontrar. Démosle especial cuidado a esto ...
[Stumpers “Teoría de la información e Int. Organizaciones de radio ”en junio de 1957, 85]
Digresión: algunos antecedentes esenciales

Para comprender cuáles serían estas "aplicaciones prácticas", es importante darse cuenta de lo que estaba sucediendo en el área
de las comunicaciones en ese momento. Digamos por un momento algunos antecedentes. Con el advenimiento de la Segunda
Guerra Mundial, el foco de la comunicación había cambiado de la telefonía y la radiodifusión al control de radar, control de fuego y
comunicación militar.
El enfoque de la comunicación a larga distancia también había cambiado, de la transmisión de formas de onda a la transmisión de
datos porque las computadoras finalmente se estaban convirtiendo en la nueva terminal receptora. Los seres humanos son expertos en
manejar errores y pueden extrapolar el contenido de un mensaje, mientras que una computadora no puede interpretar un cuerpo de
datos sin algoritmos para corregir errores. Estos nuevos tecnicismos requerían métodos eficientes para codificar y enviar datos. Las
ideas de Shannon serían fundamentales para desarrollar estas soluciones.
Al final de la Segunda Guerra Mundial, los servicios militares estaban muy impresionados por la contribución al esfuerzo bélico
realizada por físicos, matemáticos e ingenieros altamente calificados como los del Laboratorio de Radiación del MIT. Los militares
consideraron que era crucial tener una gran cantidad de mano de obra disponible, especialmente una altamente capacitada en
electrónica y comunicaciones en caso de otra guerra.
El Ejército, la Armada y la Fuerza Aérea decidieron patrocinar la investigación, y en 1951 los militares iniciaron el contrato de
Tri-Services, que incluía las tres ramas. El primero en ser financiado fue el Laboratorio de Radiación del MIT, que luego se
convirtió en el Laboratorio de Investigación de Electrónica (RLE).
Según Latour, los científicos deben alinearse con bolsillos profundos, los de la industria o el gobierno federal. 14. Solo
aquellos que tengan financiación serán influyentes. El ejército era una de las ramas del gobierno federal mejor financiadas.
Respaldada por el fondo de tri-servicios militares, la investigación de la teoría de la información pronto estuvo bien
posicionada.
Volviendo a nuestra historia, encontramos que en 1958 era obvio que el campo había madurado y

SNAPES@MIT.EDU
bien definido. los IEEE 15 Actas Comenzó a reflejar la actitud del PGIT. Había áreas que eran apropiadas y
áreas que no lo eran.
Temas de actualidad oportunidad incluyen extensiones de las teorías de la información de Shannon y

Wiener y sus ramificaciones, análisis y diseño de sistemas de comunicación, fuentes de información,
reconocimiento de patrones, recepción y detección, autómatas y aprendizaje, sistemas de
procesamiento de información a gran escala, etc.
[El Comité Administrativo del PGIT en 1959, 136 (énfasis agregado)]
Discusión
Considere nuevamente la historia que acabamos de ver: la historia de un campo que encuentra sus límites, que se mueve más allá de los
intentos equivocados de aplicarlo ciegamente donde no pertenecía, y finalmente progresa a lo largo de su trayectoria natural ...
Un bonito cuento de hadas, ¿no? Sabemos por MacKenzie que no existe tal cosa como una trayectoria natural:
“El cambio tecnológico es social de principio a fin. Si se eliminan las ... estructuras que sustentan
el cambio tecnológico de un tipo particular, dejará de parecer 'natural'; de hecho, cesa por
completo '
[MacKenzie, Inventar la precisión, 384]
Continuaremos con nuestra historia, luego con estas palabras de advertencia: aunque presentamos una trayectoria, esta trayectoria
no es de ninguna manera 'natural'. Está influenciado por una inmensa cantidad de factores: los sesgos del PGIT, las opiniones
personales de Shannon, el costo de la tecnología de hardware, los intereses de los militares, eventos externos como el lanzamiento
del Sputnik ...
Considere los límites del campo y el camino que se tomó para definirlos. Latour analiza la inmensa importancia de los artículos
científicos para determinar "la verdad", o lo que se cree que es la verdad. Ya hemos comentado que había un intenso debate en el
PGIT sobre el futuro de la Teoría de la Información - la publicación de artículos aleatorios sobre temas como las aves, había
enfurecido a los puristas, que sintió que semejante tontería diluiría la seriedad de su campo. Los científicos estaban usando el
término "teoría de la información" como un eslogan pegadizo para obtener financiación, incluso si su trabajo no tenía nada que ver
con eso. La reacción contra esto fue tan fuerte que descarriló incluso los intentos serios de aplicar la Teoría de la Información a
otros campos.
Este efecto se vio reforzado por el hecho de que los pesos pesados del PGIT: Shannon, Wiener, Fano et. Alabama. eran
todos puristas y titulares de cargos en el PGIT. Y controlaban lo que se publicaba y lo que no. Por lo tanto, sus prejuicios
y opiniones personales contribuyeron en gran medida a lo que el campo finalmente decidió incluir ... y lo que decidió
excluir. Al revisar los papeles personales de Peter Elias, encontramos papel tras papel que había rechazado para el Transacciones
IEEE, porque eran simplemente 'irrelevantes'
El interés de los militares tampoco debe pasarse por alto. Los militares no estaban especialmente interesados en la aplicación de la teoría
de la información a las aves, el arte o incluso la neurofisiología. Estaba interesado
15 IRE (Instituto de ingenieros de radio) se fusionó posteriormente con AIEE (Instituto americano de ingenieros eléctricos) el 1 de enero de 1963 para formar IEEE (Instituto de ingenieros eléctricos y
electrónicos).

SNAPES@MIT.EDU
en comunicación. A pesar de que la investigación tenía un interés secundario para ella, todavía tenía influencia sobre las áreas
exploradas: y los intereses de los puristas y los militares se alineaban fácilmente. Y el resto es historia.
Hablaremos de estos temas nuevamente al final de nuestro artículo. Pero por ahora, volvamos a nuestra historia ...
TRAYECTORIA II - PROGRESIÓN DEL CAMPO
El trabajo sobre la teoría de la información tendió a centrarse en tres áreas principales de investigación
basada en aplicaciones: tecnología de espectro ensanchado, codificación de fuente y codificación de canal.
La teoría de la codificación finalmente se convirtió en un área tan dominante que la Teoría de la Información
se convirtió virtualmente en sinónimo de codificación. "Teoría de la codificación es Teoría de la información ”,
insiste el profesor Fano,“ es solo progreso ”.
Tecnología de espectro extendido

Figura 3. Hedy Lamarr Sin embargo, una de las primeras aplicaciones de los conceptos de la Teoría de la Información fue en la
tecnología de espectro ensanchado, donde su desarrollo fue impulsado por necesidades militares. Durante
la Segunda Guerra Mundial, las señales de radio se utilizaron para guiar los misiles y para la comunicación,
y era importante que estas señales estuvieran protegidas de la detección e interferencia del enemigo.
El salto de frecuencia, que implica recorrer frecuencias aleatorias para evadir la

interferencia, fue uno de los primeros precursores de la tecnología moderna de espectro
ensanchado. La técnica fue desarrollada por la actriz de Hollywood Hedy Lamarr y el
músico George Antheil.
Figura 4. Patente de Hedy El concepto de espectro ensanchado como se lo conoce hoy en día se deriva de la idea de entropía
de Shannon. En nuestra discusión sobre el artículo de Shannon, señalamos que para una
comunicación sólida, un mensaje de alta entropía necesita un portador de baja entropía, como el
ruido. La tecnología Spread Spectrum difunde una señal de radio estrecha en un ancho de banda
mayor y la hace resistente a interferencias e interferencias. Desde la década de 1940 hasta mediados
de la de 1980, casi toda la investigación y el desarrollo dedicados a la tecnología fueron respaldados
por el ejército y fueron altamente clasificados. dieciséis.
Gran parte del trabajo inicial sobre espectro ensanchado se realizó en el MIT a principios de los
años 50 bajo el proyecto NOMAC, que significa NO ise
METRO odulación UN Dakota del Norte C orrelación. La investigación realizada en el MIT condujo al
desarrollo de varios sistemas de espectro ensanchado de "referencia transmitida", todos para aplicaciones
militares. Estos sistemas logran la detección
dieciséis Grupo de desarrollo CDMA, sitio web.

SNAPES@MIT.EDU
transmitiendo dos versiones de la portadora, una modulada por datos y la otra no modulada. Luego, un detector de
correlación extrae el mensaje de las dos señales. 17.
El primer sistema operativo de espectro ensanchado fue el sistema Lincoln Lab F9C, desarrollado por el Dr. Paul Green. Fue
mejorado por el sistema RAKE en 1958 18. Hoy en día, el espectro ensanchado puede verse como tecnología CDMA en teléfonos
móviles.
Eficiencia de representación
Como mencionamos, la teoría de la codificación estaba a la vanguardia de la Teoría de la Información; era un área amplia y en la que la
influencia de la Teoría de la Información estaba más claramente definida. El trabajo de codificación inicial se centró originalmente en la
compresión de datos. En ese momento, la comunicación confiable no se consideró particularmente relevante o aplicable. El interés se
centró en la eficiencia de la representación y la conservación del ancho de banda, "poder representar el habla y las imágenes de manera
más económica ... En ese momento, la gente pensaba que se podían ganar algunos dB mediante la codificación, pero ¿valía la pena?" 19
Algunas de las cuestiones importantes de la investigación temprana y cuestiones de aplicabilidad estaban en esta dirección, por
ejemplo, la codificación de Huffman. En 1951, David Huffman tomó el curso de posgrado 6.574 en Teoría de la Información,
impartido por el profesor Fano en el MIT. Como alternativa a tomar el examen final, el profesor Fano solía dar a su clase la opción
de escribir un trabajo sobre temas de investigación abierta en Teoría de la Información. El tema de ese año fue encontrar el
método de codificación más eficiente para representar símbolos, como números y letras. En ese momento, no se conocía una
solución al problema: Shannon y Fano habían luchado con él.
Después de trabajar en el problema durante meses, Huffman finalmente decidió darse por vencido. Cuando estaba
destrozando sus notas, tuvo una epifanía. "Fue el momento más singular de mi vida", dijo Huffman. "Hubo un relámpago
absoluto de comprensión repentina". 20 Ya se sabía que cuanto más frecuentemente aparece un símbolo, más se usa su código
y, en consecuencia, era mejor representar los símbolos más frecuentes con códigos más cortos. Aquellos que habían estado
tratando de descubrir una codificación eficiente anteriormente habían estado tratando de asignar códigos que iban del más
frecuente al menos frecuente. Huffman se dio cuenta de que al ir al revés, de menos frecuente a más frecuente, era posible
asignar los símbolos con el algoritmo más óptimo. Huffman publicó su algoritmo en su artículo titulado "Un método para la
construcción de códigos mínimos de redundancia". Su algoritmo de compresión de datos, conocido como codificación Huffman,
se utiliza universalmente en los sistemas de almacenamiento y compresión de datos de hoy. 21.
Por lo tanto, el foco de los primeros trabajos de codificación siguió siendo la eficiencia de la representación. Incluso la literatura temprana
sobre el alcance del tiempo de la Teoría de la Información revela un enfoque casi miope sobre él. La cuestión del tiempo parece ser el ahorro
de ancho de banda: ¿Podemos utilizar las técnicas de la Teoría de la Información para ahorrar algo de ancho de banda, o comprimir algunos
datos para una aplicación en particular? Si no es así, probablemente la TI no sea particularmente útil para ello. Por ejemplo, D. Gabor de mala
gana
17 Jachimczyk, W. Página web de espectro extendido

18 Hochfelder, D. Entrevista con el Dr. Paul Green, Centro de historia IEEE
19 Fano, R. Entrevista
20 Stix, G. Perfil: David. A. Huffman, Scientific American, septiembre de 1991 54,58
21 Huffman, K. Página web de David Huffman Elegy

SNAPES@MIT.EDU
concluye en su artículo de 1953 Teoría de la comunicación, pasado, presente, prospectivo, que como no se puede ahorrar mucho ancho
de banda en la telegrafía o la transmisión de música, “es evidente que solo se puede obtener un beneficio moderado mediante la
aplicación de la teoría de la comunicación moderna” a estos campos.
Codificación de canales
Con la popularidad de la compresión de datos y la codificación de fuentes, no se reconoció la verdadera importancia del teorema
del canal ruidoso de Shannon. Fue tratado como poco más que una curiosidad teórica. Las razones detrás de esto eran simples:
después de todo, una forma simple de lograr una comunicación confiable es enviar la señal a una relación señal / ruido más alta.
Si quieres ser escuchado, grita. Otro problema era el hardware: los esquemas de corrección de errores eran complejos y
demandaban potencia de cálculo, lo que era prohibitivamente caro.
“Recuerdo a John Pierce en Bell Labs… era el jefe de Shannon. Estaba minimizando la importancia
del teorema del canal ruidoso, diciendo: 'simplemente use más ancho de banda, más potencia' ...
entonces no había ninguna limitación: podía hacer lo que necesitara en términos de comunicación
confiable sin codificación larga. Y además, incluso si quisiera, estaba muy limitado por la
complejidad y el costo del equipo ... "
Afortunadamente, todavía había algunas mentes interesadas en explorar las posibilidades de corrección de errores. Estos primeros
pioneros aplazaron las cuestiones de aplicabilidad y continuaron explorando el potencial del teorema del canal ruidoso.
Códigos convolucionales y decodificación secuencial

Peter Elias inventó los códigos convolucionales en 1955. A diferencia de los códigos de bloques simples, los códigos convolucionales se
aproximan a una estructura de árbol aleatoria y son más poderosos. Son la base de algunos de los códigos más populares que se utilizan en la
actualidad.
Lo que hizo que este método en particular fuera particularmente

atractivo fue la relativa facilidad con la que se podían codificar los
datos. Sin embargo, como señala el profesor Forney en su
Conferencia Shannon de 1995, un honor anual otorgado por la
Sociedad de Teoría de la Información IEEE, "el obstáculo clave para
acercarse prácticamente a la capacidad del canal no fue la
construcción de buenos códigos largos específicos ... sino la
complejidad de la decodificación" 22
Figura 5. Un codificador convolucional simple
Para los códigos convolucionales, la complejidad de la decodificación aumentó exponencialmente con la longitud del código. Así, los
códigos convolucionales, a pesar de sus atractivas propiedades, parecían condenados a la extinción.
Luego, en su tesis doctoral de 1957, "Decodificación secuencial para una comunicación confiable", John
22 Forney, D. Conferencia de Shannon, 1995. IEEE IT Society Newsletter, verano 98: 21

SNAPES@MIT.EDU
Aftab, Cheung, Kim, Thakkar, Yeddanapudi yo NFORMACIÓN T HEORY y T S.E re IGITAL R EVOLUCIÓN dieciséis
Wozencraft abordó el problema de la decodificación de la complejidad. La decodificación secuencial era esencialmente una clase de
"técnicas exhaustivas de búsqueda de árboles" 23 cuyo enfoque probabilístico le dio una ventaja. La complejidad de la decodificación de
su algoritmo aumentó polinomialmente con la longitud de los códigos, en lugar de exponencialmente, un gran avance. Con las mejoras
de Fano en 1963, la decodificación secuencial se convirtió en un método manejable para manejar códigos convolucionales.
Sin embargo, el trabajo de estos pioneros siguió siendo teórico. Aunque el decodificador de Wozencraft hizo factible el uso de códigos
convolucionales, la tecnología de hardware estaba muy por detrás. El decodificador secuencial experimental original, SECO, construido
en Lincoln Labs en el 62, era extremadamente grande y ocupaba dos salas sólidas de equipos.
Acosado por la falta de motivación y, lo que es peor, por la falta de tecnología, el teorema del canal ruidoso parecía condenado al
estancamiento. Pero entonces sucedió algo que dio a la corrección de errores y al teorema del canal ruidoso su primera gran
oportunidad. Y ese algo era el espacio.
Sputnik
El lanzamiento del Sputnik en 1957 lo cambió todo. Los rusos habían tomado la delantera en la carrera espacial y había una
consternación generalizada en los EE. UU. El efecto se ha comparado con un segundo 'Pearl Harbor'. Hubo un repentino
interés en los lanzamientos espaciales y, en consecuencia, en las comunicaciones espaciales. Decidido a no ser superado
por los rusos, Estados Unidos mejoró rápidamente el programa espacial nacional. En 1958, el presidente Eisenhower aprobó
un plan para satélites y se estableció la NASA.
Sputnik y el posterior desarrollo del programa espacial generaron un gran interés en la comunicación fiable en presencia de ruido.
De repente, se convirtió en un problema muy real, y ya no era posible decir con ligereza 'simplemente use más poder'. Como
resultado, se realizó una gran cantidad de trabajo en la codificación de canales.
“Lo que realmente cambió todo el panorama fue la comunicación espacial. Porque la energía es muy cara
en el espacio: la generación de energía, el peso de la fuente de alimentación. Y fue entonces cuando la
industria y la investigación en general comenzaron a pensar mucho más seriamente en la comunicación en
presencia de ruido. El espacio cambió la imagen por completo ... "
En realidad, hubo una serie de factores que hicieron que la codificación de canales se adaptara perfectamente al problema de la comunicación en
el espacio lejano.
Ante todo, como se mencionó, la energía es muy cara en el espacio.

El canal del espacio profundo - el canal de comunicación con sondas espaciales -
coincide casi perfectamente con el modelo teórico de canal ruidoso que Shannan presentó en su artículo
original, que fue muy bien entendido.
El ancho de banda, que se consume mediante la codificación, es relativamente abundante en el espacio.

SNAPES@MIT.EDU
Como mencionamos, la complejidad del equipo hizo que la codificación fuera una propuesta tan costosa que la
mayoría de la gente no la consideraría seriamente. Pero para una misión espacial ultra costosa, el costo porcentual
del equipo de codificación es pequeño. Además, cada dB ahorrado por la codificación resultó en más de $
1000,000 de ahorro en el equipo de comunicación. Y eso es $ 1000,000 en 1960.
Por estas razones, el profesor James L. Massey llamó a la comunicación y la codificación

del espacio profundo un "matrimonio hecho en el cielo" 24. El espacio dio a la codificación
su primera aplicación real, y el campo que originalmente había sido marginado
rápidamente comenzó a prosperar.
Avances en tecnología de hardware

La tecnología espacial no solo impulsó la necesidad de avances en codificación, sino también
de avances en hardware. En 1958, a Jack Kilby de Texas Instruments se le ocurrió el circuito
integrado, que reemplazó a los transistores discretos. Con el tiempo, el costo, el peso y la
Figura 6. Mars, Mariner IV, '64 usando No codificación. potencia necesarios para la operación de decodificación promedio se redujeron en órdenes de
magnitud. Al mismo tiempo, las velocidades de decodificación alcanzaron varios megabits por
segundo. La complejidad se convirtió en una preocupación menor a medida que se
desarrollaron circuitos integrados más nuevos y más rápidos. Esto permitió la aplicación
práctica de la codificación de canales, no solo en el espacio sino también en otras áreas. En
1968, el decodificador secuencial que solía ocupar dos habitaciones en el Lincoln Lab se había
miniaturizado lo suficiente como para colocarlo en el Pioneer 9, una pequeña nave espacial
que pesaba apenas 67 kilogramos.
Aplicaciones espaciales
Figura 7. Mars, Mariner VI, '69 usando
codificación Reed-Muller. Algunas de las primeras series de misiones que utilizaron la codificación fueron las
misiones Pioneer y Mariner de la NASA. Comenzando con Mariner VI en 1969, la serie
Mariner fue la primera en usar oficialmente la codificación. Mariner VI utilizó códigos
Reed-Muller, que fueron desarrollados en 1954 y permitieron la corrección de un número
variable de errores. Nótese la diferencia entre la Figura 6, que muestra una de las
primeras fotografías de primer plano de Marte cortesía de Mariner IV, que no usó
codificación, y la Figura 7, otra toma de Marte de Mariner VI, usando el código
Reed-Muller mencionado.
Mientras desarrollaban códigos Reed-Muller para la serie Mariner, la tecnología

estuvo disponible para usar un decodificador secuencial en el espacio. Así, en 1968,
los ingenieros de la NASA decidieron probar el decodificador secuencial, diseñado
Figura 8. Saturno, Voyager, '71 usando por el profesor Forney del MIT en Codex, poniéndolo en "base experimental" en
codificación Golay. Pioneer IX.
24 Massey, JL "Comunicación y codificación en el espacio profundo", en Notas de conferencias sobre control y ciencias de la información, 1992.

SNAPES@MIT.EDU
Esta fue una táctica deliberada para evitar el proceso de aprobación de la NASA. 25. Pioneer IX, de hecho, se convirtió en la primera nave espacial
en usar codificación.
En 1979, se lanzaron las sondas Voyager y eran capaces de transmitir imágenes en color. Para el color, el alfabeto de origen es mucho
más grande y, por lo tanto, se necesita una mejor corrección de errores. El esquema de codificación elegido fue el código Golay.
La teoría de la codificación y la tecnología de hardware necesaria para implementarla se estaban expandiendo rápidamente. Tanto es así,
que la misión Voyager se cambió sobre la marcha para mantenerse al día con las mejoras en la tecnología. El código Golay que usó en el
lanzamiento fue reemplazado por códigos Reed-Solomon, los códigos ubicuos que ahora se usan en todas partes para la corrección de
errores, incluidos los CD y los discos duros. Los códigos Reed-Solomon se inventaron en 1960 en Lincoln Lab.
La rapidez con que avanzaba el campo se puede ver si se observa que entre el momento del lanzamiento de la Voyager y su llegada a
Neptuno, hubo un seis veces aumento de la tasa de transmisión de datos.
Se puede obtener una idea aún más dramática de cuánto y qué tan rápido ha progresado el campo al observar la tasa de
telemetría de la Voyager en Neptuno. La velocidad fue de 21,6 kbits / s a una distancia de 4,4 mil millones de millas, una
mejora de rendimiento de casi 10 7 sobre Mariner IV en una mera década.
"La codificación está muerta"

A finales de la década de los 60, había una sensación generalizada de que la Teoría de la Información como campo, y la codificación en
particular, estaba muriendo. La decodificación secuencial se había implementado en el espacio, pero seguía siendo demasiado cara para el
uso comercial. El microchip aún no existía, no se estaban inventando nuevas aplicaciones y los nuevos esquemas de codificación sugeridos
ya eran demasiado complejos de implementar.
Los códigos convolucionales y la decodificación secuencial habían acercado la codificación al límite de Shannon, y se había
desarrollado una "creencia cuasirreligiosa de que existía ... (había una)" capacidad práctica "de un canal sin memoria, y que mediante
el uso de la decodificación secuencial la La capacidad práctica podría lograrse más o menos. Problema resuelto" 26
... Una consecuencia lamentable de esta conclusión (que es bastante irónica en vista de la historia posterior de
la decodificación secuencial) fue que el grupo de teoría de la información del MIT, probablemente el mayor
conjunto de talentos que nuestro campo haya conocido, comenzó a dispersarse a otros campos y instituciones,
poniendo así fin a la primera edad de oro de la teoría de la información ...
[Forney, Conferencia de Shannon, 1995]
El profesor Fano, junto con los profesores Shannon y Elias, fueron solo algunos de los incluidos en este “gran
ensamblaje”, que decidieron pasar a proyectos más interesantes.
25 Costello et. Alabama. Aplicaciones de codificación de control de errores, Transacciones IEEE sobre teoría de la información, octubre de 1998

SNAPES@MIT.EDU
En los años 60, mucha gente sintió que el campo se estaba volviendo obsoleto. No sucedía nada muy
interesante… Se demostró que se podía codificar y decodificar de manera eficiente, pero la aplicación
práctica de esto fue una historia diferente. Todas las operaciones involucradas en la codificación y
decodificación fueron muy, muy costosas… [Entrevista con Fano, R. 2001]
Las cosas eran desalentadoras y empeoraban. El profesor Gallager recuerda que algunos de los jefes más sabios del MIT sugirieron que
se trasladara a un campo más prometedor, "como los tubos de vacío". El profesor Forney recuerda haber recibido un consejo similar.
A finales de la década, las cosas habían llegado a un punto crítico. En 1971, se llevó a cabo un taller de codificación en San Petersburgo,
Florida, titulado "Direcciones futuras". Muchos teóricos de la codificación prominentes asistieron para discutir otras áreas a investigar.
Después de pasar uno o dos días discutiendo las posibilidades futuras, llegaron a la conclusión de que todo lo que era de interés para su
comunidad estaba terminado y que no había ninguna dirección futura, excepto hacia afuera. En la conferencia, Robert McEliece dio una
charla infame titulada "La codificación está muerta"
La tesis de su charla fue que él y otros teóricos de la codificación formaron un pequeño grupo endogámico que había
estado aislado de la realidad durante demasiado tiempo. Ilustró esta charla con una sola diapositiva que mostraba un
corral de ratas que los psicólogos habían encerrado en un espacio confinado durante un largo período de tiempo. No
puedo decirles aquí qué estaban haciendo esas ratas, pero basta con decir que la diapositiva se ha tomado prestada
muchas veces para representar las profundidades de la depravación en las que puede caer un grupo desconectado. Las
ratas hicieron señor de las moscas parece un picnic escolar.
Todo este comportamiento depravado tenía su paralelo en las actividades de los teóricos de la codificación. Se habían
generado demasiadas ecuaciones con muy pocas consecuencias ... Los profesores teóricos de la codificación habían
engendrado más doctores en teoría de la codificación a su propia imagen ... a nadie más le importaba; era hora de ver
esta perversión por lo que era. Abandone esta fantasía y emprenda una ocupación útil ... La codificación está muerta.
[Suerte, R. Lucky Strikes Again '93, Recopilación de artículos de IEEE Spectrum]
El profesor Proakis de la Northeastern University recuerda la consternación que generó la conferencia. "Se trataba de personas que
habían estado trabajando en la teoría de la codificación durante varios años y concluyeron que ya se había hecho todo lo que valía la
pena hacer". Los investigadores que asistieron al taller creían que la codificación tenía un papel muy limitado, sus únicas aplicaciones en
la comunicación en el espacio profundo y en el ejército. En ese momento, incluso el trabajo de Viterbi, que era la clave para la
decodificación óptima de códigos secuenciales, era poco entendido y poco apreciado, y era simplemente demasiado caro de
implementar.
Una de las pocas voces disidentes en la conferencia fue la de Irwin Jacob. Se puso de pie y dijo: "La teoría de la codificación no está
muerta", mientras sacaba un registro de desplazamiento integrado de 4 bits de su bolsillo, "y esta es porque."
Ese registro de desplazamiento de 4 bits puede ser lamentable para los estándares actuales, pero entonces era algo importante. Fue la falta de
tecnología de hardware lo que llevó a los teóricos a anunciar la muerte de la codificación. Sin embargo, también fue la disponibilidad de tecnología
de hardware lo que dio paso a su renacimiento.

SNAPES@MIT.EDU
TRAYECTORIA III - APLICACIONES COMERCIALES Y PROBLEMAS DE TECNOLOGÍA
La tecnología hardware siempre ha sido el factor determinante para la Teoría de la Información. La teoría es solo eso: teoría.
Algoritmos, conceptos, códigos. Requieren tecnología, en forma de hardware complejo y potencia informática para su uso.
Cuando la tecnología era escasa, compleja y cara, como a principios de los años 60, las aplicaciones se limitaban a quienes
tenían los bolsillos para pagarlas: la NASA y el ejército.
A finales de la década de 1960, la revolución de los semiconductores se aceleraba rápidamente. Intel presentó el primer
microprocesador en 1971. Justo cuando la falta de tecnología de hardware había llevado a la codificación a un coma, la creciente
disponibilidad de tecnología allanó el camino para su resurgimiento. De hecho, a finales de la década de 1960, la tecnología de
semiconductores había progresado lo suficiente como para que la Teoría de la Información pudiera romper los límites limitantes de las
aplicaciones espaciales y militares ultra costosas y poner su mirada en el mundo comercial.
"Ciertamente, los circuitos integrados jugaron un papel importante en hacer prácticos estos esquemas de codificación" 27
dice el profesor Proakis. El profesor Fano lo expresa de forma más enfática: "¡Fue la revolución del microprocesador la que
cambió todo el panorama!" 28
De nuevo, la tecnología, en forma de hardware asequible y listo, y potencia informática, está detrás del éxito fenomenal de la teoría
de la información en la actualidad. Esto se ejemplifica en la historia de los códigos de verificación de paridad de baja densidad. Estos
códigos le permiten a uno acercarse infinitesimalmente al límite de Shannon: son los códigos más poderosos que se conocen
actualmente. Lo interesante es que fueron propuestos por el Prof. Gallager, en su tesis doctoral de 1960. La tecnología ha tardado
cuarenta años en llegar al punto en que se puede implementar.
De hecho, Codex Corporation, una de las primeras empresas en aplicar comercialmente los conceptos de la teoría de la información, adquirió los
derechos de los códigos de verificación de paridad de baja densidad en la década de 1960. Los códigos nunca se implementaron: simplemente
eran demasiado complejos.
Códice
Codex era una startup del MIT, fundada en 1962. Cuando el profesor Forney se unió a ella después de completar su doctorado en
1965, era una pequeña empresa de 12 personas. Codex originalmente, como todos los demás, estaba en el negocio de las
aplicaciones militares. Trabajaron en la creación de parches de corrección de errores independientes, que se instalaron en los
sistemas de comunicaciones militares existentes. “Nuestro negocio entonces era poner 'vendajes' en sistemas que ya habían sido
diseñados”, recuerda el profesor Forney. “Pudimos obtener algunos negocios, casi todos del gobierno, pero se hizo evidente que la
codificación de errores independiente no era el camino a seguir. 29 Así que Codex pasó de utilizar ideas de la Teoría de la Información
en la corrección de errores para el trabajo militar, a aplicarlas a su éxito comercial, el modulador-demodulador, mejor conocido como el
módem.
27 Proakis, J. Entrevista
29 Una conversación con Forney, D. Boletín de la IEEE IT Society, junio de 1997

SNAPES@MIT.EDU
De hecho, los módems fueron una de las primeras aplicaciones comerciales importantes de la teoría de la información: los módems y el
trabajo relacionado en las máquinas de fax son los que le permitieron irrumpir en la arena comercial.
El profesor Gallager, que trabajaba como asesor del Codex, sabía que Jerry Holsinger estaba trabajando en el diseño de un
módem de 9600 baudios en una empresa de defensa de California. Gallager sugirió que la firma adquiriera Holsinger y su
investigación. Como resultado, en 1967 Codex obtuvo el diseño de hardware preliminar para lo que finalmente se convirtió en
su primer módem: el AE-96.
El AE-96, lanzado en 1968, fue una "gran bestia que costó $ 23,000" 30 recuerda el profesor Forney. Aunque era un
equipo voluminoso, no muy confiable y era más barato comprar un automóvil, el AE-96 fue el primer módem de 9600
baudios del mundo y generó mucho interés.
Uno de los mayores obstáculos en la comercialización de módems y máquinas de fax fue el estado de derecho. Era ilegal conectar
cualquier cosa a las líneas telefónicas de AT&T, a menos que fuera fabricado por AT&T. Esta medida cautelar había anulado
efectivamente cualquier incentivo para producir dispositivos comerciales de telecomunicaciones. ¿Cuál sería el punto de hacer un
dispositivo que nadie pueda usar? Pero el 26 de junio th en el mismo año en que el AE-96 hizo su debut, la FCC dictaminó que de
ahora en adelante sería legal usar módems que no sean de AT&T en líneas telefónicas públicas. Esta decisión abrió el campo de
las telecomunicaciones a cualquier empresa interesada en fabricar equipos. El efecto en la industria fue fenomenal. En 1970, el
Codex y muchos otros habían cambiado su enfoque por completo al sector comercial.
En ese momento, el profesor Gallager y otros habían estado investigando la teoría y la estructura de la modulación de amplitud
en cuadratura, o QAM, una técnica que podría ser valiosa en el diseño de modernos. QAM es un método para combinar dos
señales en un solo canal, duplicando así efectivamente el ancho de banda.
El Codex utilizó esta investigación para implementar un módem QAM de 9600 baudios
que salió a la luz en 1971. En esto vemos el rostro de lo que vendrá: la tecnología
estaba comenzando a progresar hasta el punto en que la investigación actual de la
teoría de la información podría aplicarse rápidamente. El QAM 9600 fue un éxito
mundial fenomenal. De hecho, el estándar internacional de módem de 9600 baudios,
V.29, "se escribió en gran medida en torno a nuestro módem de 9600 baudios 31 ”Dice
el profesor Forney.
Figura 9. Codex QAM 9600
Linkabit
Otra empresa pionera que aplicó conceptos de teoría de la información fue Linkabit, fundada por el profesor Irwin Jacobs del
MIT, y los profesores Andrew Viterbi y Len Kleinrock de UCLA en 1968. Linkabit era una empresa de consultoría a tiempo
parcial que comenzó en el campo de la codificación y
30 Una conversación con Forney, D. Boletín de la IEEE IT Society, junio de 1997

31 ibídem

SNAPES@MIT.EDU
descodificación. Sin embargo, pronto cambiaron su enfoque a las comunicaciones por satélite y los sistemas de acceso múltiple por división de
tiempo (TDMA). 32.
Al igual que Codex, Linkabit se apresuró a intentar aplicar ideas teóricas. Uno de los principales avances en la teoría de la
codificación fue la decodificación de Viterbi, un algoritmo óptimo para decodificar códigos convolucionales desarrollado por Andrew
Viterbi en 1967. La decodificación secuencial, la técnica probada y verdadera, era conocida por ser subóptima. El algoritmo de
Viterbi, demasiado exigente para la tecnología de finales de los sesenta, fue implementado por primera vez por Linkabit: diseñaron
uno de los primeros decodificadores de Viterbi, lo implementaron en VLSI y lo aplicaron a sistemas militares. “Los 70 fue la era del
algoritmo de Viterbi”, dice Proakis 33 enfatizando la importancia del algoritmo de Viterbi en los sistemas de comunicación actuales.
También como Codex, Linkabit finalmente pasó de la investigación y el trabajo militar al sector comercial. Desarrollaron
el primer teléfono TDMA inalámbrico comercial y el primer sistema de televisión por satélite comercial cifrado,
VideoCypher.
Qualcomm
Una de las empresas pioneras en comercializar tecnología de espectro ensanchado fue Qualcomm. Qualcomm fue fundada por
Viterbi y Jacobs, quienes dejaron Linkabit en 1985. Su enfoque inicial estaba en la comunicación inalámbrica digital y
desarrollaron CDMA para la comunicación de voz inalámbrica. CDMA es una técnica de espectro ensanchado que permite a
más personas compartir bandas de frecuencia al mismo tiempo sin interferencias, interferencias o interferencias. [Qualcomm].
Qualcomm desarrolló la tecnología CDMA que podría acomodar a varios usuarios en el mismo canal. Antes de eso, el espectro
ensanchado se consideraba un desperdicio de ancho de banda, ya que consumía un rango de frecuencias. Hoy en día, CDMA
es un estándar para la comunicación inalámbrica y se utiliza a nivel mundial.
Aplicaciones actuales
Los avances en la tecnología de hardware tienen dos impactos importantes en la teoría de la información. Ha proporcionado el poder de cálculo
para realizar complicados esquemas de codificación. Hoy en día se pueden implementar esquemas increíblemente complejos como CDMA en un
solo chip. También ha hecho que la codificación sea asequible y esté fácilmente disponible. Por ejemplo, un decodificador Reed-Solomon ahora se
encuentra en el estante de todos dentro de un reproductor de CD.
La teoría de la información tiene innumerables aplicaciones en la actualidad. CDMA todavía se está utilizando e investigando para mejorar los
sistemas de comunicaciones de voz y datos. Las aplicaciones modernas de espectro extendido van desde dispositivos de seguridad contra
incendios de baja velocidad hasta redes de área local inalámbricas de alta velocidad. Los dispositivos de almacenamiento, como discos duros y
RAM, también emplean conceptos de teoría de la información. Utilizando códigos Reed-Solomon para la compresión y códigos Hamming para
corregir errores, se han logrado avances importantes, lo que permite almacenar gigabits de información en pulgadas de espacio.
32 Corrientes RLE, Mass. Inst. Tech., Primavera 1996

33 Proakis, J. Entrevista

SNAPES@MIT.EDU
La larga sombra de la teoría de la información cae sobre muchas más cosas que se han convertido en algo común en la
actualidad. Ha influido fuertemente no solo en el desarrollo de sistemas inalámbricos, CD y almacenamiento de datos, sino
también en redes informáticas, satélites, sistemas de comunicación óptica, teléfonos móviles, MP3, JPEG y, por supuesto,
Internet. Estas son quizás las áreas que continuarán utilizando las ideas de la Teoría de la Información en el futuro.
La codificación está muerta ... otra vez

Irónicamente, el pasado junio de 2001, en el Simposio Internacional de Teoría de la Información (ISIT) del IEEE, los teóricos de
la información se reunieron una vez más y proclamaron que el campo estaba muerto. Esto no es nada nuevo. Como dijo el
profesor Forney 34, “El campo ha sido declarado muerto una y otra vez. Creo que hay una moraleja en eso, porque cada vez que
se declara muerto, aparece algo nuevo ”.
Pero esta vez, el campo se declara muerto por una nueva razón. No se debe a una limitación en la tecnología, ni a que
teóricamente se pueda alcanzar la capacidad del canal. Se declara muerta porque la capacidad del canal ha sido alcanzado en la
práctica, mediante el uso de códigos de verificación de paridad de baja densidad y códigos turbo. El límite prometido por Shannon
finalmente se ha cumplido.
Entonces, ¿la codificación está realmente muerta esta vez? ¿Es este momento de verdad? Sería más justo decir que, en lugar de
morir, ha logrado lo que se había propuesto: ha alcanzado el límite de Shannon para el canal de ruido blanco aditivo gaussiano.
La clave, sin embargo, es que la capacidad tiene solamente cumplido para los canales de ruido blanco aditivo gaussiano. Estos canales
ahora se comprenden prácticamente por completo. Hay disponibles módems comerciales que se acercan mucho al límite de Shannon
para estos canales. Pero aún quedan problemas por abordar, canales para los que aún no se han alcanzado los límites, como los canales
inalámbricos y los canales de múltiples fuentes y múltiples rutas.
Entonces, aunque podría decirse que partes de la teoría de la información están "seriamente maduras 35 ”Una buena indicación del
estado actual de la teoría de la información es el volumen considerable del último número de Transacciones IEEE sobre teoría de la
información. Aún se están escribiendo artículos y aún se necesita investigar. El profesor de Princeton y ex presidente de la Sociedad de
Teoría de la Información del IEEE, Sergio Verdu, dice: “Quizás llegue el día en que un paquete de software permita al ingeniero
acercarse de cerca a la capacidad de casi cualquier canal con la tecnología del momento. ¡Es cierto que me temo que seremos
nosotros los que estaremos muertos cuando llegue ese día! 36 "
En definitiva, ¿quién puede decir lo que vendrá? "Cada dos años, el límite entre 'factible' e 'inviable' avanza en otro
factor de dos". 37 Si la historia es una indicación, la teoría de la información y el legado de Claude Shannon tienen
muchos años más productivos por delante.
34 Transcripción, Taller de IEEE sobre teoría de la información - 'Teoría de Shannon: presente y futuro' Diciembre de 1994.
35 McEliece, R. Simposio internacional sobre teoría de la información, junio de 2001, citado en entrevistas de Forney & Proakis.
36 Transcripción, Taller de IEEE sobre teoría de la información - 'Teoría de Shannon: presente y futuro' Diciembre de 1994.

SNAPES@MIT.EDU
DISCUSIÓN Y RESUMEN
Según Christensen 38, las tecnologías emergentes tenían dificultades para recibir financiación. ¿Por qué la teoría de la información no
fue así? Los militares financiaron fuertemente la investigación de la Teoría de la Información porque creían en su potencial en las
comunicaciones, su área particular de interés. Los investigadores intentaron aprovechar este interés militar adjuntando la frase
"Teoría de la información" a su trabajo, relacionado o no. Este efecto no se limitó a Estados Unidos; a medida que se extendía la
fama de la teoría de la información, el fenómeno se produjo en Rusia. “¡Ellos también estaban a la altura! 39 ”Exclamó el profesor
Fano.
La naturaleza generalizada del contrato de tres servicios también ayudó a financiar la investigación de la teoría de la
información, especialmente en el MIT, porque había menos restricciones sobre cómo se usaba el dinero. Creían que la teoría de
la información revolucionaría las comunicaciones, pero su interés principal era la generación de un grupo de personas
capacitadas en ingeniería de comunicaciones y electrónica. El profesor Fano analiza el éxito que tuvieron en este objetivo en
particular:
Terminé mi doctorado en junio de 1947. Era el quincuagésimo doctorado otorgado por el departamento de
Ingeniería Eléctrica. Unos años después del contrato, estábamos graduando tantos estudiantes de doctorado
en un año ...
Hemos rastreado la evolución de la teoría de la información desde sus inicios hasta su estado actual. Hemos visto las
muchas influencias diferentes que han dado forma a su progreso, convirtiéndolo en lo que es hoy. Como hemos
comentado, factores sociales como las creencias personales de los influyentes miembros del PGIT, como Shannon y
Elias, ayudaron a moldear los límites del campo. Ellos controlaron el Transacciones IRE y lo que se publicó en él. Al
dominar el propio foro de discusión, influyeron en el resultado del debate. Además, los intereses de los puristas estaban
alineados con los de los militares que querían investigar en comunicaciones. Juntos, pudieron sofocar fácilmente la
disidencia.
Como hemos visto, influencias políticas como Sputnik y la carrera espacial ayudaron a cambiar el enfoque del campo hacia la
codificación de canales. Las limitaciones tecnológicas del hardware también controlaban el progreso del campo, deteniéndolo a
veces y dándole ímpetu en otras.
A pesar de todo, el límite profetizado de Shannon estaba impulsando el progreso en la teoría de la información.
Durante 50 años, la gente ha trabajado para llegar a la capacidad del canal que él dijo que era posible.
Solo recientemente nos hemos acercado. Su influencia fue profunda. [Lucky, R., citado en Technology
Review, julio de 2001]
MacKenzie 40 dice que una trayectoria tecnológica es como una profecía autocumplida [168]. De manera análoga a la Ley de Moore, el
límite de Shannon define una hoja de ruta, dando a las personas una idea de dónde están en relación con dónde pueden estar. Antes
de Shannon, los límites eran desconocidos y había
38 Christensen, El dilema de los innovadores

40 MacKenzie, D. Inventar la precisión, 168

SNAPES@MIT.EDU
no hay una motivación clara para empujarlos. Su visión proporcionó el ímpetu para innovar. Una vez que explicó los límites y
definió los horizontes, la gente se esforzó por alcanzarlos. A lo largo del trasfondo de nuestra historia, Shannon ha estado allí,
su Límite tirando de la trayectoria de la Teoría de la Información hacia un desempeño cada vez mayor.
BIBLIOGRAFÍA
Abraham, LG Carta a Robert Fano. 1954.
Comité Administrativo, El. "Una declaración de política editorial". Transacciones IRE sobre teoría de la información.
Diciembre de 1959: 136.
Bates, JAV "Importancia de la teoría de la información para la neurofisiología". Transacciones IRE en

Teoría de la información. Febrero de 1953: 137-142.
Betty Shannon. Entrevista telefónica. 30 de noviembre de 2001.
Blachman, Nelson. "El tercer simposio de Londres sobre teoría de la información". Transacciones IRE sobre información
Teoría. Marzo de 1956: 17
Caiainiello, ER Carta a Jerome B. Wiesner. 11 de marzo de 1958.
Grupo de desarrollo CDMA. ¿Qué es CDMA? 2000. < http://www.cdg.org/tech/about_cdma.asp

>.
Cheatham, Thomas P. Jr. "Una base más amplia para el PGIT". Transacciones IRE sobre información
Teoría. Diciembre de 1958: 135.
Chiu, Eugene y col. "Teoría matemática de Claude Shannon". 13 de diciembre de 2001. Christensen, El dilema
de los innovadores, HarperBusiness 2000.
Comité de Ciencias de la Comunicación de la Universidad de Michigan. Informe resumido de la

Programa en Ciencias de la Comunicación de la Universidad de Michigan. 15 de abril de 1960.
Costello y col. "Aplicaciones de la codificación de control de errores". Transacciones IEEE sobre teoría de la información. octubre
1998: página ????.
De Rosa, LA "¿En qué campos pasamos?" Transacciones IRE sobre teoría de la información. Diciembre de 1955: 2 Eden, Murray. Entrevista
personal. 5 de noviembre de 2001.
Elías, Peter. Carta a Andrew E. Ford. 3 de septiembre de 1959. Elias, Peter. "Dos periódicos famosos". Transacciones IRE sobre teoría de la
información. Septiembre de 1958: 99 Fano, Robert M. "Anuncio preliminar - Simposio sobre teoría de la información". 19 de marzo de 1954.
Fano, Robert M. Entrevista personal. 1 de noviembre de 2001.
Fano, Robert M. Entrevista personal. 15 de noviembre de 2001.

SNAPES@MIT.EDU
Fano, Robert M. 6.574 notas de conferencia. 1950.
Forney, David G. Entrevista personal. 29 de noviembre de 2001.
Forney, David G. "1995 Shannon Lecture". Boletín de la Sociedad de Teoría de la Información del IEEE. Verano de 1998: 21.
<http://golay.uvic.ca/nltr/96_mar/06sha.pdf>.
Frontier Broadband. Página de Historia de la tecnología de espectro ensanchado. 30 de noviembre de 2001.

<http://www.frontierbb.com/benefits_history.html>.
Gabor, D. “Teoría de la comunicación pasada, presente y prospectiva”. Transacciones IRE sobre teoría de la información.
Febrero de 1953: 2.
Gallager, Robert. Entrevista personal. 19 de noviembre de 2001.
Gallager, Robert G. "Claude E. Shannon: una retrospectiva de su vida, obra e impacto". Transacciones IEEE en
Teoría de la información. Noviembre de 2001: 2681-2695.
Hochfelder, D. "Una historia oral con el Dr. Paul Green". Centro de Historia de IEEE. 15 de octubre de 1999.
<http://www.ieee.org/organizations/history_center/oral_histories/transcripts/pgreen.html>.
Huffman, Ken. Página Elegy de David Huffman.

< http://home.columbus.rr.com/kenhuffman/family/elegy.html >.
Huggins, WH Carta al comandante Gould Hunter. 1954.
Boletín de la Sociedad de Teoría de la Información del IEEE. “Taller IEEE sobre teoría de la información
'Shannon Theory: Present and Future' ”. Diciembre de 1994.
Boletín de la Sociedad de Teoría de la Información del IEEE. "Una conversación con G. David Forney Jr." Junio de 1997.
Jachimczyk, Instituto Politécnico W. Worcester. Página de espectro extendido.

<http://www.ece.wpi.edu/courses/ee535/hwk11cd95/witek/witek.html>.
Jamil, Asad. "Un codificador convolucional simple y un decodificador de Viterbi".

<http://www.ecel.ufl.edu/~ajamil/report400.html>.
Latour, B. Ciencia en acción, Prensa de la Universidad de Harvard, 1987
Massey, JL "Comunicación y codificación en el espacio profundo", en Notas de la conferencia sobre control y ciencias de la información 82
J. Hagenauer, Ed .. Bonn, Alemania: Springer-Verlag, 1992.
Mueller, GE "Informe de progreso de la teoría de la información 1960-1963: Comunicación espacial". IEEE

Transacciones sobre teoría de la información. Octubre de 1963: 257-264.
MacKenzie, D. Inventar la precisión, Prensa del MIT 1993.
Peterson, WW y J. Massey. "Informe de progreso de la teoría de la información 1960-1963: codificación

Teoría." Transacciones IEEE sobre teoría de la información. Octubre de 1963: 223-229.
Proakis, John. Entrevista personal. 16 de noviembre de 2001. Qualcomm. Acerca de
Page. < http://www.qualcomm.com/about/ >.

SNAPES@MIT.EDU
Reynolds, John H. Carta a Robert Fano. 27 de febrero de 1973.
Riley, Laura J. 4i2i Communications Ltd. "Codificación convolucional". 11 de octubre de 2001.

< http://www.4i2i.com/viterbi.htm >.
Corrientes RLE. "En el camino hacia el éxito con los fundadores de la empresa de antiguos alumnos de RLE". Primavera de 1996.
< http://rleweb.mit.edu/Publications/currents/8-1cov.htm#jaco >.
Ross, Arthur HM Introducción a CDMA. 11 de junio de 1996.

< http://www.amug.org/~ahmrphd/Intro.html >.
Shannon, Claude E. "The Bandwagon". Transacciones IRE sobre teoría de la información. Marzo de 1956: 3
Shannon, Claude E. y Warren Weaver. "La teoria matematica de la comunicacion."

Urbana, Illinois: University of Illinois Press, 1949.
Stephenson, Robert C. Carta a Robert Fano. 13 de julio de 1965.
Stumpers, F. Louis HM "Teoría de la información y organizaciones de radio internacionales". Transacciones IRE en

Teoría de la información. Junio de 1957: 85.
Tuller, WC Carta a LG Abraham. 11 de enero de 1954.
Viterbi, Andrew J. "Teoría de la información en los años sesenta". Transacciones IEEE sobre información
Teoría. Mayo de 1973: 257-262.
Waldrop, Mitchell M. "Claude Shannon: el padre reacio de la era digital". Tecnología

Revisión. Julio / agosto de 2001. <http://www.techreview.com/magazine/jul01/waldrop.asp>.
Wiener, Norbert. “¿Qué es la teoría de la información?”. Transacciones IRE sobre teoría de la información. Junio de 1956: 48
Wolf, Jack K. "Un estudio de la teoría de la codificación: 1967-1972". Transacciones IEEE sobre información
Teoría. Julio de 1973: 381-388.
Yankopolus, Andreas. "Historial de cápsulas de codificación de control de errores".

< http://www.csc.gatech.edu/~yank/research/history.pdf >.

SNAPES@MIT.EDU

Shannon2 en Es

Cargado por

Información del documento

Título original

Derechos de autor

Formatos disponibles

Compartir este documento

Compartir o incrustar documentos

Opciones para compartir

¿Le pareció útil este documento?

¿Este contenido es inapropiado?

Copyright:

Formatos disponibles

Shannon2 en Es

Cargado por

Copyright:

Formatos disponibles

Aftab, Cheung, Kim, Thakkar, Yeddanapudi yo NFORMACIÓN T HEORY y T S.

UN FTAB, C HEUNG, K ESTOY, T HAKKAR, Y EDDANAPUDI

6.933 - F INAL PAGS APER

6.933 Historia del proyecto, Instituto de Tecnología de Massachusetts

6.933 Historia del proyecto, Instituto de Tecnología de Massachusetts

LA "TEORÍA MATEMÁTICA DE LA COMUNICACIÓN" DE SHANNON

Capacidad de canal y teorema de codificación de canal ruidoso

CWt =Iniciar sesión2 P + N

1 Gallager, R. Citado en Technology Review,

6.933 Historia del proyecto, Instituto de Tecnología de Massachusetts

Arquitectura formal de sistemas de comunicación

Figura 1. Tomado de “Una teoría matemática de la comunicación” de Shannon, página 3.

6.933 Historia del proyecto, Instituto de Tecnología de Massachusetts

Eficiencia de representación: codificación fuente

Contenido de entropía e información

3 Shannon, C. Una teoría matemática de la comunicación, pág. 3

6.933 Historia del proyecto, Instituto de Tecnología de Massachusetts

TRAYECTORIA DE LA TEORÍA DE LA INFORMACIÓN - I

4 Latour. SEGUNDO, Ciencia en Acción, pág. 150

6.933 Historia del proyecto, Instituto de Tecnología de Massachusetts

Circulación y propagación de ideas

5 Latour, B. Ciencia en Acción, pág. 150

6.933 Historia del proyecto, Instituto de Tecnología de Massachusetts

9 Latour, B. Ciencia en Acción, pág. 150

6.933 Historia del proyecto, Instituto de Tecnología de Massachusetts

antropología, informática, economía, electrónica, lingüística, matemáticas, neuropsiquiatría, neurofisiología,

[Entrevista a Fano, R. 2001]

6.933 Historia del proyecto, Instituto de Tecnología de Massachusetts

Un conocimiento profundo de la base matemática y su aplicación en la comunicación es sin duda un

[Shannon, "The Bandwagon", marzo de 1956]

12 Latour, B. Ciencia en Acción, pág. 211

6.933 Historia del proyecto, Instituto de Tecnología de Massachusetts

[Elías, P. Dos papeles famosos, Septiembre de 1958]

Digresión: algunos antecedentes esenciales

14 Latour, B. Ciencia en Acción, pág. 172

6.933 Historia del proyecto, Instituto de Tecnología de Massachusetts

Temas de actualidad oportunidad incluyen extensiones de las teorías de la información de Shannon y

[El Comité Administrativo del PGIT en 1959, 136 (énfasis agregado)]

6.933 Historia del proyecto, Instituto de Tecnología de Massachusetts

TRAYECTORIA II - PROGRESIÓN DEL CAMPO

Tecnología de espectro extendido

El salto de frecuencia, que implica recorrer frecuencias aleatorias para evadir la

dieciséis Grupo de desarrollo CDMA, sitio web.

6.933 Historia del proyecto, Instituto de Tecnología de Massachusetts

17 Jachimczyk, W. Página web de espectro extendido

6.933 Historia del proyecto, Instituto de Tecnología de Massachusetts

[Entrevista a Fano, R. 2001]

Códigos convolucionales y decodificación secuencial

Lo que hizo que este método en particular fuera particularmente

22 Forney, D. Conferencia de Shannon, 1995. IEEE IT Society Newsletter, verano 98: 21

6.933 Historia del proyecto, Instituto de Tecnología de Massachusetts

[Entrevista a Fano, R. 2001]

Ante todo, como se mencionó, la energía es muy cara en el espacio.

23 Forney, D. Conferencia de Shannon, 1995. IEEE IT Society Newsletter, verano 98: 21

6.933 Historia del proyecto, Instituto de Tecnología de Massachusetts

Por estas razones, el profesor James L. Massey llamó a la comunicación y la codificación

Avances en tecnología de hardware

Mientras desarrollaban códigos Reed-Muller para la serie Mariner, la tecnología

6.933 Historia del proyecto, Instituto de Tecnología de Massachusetts

"La codificación está muerta"

[Forney, Conferencia de Shannon, 1995]

26 Forney, D. Conferencia de Shannon, 1995. IEEE IT Society Newsletter, verano 98: 21

6.933 Historia del proyecto, Instituto de Tecnología de Massachusetts