Hace exactamente 50 aos, Claude E.

Shannon public su documento histrico

"Una teora matemtica de la comunicacin." Aunque los expertos reconocidos
de inmediato la importancia de las ideas aborda en este artculo, no fue hasta
los aos 70 que su plena capacidad podra ser explotado con la advenimiento
de los circuitos integrados, y equipo de cmputo y comunicaciones de hoy
sera inimaginable sin la contribucin de Shannon. El 50 aniversario de la teora
de la informacin es una oportunidad para presentar brevemente la biografa
de este hombre y el desarrollo de uno de sus ms fecundas conceptos: el de
los esquemas de correccin de errores hacia adelante de una curiosidad
matemtica pura a una disciplina importante en ingeniera informtica y las
comunicaciones.

Hace medio siglo, un electricalengineer 32 aos de edad y matemtico

publicado en the Bell System Technical Journal un artculo con el prometedor
ttulo, "Una teora matemtica de la comunicacin" [l]. El hombre que haba
sido observado hasta ahora slo por sus colegas por sus ideas sofisticadas y
originales trat de mostrar en este artculo que la informacin pueda ser
medido de forma independiente de cualquier
aspecto semntico y, adems, que cada fuente de datos puede ser
descrito de forma nica con respecto a su contenido de informacin;
pero ante todo, ha asegurado que una transmisin de datos sin errores
debe ser posible si la tasa de informacin es menor que
la capacidad del canal de modo-cakd. El tratado levant considerable
inters y hizo el autor inmediatamente sabe que
todo el mundo en el campo de las comunicaciones. Su nombre: Claude
Elwood Shannon.
No obstante, antes de Shannon, Norbert Wiener postul
que la informacin no es ms que la entropa, pero le faltaba
cualquier concepto formal que podra haber soportado tal
enfoque. Y R. V. L. Hartley [2,3] ya haba argumentado en
1928 que el contenido de la informacin debe depender directamente
el logaritmo de la probabilidad mensaje correspondiente. Sin embargo,
estos intentos de definir la informacin de una probabilstico
manera tena algo peculiar, algo extrao, ya que, en
la vida cotidiana, las cosas son al revs: no lo incierto,

pero el conocimiento cierto de un asunto est relacionado con la informacin,

lo que parece.

El 50 aniversario de la teora de la informacin es una oportunidad

de la biografa y la de Claude E. Shannon brevemente presente
desarrollo de una de sus ideas ms fecundas: la de adelante
de correccin de errores (FEC) de esquemas de un matemtico puro
la curiosidad de una disciplina importante en informtica y de comunicaciones
ingeniera.

BIOGRAFA

Claude Elwood Shannon naci en 1916 en Petoskey, Michigan

[L]. Se informa que Thomas A. Edison fue el admirado
hroe de su infancia. Se prefieren su Matemticas y ciencia
subj'scts en la escuela, y en 1932 comenz a estudiar matemticas
e ingeniera elctrica en la Universidad de
Michigan - la combinacin de una formal y una asignatura aplicada
que fascinado y l perseguido durante el resto de su vida.
En 1936, acept un puesto como asistente de investigacin en el Instituto de
Technolom Massachusetts
(MIT). Trabaj en la solucin
Ecuaciones de diferencial con Bush
analizador, donde el servicio del rel
circuito que controla el funcionamiento de la
mquina era parte de su trabajo. Como Shannon
confes ms tarde, sus colegas saban cmo realizar problemas binario lgicocon rels, pero slo para l era
inmediatamente claro que un enorme progreso podra hacerse con
estos dispositivos si los mtodos formales, como el lgebra de Boole,

se aplicaron. En 1937, present su tesis de maestra, "A

Anlisis Simblico de rel y circuitos de conmutacin, "uno de
los hitos de procesamiento digital de seales, ya que este era el
primera vez que un instrumento sistemtica estaba disponible para disear
y analizar los circuitos lgicos. En la primavera de 1940, Shannon
terminado sus estudios con una maestra en ingeniera elctrica
y un Ph.D. grado en matemticas.
Para los prximos 15 aos que estaba con los laboratorios Bell
junto con otros matemticos y cientficos de primer nivel,
incluyendo los tericos de seal Harry Nyquist y Hendrik
Bode, y los inventores del transistor, Bardeen, Brattain,
y Shockley. En ese perodo Shannon trabaj duro en una teora
de la informacin, que culmin con la publicacin de su hito
papel, "Una teora matemtica de la comunicacin", en
1948. Tambin en este perodo el tratado estrechamente relacionado,
"Comunicacin
Teora de los Sistemas Secretos ", fue escrito, pero no publicado,
por razones de seguridad nacional, hasta 1949. Por lo tanto, nicamente
sobre la base de estos dos documentos, Shannon haba establecido un slido
bases para esos tres tcnicas que determinan digitales
comunicaciones de hoy: la compresin de datos, encriptacin de datos,
y correccin de datos.
En 1956, Shannon fue invitado a ser profesor visitante en
MIT; se convirti en el ao siguiente a un miembro de pleno derecho. Continu
su afiliacin con los laboratorios Bell hasta 1972, y
se retir del MIT seis aos despus, en 1978. Obtuvo honorfico
grados de Yale, Princeton, Carnegie-Mellon, y Oxford,
entre otros. Sus premios incluyen el Premio Noble Alfred, el
IEEE Medalla de Honor y la Medalla Nacional de la Ciencia
presentado por el Presidente de los Estados Unidos. Sin embargo,

pregunt por qu se public slo poco desde finales ~ O'S, simplemente

dijo que la mayora de sus investigaciones y sus resultados lo hicieron
no parece lo suficientemente bueno para lo que se presentar. "Lo ms grande
los matemticos han hecho su mejor trabajo cuando eran
joven ", argument (41.
Hoy Claude Shannon (Fig. 1) vive cerca de Boston y hace
lo que hizo toda su vida: inventar cosas para las que, en un primer
vista, nadie sabe un propsito. Por lo tanto, el malabarista apasionado
ideado un problema que puede ser la teora del campo unificado de malabares:
si B designa el nmero de bolas, H el nmero de
manos, D el tiempo pasa cada bola en una mano, F el momento de
vuelo de cada bola, y E el tiempo cada mano est vaca,
B / H = (D + F) / (D + E) - una relacin que no ayud
a romper el rcord personal de cuatro bolas a la vez. En 1985,
cuando l y su esposa decidieron espontneamente a visitar el Simposio
Internacional sobre Teora de la Informacin en Brighton, Inglaterra,
muchas personas se dieron cuenta de que caballero de pelo blanco tmido
entraba y sala de las diferentes sesiones. Como la palabra
la voz de que fue el propio Shannon, RJ McEliece del
Instituto de Tecnologa de California describi adecuadamente el
reaccin de los participantes en la conferencia: "Era como si Newton
haba aparecido en una conferencia de la fsica ". [4]

LAS CONSECUENCIAS

Antes de Shannon, una definicin til de informacin no lo hizo

existe que haba hecho posible la realizacin de este trmino en una tcnica
sistema. Segn esto, los criterios para el diseo de
Esquemas de transmisin (analgicas) eran, ms o menos, la signalto-ruido
ratio y el ancho de banda requerido; trminos como entropa

o la capacidad del canal ni siquiera estaban en la mente de nadie. Era

Shannon, con su destacada contribucin "Un matemtico
Teora de la Comunicacin, "[11 que cre el necesario
condiciones para una teora de la informacin. Se nota de inmediato
al estudiar este documento que ni es extraordinariamente
voluminosa ni contiene muchas referencias a anteriores
trabajo. El primer artculo importante tener en cuenta por Shannon
fue el papel de Nyquist publicado en 1924, donde se demuestra
que una seal de banda limitada de tiempo continuo puede ser nicamente
se describe en una forma discreta en el tiempo si la frecuencia de muestreo es
al
menos el doble del ancho de banda. El segundo, quizs ms
fuente importante fue el informe de Hartley de 1928, donde es
demostrado que la informacin debe ser definido como el logaritmo de
la correspondiente probabilidad mensaje. Shannon se dio cuenta
inmediatamente que este argumento es vlido slo si los mensajes son
igualmente probables e idnticamente distribuidos. Ya Hartley
considera la base del logaritmo seleccionado para ser irrelevante
por su definicin, sin embargo, era Shannon que vio al instante que
la doble logaritmo jugara un papel destacado en este contexto.
Ingeniosamente, design el contenido informativo de un dato
fuente "entropa" y bautiz, a sugerencia de JW
Tukey, la unidad de informacin "dgito binario" o "poco" [2].
El nombre de Shannon est relacionada especficamente con dos teoremas
que, aunque parcialmente retrasado, han tenido un tremendo
influencia en ciencias de la computacin y las comunicaciones digitales:
El nmero de bits necesario describir de forma nica cualquier
fuente de datos puede acercarse a la informacin correspondiente
contenido tan estrechamente como se desee (teorema de codificacin en la
fuente).
La tasa de error de los datos transmitidos a travs de una banda limitada

canal con ruido puede ser reducido a un arbitrariamente pequea

monto si la tasa de informacin es ms bajo que el canal de
capacidad (canal teorema de codificacin).

Las consecuencias de las consideraciones de Shannon arrojan un

luz caracterstica de la comunidad de cientficos e ingenieros:
el teorema de codificacin de fuente se crey y acept
de inmediato: no era contradictorio con cualquier teora, simplemente
porque nada comparable exista. Por otro lado, la
teorema de codificacin de canal se neg desde el principio,
principalmente porque una parte de la terminologa desarrollado por Shannon
no estaba de acuerdo con la experiencia real. Por ejemplo, se
introdujo la novela trmino "capacidad de canal", donde el ancho de banda
junto con la relacin de seal a ruido determina el
calidad de un canal de transmisin - una relacin que era
no y no poda ser visto hasta ese momento. Uno se inclina a
pensar en la hiptesis de Thomas S. Kuhn de cambios paradigmticos
ya que son tpicos de todas las teoras que crean completamente nuevo
trminos o dejar que los antiguos aparecen bajo una luz diferente. No es de
extraar,
por lo tanto, que el segundo teorema estaba en peligro de caer
en el olvido a menos que un puado de tericos crean en la revolu- cin de las
comunicaciones.
La Figura 2 representa el principio de la transmisin de datos digitales
ya que se puede encontrar hoy en da en todos los libros de texto sobre las
comunicaciones
ingeniera. Se muestra explcitamente la separacin entre
fuente y codificacin de canal, una vez propuestos por Shannon.

DESDE UNA CURIOSIDAD MATEMTICA A UNA DISCIPLINA RESPECTED

El futuro papel de los sistemas de correccin de errores en recepcin (FEC)

fue predicho por Shannon en su teorema de la codificacin de canal en

1948. Sin embargo, no ofreci ningn algoritmo o recetas a
cumplir con ese objetivo. Segn este aspecto, un rea separada
de investigacin surgido en el curso de
tiempo dentro de las comunicaciones digitales: la
teora de la codificacin. Muchos hitos pueden ser
citado en el camino de esta teora: [5]
1950: R. W. Hamming presenta el
primero cdigo de bloque de correccin de un error
aplicada hasta hoy.
1955: P. Elias publica la alternativa
concepto de cdigos convolucionales.
1959: R. C. Bose y D. K. Chaudhuri
proponer una clase muy atractiva de mltiples error
cdigos de correccin descubrieron
independientemente por A.
Hocquenghem, hoy mejor conocido como
Cdigos BCH.
1960: I. S. Reed y G. Salomn desarrollar
un esquema de codificacin que se utiliza para
los cdigos de bloques ms poderosos, en particular
a causa de su capacidad de correccin contra errores de rfaga.

1965: ER Berlekamp resuelve el problema cardinal de la codificacin

teora, la denominada ecuacin de clave, de una manera eficiente
manera.
1966: G. Cl. Forney analiza por primera vez la posibilidad
de la utilizacin de cdigos concatenados para aumentar el rendimiento
sin hacer los componentes constituyentes demasiado complejo.
1967: AJ Viterbi disea una mxima probabilidad de decodificacin

algoritmo para cdigos convolucionales que conduce a la real

avance de esquemas FEC en las comunicaciones digitales.
A pesar de todos esos esfuerzos y, visto desde el punto actual de
punto de vista, los resultados anding outst, la aplicacin de la correccin de
errores
esquemas a escala ms grande no tuvieron lugar hasta el final
de los aos 70. Las razones son instructivas:
Como se ha mencionado antes, la nueva nomenclatura requiere una
cambio radical de vista y una reinterpretacin de comn
trminos, a1 menos parcialmente.
Durante mucho tiempo, las personas consideran la teora de la codificacin de
una
curiosidad matemtica de valor puramente acadmico.
Hasta el ~ O'S, ingenieros investigan y tcnicas refinadas
estaban ms familiarizados con, por ejemplo, la modulacin
esquemas y tcnicas de receptor.
Fue disturbios hasta el advenimiento de los circuitos integrados y la
requisitos especficos de misiones en el espacio, por ejemplo,
que los sistemas de comunicaciones fueron diseados con FEC
Esquemas A !; una parte del sistema. Por supuesto, en el nterin
la cada vez mayor integracin de funciones complejas y la
al mismo tiempo los costos decrecientes hacen este tipo de algoritmo
ms y ms comn en otras aplicaciones aparte de
sistemas de comunicaciones, por ejemplo, en la computacin e ingeniera de
audio.
Figura 3 visualiza la clasificacin de correccin de errores
esquemas como se acepta comnmente hoy en da.

TENDENCIAS IMPORTANTES Y
EVOLUCIN DE LOS LTIMOS 15 AOS

"Nunca deseche la informacin antes de tiempo" es un principio que es

tambin vlido en las comunicaciones digitales, y posiblemente ha encontrado
uno de sus rnost manifestaciones significativas en la aplicacin de
decisiones suaves. Con respecto a los cdigos convolucionales, duro como
as como las decisiones blandas pueden oDerated travs de ANV Vitertists
y los ingenieros tuvieron que aceptar que proporciona una excelente
resultados en los canales Gaussianos con BPSK y QPSK,
pero la salida fue decepcionante con ms bandwidthefficient
esquemas de modulacin como MPSK o MQAM, M
> 4. Luego, en 1982, Ungerboeck [7] present su
tcnica famosa modulacin enrejado codificados (TCM), en
que demostr cmo combinar la modulacin
y la codificacin de conjunto de particiones. Posteriormente muchos
papeles parecan iluminar todos los aspectos de los cdigos de la medicina
tradicional china
que podran ser considerados. Quizs lo ms significativo en
este contexto fue la extensin del concepto de multidimensional
espacios de seal (celosas) con rotacin
invariancia. Sin embargo, la aplicacin de Ungerboeck de
idea de bloquear los cdigos (modulacin codificada por bloques)
resulta en un problema de descodificacin de manera exponencial compleja
que
puede ser resuelto en un plazo razonable de tiempo nicamente para muy
pequeas longitudes de bloque o de cdigos con enrejados ms bien simples,
por ejemplo, la repeticin o cdigos de comprobacin de paridad. En la
secuela, subptima
algoritmos fueron diseados, en su mayora en forma de mltiples etapas
decodificadores.
Fue Forney [SI quien sugiri en 1966 la concatenacin
de cdigos para aumentar el rendimiento sin que el
componentes constituyentes demasiado complejo. El ejemplo clsico en

comunicaciones por satlite, sobre todo con las misiones interplanetarias

como Voyager, Galileo o Cassini, sigue siendo la combinacin de
Cdigos Reed-Solomon con cdigos convolucionales usando Viterbi
decodificacin. Mientras tanto, este esquema tambin ha sido adoptado
para audio digital y la difusin de vdeo a travs de satlite. La
los llamados cdigos turbo [SI, publicado por primera vez en
1993, representan un verdadero hito en esta rea. Son concatenado en
paralelo
cdigos convolucionales con iterativa procesados
mximo-a-priori (MAP) decodificadores acercarse a la
Shannon obligado por un decibel o menos. Una alternativa a la
algoritmo MAP involucrado es la salida suave algoritmo de Viterbi
(SOVA) con un rendimiento reducido pero menos computacional
y la complejidad de memoria [9]. Sin embargo, el principio Turbo es
no restringido a los cdigos convolucionales concatenado en paralelo;
que puede ser implementado con serial-concatenado y el bloque
cdigos tambin.

CONCLUSIN
Algunas observaciones histricas sobre el desarrollo de telephoneline
mdems [lo] pueden demostrar un rendimiento de hoy
y requisitos de rendimiento seran inimaginables sin
esquemas FEC apropiados. Desde principios de los 60 en adelante, el
velocidad de transferencia de datos se ha mejorado de manera constante
desde 2400 bit / s
a travs de 4800 bit / s hasta 9600 bit / s. Esto se debi principalmente posible
a travs de la implementacin de cada vez ms ancho de banda eficaz
esquemas de modulacin (CPSK, 8-PSK, 16-QAM) juntos
con el desarrollo de tcnicas de ecualizacin convenientes.
A principios del SO'S, sin embargo, se crea que 9.600 bit / s

sera el lmite prctico final. Sin embargo, en 1984 la Internacional

Telgrafos y Telfonos del Comit Consultivo
"Una
enrejado bi de la misma manera con la ayuda del mismo orden de
complejidad. Pero el uso de un enrejado como para una decisin programable
decodificacin de cdigos de bloque normalmente requiere una enorme
aumento i I la potencia de clculo en comparacin con algebraica
decodificacin s-hemes [6], de modo que las estrategias subptimas, con
frecuencia
por secuencias de prueba ordenadas, deben ser implementadas.
A veces, el tiempo de consumo de tendencia puede ser
roto por el empleo de las propiedades algebraicas inherentes,
en muchos casos a travs de transformaciones coset; por ejemplo,
Cdigos de Reed-Muller son candidatos apropiados para tales
una estrategia.
Tras el descubrimiento del algoritmo de Viterbi, los cientficos y los ingenieros
tuvieron que aceptar que proporciona una excelente
resultados en los canales Gaussianos con BPSK y QPSK,
pero la salida fue decepcionante con ms bandwidthefficient
esquemas de modulacin como MPSK o MQAM, M
> 4. Luego, en 1982, Ungerboeck [7] present su
tcnica famosa modulacin enrejado codificados (TCM), en
que demostr cmo combinar la modulacin
y la codificacin de conjunto de particiones. Posteriormente muchos
papeles parecan iluminar todos los aspectos de los cdigos de la medicina
tradicional china
que podran ser considerados. Quizs lo ms significativo en
este contexto fue la extensin del concepto de multidimensional
espacios de seal (celosas) con rotacin
invariancia. Sin embargo, la aplicacin de Ungerboeck de
idea de bloquear los cdigos (modulacin codificada por bloques)

resulta en un problema de descodificacin de manera exponencial compleja

que
puede ser resuelto en un plazo razonable de tiempo nicamente para muy
pequeas longitudes de bloque o de cdigos con enrejados ms bien simples,
por ejemplo, la repeticin o cdigos de comprobacin de paridad. En la
secuela, subptima
algoritmos fueron diseados, en su mayora en forma de mltiples etapas
decodificadores.
Fue Forney [SI quien sugiri en 1966 la concatenacin
de cdigos para aumentar el rendimiento sin que el
componentes constituyentes demasiado complejo. El ejemplo clsico en
comunicaciones por satlite, sobre todo con las misiones interplanetarias
como Voyager, Galileo o Cassini, sigue siendo la combinacin de
Cdigos Reed-Solomon con cdigos convolucionales usando Viterbi
decodificacin. Mientras tanto, este esquema tambin ha sido adoptado
para audio digital y la difusin de vdeo a travs de satlite. La
los llamados cdigos turbo [SI, publicado por primera vez en
1993, representan un verdadero hito en esta rea. Son concatenado en
paralelo
cdigos convolucionales con iterativa procesados
mximo-a-priori (MAP) decodificadores acercarse a la
Shannon obligado por un decibel o menos. Una alternativa a la
algoritmo MAP involucrado es la salida suave algoritmo de Viterbi
(SOVA) con un rendimiento reducido pero menos computacional
y la complejidad de memoria [9]. Sin embargo, el principio Turbo es
no restringido a los cdigos convolucionales concatenado en paralelo;
que puede ser implementado con serial-concatenado y el bloque
cdigos tambin.
CONCLUSIN
Algunas observaciones histricas sobre el desarrollo de telephoneline
mdems [lo] pueden demostrar un rendimiento de hoy

y requisitos de rendimiento seran inimaginables sin

esquemas FEC apropiados. Desde principios de los 60 en adelante, el
velocidad de transferencia de datos se ha mejorado de manera constante
desde 2400 bit / s
a travs de 4800 bit / s hasta 9600 bit / s. Esto se debi principalmente posible
a travs de la implementacin de cada vez ms ancho de banda eficaz
esquemas de modulacin (CPSK, 8-PSK, 16-QAM) juntos
con el desarrollo de tcnicas de ecualizacin convenientes.
A principios del SO'S, sin embargo, se crea que 9.600 bit / s
sera el lmite prctico final. Sin embargo, en 1984 la Internacional
Telgrafos y Telfonos del Comit Consultivo

(CCITT) adopt un cdigo TCM 8-estado no lineal, justo despus

la publicacin del artculo de Ungerboeck [7]. El bidimensional
(2D) patrn QAM utilizado en esta norma V.32 es un 32punto de rotacin invariante constelacin cruz. Era
inmediatamente reconoci que la ganancia de codificacin 3.6 dB era
exactamente lo que se necesitaba para una transmisin robusta en 9600
bitis. Exactamente diez aos despus, en 1994, la Internacional
Normalizacin de Telecomunicaciones Unin-Telecomunicaciones
Sector (ITU-T) complet la Recomendacin V.34 para
la transmisin de datos a velocidades de transmisin de hasta 28,8 Kb / s! El
TCM
cdigos propuestos son (4D) Rotacin invariante de cuatro dimensiones
esquemas con 16, 32 y 64 de la Constitucin y las ganancias de codificacin de
4,2,
4,5, y 4,7 dB, respectivamente. Un receptor V.34 puede soportar
el que sea de cdigo (s) que le gusta, mientras que el transmisor
correspondiente
se requiere para apoyar los tres codificadores ya que codifica
es bastante simple. Cabe sealar que la dramtica

aumento de las tasas de bits no slo se debe a la utilizacin de cdigos de TCM

pero tambin a otras tcnicas como un concepto de adaptacin de smbolo
tarifas y frecuencias portadoras elegidas durante la formacin inicial,
un ecualizador precodificada para hacer uso de todos los disponibles
ancho de banda de 3429 Hz y, finalmente, la formacin de la seal
establecido a travs de la cartografa shell. V.34 especifica esta tcnica en 16
dimensiones y con un tamao mximo de 960 constelacin
seala que proporciona una ganancia conformacin de 0,8 dB (una tasa de bits
de hasta
33,6 Kbis se logra simplemente mediante el aumento del mximo
constelacin tamao de 1.664 puntos). La tabla 1 muestra un breve resumen
de las CCITT y la UIT Recomendaciones, respectivamente,
que se han desarrollado a lo largo de los aos como normas para
mdems de lnea telefnica.
Slo ahora, medio siglo despus de exactamente Claude Shannon
cre la teora de la informacin con su artculo excepcional,
"Una teora matemtica de la comunicacin", sus ideas
se han convertido en un terreno comn con televisor y el ordenador
ingenieros de comunicaciones. El hecho de que la teora tiene
finalmente encontr su lugar apropiado es en el haber de un lugar pequeo
grupo de personas que se reconoce a partir de la
comenzando el potencial de las ideas de Shannon y los puso
en prctica.