Teora de la informacin Segn Mauricio Correa Villa podemos definir la teora de informacin como la ciencia que trata la informacin

como un recurso que puede ser medido, convertido a smbolos (generalmente en bits) y transmitido de un lugar a otro por medio de un canal. Otra definicin tambin valida seria: teora matemtica de la probabilidad y estadstica que se relaciona con los conceptos de informacin y entropa de la informacin, sistemas de comunicacin, transmisin de datos, as como la teora de la distorsin de la transferencia, criptografa, relaciones seal-ruido, compresin de datos y temas relacionados. Es de aceptacin general que la disciplina de la teora de la informacin comenz con la publicacin del artculo de Claude E. Shannon "La Teora Matemtica de la Comunicacin" (TheMathematical Theory of Communication), en el Diario Tcnico del Sistema Bell (Bell SystemTechnicalJournal) en Julio y Octubre de 1948. Este trabajo tuvo origen a partir de publicaciones anteriores de Harry Nyquist y Ralph Hartley. En el proceso de obtener una teora de comunicaciones que pudiera ser aplicada por ingenieros elctricos para disear mejores sistemas de telecomunicaciones. Claude E. Shannon es conocido como el padre de la teora de la informacin. Su teora considera la transmisin de la informacin como un fenmeno estadstico y ofrece a los ingenieros en comunicaciones una forma de determinar la capacidad de un canal de comunicacin en trminos comunes de medida llamados bits. La parte de la teora que hace referencia a la transmisin no est relacionada con el contenido de informacin o el mensaje en s mismo, an cuando el lado complementario de la teora de la informacin se preocupa con el contenido a travs de la compresin con prdida de los mensajes sujetos a un criterio de fidelidad. Estas dos ramas de la teora de la informacin estn unidas y justificadas mutuamente por los teoremas de transmisin de informacin, o los teoremas de separacin de canal de origen que justifican el uso de bits como el formato universal de informacin en diversos contextos. Elementos de la Teora

Esquema de la comunicacin ideado por Claude E. Shannon. Fuente Una fuente es todo aquello que emite mensajes. Por ejemplo, una fuente puede ser una computadora y mensajes sus archivos, una fuente puede ser un dispositivo de transmisin de datos y mensajes los datos enviados, etc. Una fuente es en s misma un conjunto finito de mensajes: todos los posibles mensajes que puede emitir dicha fuente. En compresin de datos tomaremos como fuente al archivo a comprimir y como mensajes a los caracteres que conforman dicho archivo. Tipo de Fuentes Por la naturaleza generativa de sus mensajes una fuente puede ser aleatoria o determinstica. Por la relacin entre los mensajes emitidos una fuente puede ser estructurada o no estructurada (o catica). Existen varios tipos de fuentes. Para la teora de la informacin interesan las fuentes aleatorias y estructuradas. Una fuente es aleatoria cuando no es posible predecir cul es el prximo mensaje a emitir por la misma. Una fuente es estructurada cuando posee un cierto nivel de redundancia, una fuente no estructurada o de informacin pura es aquella en que todos los mensajes son absolutamente aleatorios sin relacin alguna ni sentido aparente, este tipo de fuente emite mensajes que no se pueden comprimir, un mensaje para poder ser comprimido debe poseer un cierto nivel de redundancia, la informacin pura no puede ser comprimida sin que haya una prdida de conocimiento sobre el mensaje. Mensaje Un mensaje es un conjunto de ceros y unos. Un archivo, un paquete de datos que viaja por una red y cualquier cosa que tenga una representacin binaria puede considerarse un mensaje. El concepto de mensaje se aplica tambin a alfabetos de ms de dos smbolos, pero debido a que tratamos con informacin digital nos referiremos casi siempre a mensajes binarios. Cdigo Un cdigo es un conjunto de unos y ceros que se usan para representar a un cierto mensaje de acuerdo a reglas o convenciones preestablecidas. Por ejemplo al mensaje 0010 lo podemos representar con el cdigo 1101 usando para codificar la funcin (NOT). La forma en la cual codificamos es arbitraria. Un mensaje puede, en algunos casos representarse con un cdigo de menor longitud que el mensaje original. Supongamos que a cualquier mensaje S lo codificamos usando un cierto algoritmo de forma tal que cada S es codificado en L(S) bits, definimos entonces a la informacin contenida en el mensaje S como la cantidad mnima de bits necesarios para codificar un mensaje.

Informacin La informacin contenida en un mensaje es proporcional a la cantidad de bits que se requieren como mnimo para representar al mensaje. El concepto de informacin puede entenderse ms fcilmente si consideramos un ejemplo. Supongamos que estamos leyendo un mensaje y hemos ledo "string of ch", la probabilidad de que el mensaje contine con "aracters" es muy alta por lo tanto cuando realmente leemos "aracters" del archivo la cantidad de informacin que recibimos es muy baja pues estabamos en condiciones de predecir qu era lo que iba a ocurrir. La ocurrencia de mensajes de alta probabilidad de aparicin aporta menos informacin que la ocurrencia de mensajes menos probables. Si luego de "string of ch" leemos "imichurri" la cantidad de informacin que recibimos es mucho mayor. Teora de la codificacin La Teora de Codificacin es el estudio de tcnicas que permiten lograr una transmisin eficiente y precisa de informacin de una fuente a un destino. La Teora de Codificacin es una ciencia que engloba a las ramas de Compresin de datos, Control de errores (Codificacin para Control de errores) y Criptografa. Si bien estas tres ramas tienen que ver con codificar una seal a transmitirse para lograr una finalidad especfica, son las ramas de compresin de datos y codificacin para control de errores las que tienen la finalidad bsica de lograr una transmisin eficiente y libre de errores respectivamente hacia un receptor, ya que la criptografa se encarga ms bien de disfrazar la informacin a transmitirse de forma tal que no pueda ser reconocida por algn intruso no deseado mientras viaja por el canal de comunicacin. La siguiente figura nos muestra un diagrama a bloques de un sistema de comunicacin digital inalmbrico, que nos brinda una visin general del tipo de sistema y nos permite ubicar a cada una de las ramas de la Teora de Codificacin en el mismo.

Diagrama a bloques de un sistema de comunicacin digital inalmbrico. En su forma ms simple la codificacin para control de errores consiste en aadir redundancia a la informacin que se desea transmitir, que permita la deteccin y correccin de errores que ocurren durante el proceso de comunicacin. De este modo, la codificacin del canal puede emplearse para alcanzar un nivel de precisin establecido en la informacin entregada a un usuario. Sin embargo, sta no es la nica forma de lograr que la informacin que recibe un usuario tenga un nivel deseado de precisin; en muchos sistemas de comunicaciones en vez de emplear la codificacin del canal, se incrementa a un nivel elevado la potencia de la seal transmitida de forma tal que cada unidad de informacin posea la suficiente energa de la seal como para poder superar las alteraciones que pudiera sufrir en el proceso de transmisin. Esto se debe principalmente a que el empleo de la codificacin del canal generalmente implica la necesidad de tomar en cuenta ciertas consideraciones que slo son permisibles en el diseo de algunos sistemas de comunicacin: incremento del ancho de banda de transmisin, aadidura de complejidad al sistema e incremento del tiempo de transmisin de la informacin. A pesar de estas consideraciones, en la mayora de los casos la codificacin para control de errores es capaz de proveer la precisin requerida en la informacin transmitida empleando menor energa que los sistemas en que la codificacin del canal no se utiliza. En estos casos el ahorro en el costo del sistema puede ser muy grande si se requiere una comunicacin virtualmente libre de errores y la potencia es demasiado costosa. Adems, en algunas aplicaciones el ahorro en la potencia de la seal va acompaado de una reduccin en tamao y peso de los componentes del sistema de comunicacin, lo que permite ver que la codificacin del canal puede traer grandes ventajas consigo. La Teora de la Informacin de Shannon ya antes mencionada define los niveles de desempeo que pueden ser alcanzados en un sistema de comunicacin a pesar de la inevitable presencia de ruido en todo canal de comunicacin, sin embargo para poder comprender cules son esos niveles y el papel que la codificacin para control de errores juega, es necesario que sean revisados algunos de los principales resultados del trabajo de Shannon, enfocndolos principalmente hacia un sistema de comunicacin digital inalmbrico. Teorema Nyquist Shannon El teorema Nyquist Shannon es una pieza fundamental de las comunicaciones digitales, pero antes de hablar de el vamos a definir algunos trminos bsicos: Muestreo Es el primer paso para la conversin de sealas anloga-digital y como su nombre lo dice se refiere a la toma de muestras de la seal analgica en periodos de tiempos determinados para as dar forma a la seal digital. Este proceso tambin se conoce como discretizacin de la seal. Teorema del muestreo Segn la revista Scientia et Technica Ao XIV, No 39, Septiembre de 2008. Universidad Tecnolgica de Pereira el teorema del muestreo plantea que si una seal continua, S(t), tiene una banda de frecuencia tal que F mx sea la mayor frecuencia comprendida dentro de dicha banda, dicha seal podr reconstruirse sin distorsin a partir de muestras de la seal tomadas a una frecuencia fs siendo fs> 2 F mx. De esta manera se plantea que para el muestreo de una seal anloga continua se debe tomar como frecuencia de muestreo el doble de la frecuencia mxima de la seal. Aliasing El aliasing lo define Emilia Gutirrez como Una onda compleja puede componerse de sinusoides a frecuencias muy altas, las cuales oscilan tan rpidamente que no son representadas correctamente por las muestras de la seal, al estar stas demasiado espaciadas entre s. El uso de una errada frecuencia de muestreo genera este efecto, el cual es causante de que en el receptor la seal llegue con errores y sea necesario el uso de filtros especiales para la reconstruccin de la misma.

Criterio de Nyquist Shannon El criterio de Nyquist Shannon es una pieza fundamental de las telecomunicaciones, el mismo nos define la frecuencia mnima de muestreo de una seal analgica para evitar el efecto aliasing. Teorema de Nyquist: Establece que la frecuencia mnima de muestreo necesaria para evitar el aliasing debe ser. Fs> 2 BW Con: fs: frecuencia de muestreo BW: ancho de banda de la seal a muestrear BW = F mx - F mn Para seales con F mn = 0, la expresin queda: fs> 2 F mx Teorema de Shannon: Este plantea la capacidad de un medio de transmisin tomando en cuenta una seal con un ancho de banda definido la cual se ve afectada por el ruido. Una seal analgica al momento en que se muestrea esta afectada ruido lo cual implica que este al momento de discretizar la seal analogicaesta inmerso en la seal digital resultante.

Dado el concepto del teorema de Shannon se puede definir este haciendo uso de la siguiente ecuacin:

Donde: C es la capacidad del canal en bits por segundo B es el ancho de banda del canal en Hz S(f) es el espectro de potencia de la seal N(f) es el espectro de potencia del ruido f es la frecuencia en Hz Esta ecuacin nos describe la capacidad de un canal determinado para una seal la cual al momento de ser discretizada se encontraba afectada por ruido. Para relaciones de potencia seal-ruido constante se puede definir la capacidad de un canal como:

El teorema de Shannon se adapta mas a la realidad ya que toda seal se ve afectada por el ruido el cual se manifiesta con distintas potencias a lo largo del espectro. Codificacin de Seales Digitales Segn Wikipedia la codificacin digital consiste en la traduccin de los valores de tensin elctrica analgicos que ya han sido cuantificados (ponderados) al sistema binario, mediante cdigos preestablecidos. La seal analgica va a quedar transformada en un tren de impulsos de seal digital (sucesin de ceros y unos). Esta traduccin es el ltimo de los procesos que tiene lugar durante la conversin analgica-digital. El resultado es un sistema binario que est basado en el lgebra de Boole. La codificacin es el ltimo proceso de la conversin de una seal Analgica a una Seal Digital, una vez que la seal es muestreada se procede a cuantificarla y por ltimo se codifica llevando la informacin que en un primer momento eran pulsos elctricos o electromagnticos en cadena de valores binarios; la asignacin de 1 y 0 a la forma que manejan las ondas se denomina cdigo de lnea, la codificacin de lnea puede ser mejorada de diferentes maneras, a continuacin se explica los diferentes mtodos utilizados para su manejo. Codificacin unipolar. La codificacin unipolar es sumamente sencilla, el sistema de transmisin funciona enviando pulsos de tensin electromagntica por el medio de transmisin, habitualmente un hilo, hay un nivel de tensin para el 0 binario y otro nivel para el 1 binario. La polaridad del impulso indica si es positivo o negativo. La codificacin se denomina unipolar porque usa nicamente una polaridad, esta polaridad se asigna a uno de los estados binarios, habitualmente el 1, el otro estado binario, el 0, se representa por el nivel 0 de tensin. La imagen representa esta codificacin, los 1 se codifican con valor positivo y los 0 con valor cero. Esta codificacin es muy sencilla y tiene una implementacin econmica.

Seal Codificada mediante el mtodo Unipolar Sin embargo la codificacion unipolar tiene, al menos, dos problemas que la hacen poco deseable: estas son una componente de corriente contnua DC y la sincronizacin. Componente DC La amplitud media de una seal con codificacin unipolar no es cero, eso crea lo que se llama una componente de corriente continua (seal de frecuencia cero). Cuando una seal contiene una componente continua, no puede viajar a travs de medios que no pueden gestionar este tipo de componentes. Sincronizacin. Cuando una seal no vara, el receptor no puede determinar el principio y el final de cada bit, por tanto la codificacin unipolar puede tener problemas de sincronizacin siempre que el flujo de datos contenga una larga serie ininterrumpida de ceros o unos. . Codificacin digital polar La codificacin polar usa dos niveles de tensin, uno positivo y otro negativo, gracias al uso de dos niveles, en la mayora de los mtodos de codificacin polar se reduce el nivel de tensin medio de la lnea y se alivia el problema de la componente DC existente en la codificacin unipolar, en incluso anulndola completamente. Existe una gran cantidad de formas en las cuales puede ser realizada la codificacin polar, las ms comunes son las detalladas a continuacin: 1. Sin Retorno a Cero (NRZ)

En la codificacin NRZ, el nivel de la seal es siempre positivo o negativo, los dos mtodos ms usuales son: NZR-L. En esta codificacin, el nivel de la seal depende del tipo de bit que representa, habitualmente un valor de tensin positiva indica que el bit es un 0 y un valor de tensin negativa indica que el bit es un 1 (o viceversa), por tanto el nivel de la seal depende del estado del bit. Pero cuando hay un flujo grande de ceros o unos en los datos puede surgir el problema de la sincronizacin. NZR-I. En esta codificacin, una inversin de la tensin representa un bit, es la transicin entre el valor de la tensin positiva y negativa, no la tensin en si misma, lo que representa un bit. Un bit 0 se representa sin ningn cambio. NZR-I es mejor que NZR-L debido a la sincronizacin implcita provista por el cambio de seal cada vez que se encuentra un 1. La existencia de unos en el flujo de datos permite al receptor sincronizar su temporizador con la llegada real de la transmisin. Las tiras de ceros todava pueden causar problemas

2.

RZ (Retorno a cero):

Utiliza tres valores: positivo, negativo y cero. Un bit 1 se representa por una transicin de positivo a cero y un bit 0 se representa con la transicin de negativo a cero, con retorno de voltaje 0 en mitad del intervalo.

Codificacin Bifsica:

En este mtodo, la seal cambia en medio del intervalo de bit pero no vuelve al nivel nulo de tensin, sino que continua al nivel opuesto. Estas transiciones intermedias permiten la sincronizacin. En esta codificacin existen dos mtodos: Manchester y Manchester diferencial. Manchester. La codificacin Manchester usa la inversin en mitad de cada intervalo de bit para sincronizar y representar los bits. Una transicin de positivo a negativo indica un 1 y una de negativo a positivo un 0. La codificacin Manchester logra el mismo nivel de sincronizacin que RZ pero con slo dos valores de tensin. Manchester diferencial. En esta codificacin, la inversin en la mitad del bit se usa para la sincronizacin pero la presencia o ausencia de una transicin al principio del intervalo se usa para identificar al bit: una transicin indica un 0 mientras que la ausencia indica un 1.

Codificacin Bipolar La Codificacin bipolar usa tres niveles de tensin como la Polar RZ: positivo, nulo y negativo. Pero, a diferencia de sta, el nivel tensin cero se usa para representar el bit 0. El bit 1 se representa alternando los niveles positivos y negativos, de forma que si el primer 1 se indica con tensin positiva, el segundo 1 tendr tensin negativa, y el tercero volvera a tener tensin positiva. Hay tres tipos de codificacin bipolar:

B8ZS (Bipolar 8-Zero Substitution)B8ZS: la sustitucin bipolar de 8 ceros, tambin llamada la sustitucin binaria de 8 ceros, el canal claro, y 64 claros. Es un mtodo de codificacin usado sobre circuitos T1, que inserta dos veces sucesivas al mismo voltaje - refirindose a una violacin bipolar - en una seal donde ocho ceros consecutivos sean transmitidos. El dispositivo que recibe la seal interpreta la violacin bipolar como una seal de engranaje de distribucin, que guarda(mantiene) la transmisin y dispositivos de encubrimiento sincronizados. Generalmente, cuando sucesivos "unos" son transmitidos, uno tiene un voltaje positivo y el otro tiene un voltaje negativo. Es decir, cuando aparecen 8 "ceros" consecutivos, se introducen cambios artificiales en el patrn basados en la polaridad del ltimo bit 'uno' codificado: V: Violacin, mantiene la polaridad anterior en la secuencia. B: Transicin, invierte la polaridad anterior en la secuencia. Los ocho ceros se sustituyen por la secuencia: 000V B0VB HDB3 (High Density Bipolar 3):El cdigo HDB3 es un buen ejemplo de las propiedades que debe reunir un cdigo de lnea para codificar en banda base: Los cdigos HDBN (High Density Bipolar) limitan el nmero de ceros consecutivos que se pueden transmitir: -HDB3 no admite ms de 3 ceros consecutivos. Colocan un impulso (positivo o negativo) en el lugar del 4 cero.