Codificacion. La teoría de información se asocia de cerca de una colección de las disciplinas puras y aplicadas que se han investigado y se han reducido a la práctica de la ingeniería bajo variedad de rúbricas a través del excedente del mundo el último medio siglo o más: sistemas adaptantes, sistemas de anticipación, inteligencia artificial, sistemas complejos, ciencia de la complejidad, cibernética, informática, el aprender de máquina, junto con ciencias de los sistemas de muchas descripciones. La teoría de información es una teoría matemática amplia y profunda, con los usos igualmente amplios y profundos, entre de los cuales está el campo vital teoría de la codificación.
La teoría de la codificación se refiere a encontrar los métodos explícitos, llamados códigos,
de aumentar la eficacia y de reducir el índice de error neto de la comunicación de datos sobre un canal ruidoso cerca del límite que Shannon probó es el máximo posible para ese canal. Estos códigos se pueden subdividir áspero en compresión de datos (codificación de fuente) y error- corrección (técnicas de la codificación del canal). En el último caso, tomó muchos años para encontrar los métodos que el trabajo de Shannon probado era posible. Una tercera clase de los códigos de la teoría de información es algoritmos criptográficos (ambos códigos y cifras). Los conceptos, los métodos y los resultados de cifrar teoría y teoría de información son ampliamente utilizados adentrocriptografía y criptoanálisis.
La teoría de información también se utiliza adentro recuperación de datos, reunión de la
inteligencia, juego, estadística, e igual adentro de una composición musical.
El teorema de Shannon En 1948 se publicó dentro de la revista de los laboratorios Bell (EEUU) un artículo titulado “A Mathematical Theory of Communication” por el investigador de dicho laboratorio Claude E. Shannon. Dicho artículo, de aproximadamente 50 páginas de extensión, es un complejo análisis matemático donde se establece la velocidad máxima en bits por segundo que se puede alcanzar en cualquier sistema de comunicación real. Claude E. Shannon realizó dicho estudio sobre un sistema de comunicación en general, sin particularizar en ningún medio de transmisión en concreto, por lo que a lo largo de todo el artículo no aparece ninguna mención a componentes o circuitos eléctricos, electrónicos, ópticos o cualquier otro sistema susceptible de emplearse en comunicaciones digitales. Es, como su propio título indica, una teoría matemática de la comunicación.
Codificacion de Fuente En teoría de la información, el teorema de codificación de fuentes, el primer teorema de Shannon o, menos utilizado, teorema de codificación sin ruido es un teorema enunciado por Claude Shannon en 1948 que establece el límite teórico para la compresión de una fuente de datos,1 así como el significado operacional de la entropía de Shannon.
Los sistemas de comunicaciones tienen como propósito transmitir información de fuente a
destino. La fuente de información es una función variante en el tiempo que se modela mediante un proceso estocástico. En consecuencia, el sistema de comunicaciones está diseñado para transmitir la salida de un proceso estocástico (fuente de información) a un destino a través de un medio estocástico (canal). Las fuentes de información pueden clasificarse como fuentes analógicas o como fuentes discretas. Si la información, analógica o discreta, debe ser adaptada para trabajar con un sistema de comunicación digital, esta adaptación al sistema se conoce como Codificación de fuente, en este bloque se buscan técnicas para convertir de forma eficiente las fuentes arbitrarias de información en mensaje digital, eliminando la posible redundancia que presente la fuente de información.
Capacidad de Canal En el Excedente de las comunicaciones un canal tal como Ethernet alambre-es la motivación primaria de la teoría de información. Como cualquier persona que siempre se utiliza un teléfono movil sabe, sin embargo, tales canales no pueden a menudo producir la reconstrucción exacta de una señal; divulgue, los períodos del silencio, y otras formas de corrupción de la señal degradan a menudo calidad. ¿Cuánto información puede uno esperar para comunicarse sobre un canal ruidoso o de otra manera imperfecto?
Considere el proceso de las comunicaciones sobre un canal discreto. Un modelo simple del proceso se demuestra abajo: Aquí X representa el espacio de los mensajes transmitidos, y Y el espacio de los mensajes recibidos durante un rato de la unidad sobre nuestro canal. Dejado p(y | x) sea probabilidad condicional función de distribución de Y dado X. Consideraremos p(y | x) para ser una característica fija inherente de nuestro canal de comunicaciones (que representa la naturaleza del ruido de nuestro canal). Entonces la distribución común de X y Y es determinado totalmente por nuestro canal y por nuestra opción de f(x), la distribución marginal de mensajes que elegimos enviar sobre el canal. Bajo estos apremios, quisiéramos maximizar el índice de la información, o señal, podemos comunicarnos sobre el canal. La medida apropiada para esto es información mutua, y esta información mutua máxima se llama capacidad de canal y se da cerca:
Esta capacidad tiene la característica siguiente relacionada con comunicarse en la tarifa de la
información R (donde R están generalmente los pedacitos por símbolo). Para cualquier tarifa de la información R < C y ε del error de codificación > 0, para bastante grande N, existe un código de la longitud N y ≥ R de la tarifa y un algoritmo el descifrar, tal que la probabilidad máxima del error del bloque es ε del ≤; es decir, es siempre posible transmitir con error arbitrariamente pequeño del bloque. Además, para cualquier tarifa R > C, es imposible transmitir con error arbitrariamente pequeño del bloque.
El teorema de Shannon En 1948 se publicó dentro de la revista de los laboratorios Bell (EEUU) un artículo titulado “A Mathematical Theory of Communication” por el investigador de dicho laboratorio Claude E. Shannon. Dicho artículo, de aproximadamente 50 páginas de extensión, es un complejo análisis matemático donde se establece la velocidad máxima en bits por segundo que se puede alcanzar en cualquier sistema de comunicación real. Claude E. Shannon realizó dicho estudio sobre un sistema de comunicación en general, sin particularizar en ningún medio de transmisión en concreto, por lo que a lo largo de todo el artículo no aparece ninguna mención a componentes o circuitos eléctricos, electrónicos, ópticos o cualquier otro sistema susceptible de emplearse en comunicaciones digitales. Es, como su propio título indica, una teoría matemática de la comunicación. Capacidad de canal Se llama capacidad del canal a la velocidad a la que se pueden transmitir los datos en un canal de comunicación de datos. La velocidad de transmisión de los datos es expresada en bits por segundo (bps).
La capacidad de un canal depende del ancho de banda (que depende del transmisor y de la naturaleza del medio de transmisión), el ruido y la tasa de errores permitida. Para un ancho de banda dado se puede alcanzar la mayor velocidad de transmisión posible pero hay que evitar que se supere la tasa de errores aconsejable. Para conseguirlo, el mayor inconveniente es el ruido.
Unidades de medida
Para medir la velocidad máxima que puede soportar un medio de transmisión determinado con respecto al tipo de señal utilizada, se emplean dos medidas: el baudio y los dígitos binarios por segundo (bps).
La medida en bps indica el número de bits que se transmiten en un segundo. Por su parte, el baudio mide la cantidad de veces por segundo que la señal cambia su valor.
Una línea de b baudios no necesariamente transmite b bps, pues cada señal podría transmitir varios dígitos. Si se usan, por ejemplo, los voltajes 0,1,2,3,4,5,6,7, el valor de cada señal podrá servir para transportar tres dígitos, de modo que la velocidad en bps sería tres veces superior a la velocidad en baudios.
Teoría de la capacidad de canal
En Teoría de la Información, la capacidad de un canal de comunicación es la cantidad máxima de información que puede transportar dicho canal de forma fiable, es decir, con una probabilidad de error tan pequeña como se quiera. Normalmente se expresa en bits/s (bps).1
La capacidad del canal depende de la naturaleza del soporta, es decir, de los portadores canales de gran ancho de banda, como la fibra óptica, su capacidad siempre tiene un límite. Nyquist demostró la existencia de ese límite cuando se envían señales digitales por canales analógicos.
Según el teorema de Nyquist, para aumentar la capacidad de un canal se deben
incrementar los niveles de tensión. Por lo que el receptor debe de ser capaz de diferenciar estos niveles de tensión en la señal recibida, cosa que es dificultada por el ruido. Además, cuanto mayor es la velocidad de transmisión, mayor es el daño que puede ocasionar el ruido. En 1.948, Shannon extendió el trabajo de Nyquist al caso de un canal real sujeto a la aparición de una cierta cantidad de ruido aleatorio. La siguiente expresión, conocida como fórmula de Shannon, proporciona la capacidad máxima en bps de un canal con ruido:
La teoría de la información, desarrollada por Claude E. Shannon durante la Segunda
Guerra Mundial, define la noción de la capacidad del canal y provee un modelo matemático con el que se puede calcular. La cifra que resulta del estado de capacidad del canal, se define como la máxima de la información mutua entre la entrada y la salida del canal. Donde el punto máximo se encuentra en la entrada de la distribución.
Teoría de Codificacion de fuente
En teoría de la información, el teorema de codificación de fuentes, el primer teorema de
Shannon o, menos utilizado, teorema de codificación sin ruido es un teorema enunciado por Claude Shannon en 1948 que establece el límite teórico para la compresión de una fuente de datos,1 así como el significado operacional de la entropía de Shannon.
El primer teorema de Shannon muestra que en el límite en el que una cadena de variables aleatorias independientes e idénticamente distribuidas de datos tiende a infinito es imposible comprimir la información de forma que el ratio de codificación número medio de bits por símbolo es menor que la entropía de Shannon de la fuente, si se garantiza que no haya pérdida de información. Sin embargo, sí es posible conseguir un ratio de codificación arbitrariamente cerca del valor de la entropía de Shannon.
El primer teorema de Shannon establece una cota inferior y superior de la longitud mínima posible de bits de información como función de la entropía.
