Está en la página 1de 5

La teoría de la Informacion y

Codificacion.
La teoría de información se asocia de cerca de una colección de las disciplinas puras y
aplicadas que se han investigado y se han reducido a la práctica de la ingeniería bajo variedad de
rúbricas a través del excedente del mundo el último medio siglo o más: sistemas adaptantes,
sistemas de anticipación, inteligencia artificial, sistemas complejos, ciencia de la complejidad,
cibernética, informática, el aprender de máquina, junto con ciencias de los sistemas de muchas
descripciones. La teoría de información es una teoría matemática amplia y profunda, con los usos
igualmente amplios y profundos, entre de los cuales está el campo vital teoría de la codificación.

La teoría de la codificación se refiere a encontrar los métodos explícitos, llamados códigos,


de aumentar la eficacia y de reducir el índice de error neto de la comunicación de datos sobre un
canal ruidoso cerca del límite que Shannon probó es el máximo posible para ese canal. Estos
códigos se pueden subdividir áspero en compresión de datos (codificación de fuente) y error-
corrección (técnicas de la codificación del canal). En el último caso, tomó muchos años para
encontrar los métodos que el trabajo de Shannon probado era posible. Una tercera clase de los
códigos de la teoría de información es algoritmos criptográficos (ambos códigos y cifras). Los
conceptos, los métodos y los resultados de cifrar teoría y teoría de información son ampliamente
utilizados adentrocriptografía y criptoanálisis.

La teoría de información también se utiliza adentro recuperación de datos, reunión de la


inteligencia, juego, estadística, e igual adentro de una composición musical.

El teorema de Shannon
En 1948 se publicó dentro de la revista de los laboratorios Bell (EEUU) un artículo titulado “A
Mathematical Theory of Communication” por el investigador de dicho laboratorio Claude E.
Shannon. Dicho artículo, de aproximadamente 50 páginas de extensión, es un complejo análisis
matemático donde se establece la velocidad máxima en bits por segundo que se puede alcanzar
en cualquier sistema de comunicación real. Claude E. Shannon realizó dicho estudio sobre un
sistema de comunicación en general, sin particularizar en ningún medio de transmisión en
concreto, por lo que a lo largo de todo el artículo no aparece ninguna mención a componentes o
circuitos eléctricos, electrónicos, ópticos o cualquier otro sistema susceptible de emplearse en
comunicaciones digitales. Es, como su propio título indica, una teoría matemática de la
comunicación.

Codificacion de Fuente
En teoría de la información, el teorema de codificación de fuentes, el primer teorema de
Shannon o, menos utilizado, teorema de codificación sin ruido es un teorema enunciado por
Claude Shannon en 1948 que establece el límite teórico para la compresión de una fuente de
datos,1 así como el significado operacional de la entropía de Shannon.

Los sistemas de comunicaciones tienen como propósito transmitir información de fuente a


destino. La fuente de información es una función variante en el tiempo que se modela mediante
un proceso estocástico. En consecuencia, el sistema de comunicaciones está diseñado para
transmitir la salida de un proceso estocástico (fuente de información) a un destino a través de un
medio estocástico (canal). Las fuentes de información pueden clasificarse como fuentes analógicas
o como fuentes discretas. Si la información, analógica o discreta, debe ser adaptada para trabajar
con un sistema de comunicación digital, esta adaptación al sistema se conoce como Codificación
de fuente, en este bloque se buscan técnicas para convertir de forma eficiente las fuentes
arbitrarias de información en mensaje digital, eliminando la posible redundancia que presente la
fuente de información.

Capacidad de Canal
En el Excedente de las comunicaciones un canal tal como Ethernet alambre-es la
motivación primaria de la teoría de información. Como cualquier persona que siempre se utiliza un
teléfono movil sabe, sin embargo, tales canales no pueden a menudo producir la reconstrucción
exacta de una señal; divulgue, los períodos del silencio, y otras formas de corrupción de la señal
degradan a menudo calidad. ¿Cuánto información puede uno esperar para comunicarse sobre un
canal ruidoso o de otra manera imperfecto?

Considere el proceso de las comunicaciones sobre un canal discreto. Un modelo simple del
proceso se demuestra abajo:
Aquí X representa el espacio de los mensajes transmitidos, y Y el espacio de los mensajes recibidos
durante un rato de la unidad sobre nuestro canal. Dejado p(y | x) sea probabilidad condicional
función de distribución de Y dado X. Consideraremos p(y | x) para ser una característica fija
inherente de nuestro canal de comunicaciones (que representa la naturaleza del ruido de nuestro
canal). Entonces la distribución común de X y Y es determinado totalmente por nuestro canal y por
nuestra opción de f(x), la distribución marginal de mensajes que elegimos enviar sobre el canal.
Bajo estos apremios, quisiéramos maximizar el índice de la información, o señal, podemos
comunicarnos sobre el canal. La medida apropiada para esto es información mutua, y esta
información mutua máxima se llama capacidad de canal y se da cerca:

Esta capacidad tiene la característica siguiente relacionada con comunicarse en la tarifa de la


información R (donde R están generalmente los pedacitos por símbolo). Para cualquier tarifa de la
información R < C y ε del error de codificación > 0, para bastante grande N, existe un código de la
longitud N y ≥ R de la tarifa y un algoritmo el descifrar, tal que la probabilidad máxima del error del
bloque es ε del ≤; es decir, es siempre posible transmitir con error arbitrariamente pequeño del
bloque. Además, para cualquier tarifa R > C, es imposible transmitir con error arbitrariamente
pequeño del bloque.

El teorema de Shannon
En 1948 se publicó dentro de la revista de los laboratorios Bell (EEUU) un artículo titulado
“A Mathematical Theory of Communication” por el investigador de dicho laboratorio Claude E.
Shannon. Dicho artículo, de aproximadamente 50 páginas de extensión, es un complejo análisis
matemático donde se establece la velocidad máxima en bits por segundo que se puede alcanzar
en cualquier sistema de comunicación real. Claude E. Shannon realizó dicho estudio sobre un
sistema de comunicación en general, sin particularizar en ningún medio de transmisión en
concreto, por lo que a lo largo de todo el artículo no aparece ninguna mención a componentes o
circuitos eléctricos, electrónicos, ópticos o cualquier otro sistema susceptible de emplearse en
comunicaciones digitales. Es, como su propio título indica, una teoría matemática de la
comunicación.
Capacidad de canal
Se llama capacidad del canal a la velocidad a la que se pueden transmitir los datos en un
canal de comunicación de datos. La velocidad de transmisión de los datos es expresada en bits por
segundo (bps).

La capacidad de un canal depende del ancho de banda (que depende del transmisor y de la
naturaleza del medio de transmisión), el ruido y la tasa de errores permitida. Para un ancho de
banda dado se puede alcanzar la mayor velocidad de transmisión posible pero hay que evitar que
se supere la tasa de errores aconsejable. Para conseguirlo, el mayor inconveniente es el ruido.

Unidades de medida

Para medir la velocidad máxima que puede soportar un medio de transmisión determinado con
respecto al tipo de señal utilizada, se emplean dos medidas: el baudio y los dígitos binarios por
segundo (bps).

La medida en bps indica el número de bits que se transmiten en un segundo. Por su parte, el
baudio mide la cantidad de veces por segundo que la señal cambia su valor.

Una línea de b baudios no necesariamente transmite b bps, pues cada señal podría transmitir
varios dígitos. Si se usan, por ejemplo, los voltajes 0,1,2,3,4,5,6,7, el valor de cada señal podrá
servir para transportar tres dígitos, de modo que la velocidad en bps sería tres veces superior a la
velocidad en baudios.

Teoría de la capacidad de canal


En Teoría de la Información, la capacidad de un canal de comunicación es la cantidad
máxima de información que puede transportar dicho canal de forma fiable, es decir, con una
probabilidad de error tan pequeña como se quiera. Normalmente se expresa en bits/s (bps).1

La capacidad del canal depende de la naturaleza del soporta, es decir, de los portadores
canales de gran ancho de banda, como la fibra óptica, su capacidad siempre tiene un límite.
Nyquist demostró la existencia de ese límite cuando se envían señales digitales por canales
analógicos.

Según el teorema de Nyquist, para aumentar la capacidad de un canal se deben


incrementar los niveles de tensión. Por lo que el receptor debe de ser capaz de diferenciar estos
niveles de tensión en la señal recibida, cosa que es dificultada por el ruido. Además, cuanto mayor
es la velocidad de transmisión, mayor es el daño que puede ocasionar el ruido.
En 1.948, Shannon extendió el trabajo de Nyquist al caso de un canal real sujeto a la
aparición de una cierta cantidad de ruido aleatorio. La siguiente expresión, conocida como fórmula
de Shannon, proporciona la capacidad máxima en bps de un canal con ruido:

La teoría de la información, desarrollada por Claude E. Shannon durante la Segunda


Guerra Mundial, define la noción de la capacidad del canal y provee un modelo matemático con el
que se puede calcular. La cifra que resulta del estado de capacidad del canal, se define como la
máxima de la información mutua entre la entrada y la salida del canal. Donde el punto máximo se
encuentra en la entrada de la distribución.

Teoría de Codificacion de fuente

En teoría de la información, el teorema de codificación de fuentes, el primer teorema de


Shannon o, menos utilizado, teorema de codificación sin ruido es un teorema enunciado por
Claude Shannon en 1948 que establece el límite teórico para la compresión de una fuente de
datos,1 así como el significado operacional de la entropía de Shannon.

El primer teorema de Shannon muestra que en el límite en el que una cadena de variables
aleatorias independientes e idénticamente distribuidas de datos tiende a infinito es imposible
comprimir la información de forma que el ratio de codificación número medio de bits por símbolo
es menor que la entropía de Shannon de la fuente, si se garantiza que no haya pérdida de
información. Sin embargo, sí es posible conseguir un ratio de codificación arbitrariamente cerca
del valor de la entropía de Shannon.

El primer teorema de Shannon establece una cota inferior y superior de la longitud mínima
posible de bits de información como función de la entropía.

También podría gustarte