ENTROPIA EN LA TEORIA DE LA INFORMACION

La teora de la informacin fue desarrollada por Claude E. Shannon para encontrar los lmites
fundamentales en la compresin y almacenamiento confiable y comunicacin de datos.
Una medida clave de la informacin en la teora es conocida como entropa, la que
usualmente se expresa como el nmero promedio de bits necesarios para almacenamiento o
comunicacin. La entropa cuantifica la incertidumbre involucrada al encontrar una variable al
azar.
Por ejemplo, que nos digan que las calles estn mojadas, sabiendo que acaba de llover, nos
aporta poca informacin, porque es lo habitual. Pero si nos dicen que las calles estn mojadas
y sabemos que no ha llovido, aporta mucha informacin (porque no las riegan todos los das).
Ntese que en el ejemplo anterior la cantidad de informacin es diferente, pese a tratarse del
mismo mensaje: Las calles estn mojadas. En ello se basan las tcnicas de compresin de
datos, que permiten empaquetar la misma informacin en mensajes ms cortos.
La medida de la entropa puede aplicarse a fuentes de informacin de cualquier naturaleza, y
nos permite codificarla adecuadamente, indicndonos los elementos de cdigo necesarios
para transmitirla, eliminando toda redundancia. (Para indicar el resultado de una carrera de
caballos basta con transmitir el cdigo asociado al caballo ganador, no hace falta contar que
es una carrera de caballos ni su desarrollo).
La entropa nos indica el lmite terico para la compresin de datos.
Su clculo se realiza mediante la siguiente frmula:

donde H es la entropa, las p son las probabilidades de que aparezcan los diferentes
cdigos y m el nmero total de cdigos. Si nos referimos a un sistema, las p se refieren a
las probabilidades de que se encuentre en un determinado estado y m el nmero total de
posibles estados
Se utiliza habitualmente el logaritmo en base 2, y entonces la entropa se mide en bits.
Por ejemplo: El lanzamiento de una moneda al aire para ver si sale cara o cruz (dos
estados con probabilidad 0,5) tiene una entropa:

A partir de esta definicin bsica se pueden definir otras entropas.

TEORIA DE LA INFORMACION ENTROPIA

Segn la teora de la informacin de Shannon, la informacin es en

primer lugar, cualquier cosa que viaje desde una fuente a un receptor,
all de alguna forma la informacin transforma el estado del receptor, o
en segundo lugar se refiere a la inseguridad que desaparece en el
momento de recibir una seal, tambin es conveniente agregar que
Shannon se interesa nicamente en definir la probabilidad de aparicin
de los signos, de esta manera su concepto abarca: la concepcin de la
informacin como algo cualitativo y una proporcin en la que entre ms
posible sea un signo mayor ser la cantidad de informacin.
La entropa puede ser la magnitud fsica termodinmica que permite medir
la parte no utilizable de la energa contenida en un sistema. Esto quiere decir
que dicha parte de la energa no puede usarse para producir un trabajo.
Se entiende por entropa tambin a la medida del desorden de un sistema.
En este sentido, est asociada a un grado de homogeneidad.
La entropa de formacin de un compuesto qumico se establece midiendo la
que conforma a cada uno de sus elementos constituyentes. A mayor entropa
de formacin, ms favorable ser su formacin.
En la teora de la informacin, la entropa es la medida de la incertidumbre
que existe ante un conjunto de mensajes (de los cuales slo se recibir
uno solo). Se trata de una medida de la informacin que es necesaria para
reducir o eliminar la incertidumbre.
Otra manera de entender la entropa es como la cantidad media de
informacin que contienen los smbolos transmitidos. Palabras
como el o que son los smbolos ms frecuentes en un texto pero, sin
embargo, son los que aportan menos informacin. El mensaje tendr
informacin relevante y mxima entropa cuando todos los smbolos son
igualmente probables.
Su clculo se realiza mediante la siguiente frmula: