Documentos de Académico
Documentos de Profesional
Documentos de Cultura
Entropia en La Teoria de La Informacion
Entropia en La Teoria de La Informacion
La teora de la informacin fue desarrollada por Claude E. Shannon para encontrar los lmites
fundamentales en la compresin y almacenamiento confiable y comunicacin de datos.
Una medida clave de la informacin en la teora es conocida como entropa, la que
usualmente se expresa como el nmero promedio de bits necesarios para almacenamiento o
comunicacin. La entropa cuantifica la incertidumbre involucrada al encontrar una variable al
azar.
Por ejemplo, que nos digan que las calles estn mojadas, sabiendo que acaba de llover, nos
aporta poca informacin, porque es lo habitual. Pero si nos dicen que las calles estn mojadas
y sabemos que no ha llovido, aporta mucha informacin (porque no las riegan todos los das).
Ntese que en el ejemplo anterior la cantidad de informacin es diferente, pese a tratarse del
mismo mensaje: Las calles estn mojadas. En ello se basan las tcnicas de compresin de
datos, que permiten empaquetar la misma informacin en mensajes ms cortos.
La medida de la entropa puede aplicarse a fuentes de informacin de cualquier naturaleza, y
nos permite codificarla adecuadamente, indicndonos los elementos de cdigo necesarios
para transmitirla, eliminando toda redundancia. (Para indicar el resultado de una carrera de
caballos basta con transmitir el cdigo asociado al caballo ganador, no hace falta contar que
es una carrera de caballos ni su desarrollo).
La entropa nos indica el lmite terico para la compresin de datos.
Su clculo se realiza mediante la siguiente frmula:
donde H es la entropa, las p son las probabilidades de que aparezcan los diferentes
cdigos y m el nmero total de cdigos. Si nos referimos a un sistema, las p se refieren a
las probabilidades de que se encuentre en un determinado estado y m el nmero total de
posibles estados
Se utiliza habitualmente el logaritmo en base 2, y entonces la entropa se mide en bits.
Por ejemplo: El lanzamiento de una moneda al aire para ver si sale cara o cruz (dos
estados con probabilidad 0,5) tiene una entropa: