Entropía (información) - Wikipedia, la enciclopedia libre

Entropía (información)
De Wikipedia, la enciclopedia libre
Saltar a navegación, búsqueda
Entropía es un concepto en termodinámica, mecánica estadística y Teoría de la
información. Los conceptos de información y entropía están ampliamente
relacionados entre sí, aunque se tardó años en el desarrollo de la mecánica
estadística y la teoría de la información para hacer esto aparente. Este
artículo versa sobre la entropía, en la formulación que hace de ella la Teoría
de la información. Esta entropía se llama frecuentemente Entropía de Shannon, en
honor de Claude E. Shannon.
[editar] Concepto básico
El concepto básico de entropía en Teoría de la Información tiene mucho que ver
con la incertidumbre que existe en cualquier experimento o señal aleatoria. De
esta forma, podremos hablar de la cantidad de información que lleva una señal.
Como ejemplo, consideremos algún texto escrito en español, codificado como una
cadena de letras, espacios y signos de puntuación (nuestra señal será una cadena
de caracteres). Ya que, estadísticamente, algunos caracteres no son muy comunes
(por ejemplo, 'y'), mientras otros sí lo son (como la 'a'), la cadena de
caracteres no es tan "aleatoria" como podría llegar a ser. Obviamente, no
podemos predecir con exactitud cuál será el siguiente carácter en la cadena y
eso la haría aparentemente aleatoria; pero es la entropía la encargada de medir
precisamente esa aleatoriedad, y fue presentada por Shannon en su artículo de
1948 A Mathematical Theory of Communication ("Una Teoría Matemática de la
Comunicación", en inglés).
Shannon ofrece una definición de entropía que satisface las siguientes
afirmaciones:
La medida de información debe ser proporcional (continua). Es decir, el cambio
pequeño en una de las probabilidades de aparición de uno de los elementos de
la señal debe cambiar poco la entropía.
Si todos los elementos de la señal son equiprobables a la hora de aparecer,
entonces, la entropía será máxima.
[editar] Definición formal
La entropía nos indica el límite teórico para la compresión de datos. También es
una medida de la información contenida en el mensaje
Su cálculo se realiza mediante la siguiente fórmula:

donde H es la entropía, las p son las probabilidades de que aparezcan los

diferentes códigos y n el número total de códigos. Si nos referimos a un
sistema, las p se refieren a las probabilidades de que se encuentre en un
determinado estado y n el número total de posibles estados.
Se utiliza habitualmente el logaritmo en base 2, y entonces la entropía se mide
en bits.
Por ejemplo: El lanzamiento de una moneda al aire para ver si sale cara o cruz
(dos estados con probabilidad 0,5) tiene una entropía:
H = 0,5*log2(1/0,5)+0,5*log2(1/0,5) = 0,5*log2(2)+0,5*log2(2) = 0,5+0,5 = 1 bit
A partir de esta definición básica se pueden definir otras entropías.
Obtenido de "http://es.wikipedia.org/wiki/Entrop%C3%ADa_%28informaci%C3%B3n%29"
Categoría: Teoría de la información
VistasArtículo Discusión Editar Historial Herramientas
personalesRegistrarse/Entrar Navegación
Portada
Portal de la comunidad
Actualidad
Cambios recientes
Página aleatoria
Ayuda
Donativos
Buscar
 Herramientas
Lo que enlaza aquí
Cambios en enlazadas
Subir archivo
Páginas especiales
Versión para imprimir
Enlace permanente
Citar este artículo
Otros idiomas
Deutsch
Ελληνικά
English
Français
‫עברית‬
Magyar
Italiano
한국어
Nederlands
Polski
Русский
Svenska
ไทย
Tiếng Việt
中文

Esta página fue modificada por última vez el 10:42, 3 oct 2006. El contenido
está disponible bajo los términos de la Licencia de documentación libre de GNU
(véase Copyrights para más detalles).
Wikipedia® es una marca registrada de Wikimedia Foundation, Inc.
Política de privacidad Acerca de Wikipedia Aviso legal