Entropa (informacin) - Wikipedia, la enciclopedia libre https://es.wikipedia.

org/wiki/Entropa_(informacin)

Entropa (informacin)
De Wikipedia, la enciclopedia libre

En el mbito de la teora de la informacin la entropa, tambin llamada entropa de la informacin y entropa de Shannon (en
honor a Claude E. Shannon), mide la incertidumbre de una fuente de informacin.

La entropa tambin se puede considerar como la cantidad de informacin promedio que contienen los smbolos usados. Los smbolos
con menor probabilidad son los que aportan mayor informacin; por ejemplo, si se considera como sistema de smbolos a las palabras
en un texto, palabras frecuentes como que, el, a aportan poca informacin, mientras que palabras menos frecuentes como
corren, nio, perro aportan ms informacin. Si de un texto dado borramos un que, seguramente no afectar a la comprensin
y se sobreentender, no siendo as si borramos la palabra nio del mismo texto original. Cuando todos los smbolos son igualmente
probables (distribucin de probabilidad plana), todos aportan informacin relevante y la entropa es mxima.

El concepto entropa es usado en termodinmica, mecnica estadstica y teora de la informacin. En todos los casos la entropa se
concibe como una medida del desorden o la peculiaridad de ciertas combinaciones. La entropa puede ser considerada como una
medida de la incertidumbre y de la informacin necesarias para, en cualquier proceso, poder acotar, reducir o eliminar la incertidumbre.
Resulta que el concepto de informacin y el de entropa estn bsicamente relacionados entre s, aunque se necesitaron aos de
desarrollo de la mecnica estadstica y de la teora de la informacin antes de que esto fuera percibido.

ndice
1 Relacin con la entropa termodinmica
2 Concepto intuitivo
3 Definicin formal
3.1 Ejemplos
3.2 Informacin mutua
4 Propiedades
5 Codificador ptimo
5.1 Ejemplo
6 Entropa condicional
6.1 Aplicacin en criptoanlisis
6.2 Ejemplo
7 Entropa de un proceso estocstico
7.1 Ratio de entropa
8 Vase tambin
9 Notas y eferencias
9.1 Referencias
9.2 Bibliografa
10 Enlaces externos

Relacin con la entropa termodinmica

La entropa de la teora de la informacin est estrechamente relacionada con la entropa termodinmica. En la termodinmica se
estudia un sistema de partculas cuyos estados X (usualmente posicin y velocidad) tienen una cierta distribucin de probabilidad,
pudiendo ocupar varios microestados posibles (equivalentes a los smbolos en la teora de la informacin). La entropa termodinmica
es igual a la entropa de la teora de la informacin de esa distribucin (medida usando el logaritmo neperiano) multiplicada por la
constante de Boltzmann k, la cual permite pasar de nats (unidad semejante al bit) a J/K. Cuando todos los microestados son igualmente
probables, la entropa termodinmica toma la forma k log(N). En un sistema aislado, la interaccin entre las partculas tiende a
aumentar su dispersin, afectando sus posiciones y sus velocidades, lo que causa que la entropa de la distribucin aumente con el
tiempo hasta llegar a un cierto mximo (cuando el mismo sistema es lo ms homogneo y desorganizado posible); lo que es denominado
segunda ley de la termodinmica. La diferencia entre la cantidad de entropa que tiene un sistema y el mximo que puede llegar a tener
se denomina neguentropa, y representa la cantidad de organizacin interna que tiene el sistema. A partir de esta ltima se puede definir
la energa libre de Gibbs, que indica la energa que puede liberar el sistema al aumentar la entropa hasta su mximo y puede ser
transformada en trabajo (energa mecnica til) usando una mquina ideal de Carnot. Cuando un sistema recibe un flujo de calor, las
velocidades de las partculas aumentan, lo que dispersa la distribucin y hace aumentar as la entropa. As, el flujo de calor produce un
flujo de entropa en la misma direccin.

Concepto intuitivo
El concepto bsico de entropa en teora de la informacin tiene mucho que ver con la incertidumbre que existe en cualquier
experimento o seal aleatoria. Es tambin la cantidad de ruido o desorden que contiene o libera un sistema. De esta forma,
podremos hablar de la cantidad de informacin que lleva una seal.

1 de 6 9/7/17 14:34
Entropa (informacin) - Wikipedia, la enciclopedia libre https://es.wikipedia.org/wiki/Entropa_(informacin)

Como ejemplo, consideremos algn texto escrito en espaol, codificado como una cadena de
letras, espacios y signos de puntuacin (nuestra seal ser una cadena de caracteres). Ya que,
estadsticamente, algunos caracteres no son muy comunes (por ejemplo, w), mientras otros s
lo son (como la a), la cadena de caracteres no ser tan "aleatoria" como podra llegar a ser.
Obviamente, no podemos predecir con exactitud cul ser el siguiente carcter en la cadena, y
eso la hara aparentemente aleatoria. Pero es la entropa la encargada de medir precisamente esa
aleatoriedad, y fue presentada por Shannon en su artculo de 1948, A Mathematical Theory of
Communication (http://cm.bell-labs.com/cm/ms/what/shannonday/paper.html) ("Una teora
matemtica de la comunicacin", en ingls).

Shannon ofrece una definicin de entropa que satisface las siguientes afirmaciones:

La medida de informacin debe ser proporcional (lineal continua). Es decir, el cambio

pequeo en una de las probabilidades de aparicin de uno de los elementos de la seal Entropa de la informacin en un
debe cambiar poco la entropa. ensayo de Bernoulli X (experimento
Si todos los elementos de la seal son equiprobables (igual de probables) a la hora de aleatorio en que X puede tomar los
aparecer, entonces la entropa ser mxima. valores 0 o 1). La entropa depende de
la probabilidad P(X=1) de que X tome
Ejemplos de mxima entropa: Suponiendo que estamos a la espera de un texto, por ejemplo un el valor 1. Cuando P(X=1)=0.5, todos
cable con un mensaje. En dicho cable solo se reciben las letras en minscula de la a hasta la z, los resultados posibles son igualmente
entonces si el mensaje que nos llega es "qalmnbphijcdgketrsfuvxyzwo" el cual posee una probables, por lo que el resultado es
longitud de 27 caracteres, se puede decir que este mensaje llega a nosotros con la mxima poco predecible y la entropa es
entropa (o desorden posible); ya que es poco probable que se pueda pronosticar la entrada de mxima.
caracteres, pues estos no se repiten ni estn ordenados en una forma predecible.

Definicin formal
Supongamos que un evento (variable aleatoria) tiene un grado de indeterminacin inicial igual a (i.e. existen estados posibles) y
supongamos todos los estados equiprobables. Entonces la probabilidad de que se d una de esas combinaciones ser . Luego
podemos representar la expresin como: a

Si ahora cada uno de los estados tiene una probabilidad , entonces la entropa vendr dada por la suma ponderada de la cantidad de
informacin:1 b

Por lo tanto, la entropa de un mensaje , denotado por , es el valor medio ponderado de la cantidad de informacin de los
diversos estados del mensaje:

que representa una medida de la incertidumbre media acerca de una variable aleatoria y por tanto de la cantidad de informacin.

Ejemplos
La entropa de un mensaje M de longitud 1 carcter que utiliza el conjunto de caracteres ASCII, suponiendo una equiprobabilidad
en los 256 caracteres ASCII, ser:

Supongamos que el nmero de estados de un mensaje es igual a 3, M1, M2 y M3 donde la probabilidad de M1 es 50 %, la de M2

25 % y la de M3 25 %. Por tanto, la entropa de la informacin es:

2 de 6 9/7/17 14:34
Entropa (informacin) - Wikipedia, la enciclopedia libre https://es.wikipedia.org/wiki/Entropa_(informacin)

Informacin mutua
La entropa puede verse como caso especial de la informacin mutua. La informacin mutua de dos variables aleatorias, denotado por
I(X;Y), es una cantidad que mide la dependencia mutua de las dos variables; es decir, mide la reduccin de la incertidumbre (entropa)
de una variable aleatoria, X, debido al conocimiento del valor de otra variable aleatoria, Y.2 De la definicin podemos concluir que, si X
e Y son iguales, entonces I(X;X)=H(X).

Propiedades
La entropa tiene las siguientes propiedades:

1. La entropa es no negativa. Esto es evidente ya que al ser una probabilidad entonces . Por tanto, podemos decir
que y por tanto
2. Es decir, la entropa H est acotada superiormente (cuando es mxima) y no supone prdida de informacin.
3. Dado un proceso con posibles resultados {A1,..,An} con probabilidades relativas p1,...,pn, la funcin es mxima
en el caso de que . El resultado es intuitivo ya que tenemos la mayor incertidumbre del mensaje, cuando
los valores posibles de la variable son equiprobables
4. Dado un proceso con posibles resultados {A1,..,An} con probabilidades relativas p1,...,pn, la funcin es nula en
el caso de que para todo i, excepto para una clase, tal que: . De forma intuitiva podemos pensar que cuando uno o
ms estados tienen una probabilidad alta, disminuye significativamente la entropa porque, como es lgico, existe una menor
incertidumbre respecto al mensaje que se recibir.

Codificador ptimo
Un codificador ptimo es aquel que utiliza el mnimo nmero de bits para codificar un mensaje. Un codificador ptimo usar cdigos
cortos para codificar mensajes frecuentes y dejar los cdigos de mayor longitud para aquellos mensajes que sean menos frecuentes. De
esta forma se optimiza el rendimiento del canal o zona de almacenamiento y el sistema es eficiente en trminos del nmero de bits para
representar el mensaje.

Por ejemplo, el cdigo Morse se aprovecha de este principio para optimizar el nmero de caracteres a transmitir a partir del estudio de
las letras ms frecuentes del alfabeto ingls. Aunque el cdigo Morse no es un codificador ptimo, asigna a las letras ms frecuente
cdigos ms cortos. Otro ejemplo sera el algoritmo de Huffman de codificacin que sirve para compactar informacin.3 Este mtodo se
basa en el codificador ptimo. Para ello lo primero que hace es recorrer toda la informacin para encontrar la frecuencia de los
caracteres y luego a partir de esta informacin busca el codificador ptimo por medio de rboles binarios. Algunas tcnicas de
compresin como LZW o deflacin no usan probabilidades de los smbolos aislados, sino que usan las probabilidades conjuntas de
pequeas secuencias de smbolos para codificar el mensaje, por lo que pueden lograr un nivel de compresin mayor.

Podemos construir un codificador ptimo basndonos en la entropa de una variable aleatoria de informacin X. En efecto, la entropa
nos da el nmero medio de bits (si usamos logaritmos de base 2) necesarios para codificar el mensaje a travs de un codificador
ptimo y por tanto nos determina el lmite mximo al que se puede comprimir un mensaje usando un enfoque smbolo a smbolo sin
ninguna prdida de informacin (demostrado analticamente por Shannon), el lmite de compresin (en bits) es igual a la entropa
multiplicada por el largo del mensaje. Reescribiendo la ecuacin de clculo de la entropa llegamos a que:

Por lo tanto, la informacin (que se encuentra definida en bits, dado que la base del logaritmo es 2) que aporta un determinado valor o
smbolo de una variable aleatoria discreta se define como:

Esta expresin representa el nmero necesario de bits para codificar el mensaje x en el codificador ptimo y por tanto la entropa
tambin se puede considerar como una medida de la informacin promedio contenida en cada smbolo del mensaje.

Ejemplo
Supongamos que el nmero de estados de un mensaje es igual a 3 M1, M2 y M3 donde la probabilidad de M1 es 50 %, la de M2 25 % y
la de M3 25 %.

Para M1 tenemos que

3 de 6 9/7/17 14:34
Entropa (informacin) - Wikipedia, la enciclopedia libre https://es.wikipedia.org/wiki/Entropa_(informacin)

Para M2 tenemos que

Para M3 tenemos que

Por tanto, en el codificador ptimo para transmitir M1 har falta un bit y para M2 y M3 ser necesario contar con dos bits. Por ejemplo,
podramos codificar M1 con "0", M2 con "10" y M3 con "11". Usando este convenio para codificar el mensaje
M1M2M1M1M3M1M2M3 usaramos "010001101011" y por tanto 12 bits. El valor de la entropa sera:

Por tanto, el codificador ptimo necesita de media 1,5 bits para codificar cualquier valor de X.

Entropa condicional
Vase tambin artculo dedicado: Entropa condicional

Supongamos que en vez de tener una nica variable aleatoria X, existe otra variable Y dependientes entre s, es decir el conocimiento
de una (por ejemplo, Y) entrega informacin sobre la otra (por ejemplo, X). Desde el punto de vista de la entropa de la informacin
podemos decir que la informacin de Y disminuir la incertidumbre de X. Por tanto, podemos decir que la entropa de X ser
condicional a Y, y por tanto:

Como por el teorema de Bayes tenemos que p(x,y)=p(y)p(x|y) donde p(x|y) es la probabilidad de que se d un estado de X conocida Y,
podemos decir:

Aplicacin en criptoanlisis
El concepto de entropa condicional es muy interesante en el campo del criptoanlisis. Proporciona una herramienta para evaluar el
grado de seguridad de los sistemas. Por ejemplo, para un sistema de cifrado hay dos entropas condicionales interesantes:4 Supongamos

Un mensaje M1 es sometido a un proceso de cifrado usando la clave K1 obteniendo E(K1,M1)=C1.

representan la probabilidad condicional de la clave K dado el criptograma recibido C. A veces tambin se denota por

representan la probabilidad condicional del mensaje M dado el criptograma recibido C. A veces tambin se denota por

Entonces:

Podemos calcular la entropa del conocimiento de la clave una vez conocido el texto cifrado, y por tanto medir la equivocacin
del mensaje (en ingls, message equivocation), , tambin denotada por , mediante la frmula:

La primera igualdad es por la definicin de la entropa condicional y la segunda por aplicacin del teorema de Bayes.
Observar que si significa que se podr romper el cifrado pues ya no hay incertidumbre. Esta anulacin nos
introduce en el concepto de distancia de unicidad.

Podemos calcular la entropa del conocimiento del mensaje una vez conocido el texto cifrado, y por tanto medir la equivocacin
de la clave (en ingls, key equivocation), , tambin denotada por , mediante la frmula:

4 de 6 9/7/17 14:34
Entropa (informacin) - Wikipedia, la enciclopedia libre https://es.wikipedia.org/wiki/Entropa_(informacin)

La primera igualdad es por la definicin de la entropa condicional y la segunda por aplicacin del teorema de Bayes.

Ejemplo
Supongamos una variable X con cuatro estados: todos equiprobables y por tanto . Existe adems otra
variable Y con tres estados; con probabilidades y . Se conocen, adems, las siguientes
dependencias:

Si entonces los posibles valores de x son

Si entonces los posibles valores de x son
Si entonces los posibles valores de x son

Aplicando las frmulas tenemos:

En este caso el conocimiento de la dependencia de X respecto Y reduce la entropa de X de 2 a 1,5.

Entropa de un proceso estocstico

5 Un proceso estocstico es una secuencia indexada de variables aleatorias. En general, puede haber dependencias entre las
variables aleatorias. Para estudiar la probabilidad de cierto conjunto de valores se suele adoptar el siguiente convenio:

Sea un proceso estocstico de n variables aleatorias, y sea el conjunto de la posibles combinaciones de valores de
. Se define la entropa del proceso estocstico, tambin llamada entropa del n-grama y denotado por , como:

Ratio de entropa
Vase tambin artculo dedicado: Ratio de entropa
5 La ratio de entropa de una secuencia de n variables aleatorias (proceso estocstico) caracteriza la tasa de crecimiento de la entropa
de la secuencia con el crecimiento de n.

La ratio de entropa de un proceso estocstico viene definida por la ecuacin:

siempre que dicho lmite exista.

Vase tambin
Entropa cruzada
Perplejidad
Capacidad de canal
Neguentropa o Sintropa Antnimo de entropa

Notas y eferencias
a. Obsrvese que se usa el logaritmo en base 2 porque se considera que la informacin se va a representar mediante cdigo binario (se quiere
representar con bits). Si para representar la informacin se usaran valores en una base entonces sera conveniente utilizar el logaritmo en
base .
b. Obsrvese que es una cantidad adimensional, es decir no lleva unidad.

Referencias

5 de 6 9/7/17 14:34
Entropa (informacin) - Wikipedia, la enciclopedia libre https://es.wikipedia.org/wiki/Entropa_(informacin)

Redundancy Codes", Proc. IRE, Vol 40 1952

1. Cuevas Agustn, Gonzalo, "Teora de la informacin, codificacin
y lenguajes", Ed. SEPA (Sociedad para Estudios Pedaggicos
Argentinos), Serie Informtica 1986
2. Dan C. Marinescu, Gabriela M. Marinescu, "Classical and
Quantum Information",Academic Press 2012
3. Huffman, D., "A method for the Construction of Minimum-
4. "Applied cryptology, cryptographic protocols and computer
security models", Richard A. DeMillo et al. American
Mathematical Society 1983
5. Thomas M. Cover, Joy A. Thomas,"Elements of Information
Theory", John Wiley & Sons. Second Edition 2006

Bibliografa
Jorge Rami Aguirre, Aplicaciones criptogrficas. Libro gua de la asignatura de Seguridad Informtica. Escuela Universitaria de
Informtica. Universidad Politcnica de Madrid. Enero 1998.

Enlaces externos
Una Teora Matemtica de la Comunicacin (http://cm.bell-labs.com/cm/ms/what/shannonday/paper.html) (en ingls)
Calculadora de la entropa de Shannon (http://www.shannonentropy.netmark.pl) (en ingls)
Calculadora de la entropa de Shannon para archivos (http://ncomputers.org/entropytest) (en ingls)

Obtenido de https://es.wikipedia.org/w/index.php?title=Entropa_(informacin)&oldid=100102407

Categoras: Entropa de la informacin Teora de la informacin

Se edit esta pgina por ltima vez el 26 jun 2017 a las 18:56.
El texto est disponible bajo la Licencia Creative Commons Atribucin Compartir Igual 3.0; pueden aplicarse clusulas
adicionales. Al usar este sitio, usted acepta nuestros trminos de uso y nuestra poltica de privacidad.
Wikipedia es una marca registrada de la Fundacin Wikimedia, Inc., una organizacin sin nimo de lucro.

6 de 6 9/7/17 14:34