Entropı́a e Información

Ernesto Frodden Jimena Royo

Licenciatura en Fı́sica Licenciatura en Matemáticas
Facultad de Ciencias Facultad de Ciencias
Universidad de Chile Univesidad de Chile

efrodden@zeth.ciencias.uchile.cl jimenar@zeth.ciencias.uchile.cl

La Termodinámica se ocupa de estudiar los sistemas en equilibrio, defiendo para estos una función
de sus variables extensivas llamada entropı́a. Este concepto se generaliza en Mecánica Estadı́stica
para los sistemas fuera del equilibrio, en base a las probabilidades de sus posibles distribuciones
microscópicas; esta formulación predice una entropı́a nula para un sistema en un microestado par-
ticular. Para que el sistema se encuentre en un microestado fijo debemos tener toda la información
del mismo, por lo tanto la entropı́a del sistema es dependiente de la capacidad de observación de
cada individuo. En este trabajo ocuparemos las ideas y resultados de la Teorı́a de Información
Algorı́tmica y de la Teorı́a de la Información para reformular la entropı́a de modo que ésta sea una
caracterı́stica intrı́nsica de los sistemas y no una propiedad del observador.

I. INFORMACIÓN A. Contenido de Información Algorı́tmica

Intuitivamente el contenido de información algoritmica

La información es un concepto ampliamente utilizado y
generalmente podemos coincidir respecto a que es o no in-
formación. Por ejemplo es intuitivo que un periódico con-
tiene información mientras que mil hojas blancas carecen
de ésta, pensando en ejemplos de esta naturaleza po-
dremos convencernos de que algo que posee información
contiene datos y/o reflexiones de alguna forma útiles para
algo. Es evidente que estas ideas son subjectivas y por
ende poco manejables, es por eso que para fines técnicos
los cientı́ficos han desarrollado formas estrictas de definir
información, independientes de si ésta tiene o no una
utilidad “práctica”. Hoy en dı́a estas ideas están es-
trechamente relacionadas con las ciencias informáticas,
introduciremos un par de conceptos de este campo para
facilitar la comprensión del documento. Un bit es la
unidad elemental binaria de información, sus posibles va-
lores son cero o uno. La información tiene un lenguaje
minimal compuesto de bits que además es el lenguaje
natural de los ordenadores, en la práctica cualquier tipo
de información escrita en un idioma arbitrario puede ser
reescrita en bits mediante la definición de códigos de
“traducción”, que a su vez también pueden escribirse en
bits; un ejemplo de esto son los programas para encrip-
tar basados en la Teorı́a de Números, que son aplicables
a cualquier tipo de información. Una secuencia de bits
es un conjunto finito de ceros y unos capaz de almacenar
información.
A continuación definimos el contenido de información
algorı́tmica, caracterı́stica asociada a una secuencia de
bits cualquiera.
k(s) es la cantidad de bits necesarios para comprimir un
archivo de la manera más compacta posible. Formal-
mente para un archivo s -de largo |s|- se define como el
tamaño en bits del programa computacional más pequeño
que puede ejecutarse para imprimir la secuencia original,
este debe incluir K0 las instrucciones para interpretar
las compresiones de cualquier archivos de largo |s| más
el archivo s comprimido.
K(s) = K0 + Kc (s) (1)
Intuitivamente sabemos que no podemos crear un pro-
grama infinitamente pequeño, por ende debe existir uno
mı́nimo tal que cumpla los anteriores requerimiento; pero
según la Teorı́a de Información Algorı́tmica[1] no ex-
iste una secuencia de reglas -un algoritmo- que permita
obtener K(s) dada una secuencia s de largo cualquiera.
Como ejemplo considérese un estadio cuyos N asientos
están numerados, supongamos que tenemos dos archivos
A1 y A2 correspondientes a los eventos 1 y 2 que des-
criben si cada asiento fue ocupado o no. Sı́ el evento 1
tuvo mediana asistencia y un público desordenado, mien-
tras que en el evento 2 el estadio se llenó uniformemente,
tı́picamente estos archivos se verı́an como
A1 = . . . 100110101100110111000101 . . .
A2 = . . . 111111111111111111111111 . . .
Intuitivamente el contenido de información algorı́tmica
de A1 es mayor que el de A2 y efectivamente para K(A1 )
y K(A2 ) tendremos la misma constante K0 ya que son
del mismo largo (|A1 | = |A2 |) pero Kc (A1 ) 6= Kc (A2 )
debido a que probablemente no haya forma de comprimir
A1 mientras que A2 se podrı́a codificar simplemente si
usamos la instrucción ‘imprima N veces 1’.
 2

II. LA ENTROPÍA EN TERMODINÁMICA iii. MA > MB ⇒ S(MA ) > S(MB )

Lo que buscamos es una función S que mida cuanta
El Segundo Postulado de la Termodinámica dice que desinformación tenemos sobre el sistema, por lo que
existe una función de las variables macroscópicas de los además debemos pedir que
sistemas en el equilibrio, llamada entropı́a, que satis-
face ciertas condiciones, en particular anularse si y solo iv. S(A) = 0 si MA = 1
sı́ la temperatura es cero (Cuarto Postulado de la Ter- Esto es, que la entropı́a sea cero cuando la desinformación
modinámica). es nula (si MA = 1 solo hay un microestado posible, es
Sea un sistema definido por N variables, el espacio de decir, tenemos toda la información sobre el sistema).
fase del sistema son todas las posibles combinaciones de La entropı́a informacional S de un sistema en un estado
sus variables N variables (por ejemplo N ejes reales); A se define
definimos un microestado como un punto en el espacio
de fase. S = k ln MA (5)
Sea pi la probabilidad de que el sistema se encuentre
en el microestado i, Gibbs define la entropı́a -para los Supongamos ahora que el sistema tiene N componentes,
estados de equilibrio y no equilibrio- como cada una con m valores posibles (por ejemplo m = 6 para
un dado), luego la cantidad de microestados posibles es
W
X N!
S = −kb pi ln pi (2) MA = (6)
i=1
n1 !...nm !
donde n1 + ... + nm = N .
Donde kb es la constante de Boltzmann.
La entropı́a de este microestado es
W
N! X
A. ¿Por qué probabilidades y un logaritmo? S = k ln = k ln N ! − k ln ni ! (7)
n1 !...nm ! i=1
Considérese un sistema A consistente en un conjunto definimos la entropı́a media como S = S/N .
de N monedas ordenadas, la información que se tiene La aproximación de Stirling para una función factorial es
sobre el sistema es el estado (macroscópico) en que se
encuentra, esto es, la cantidad de monedas cara n+ ó ln N ! ≈ N ln N − N (8)
equivalentemente la cantidad de monedas sello n− , donde
La cual, como muestra la siguiente tabla, es más precisa
n+ +n− = N ; un microestado es una secuencia particular
cuando n es más grande
de estas monedas. La cantidad de microestados posibles
es MA , donde N ln N ! N ln N − N
102 0.36373103 0.36052103
N! 104 0.82108105 0.82103105
MA = ≥1 (3)
n+ !n− ! 106 1.28156107 1.28155107

Notemos que este número es proporcional a la desinfor- Notemos que 106 ≈ 220 o sea para un estadio con 20
mación microscópica de A, ya que mientras más microes- asientos el error es pequeñı́simo. Obsérvese que el estadio
tados existan mayor es nuestra desinformación sobre el nacional de Chile tiene 70.000 asientos.
sistema ó la incerteza del mismo. Ocupando esta aproximación en (7) obtenemos
Considérese un sistema compuesto A + B, un microes-
tado será la combinación de un microestado de A con un W
X ni ni
microestado de B, por lo tanto la cantidad de microes- S = −k ln (9)
N N
tados posibles de A + B, MA+B , es i=1

Notamos ahora que ni /N es la definición de probabili-

MA+B = MA MB (4) dad del P
microestado i (casos favorables/casos totales) y
ni
además N = 1, luego
Sabemos que la entropı́a es una variable extensiva de
los sistemas, es decir S(A + B) = S(A) + S(B), por lo W
X
tanto si queremos una entropı́a informacional S que sea S = −k pi ln pi (10)
función de la información, o sea del estado en que se i=1
encuentra, debemos tener que
En el caso de un sistema termodinámico k = kb ,
i. S(MA+B ) = S(MA ) + S(MB ) recuperándose la entropı́a de Gibbs.

ii. S continua y diferenciable

 3

B. Entropı́a en el equilibrio sistema definido por todos los posibles mensajes y al

igual que en el caso de Mecánica Estadı́stica no sabe-
Supongamos que tenemos un sistema termodinámico mos en cual microestado se encuentra el sistema, o sea,
que se encuentra en equilibrio, luego las variables que mensaje será finalmente enviado.
macroscópicas como el volumen, el número de partı́culas Para ejemplificar el comportamiento análogo de I y
y la energı́a total se mantienen fijas. Existen muchas la entropı́a que conocemos, veamos un caso sencillo en
configuraciones microscópicas que son compatibles con que solo tenemos dos posibles mensajes cada uno con
las caracterı́sticas macroscópicas antes descritas. Sı́ fil- probabilidad p y q = 1 − p, la información de Shannon es
tramos este conjunto de configuraciones microscópicas
imponiendo la condición de homogeneidad del sistema I = −(p log2 p + q log2 q) (14)
tendremos que los elementos del conjunto resultante
La Figura 1 corresponde a la gráfica de I como función
serán relativamente equivalentes y en este sentido pode-
de p.
mos aproximar que todos los microestados tienen la
misma probabilidad p0 de concretarse en el sistema, luego
como la suma de todos estos estados es 1 tendremos que
p0 = n1 (con n el número de elementos del conjunto).
Siguiendo este razonamiento hacemos la sumatorı́a res-
pecto a todos los n microestados factibles y calculamos
la entropı́a de Gibbs
n
X 1 1 1
S = −k ln = −k ln (11)
i=1
n n n

Donde el lado derecho de la segunda igualdad es la

entropı́a propuesta por Boltzmann.

III. LA INFORMACIÓN DE SHANNON

En 1948 C.E.Shannon trabajaba para la Bell Systems
estudiando la transmisión de mensajes en forma codifi-
cada, él querı́a definir una cantidad que fuera una medida
de lo que intuitivamente entendemos por información;
en su investigación Shannon descubrió que esta cantidad
que buscaba era simultáneamente una cuantificación de
cuanta “incerteza” existe en un sistema ó análogamente
cunata “opción” hay en él, poniendo en el mismo pie a la
información que tenemos sobre un sistema y la incerteza
del mismo.
Supongamos que tenemos W mensajes posibles si cada
uno con probabilidad pi de ser enviado, el contenido de
información I por mensaje transmitido es1
W
X desinformación sobre el sistema, por ejemplo, las ecua-
I=− pi log2 pi (12)
i=1
Como el lector ya habrá notado las ecuaciones (10) y
(12) son formalmente iguales, más aún
S = κI (13)
donde κ = logkb e = 9.5710−24 J/K bits−1 .
2
Shannon ocupa logarı́tmo en base dos debido a que
los mensajes se codifican como archivos binarios, por lo
tanto cada carácter puede tomar dos valores, al igual que
los asientos de nuestro estadio.
Esta “coincidencia” se explica en el hecho de que cada
posible mensaje si es naturalmente un microestado del
FIG. 1: I = −(p log2 p + (1 − p) log2 (1 − p))
Notemos que I se maximiza cuando p = q, es de-
cir, cuando mayor incerteza tenemos sobre el sistema, lo
cual coincide con el fenómeno observado en Mecánica Es-
tadı́stica de que cerca de la energı́a del equilibrio (donde
la entropı́a es máxima) los microestados son equiproba-
bles.
IV. ENTROPÍA E INFORMACIÓN: ¿UNA
PROPIEDAD SUBJETIVA?
Como ya hemos mencionado la entropı́a de Shannon y
Gibbs se suelen interpretar como una medida de nuestra
ciones (10) y (12) implican que sı́ se pudiese determi-
nar el sistema en un microestado particular la entropı́a
del estado serı́a cero ya que hay un solo caso posible.
Esto quiere decir que sı́ como observadores dispusiéramos
de una completa descripción del sistema la entropı́a del
mismo se anuları́a.
Ahora bien, esta interpretación es teóricamente insatis-
factoria ya que hace de la entropı́a una propiedad depen-
diente del observador y no una caracterı́stica intrı́nseca de
los sistemas fı́sicos, por ejemplo, sı́ un observador pudiese
obtener una descripción de un sistema en equilibrio más
detallada que otro la entropı́a del sistema serı́a menor
para el primero lo cual a su vez -debido al Cuarto Postu-
lado de la Termodinámica- implicarı́a que la energı́a del

sistema es menor para le primer observador que para el
segundo!!!
A. ¿Es posible definir la entropı́a de un
microestado particular?
W.H. Zurek[3] sostiene la hipótesis de que la entropı́a es
una propiedad objetiva de los sistemas fı́sicos, siguiendo
este razonamiento encontramos que para un sistema con
todas sus variables fijas la entropı́a no es cero, ya que no
depende de nuestra desinformación del mismo.
Recordando el contenido de información algorı́tmica,
sea ψ un sistema descrito por un conjunto de mensajes si
cada uno con probabilidad pi de ser enviados, definimos
la información algorı́tmica promedio como
X cuando el sistema tiene varios microestados posibles y
hKiψ ≡ pi K(si ) (15)
i particular con todas sus variables fijas. De este modo
Un importante resultado de la teorı́a de información al-
gorı́tmica es 2
hKi ∼
=I (16)
A mayor catidad de microestados del sistema menor es la
diferencia entre hKi e I; por ejemplo sı́ consideramos el
caso de un sistema termodinámico en el equilibrio, como
ya vimos, las probabilidades de los microestados están
fuertemente determinadas por la homogeneidad del sis-
tema y por ende son fácilmente describibles por K0 , por
otra parte cuando aplicamos la termodinámica a un sis-
tema nos estamos refiriendo a un orden de partı́culas
1023 por lo tanto tenemos intuitivamente una grán canti-
dad de información y un conjunto de probabilidades muy
parecidas y en esta situación K0 es despreciable respecto
a la cantidad de microestados posibles y la ecuación es
escencialmente exacta.
Basandonos en la igualdad explicada anteriormente pode-
mos escribir la nueva definición de entropı́a como
S ≡ κhKi (17)
La ventaja de esta definición es que para un estado fijo
donde el sistema está totalmente determinado indepen-
diente de aquello que el observador conozca o entienda
por información, la entropı́a no es cero, ya que el microes-
tado, en si mismo, contiene información. En particular
el valor de la entropı́a será el contenido de información
algorı́tmica de la secuencia que mide este microestado,
esto se observa en la ecuación (15).
V. RESUMEN
El contenido de información algorı́tmica de un sistema
s se define como el tamaño en bits del menor programa
computacional capaz de comprimir/descomprimir una
completa descripción de cada microestado del sistema y
su probabilidad. En la visión clásica Shannon y Gibbs
4
definen la entropı́a de un sistema -ya sea termodinámico
ó informacional- basandose en las probabilidades de sus
posibles microestados y se interpreta como una medida
de la desinformación que tenemos sobre el sistema. Esto
implica que si tenemos una descripción completa del
sistema la entropı́a del mismo serı́a nula al igual que para
un microestado particular ya que este está totalmente
determinado. Esta interterpretación es poco satisfactorı́a
por que considera a la entropı́a como una propiedad
del observador y no una caracterı́stica intrı́nsica del
sistema. Zurek, Machta y otros proponen una visión de
la entropı́a como una propiedad objetiva de los sistemas.
La Teorı́a de Información Algorı́tmica dice que I ∼ = hKi
donde la igualdad se verifica cuando las cantidades de
información involucradas son “grandes”; ocupando este
resultado definimos la entropı́a de un sistema como I(s)
K(s) cuando estamos refieréndonos a un microestado
logramos que la entropı́a sea una propiedad objetiva
de los sistemas, ya que depende de cuanta información
contiene el sistema en vez de cuanta información tenemos
nosotros sobre el sistema. Esta última definición no es
muy práctica para cálculos numéricos pero es de mayor
claridad teórica y permite poner en evidencia la cercanı́a
entre información y entropı́a.
1
En su libro “A Mathemathical Theory of Commu-
nication” Shannon demuestra que eligiendo axio-
mas análogos a i, ii,iii para la transmisión probabi-
lı́stica de mensajes, existe una única función –salvo
multiplicación por una constante– que satisface la
ecuación (12).
2
Una detallada demostración de este resultado se
encuentra en la referencia [3].
[1]
G.J. Chaitin, “Gödel’s Theorem and Information”,
International Journal of Theoretical Physics 22,
941-954 (1982)
[2]
C.E. Shannon, “A Mathematical Theory of Com-
munication”, reimpreso con correcciones de The
Bell Sistem Technical Journal, Vol. 27, Julio, Oc-
tubre (1948)
[3]
W.H. Zurek , “Algorithmic randomness and physi-
cal entropy”, Phys. Rev. A 40, 4731-4751 (1989)
[4]
J. Machta , “Entropy, information, and computa-
tion”, Am.J.Phys. 67, Diciembre (1989)
[5]
R.E.Lagos, “Fı́sica Estadı́stica, Resumo Informal”,
UNESP Rio Claro (1999)
[6]
C.M. Caves, “Information and entropy” in
Maxwell’s Demon 2: Entropy, Classical and Quan-
tum Information, Computing.