Entropa de la Informacin

Tipos de Entropa
Entropa en la Fsica Termodinmica: El concepto de entropa nace de la necesidad de
cuantificar el segundo principio en el cual Kelvin - Planck pone una limitacin a cmo pueden
funcionar las mquinas trmicas, adems, este permite cuantificar la irreversibilidad de
diferentes procesos termodinmicos.

Caractersticas
o Permite determinar la parte de la energa que no puede utilizarse para producir
trabajo.
o Es una funcin de estado de carcter extensivo y su valor, en un sistema aislado,
crece en el transcurso de un proceso que se d de forma natural.
o Describe lo irreversible de los sistemas termodinmicos.

Entropa en la Teora de Sistemas: En general se puede decir que todo sistema est sujeto
al proceso de entropa, por medio del cual va pasando de estados ms ordenados a estados
menos ordenados y finalmente al caos. As, toda entidad, incluyendo a todo sistema y
organizacin, est sujeta a la ley de la entropa como ley universal.
Entropa en la Teora de la Comunicacin: En este caso denotada por H(X) es una medida
de la incertidumbre o de la informacin promedio que nos provee una variable aleatoria (o
grupo de variables aleatorias)

o La seleccin de un evento de dos posibles eventos de igual probabilidad requiere 1

bit de informacin
o La seleccin de un evento de cuatro posibles eventos de igual probabilidad requiere
2 bits de informacin
o ...etc...
Frmulas que determinan la cantidad de entropa recibida

Propiedades

Continuidad
Simetra
Extrema: cuando todos los eventos son equiprobables H(X) tiene que ser
mximo, cuando uno es el nico probable H(X) tiene que ser mnimo
Aditiva
Calcular la cantidad de bits recibidos en los siguientes eventos
1. Conocer en que da de la semana estamos
1
log 2 = 2,807
1
7
2. Conocer en qu mes del ao estamos
1
log 2 = 3,584
1
12
3. Conocer en que minuto se encuentra un partido de ftbol
1
log 2 = 6,49
1
90