ESTMACIÓN CUANTITATIVA DE

LA INFORMACIÓN

ENTROPÍA COMO MEDIDA DE LA

CANTIDAD DE INFORMACIÓN
 CANTIDAD DE INFORMACIÓN
• La capacidad de un mensaje de despejar
incertidumbre sobre la ocurrencia de un
evento.

• Depende de la probabilidad de
ocurrencia del evento
CANTIDAD DE INFORMACIÓN

I ( A)  0
P( A)  1  I ( A)  0
I ( A)  f ( P ( A))
P ( A) P ( B )  I ( A) I ( B )
P( A)  P( B)  I ( AB)  I ( A)  I ( B)
I ( A)   log P ( A)
 ENTROPÍA COMO MEDIDA DE LA
CANTIDAD DE INFORMACIÓN
ENTROPÍA COMO MEDIDA DE INDETERMINACIÓN
Una fuente capaz de adoptar aleatoriamente uno de los posibles estados de un
conjunto finito es discreta. Esta se caracteriza por un conjunto de estados Ui
elegidos con mayor probabilidad que otros:

u1 ......u 2 .......... .u i .......... ...u N 

U 
p( u1 )p( u 2 )......p( u i ).......p( u N )

La medida de la indeterminación de la elección del estado de la fuente puede

ser considerada como medida de la cantidad de información obtenida al
eliminar la indeterminación respecto a la fuente
 ENTROPÍA
C. Shannon: Medida de la indeterminación de uno de
los estados del conjunto U:
N
H( u )  C pi log pi
i 1

Boltzman: Segundo principio de la termodinámica:

N
H  1 / M e  mi log mi / M e
i 1

Cuando la probabilidad de los sucesos es diferente:

N
H( u )   pi log pi
i 1
 PROPIEDADES DE LA ENTROPÍA
• Es una magnitud real y no negativa:  pi log pi  0
• Es una magnitud acotada.
• Se reduce a cero sólo cuando la probabilidad de uno
de los estados es igual a la unidad.
• Es máxima cuando todos los estados de la fuente son
equiprobables: N
Hmax ( u )  1 / N  log 21 / N  log 2 N
i 1
• La fuente con dos estados U1 y U2 varía de cero a la
unidad con valor máximo cuando sus probabilidades
son iguales: H( u )   p  log p  (1  p)  Log(1  p)
 ENTROPÍA
p  0.010.02 1

f ( p )  p  log( p 2) H( p )  [ p  log( p 2)  ( 1  p )  log( 1  p 2) ]

0.8
f ( p ) 0.6

H ( p )0.4

0.2

0
0 0.2 0.4 0.6 0.8 1
p
 PROPIEDADES DE LA ENTROPÍA
• La entropía de unión de varias fuentes de información
estadísticamente independientes es igual a la suma de
entropías de las fuentes iníciales:
N k
H( UV )   p( u i vi )  log p( u i v j )
i 1 j1

N k k N
H( UV )   p( u i )  log p( u i ) p( v j )   p( v j )  log p( v j ) p( u i )
i 1 j1 j1 i 1

• Para determinarla sólo se utilizan las probabilidades de

los estados, menospreciando su contenido sustancial.
 ENTROPÍA CONDICIONAL
• La unión de dos conjuntos U y V estadísticamente relacionados se
caracteriza por la matriz p(UV) de las probabilidades p(uivi) de todas las
posibles combinaciones de estados ui del conjunto U y de los estados vi
del conjunto V.
P( u1v1 ).......p( u i v1 )......... ...p( u N v1 ) 
 
 .......... .......... .......... .......... .......... .... 
p( U, V )  P( u1v j ).......p( u i v j )......... ...p( u N v j ) 
 
.......... .......... .......... .......... .......... .... 
P( u v ).......p( u v )......... ...p( u v )
 1 k i k N k 

p( u i v j )
Las probabilidades de realización conjunta de los estados mutuamente
dependiente ui y vi pueden expresarse a través de las probabilidades
condicionales p( u i / v j ) o p( v j / u i )

P( u1v1 )  p( u i )p( v j / u i )  p( v j )p( u i / v j )

 ENTROPÍA CONDICIONAL
Para conjuntos estadísticamente relacionados la
entropía es:

LA ENTROPÍA DE UNIÓN DE DOS CONJUNTOS U y VESTADÍSTICAMENTE

RELACIONADOS ES IGUAL A LA ENTROPÍA INCONDICIONAL DE UNO DE
ELLOS MAS LA ENTROPÍA CONDICIONAL DEL OTRO RESPECTO A LA
DEL PRIMERO