SISTEMA DE

TRANSMISIÓN DE DATOS
S02-s1: Entropía – Información mutua
Logro de la sesión

• Al finalizar la sesión, el estudiante examina el concepto de

información mutua y su aplicación en la transmisión de datos.

Datos/Observaciones
Entropía

Definición:
• La entropía H (X) de una variable
n
aleatoria discreta X es definido por:
𝐻 𝑋 = − ෍ p(xi ) log p(xi )
i=1

Datos/Observaciones
Entropía - Observación 1

• El valor numérico de la entropía depende de la base del logaritmo; pero en

la definición anterior no se ha especificado, porque un cambio de base no
supone más que un cambio de escala.
• Así pues, la adopción de una determinada base, b, no supone más que la
elección de una cierta unidad de medida (que denominaremos unidad de
base b); y la entropía expresada en unidades de base b se representara por
Hb(X).
• Para ciertos valores de la base b, las unidades suelen recibir
denominaciones especiales:
• base 2 - las unidades se denominan bits
• base e (natural) - las unidades se denominan nats
• base 10 - las unidades se denominan hartleys

Datos/Observaciones
Entropía - Observación 1

• La equivalencia entre las distintas unidades de medida se obtiene en

virtud de la conocida fórmula del cambio de base del logaritmo:
log 𝑏 𝑥
log 𝑎 𝑥 =
log 𝑏 𝑎
• de la que resulta que
𝐻𝑏(𝑋)
𝐻𝑎 𝑋 =
log 𝑏 𝑎
• o bien que
Ha(X) = Hb(X) loga b

Datos/Observaciones
Entropía - Observación 2

• Tal y como se ha definido la entropía, está no tiene en cuenta el

régimen de transmisión de la fuente.
• Ahora bien, si se multiplica la entropía de la fuente, H(X), por su
régimen de transmisión, vf , se tiene una función que representa la
información que transmite la fuente, en media, por unidad de
tiempo:
Ht(X) = vf H(X):

Datos/Observaciones
Ejemplo 2

• La entropía de la variable aleatoria binaria

1, 𝑐𝑜𝑛 𝑝𝑟𝑜𝑏𝑎𝑏𝑖𝑙𝑖𝑑𝑎𝑑 𝑝,
𝑋=ቊ
0, 𝑐𝑜𝑛 𝑝𝑟𝑜𝑏𝑎𝑏𝑖𝑙𝑖𝑑𝑎𝑑 1 − 𝑝.
• vale:
H(X) = −p log p − (1 − p) log(1 − p) = H(p)

• En particular, H2(X) = 1 bit cuando p = 1/2; es decir, un bit es la

cantidad de entropía obtenida al elegir uno de entre dos símbolos
equiprobables.

Datos/Observaciones
Ejemplo 2
• La grafica de la figura representa
la función H2(p) e ilustra alguna
de sus propiedades:
• H(p) es una función con mínimo
en p = 0 o p = 1, cuando la
variable X es determinista, y
• Máximo cuando p = 1/2;
• H(p) es una función
estrictamente convexa.

Datos/Observaciones
Entropía Conjunta

• Ahora ampliamos la definición a un par de variables aleatorias. No

hay nada realmente nuevo en esta definición porque (X, Y) se puede
considerar como una única variable aleatoria con valor vectorial.
n m

𝐻 𝑋, 𝑌 = − ෍ ෍ p(xi , 𝑦𝑗) log p(xi , yj)

i=1 j=1

• Se define la entropía conjunta de las variables aleatorias X e Y como la

entropía de la variable aleatoria bidimensional (X; Y ).

Datos/Observaciones
Relación entre las entropías
individuales y la conjunta
• Se verifica en general que
H(X; Y ) ≤ H(X) + H(Y )

• siendo condición necesaria y suficiente que las variables aleatorias X e

Y sean independientes entre sí para que se cumpla que
H(X; Y ) = H(X) + H(Y )

Datos/Observaciones
Entropía condicional

• El caso en que las variables aleatorias son independientes es en el que la

combinación de variables aleatorias produce mayor entropía, ya que si
ambas variables no fuesen independientes, el conocimiento del valor de
una de ellas eliminaría incertidumbre sobre el valor de la otra.
• Para medir esa incertidumbre se define la entropía condicional de dos
variables aleatorias X e Y , H(X|Y ), que promedia el valor de la entropía
condicional de X dado Y sobre todos los valores del alfabeto de Y , de forma
que se define como: n

𝐻 𝑋|𝑌 = ෍ p yj . 𝐻(𝑋|𝑌 = 𝑦𝑗)

j=1

Datos/Observaciones
Ejemplo

• Sea (X; Y ) una variable aleatoria bidimensional con la siguiente distribución

conjunta:

• La distribución marginal de la variable X es (1/2; 1/4; 1/8; 1/8), y la de la

variable Y es (1/4; 1/4; 1/4; 1/4).

Datos/Observaciones
Ejemplo (cont…)

• Por lo tanto, se tiene que

H (X) = 7/4 bits;
H(Y ) = 2 bits;
H (X,Y ) = 27/8 bits
• Además,
4

𝐻 𝑋|𝑌 = ෍ p yi . 𝐻(𝑋|𝑌 = 𝑖)
i=1

Datos/Observaciones
Ejemplo (cont…)

• Además,
4

𝐻 𝑋|𝑌 = ෍ p yi . 𝐻(𝑋|𝑌 = 𝑖)
i=1

Datos/Observaciones
Propiedades de la entropía
condicional
• La entropía condicional es un promedio de entropías, por lo que
adopta siempre un valor no negativo, que será nulo únicamente en el
caso de que todas las entropías que se promedian lo sean, cosa que
sólo puede ocurrir si el valor que adopta la variable aleatoria X
depende funcionalmente del valor que adopta la variable aleatoria Y .
• Regla de la cadena:
H(X) + H(Y |X) = H(Y ) + H(X | Y ) = H(X; Y )

Datos/Observaciones
Teorema

• Se cumple en general que

H(X | Y ) ≤ H(X)
• siendo condición necesaria y suficiente que las variables aleatorias X e
Y sean independientes entre sí para que se cumpla la igualdad.

Datos/Observaciones
Información mutua

• Sean X e Y dos variables aleatorias discretas.

• H(X) es una medida de nuestra incertidumbre a priori acerca del
resultado del experimento aleatorio representado por la variable
aleatoria X.
• H(X |Y ) es una medida de la incertidumbre a posteriori.

Datos/Observaciones
Información mutua

• Tal y como se ha visto anteriormente, se cumple que:

H(X | Y ) ≤ H(X),
• Por tanto: H(X) − H(X | Y )
• será la reducción de la incertidumbre debida al conocimiento del
resultado del experimento representado por la variable aleatoria Y.
• Se dice por eso que H(X) − H(X | Y ) es la información que la variable
aleatoria Y nos proporciona sobre la variable aleatoria X.

Datos/Observaciones
Información mutua

• Pero, además, resulta que:

H(X) − H(X | Y ) = H(X) + H(Y ) − ( H(Y ) + H(X|Y ))
= H(X) + H(Y ) − (H(X) + H(Y | X))
= H(Y ) − H(Y | X)

• Es decir, X da tanta información sobre Y como la que Y da sobre X; y

por ese motivo esa información se denomina información mutua.

Datos/Observaciones
Información mutua

• Definición: Dadas dos variables aleatorias discretas, X e Y , se define la

información mutua I(X; Y ) como:
I(X; Y ) = H(X) − H(X | Y )

Datos/Observaciones
Relación entre la información
mutua y la entropía.

Datos/Observaciones
Información mutua-propiedades
• La información mutua entre variables aleatorias discretas tiene una serie de
propiedades que conviene tener en cuenta. Entre ellas cabe destacar las
siguientes:
1. Es siempre no negativa

I(X, Y ) = I(Y, X) ≥ 0.
El valor mínimo I(X, Y ) = 0 se obtiene en el caso en que X e Y son independientes.
2. Su valor máximo esta acotado por el valor de la entropía de cada una de las
variables aleatorias, con lo que en la práctica está acotado por el valor mínimo
de la entropía de las variables aleatorias
I(X, Y ) ≤ mín(H(X), H(Y )).
La información mutua nunca puede ser mayor que la medida de información que tiene cada
una de las variables.

Datos/Observaciones
Información mutua-propiedades

3. Se puede definir información mutua condicional como el promedio de la

información mutua condicionada a cada uno de los posibles valores de la
variable aleatoria con respecto a la que se condiciona
𝐼 𝑋, 𝑌 𝑍 = σ𝑚 𝑖=1 𝑝𝑧 𝑧𝑖 . 𝐼(X,Y|Z=zi)

4. La información mutua condicional I(X, Y |Z) también se puede obtener a

través de las entropías condicionales como
I(X, Y |Z) = H(X|Z) - H(X|Y, Z).
5. La regla de la cadena para la información mutua se define a partir de la
relación
I((X, Y ), Z) = I(X, Z) + I(Y, Z|X).

Datos/Observaciones
Preguntas

Datos/Observaciones