Clase Práctica 1

Ejercicios de Teoría de la información

1. Considérese una fuente sin memoria que emite los siguientes 8 símbolos:

si P(si) Código I Código II Código III

s1 0,22 10100 11 01
s2 0,20 10101 101 00
s3 0,16 1011 100 111
s4 0,16 100 01 110
s5 0,10 110 001 100
s6 0,10 111 0001 1011
s7 0,04 00 00001 10101
s8 0,02 01 00000 10100
a) Calcular la cantidad de información asociada a los símbolos s1 y s8. Interpretar los
resultados.
b) Calcular la entropía de la fuente.
c) Suponiendo las variantes de codificación especificadas, calcular la longitud promedio
de los códigos
d) Calcular la eficiencia de los códigos.

Observaciones:

1. Dependiendo de la codificación utilizada las longitudes promedios de las palabras de

código son diferentes.
2. Atendiendo a lo anterior, la eficiencia de los códigos son diferentes.
3. Los códigos II y III son mucho más eficientes que el código I, ocurriendo que en ellos
se asignan palabras de código más cortas a los símbolos más probables.

Ejercicio 2.

Una fuente de información tiene 6 salidas posibles, cuyas probabilidades se especifican a

continuación:

Si P(si) A B C D E F
S1 1/2 000 0 0 0 0 0
S2 1/4 001 01 10 10 10 100
S3 1/16 010 011 110 110 1100 101
S4 1/16 011 0111 1110 1110 1101 110
S5 1/16 100 01111 11110 1011 1110 111
S6 1/16 101 011111 111110 1101 1111 001

a) Identifique si son códigos instantáneos o no.

b) Calcule la eficiencia de aquellos que puedan ser utilizados en la Tx.