GUIA: TEORIA DE LA INFORMACIN Y CODIFICACIN

1. En una fuente discreta (DMS) tiene un alfabeto de 5 smbolos con sus probabilidades como se muestra smbolo S0 S1 S2 S3 S4 probabilidad 0.55 0.15 0.15 0.10 0.05 Calcule y presente dos cdigos de Huffman para esta fuente. Encuentre la longitud y la eficiencia de cada uno de ellos. 2. Consideremos la fuente
S s1 0.22 , s 2 0.15, s3 0.12 , s 4 s5 0.10 , s6 0.08, s7 0.06 , s8 s9 0.05, s10 0.04 , s11 0.03, s12 s14 0

se desea formar una secuencia de fuentes reducidas antes de codificar la fuente en un cdigo cuaternario ( cdigo de cuatro smbolos). Se aaden dos falsos smbolos. Las palabras del alfabeto fuente son respectivamente: 2, 3, 00,01, 02, 03, 11, 12, 13, 100, 101, 102, 103 a. Obtenga un cdigo compacto cuaternario b. Calcule la entropa. NOTA: Utilice la entropa para un cdigo compacto r-ario c. Calcule el rendimiento y la redundancia del cdigo. 3. Dada la tabla S S1 S2 S3 S4 S5 S6 S7 P( si ) 0.4 0.2 0.1 0.1 0.1 0.05 0.05 a. Encontrar un cdigo compacto de la fuente con X = { 0,1,2 } b. Calcular H( S ) y H3( S ) 4. Una DMS con alfabeto de 8 letras estadsticamente independientes, con

probabilidades 0.25, 0.20, 0.15, 0.12, 0.10, 0.08, 0.05 y 0.05. a. Use la codificacin de Huffman para determinar un cdigo binario en la fuente de salida. b. Determine la longitud media n de los digitos binarios por letra de la fuente. c. Determine la entropa de la fuente y compare con n. d. Suponga que 2 letras al mismo tiempo son codificadas en una secuencia binaria. Encuentre la longitud mnima de cada nueva secuencia codificada. 5. Una DMS con un alfabeto tabla est dado estadsticamente por la siguiente

Si S0 S1 S2 S3

PROBABILIDAD 0.10 0.10 0.15 0.20

CDIGO 1 000 010 011 101

CDIGO 2 0 00 000 001

CDIGO 3 0 01 011 0111

CDIGO 4 0 10 110 1110

CDIGO 5 00 01 10 11

S4 S5

0.20 0.25

111 110

010 1000

01111 011111

11110 11111

110 111

a. Encuentre la informacin de cada smbolo Si. b. El rango de la fuente es de 100 simbolos/s. Encuentre el rango de la fuente en bits/s. c. Disee el cdigo de Huffman de la fuente. d. Compare la longitud del cdigo de Huffman con la entropa de la fuente del cdigo . 6. Aplique la codificacin de Huffman para deducir un cdigo ptimo para la transmisin del alfabeto fuente que tiene las probabilidades nico? . Es un cdigo

7. Determine la eficiencia de un cdigo cuaternario compacto de una fuente que genera 6 smbolos equiprobablemente. 8. Dada una fuente cuyo vector de probabilidades es encuentre

a. Calcule la longitud mnima de un cdigo binario. b. Calcule la longitud mnima de un cdigo ternario. c. Obtenga un cdigo ternario compacto con longitud de bloque unitaria y calcule su eficiencia. 9. Dada una fuente cuaternaria sin memoria cuya distribucin de probabilidades es . Construya con smbolos de una alfabeto tambin cuaternario un cdigo unvocamente decodificable cuya eficiencia sea de la menos 90%. 10. Una fuente ternaria de informacin genera smbolos con probabilidades 0.4, 0.3 y 0.3 a. Calcule la cantidad de informacin por smbolo. b. Calcule las probabilidades de todos los posibles mensajes de dos smbolos. c. Calcule la cantidad de informacin por mensaje de 2 smbolos. d. Calcule la redundancia de un cdigo binario compacto para los mensajes de 2 smbolos. e. Calcule la tasa de transmisin (bits/s) para el cdigo del inciso d si la duracin de cada smbolo de la fuente es respectivamente de 1, 2 y 3 ms.

11. Sea

una

fuente discreta sin memoria con distribucin de probabilidad . Cuntos cdigos compactos binarios tiene dicha fuente?Son todos

cdigo Huffman?.

12. Calcular el cdigo de Huffman para el siguiente conjunto de caracteres 0 16% 1- 12% 2-9% 3-8% 4-7% 5-15% 6-13% 7-10% 8-6%

9-4%

13. Codificar en cdigo Hamming el nmero -5310 expresado en complemento a 2 utilizando 8 bits. 14. Considere la distribucin de probabilidad p={0.49, 0.26, 0.12, 0.04, 0.04, 0.03, 0.02. Calcula la informacin promedio Construye un cdigo de Huffman y calcula su longitud esperada Construye un cdigo de Shannon-Fano y obtenga su redundancia.