UNIVERSIDAD MAYOR DE SAN ANDRÉS

FACULTAD DE INGENIERIA
CARRERA DE INGENIERIA ELECTRONICA
TELECOMUNICACIONES II (ETN 1016)
DOCENTE: ING. JOSÉ CAMPERO

PROYECTO: CODIFICACIÓN SHANNON - FANO

I. MARCO TEORICO:

Según la teoría de la información, es posible construir códigos binarios para conjuntos de

símbolos, cuya longitud sea lo mas eficiente posible en función de la probabilidad de cada
símbolo.

En la mayoría de los casos, algunos símbolos tienen mayor probabilidad de ocurrencia que otros
(por ejemplo en el alfabeto, las vocales tienen mayor probabilidad de formar parte de palabras
que cualquier otra consonante). De acuerdo a lo anterior, se intuye idealmente que los símbolos
con mayor probabilidad de ocurrencia deberán estar codificados con la menor cantidad de bits
posibles.

La codificación Shannon - Fano, proporciona un método para estructurar este tipo de códigos
con la máxima eficiencia.

II. OBJETIVO

Diseñar un sistema que sea capaz de:

 Realizar la codificación Shannon Fano para un conjunto variable de caracteres con distinta
probabilidad de ocurrencia
 Realizar la medida de la entropía de la fuente de información codificada con el criterio
Shannon - Fano
 Realizar la medida de la longitud de palabra del código resultante
 Realizar la medida de la eficiencia del código

III. PROCEDIMIENTO

Para construir el código Shannon Fano y medir su eficiencia, el algoritmo debe tomar en cuenta
lo siguiente:

 Definición del tamaño del alfabeto o conjunto de símbolos (2 a 16)

 Asignación de la probabilidad de ocurrencia de cada mensaje
 Arreglo del conjunto de mensajes en orden decreciente de probabilidad
1
 División de los símbolos en dos grupos, cuya suma de probabilidades, sea lo mas simétrica
posible
 Asignación de “0” al grupo superior y “1” al grupo inferior.
 Repetición de los anteriores 2 pasos para cada sub grupo con el mismo criterio hasta que se
hayan agotado las posibilidades.
 Realizar la medida de la entropía de la fuente de información
Entropía = H (Bits/mensaje)

 Realizar la medida de la longitud promedio de palabra (L)

L (Bits/mensaje)

 Realizar la medida de la eficiencia del código (Eff)

Eff = H/L

Nota: Se incluye un ejemplo práctico de la codificación Shannon Fano para 10 símbolos.

IV. ESPECIFICACIONES

 Registro de variables, flexible, con posibilidades de variación de 2 a 16 símbolos (el número

de símbolos depende del alfabeto.
 El número de símbolos y la probabilidad de ocurrencia de cada símbolo deben ser
programables.
 La suma de las probabilidades de los símbolos siempre es 1. Debe haber validación del
programa que garantice este detalle.
 Despliegue en pantalla de la codificación asignada a cada símbolo.
 Despliegue en pantalla de la entropía de la fuente de información
 Despliegue en pantalla de la longitud promedio de palabra
 Despliegue en pantalla de la eficiencia del código

Nota: Para lograr lo anterior, se debe utilizar el programa MATLAB

V. CUESTIONARIO

 Definir la “Teoría de la Información”

 Explicar en que consiste la corrección de errores por redundancia de bits
 Explicar en que condiciones la eficiencia del código Shannon Fano es máxima (100%)
 Explicar en que consiste la entropía “a priori” y “a posteriori” de la información

VI. CONTENIDO DEL INFORME

 Introducción
 Objetivos del proyecto
 Ingeniería del proyecto (algoritmos, programas, etc.)
 Especificaciones
2
 Observaciones y recomendaciones
 Respuestas al cuestionario
 Bibliografía

Debe asegurar que incluye:

a) Descripción Funcional del proyecto

b) Descripción de las funciones Math Lab usadas en el proyecto. Descripción de los
parámetros de entrada y salida del sistema
c) Diagramas de Flujo de los programas
d) Descripción de las fórmulas usadas y su implementación en Math Lab
e) Resultados numéricos y gráficos solicitados en cada parte
f) Conclusiones
g) Referencias y bibliografía
h) Archivo m Math Lab, completamente comentado en cada instrucción de programa.

El informe impreso, debe ser presentado el mismo día de la práctica. No se aceptará demora o
postergación del informe. El informe será devuelto con la respectiva calificación.
Adicionalmente al informe escrito, debe presentar un CD con el informe y todos los respaldos a
la práctica que considere convenientes. (que incluye el programa),

El formato del informe es WORD. Los programas deben ir en sus formatos originales
El CD debe estar etiquetado (en el propio CD, con marcador indeleble), con el nombre de la
Practica, materia, participantes y fecha de presentación. No se aceptarán CD no rotulados.
Si un grupo no entrega el CD, la valoración del informe será como máximo la mitad.

VII. EVALUACION

Funcionamiento del programa…………………………... 40

Evaluación personal sobre el desarrollo del programa…… 30
Informe detallado del diseño y funcionamiento………… 30
Total………………………………………………………. 100

Ing. José Campero

DOCENTE

3
TEMA: TEORÍA DE LA INFORMACIÓN
Para el conjunto de mensajes A, B, C, …….J, realizar:
a) Codificación Shanon - Fano
b) Eficiencia del código

MENSAJE PROB.
A 0,09
B 0,11
C 0,01
D 0,005
E 0,2
F 0,004
G 0,12
H 0,001
I 0,28
J 0,18
suma 1

SOLUCIÓN

a) Codificación Shannon - Fano

Reordenando las probabilidades:

MENSAJE MENSAJE PROB.

ORIGINAL REORD. ERROR CODIFICACIÓN

I X1 0,28 0 0
E X2 0,2 0 1
J X3 0,18 1 0 0
G X4 0,12 1 0 1
B X5 0,11 1 1 0
A X6 0,09 1 1 1 0
C X7 0,01 1 1 1 1 0
D X8 0,005 1 1 1 1 1 0
F X9 0,004 1 1 1 1 1 1 0
H X10 0,001 1 1 1 1 1 1 1
SUMA 1

Longitud de palabra:

P(i) No palabras Long. Pal.

0,28 2 0,56
0,2 2 0,4
0,18 3 0,54
0,12 3 0,36
0,11 3 0,33
0,09 4 0,36
0,01 5 0,05
0,005 6 0,03
0,004 7 0,028
0,001 7 0,007
suma 2,665

Entropía de la fuente:

CODIGO PROB. 1/P(I) Log 2 E

X1 0,28 3,57142857 1,837 0,5142
X2 0,2 5 2,322 0,4644
X3 0,18 5,55555556 2,474 0,4453
X4 0,12 8,33333333 3,059 0,3671
X5 0,11 9,09090909 3,184 0,3503
X6 0,09 11,1111111 3,474 0,3127
X7 0,01 100 6,644 0,0664
X8 0,005 200 7,644 0,0382
X9 0,004 250 7,966 0,0319
X10 0,001 1000 9,966 0,01
SUMA 1 2,6004

EFICIENCIA = E / PROMEDIO PALABRA = 0,9758 4