Instituto Politecnico Nacional

Escuela Superior de Ingenieria Mecanica y Electrica

Ingenieria en Computacion
Teoria de la Informacion y codificación
Practica 1
Cantidad de información

Alumnos:Edgar Omar Mendoza López

Serrano Lagunas Fernando Alberto
Grupo: 7CM21
Objetivo
El alumno identifica como calcular la entropía de una imagen en blanco y negro,
realizando un programa en MATLAB, El cual deberá mostrar una interfaz gráfica de
usuario (GUI), en la cual se pueda buscar la imagen en el árbol de directorios del
disco duro.

Marco Teórico
Dada una fuente “S” que emite mensajes, resulta frecuente observar que los
mensajes emitidos no resulten equiprobables, sino que tienen una cierta
probabilidad de ocurrencia dependiendo del mensaje. Para codificar los mensajes
de una fuente intentaremos pues utilizar menor cantidad de bits para los mensajes
más probables y mayor cantidad de bits para los mensajes menos probables, de
forma tal que el promedio de bits utilizados para codificar los mensajes sea menor
a la cantidad de bits promedio de los mensajes originales. Esta es la base de la
compresión de datos.
A este tipo de fuente se la denomina fuente sin memoria, pues la probabilidad de
ocurrencia de un mensaje no depende de los mensajes anteriores. Definimos la
probabilidad de ocurrencia de un mensaje en una fuente como la cantidad de
apariciones de dicho mensaje dividido entre el total de mensajes. Supongamos que
Pi es la probabilidad de ocurrencia del mensaje-i de una fuente, y supongamos que
Li es la longitud del código utilizado para representar a dicho mensaje. La longitud
promedio de todos los mensajes codificados de la fuente se puede obtener como:

El promedio ponderado de las longitudes de los códigos de acuerdo a sus

probabilidades de ocurrencia, al número H se lo denomina “Entropía de la fuente” y
tiene gran importancia. La entropía de la fuente determina el nivel de compresión
que podemos obtener como máximo para un conjunto de datos, si consideramos
como fuente a un archivo y obtenemos las probabilidades de ocurrencia de cada
carácter en el archivo podremos calcular la longitud promedio del archivo
comprimido, se demuestra que no es posible comprimir estadísticamente un
mensaje/archivo más allá de su entropía. Lo cual implica que considerando
únicamente la frecuencia de aparición de cada carácter la entropía de la fuente nos
da el límite teórico de compresión, mediante otras técnicas no estadísticas puede,
tal vez, superarse este límite.
El objetivo de la compresión de datos es encontrar los Li que minimizan a H, además
los Li se deben determinar en función de los Pi, pues la longitud de los códigos debe
depender de la probabilidad de ocurrencia de los mismos (los más ocurrentes
queremos codificarlos en menos bits). Se plantea pues:

A partir de aquí y tras intrincados procedimientos matemáticos que fueron

demostrados por Shannon oportunamente se llega a que H es mínimo cuando f(Pi)
= log2 (1/Pi). Entonces:

La longitud mínima con la cual puede codificarse un mensaje puede calcularse como
Li=log2(1/Pi)=-log2(Pi). Esto da una idea de la longitud a emplear en los códigos a
usar para los caracteres de un archivo en función de su probabilidad de ocurrencia.
Reemplazando Li podemos escribir H como:

De aquí se deduce que la entropía de la fuente depende únicamente de la

probabilidad de ocurrencia de cada mensaje de la misma, por ello la importancia de
los compresores estadísticos (aquellos que se basan en la probabilidad de
ocurrencia de cada carácter). Shannon demostró, oportunamente que no es posible
comprimir una fuente estadísticamente más allá del nivel indicado por su entropía.
Evidentemente, la teoría de Shannon (y la teoría de la información en general) es
muy amplia e incluye otros aspectos importantes como la redundancia en los
mensajes las técnicas para la codificación de información, los códigos óptimos, los
simétricos, los asimétricos, etc. Aspectos que se abordaran más adelante.
Desarrollo
1.- Tomando como base el programa de Matlab desarrollado enla practica 1
agrega una opción para el cálculo de la entropía delarchivo de texto.

2.- A partir de la siguiente imagen y considerando que cadacuadro representa a un

pixel, obtén la tabla de frecuencias delos bits correspondientes a la imagen.
3.- Ahora calcula la cantidad de información de la imagen enbits, nats y Hartleys.
4.- Añade al programa de la practica 1 la capacidad de calcularla información de
una imagen en bits, así como la entropía.(considera que las imágenes pueden
estar en blanco y negro,escala de grises y a color)