Actividad de aprendizaje 1

Tarea 1: Determinar, disear e implementar el algoritmo ms adecuado para la codificacin y

compresin de los datos de la fuente con respecto a la entropa y longitud promedio de cdigo.

Procedimiento

1.a. Diferenciar fuentes de informacin discretas y continuas dentro de la comunicacin de voz

y datos, mediante un mapa conceptual usted deber presentar las caractersticas ms
relevantes de las distintas fuentes de informacin argumentando con ejemplos especficos.
2
 FUENTES DE
INFORMACION

Es un elemento que
emite una seal
Canal de Informacin

Es la trayectoria o medio atreves del

cual fluyen los smbolos del origen al
destino

Codificaci
Es el proceso por el cual, la n Es la accin de asignar dgitos
salida de una fuente, se binarios
convierte en una secuencia
binaria. Cdigo fuente a una secuencia de
smbolos que
Informacin conllevan la informacin

Seal Es una funcin de una o ms

variables que contienen
informacin acerca de la
naturaleza o comportamiento de un

Fuentes de Tipo Continuo Fuentes de Tipo Discreto

La funcin est
De amplitud continua De amplitud La funcin solo
definida para
discreta est definida para
cualquier valor de la
un conjunto contable
variable
de instantes de t
 EJEMPLO El valor de la El valor de la EJEMPLO
funcin toma un funcin solo toma
Micrfono rango continuo un conjunto finito Teletipo o la
accionado por la de valores de valores salida
voz, o una cmara numrica de
de TV escaneando una
una escena computadora
2.a. Identificar el modelo de entropa para fuentes sin memoria y fuentes con
memoria, mediante documento escrito usted realizar una sntesis de las
caractersticas de las fuentes discretas.
1. Fuentes de information
Una fuente de informacin es un elemento que entrega informacin, como pueden ser una persona
hablando, un ordenador entregando datos... La visin de la persona hablando (por ejemplo), nos puede
servir para ver los elementos ms importantes en la emisin de la informacin. La informacin viaja
sobre la voz de la persona (como una onda de presin). La voz es lo que llamamos seal, que es el
soporte de la informacin. Pero es el hombre quien emite la voz, y es el hombre la verdadera fuente de
informacin.

Esto se puede formalizar con unas definiciones ms rigurosas. Una fuente de informacin es un
elemento que entrega una seal, y una seal es una funcin de una o ms variables que contiene
informacin acerca de la naturaleza o comportamiento de algn fenmeno. Es decir, vamos a
considerar seal tanto al fenmeno fsico que transporta la informacin como a la funcin matemtica
que representa a ese fenmeno. Cualquiera de las dos formas sirve como soporte a la informacin.

En esta discusin, consideraremos nicamente seales unidimensionales, es decir, aquellas que

dependen nicamente de una variable. Adems a esta variable la llamaremos tiempo, aunque no
represente necesariamente el tiempo.

Las fuentes de informacin se clasifican basndose en el tipo de seal que entregan. Se pueden
clasificar,
segn el tipo de variable independiente (tiempo) en:

Fuentes de tiempo continuo: la funcin est definida para cualquier valor de la

variable independiente.
Fuentes de tiempo discreto: la funcin slo est definida para un conjunto contable de
instantes de
tiempo.

Pero se pueden clasificar tambin segn el rango de valores que cubren las seales. En este caso los
tipos de fuentes de informacin sern:

Fuentes continuas o de amplitud continua: el valor de la funcin toma un rango

continuo de valores.
Fuentes discretas o de amplitud discreta: el valor de la funcin slo toma un conjunto finito
de
valores. A cada uno de estos valores lo llamamos smbolo. El conjunto de todos los smbolos
se suele llamar alfabeto. La eleccin del alfabeto es, en cierto modo, arbitraria, ya que
podemos varios smbolos para crear otros, por ejemplo.

Estas dos clasificaciones son ortogonales, es decir, existen fuentes continuas de tiempo continuo,
fuentes continuas de tiempo discreto, fuentes discretas de tiempo continuo y fuentes discretas de
tiempo discreto. Aunque en la prctica slo se encuentran dos tipos: las llamadas fuentes analgicas,
que son fuentes continuas de tiempo continuo; y las llamadas fuentes digitales, que son fuentes
discretas de tiempo discreto.

Las fuentes digitales se suelen clasificar segn la relacin que tenga un smbolo con los que le
preceden de la siguiente manera:

Fuentes sin memoria: los smbolos son estadsticamente independientes entre s. De esta
manera, los smbolos que hayan aparecido hasta el momento no van a condicionar al smbolo
presente ni a posteriores.

4
 Fuentes con memoria: la aparicin de los smbolos no es estadsticamente independiente. Es
decir, si
han aparecido M1 smbolos, el smbolo Msimo est condicionado por los anteriores.

2. Entropa de fuentes sin memoria

Vamos a analizar en este apartado las fuentes sin memoria, es decir, aquellas en que los
smbolos son estadsticamente independientes. Esto se puede expresar matemticamente
como:

siendo si y sj dos smbolos cualquiera de la fuente.

3.1. Concepto intuitivo de informacin

Tenemos una fuente sin memoria que entrega smbolos de entre un alfabeto S = {s0, s1, ... sK1} con
probabilidades de aparicin p0, p1, ... pK1 para cada smbolo, respectivamente. Por supuesto se
cumple que

.
En un momento dado la fuente entrega smbolo si. Si la probabilidad de este smbolo es pi = 1, es
decir, sabemos de antemano qu smbolo va a entregar, la fuente no est entregando informacin
ya que todo es conocido. En cambio, cuando la fuente entrega un smbolo que no esperbamos
para nada (es decir, la probabilidad de aparicin de ese smbolo es pequea) la informacin que
aporta es grande.

En realidad, el proceso de aparicin de un smbolo puede describir mediante los siguientes pasos:
Antes de la aparicin del smbolo: estado de incertidumbre, desconocimiento del
smbolo que aparecer.
En la aparicin del smbolo: sorpresa, debida a la aparicin de un smbolo no esperado.
Tras la aparicin del smbolo: aumento en la informacin que tenemos ya que no
tenemos la incertidumbre anterior.
Podemos ver, por tanto, que el concepto de informacin est estrechamente ligado con las
ideas de incertidumbre y sorpresa.
3.2. Informacin de un smbolo

Como hemos visto, a mayor sorpresa (probabilidad de aparicin de un smbolo menor) mayor es
la informacin que aporta ese smbolo. De esta manera se define la informacin que aporta un
smbolo en funcin de su probabilidad de aparicin como:

Aunque la base del logaritmo se puede tomar arbitrariamente, se suele tomar base 2. De este
modo, la informacin de un smbolo se mide en bits.
La informacin de un smbolo tiene las siguientes propiedades:

, ya que la probabilidad siempre est comprendida entre 0 y 1. Esta propiedad nos dice
que un smbolo podr aportar mucha, poca o ninguna informacin, pero nunca supondr
una prdida de informacin.

5

. Como habamos visto antes, si sabemos de antemano que smbolo va a aparecer, ste
no aporta ninguna informacin nueva.

, es decir, a mayor sorpresa, mayor informacin.

. Esto quiere decir que la informacin aportada por un smbolo que es la concatenacin de
otros dos es la suma de las informaciones de ambos smbolos.

3.3. Informacin de una fuente: entropa

Si consideramos que un smbolo si tiene una probabilidad de aparicin muy pequea, estamos
afirmando que la informacin que aporta es muy grande, pero debido a que su aparicin es muy
espordica, la informacin que aporta la fuente con el conjunto de todos los smbolos no es tan
grande. De hecho, veremos que la informacin de una fuente est acotada.
Por ahora nos conformaremos con ver que la informacin que aporta un smbolo en media est
acotado, ya que depende de su frecuencia de aparicin. A continuacin se ve representada la
funcin

cuando la probabilidad vara de 0 a 1. Concretamente, la funcin tiene un mximo en p(s) = e1.

La informacin que entregue la fuente ser el valor medio de las informaciones que entregue cada
smbolo individualmente cada vez que aparezcan. Este parmetro se llama Entropa de la fuente, y se
puede expresar como:
donde E{} es la esperanza matemtica.

Como podemos ver la entropa es una suma de un nmero finito de trminos como el analizado
anteriormente, por lo que tambin va a estar acotada.
La entropa de una fuente tiene las siguientes propiedades:

, es decir, que la entropa de una fuente no es negativa y est acotada superiormente. Esto
quiere decir que la fuente no puede suponer una prdida de informacin, as como tampoco
puede entregar una cantidad de informacin ilimitada (para un nmero de smbolos limitado).

para algn i. En este caso el resto de las probabilidades sern nulas. No
habr sorpresa y por tanto la entropa ser nula.

. Cuando todos los smbolos sean equiprobables, la incertidumbre sobre

lo que va a ocurrir ser mxima, y por tanto nos encontraremos en el
lmite superior de la entropa.
Se mide en bits/smbolo.

Para comparar la entropa de fuentes con diferente nmero de smbolos,

podemos definir una entropa normalizada como

de manera que

6
. Es como si estuvisemos normalizando en nmero de smbolos a 2 (nmero
mnimos de smbolos).

3.4. Fuentes extendidas: agrupacin de smbolos

Dada una fuente que entrega smbolos pertenecientes a un alfabeto S = {s0, s1, ...
sK1} con probabilidades de aparicin p0, p1, ... pk1 para cada smbolo
respectivamente, podemos reagrupar los smbolos para formar otro alfabeto

en que cada smbolo es la concatenacin de M smbolos. Por tanto este nuevo

alfabeto S' tiene KM smbolos. Un smbolo cualquiera sisj...sl tendr una
probabilidad de aparicin pipj...pl.

La entropa para este nuevo alfabeto est relacionada con el anterior mediante:

Debido a que el alfabeto se elige arbitrariamente, debe cumplirse que la entropa de

la fuente sea igual para un alfabeto cualquiera. Para hacer esta comparacin
hacemos uso de la entropa normalizada:

Aqu vemos claramente que la entropa normalizada depende de la fuente, y no

del alfabeto elegido. Por lo tanto en la representacin de la entropa
podemos prescindir de S (el alfabeto) como parmetro,
y escribir para una fuente concreta.
3. Informacin y Entropa de fuentes con memoria

El estudio de las fuentes con memoria es algo ms complejo que el de las fuentes
sin memoria, por lo que no vamos a entrar en detalles. Contrastaremos los
resultados tericos con los resultados de una simulacin.

En una fuente con memoria los smbolos no son estadsticamente independientes,

es decir,

7
Se puede ver que se va a producir una reduccin de la informacin entregada por la
fuente, ya que una vez que han aparecido M1 smbolos, el smbolo Msimo va a
depender de los anteriores, por lo que contendr menor informacin que si fuese
independiente.

Supongamos que tenemos dos fuentes con el mismo alfabeto y la misma

probabilidad de aparicin de cada smbolo. HM(S)sin memoria y HM(S)con memoria
son las entropas de la fuente sin memoria y con memoria con agrupaciones de M
smbolos respectivamente. En la fuente con memoria hay una reduccin de la
entropa respecto de la fuente con memoria, de tal manera que se cumple que:

HM(S)sin memoria > HM(S)con memoria

La entropa (normalizada) de la fuente con memoria se puede definir como:

Como vemos, la entropa normalizada de una fuente con memoria no es

independiente del alfabeto elegido. De hecho, agrupaciones grandes de smbolos
siempre proporcionan una entropa menor que agrupaciones menores. El valor
ms pequeo (cuando las agrupaciones son de
smbolos) es la entropa de la fuente con memoria.

4.1. Interpretacin de la simulacin de una fuente con memoria

En este ejemplo vamos a simular una fuente con memoria que entrega dos
smbolos que llamaremos {0, 1} (fuente binaria) y cada smbolo est condicionado
slo por el anterior. Podemos caracterizar la fuente, en funcin de las
probabilidades condicionadas:

Podemos calcular la entropa normalizada de esta fuente con memoria de la

siguiente manera. Las siguientes expresiones se pueden aplicar a una fuente con
un nmero cualquiera de smbolos, en que cada smbolo slo dependa del anterior:

La segunda ecuacin nos da la entropa de la fuente conociendo el smbolo que

acaba de entregar. De esta manera, para cada smbolo, se tiene en cuenta la

8
dependencia con el smbolo anterior. As la formula comprende el efecto de la
reduccin de informacin debido a la memoria.
La entropa total de la fuente ser el valor medio de las entropas
condicionadas, como se muestra en la primera ecuacin.

Aplicando estas ecuaciones para nuestro caso, obtenemos el siguiente resultado:

En la simulacin de la fuente hemos estimado los siguientes parmetros finales:

siendo

la entropa normalizada para agrupaciones de M smbolos.

El resultado ms importante es que las

entropas son decrecientes con M, y
tienden asintticamente a
, resultado que habamos visto en teora.

2.b. Calcular la entropa para una fuente discreta sin memoria, usted entregar
un algoritmo implementado en OCTAVE, el cual le permita modelar una
fuente discreta con memoria y calcular su entropa.

9
1
0
1
1
1
2
1
3
1
4
1
5
1
6
1
7
ALGORITMO
Calcule la entropia de la fuente discreta sin memoria, para una seal aleatoria

closeplot;
clear all;
k=16;
nt=2^k;
a=floor(rand(1,nt)+.5);
dt=k+4;
for n=1:dt
dimb=n;

1
8
 numb=floor(nt/dimb);
dim=dimb*numb;
aa=reshape(a(1:dim),dimb,numb);
x=(1:1:n)-1;
xx=2.^x;
ris1=xx*aa+1;
ris2=hist(ris1,2^n);
ris3=ris2(find(ris2));
%
size(ris3,2)/size(ris2,2);
n
p=ris3/numb;
ris(n)=-sum(p.*log(p));
end;
entr=diff(ris);
entr(1)=log(2);
plot(entr);hold;plot(entr,'*');
plot(log(2)*ones(1,dt),'r');grid
input ("Pick a number, any number! ")

EJECUCION

1
9