ENTROPA DE UN CANAL SIN RUIDO

Eduardo Israel Brito Vivanco

israedu_18@hotmail.com
Eduardo Luis Campoverde Encalada
eduarce_925@hotmail.com
Luis Gerardo Hidalgo Garca
luisgh9@hotmail.com
Mauricio Fernando Romn Rodrguez
mauriciofromanr@hotmial.com

RESUMEN: El presente trabajo tiene como objetivo

presentar una aplicacin de entropa utilizada para
comparar la cantidad de informacin mutua que se
obtiene en un canal sin ruido cuando las probabilidades
de la matriz de ingreso son independientes respecto de
una matriz con entradas equiprobables (Capacidad),
determinando as en donde existe menor redundancia y
mayor eficiencia.
PALABRAS CLAVE: Canal sin ruido, capacidad de un
canal, entropa a priori, entropa a posteriori, eficiencia
de un canal, informacin mutua, redundancia de un
canal.

1. INTRODUCCIN

2. CANALES DE INFORMACIN
Un canal de informacin viene determinado por un
alfabeto de entrada A={ai} donde i=1,2,3,4,...,r; un
alfabeto de salida B={bj} donde j=1,2,3,4,...,s; y un
conjunto de probabilidades condicionales prospectivas
P(bj/ai). P(bj/ai) es la probabilidad de recibir a la salida el
smbolo bj cuando se enva el smbolo ai [1].
Un canal de informacin est completamente
definido por su matriz de probabilidades prospectivas P
cuando la matriz de probabilidades tiene el siguiente
prototipo:
P(b2 /a1 )
P(b2 /a2 )

P(b2 /ar )

2.1. TEOREMA DE BAYES

El teorema de Bayes es empleado en los canales
de informacin para en base a las entradas, las salidas
y los elementos de la matriz de probabilidades
prospectivas poder obtener la matriz de probabilidades
retrospectivas del canal de informacin representado. El
enunciado del teorema de Bayes es el siguiente [2]:
P(ai /bj ) =

Como parte de la materia de Probabilidad y

Procesos Estocsticos el presente informe hace
mencin al tema de entropa aplicada a un canal sin
ruido con entradas tanto independientes como
equiprobables.

P(b1 /a1 )
P(b1 /a2 )
=[

P(b1 /ar )

El tamao de la matriz que representa al canal de

informacin es de rxs donde r es el nmero de entradas
que se tiene y s es el nmero de salidas que se obtienen
al pasar por dicho canal de informacin.

P(bs /a1 )
P(bs /a2 )
]

P(bs /ar )

P(bj /ai ). P(ai )

P(bj )

Y la matriz de probabilidades retrospectivas queda

definida de la siguiente manera:
P(a1 /b1 )
P(a1 /b2 )
=[

P(a1 /bs )

P(a2 /b1 )
P(a2 /b2 )

P(a2 /bs )

P(ar /b1 )
P(ar /b2 )
]

P(ar /bs )

El tamao de la matriz de probabilidades

retrospectivas es de sxr donde s es el nmero de
entradas que se tiene y r es el nmero de salidas.

2.2. ENTROPA A PRIORI

La entropa a priori es la cantidad de informacin
que se tiene a la entrada de un canal o a la salida del
mismo. La expresin matemtica que define la entropa
a priori en la entrada de un canal es [1]:
() = () log 2

1
()

Mientras que la entropa a priori en la salida del

canal es [1]:

() = () log 2

1
()

La redundancia de un canal hace alusin a la

informacin repetida que se obtiene a la salida del canal
y viene determinada por [1]:

2.3. ENTROPA A POSTERIORI

La entropa a posteriori es la cantidad de
informacin que se tiene al pasar por un canal
determinado; as se tiene que la entropa a posteriori de
la salida B dada la entrada A es [1]:
(/) = (, ) log 2
,

1
(/)

= 1

2.7. EFICIENCIA DE UN CANAL

Porcentaje que indica que cun til es un canal
para trasladar informacin y viene dado por [1]:
=

Donde: (, ) = (/). () = (/). ()

(, ) + (|)
+ (|)

(|)
100%

2.8. CANAL SIN RUIDO

Por lo tanto:
(/) = (/). () log 2
,

1
(/)

Un canal sin ruido es aquel canal definido por una

matriz con un elemento y solamente uno, distinto de cero
en cada columna [1].

Mientras que la entropa a posteriori de la entrada

A dada una salida B es [1]:
(/) = (/). () log 2
,

2.4. INFORMACIN
CANAL

1
(/)

En un canal sin ruido se cumple que la entropa de

la entrada A dada la salida B es igual a cero de la
siguiente manera [1]:
(/) = 0

MUTUA

DE

UN

La informacin mutua de un canal es la cantidad de

informacin resultante de atravesar un canal con ruido y
con prdidas; la cantidad de informacin de un canal
viene dada por [1]:
(, ) = () (/)
(, ) = () (/)
Una de las propiedades de la informacin mutua es
la simetra que tiene; sta viene dada por [1]:
(, ) = (, )

2.5. CAPACIDAD DE UN CANAL

La capacidad de un canal es la cantidad de
informacin mxima que se tiene al atravesar dicho
canal; al ser la capacidad del canal la cantidad de
informacin mxima, sta se da cuando la entropa en la
entrada del canal es mxima y ello se presenta al tener
entradas equiprobables [1].
= (, ) = (, )

Por consiguiente, se tendr que la cantidad de

informacin en un canal sin ruido es igual a la entropa
en la entrada:
0
(, ) = () (/)
(, ) = ()

3. DESCRIPCIN DEL PROGRAMA

Se ha determinado que la matriz de ingreso cuente
con tres entradas mientras la matriz del canal sin ruido
sea de tres filas por seis columnas. Se adquieren los
valores ingresados de cada matriz y luego son
transformados a tipo numrico para poderse trabajar.
A=get(handles.entrada,'String');
A=str2num(A); %matriz de entradas independientes
P=get(handles.matriz_prospect,'String');
P=str2num(P); %matriz de canal sin ruido
Ahora se procede a calcular la matriz de salida, la
matriz del canal retrospectivo, las entropas a priori H(A),
H(B), las entropas a posteriori H(A|B), H(B|A), la
informacin mutua I(A|B) e I(B|A):
B=A*P; %matriz de salida

2.6. REDUNDANCIA DE UN CANAL

%Clculo de la matriz retrospectiva

P1=[0 0 0;0 0 0;0 0 0;0 0 0;0 0 0;0 0 0];

for(i=1:6)
for(j=1:3)
P1(i,j)=P(j,i)*A(j)/B(i); % teorema de Bayes
end
end
%Clculo de la entropa a priori H(A)
HA=0;
for(i=1:3)
HA=HA + A(i)*log2(1/A(i));
end
%Clculo de la entropa a priori H(B)
HB=0;
for(i=1:6)
HB=HB + B(i)*log2(1/B(i));
end
%Clculo de la entropa a posteriori H(A/B)
HAB=0;
for(i=1:3)
for(j=1:6)
s=P1(j,i)*B(j)*log2(1/P1(j,i));
a=isnan(s);
if(a==1)
s=0;
end
HAB=HAB+s;
end
end
%Clculo de la informacin mutua I(A,B)
IAB=HA-HAB;
%Clculo de la entropa a posteriori H(B/A)
HBA=0;
for(i=1:6)
for(j=1:3)
s=P(j,i)*A(j)*log2(1/P(j,i));
a=isnan(s);
if(a==1)
s=0;
end
HBA=HBA+s;
end
end
%Clculo de la informacin mutua I(B,A)
IBA=HB-HBA;
Ahora para la matriz con entradas equiprobables se
adquieren los valores de ingreso y se repite el cdigo
anterior para encontrar el resto de parmetros:
A=get(handles.entrada_eq,'String'); %matriz de
entradas equiprobables
A=str2num(A);
Finalmente se calcula la redundancia y eficiencia
del canal tanto con entradas independientes como con
entradas equiprobables:

%Redundancia del canal

R=1-((IAB + HAB)/(C + HAB)); %entradas
independientes
Re=1-((IABe + HAB)/(C + HAB)); %entradas
equiprobables
%Eficiencia del canal
E=IAB/C; %entradas independientes
Ee=IABe/C; %entradas equiprobables

4. RESULTADOS OBTENIDOS

En base a la figura se observa que al estar la matriz de

ingreso integrada por las entradas independientes [0,2
0,5 0,3] la entropa de A es de 1,48548 bits/smbolo, la
entropa de B es 2,36379 bits/smbolo, la entropa de A
dado B es de 0, la entropa de B dado A es de 0,878312
bits/smbolo, la informacin mutua del canal es de
1,48548 bits, la redundancia del canal es de 0,0627694
y la eficiencia del canal es de 93.7231%. Mientras que al
estar la matriz de ingreso formada por entradas
equiprobables [1/3 1/3 1/3] la entropa de A es de
1,58496 bits/smbolo, la entropa de B es 2,44302
bits/smbolo, la entropa de A dado B es de 0, la entropa
de B dado A es de 0,858057 bits/smbolo, la informacin
mutua del canal es de 1,58496 bits, la redundancia del
canal es de 0 y la eficiencia del canal es de 100%.
Adems, se puede notar que las matrices de salida
cambian para ambos casos pero la matriz del canal
retrospectivo es la misma para ambos casos sin importar
las entradas y que corresponde a la matriz de un canal
determinante.

5. REFERENCIA
[1] ABRAMSON Norman, 1981, TEORA DE LA
INFORMACIN Y CODIFICACIN, PARANINFO SA, Quinta
Edicin, pg. 111-166.
[2] NAVIDI William, 2006, ESTADSTICA PARA INGENIEROS
Y CIENTFICOS, McGraw-Hill, pg. 78-79.