Captulo3.

SistemasdeComunicaciones

27

Captulo 3


SISTEMAS DE COMUNICACIONES





Un sistema de comunicaciones es un conjunto de dispositivos que son utilizados con la finalidad de
transmitir, emitir y recibir seales de todo tipo, como voz, datos, audio, video, etc., adems dichas
seales pueden ser del tipo digital o analgica.
Un sistema de comunicaciones puede describirse fcilmente mediante tres elementos
bsicos; un transmisor, el cual se encarga de generar la seal que se desea y acoplarla de tal forma
que pueda viajar a travs del canal, mediante procedimientos como modulacin, filtrado,
codificacin, etc.; un medio de transmisin, el cual ser el canal mediante el cual la seal va a
viajar, y puede ser desde fibras pticas, cables coaxiales, hasta el mismo aire; y finalmente un
receptor, que realiza el procedimiento inverso del transmisor con la finalidad de reconstruir la seal
y que esta sea lo mas parecida a la original.

FIG.3.1SISTEMADECOMUNICACIONES
FUENTE
(TRANSMISOR)
DESTINO
(RECEPTOR)
CANALDETRANMISIN
Medioporelcualviajan
lassealesqueseenvan.
Segeneraelmensajeque
sedeseaenviaryse
adecuaparasucorrecta
recepcin.
Serecuperaelmensaje
enviadoyseprocesapara
quesucontenidosealo
msparecidoaloriginal.
Enelcanalsepresentanfenmenosque
deterioranlaformadelasealgenerando
erroresenlarecepcin.
Captulo3.SistemasdeComunicaciones

28

Debido a que la presente tesis est enfocada a uno de los procedimientos que se llevan a
cabo en el transmisor, el paso de una seal analgica a digital mediante cuantizacin y codificacin,
a continuacin se trataran la teora bsica de codificacin.


3.1 MEDIDAS DE INFORMACIN

Primeramente nos concierne saber qu es informacin? De forma general se puede definir a la
informacin de la siguiente manera:

La informacin se define como el conjunto organizado de datos procesados, el cual crea
un mensaje sobre un determinado fenmeno. Los datos se perciben, se integran y generan la
informacin necesaria para producir el conocimiento que es el que finalmente permite tomar. La
informacin tambin indica mediante cdigos y conjuntos de datos, los modelos del pensamiento
humano. La informacin por lo tanto, procesa y genera el conocimiento humano
1
.

Por lo tanto, deben existir mtodos que permitan medir la cantidad de informacin a lo
largo de una transmisin. Para realizar estos procedimientos se utilizan los conceptos de entropa e
informacin mutua. Empezaremos por describir el concepto de entropa.


3.1.1 ENTROPA

El concepto de entropa fue utilizado al inicio como una medida de informacin en un canal de
transmisin comn. El concepto de entropa o tambin llamado variabilidad se da nicamente
dentro de experimentos, por que siempre que se haga referencia a entropa se hace referencia al
mismo tiempo a un experimento.
Para definirla, tomemos en cuenta que se tiene un experimento E y tres campos (S, F, P),
donde S representa el espacio muestra, F representa el campo de eventos y P representa la
asignacin de probabilidades de F. Estos parmetros ayudarn a medir la entropa.

1
La importancia del concepto informacin comenz a tornarse importante en probabilidad cuando se
desarrollo la rama matemtica conocida como Teora de la Informacin, la cual fue iniciada Claude E.
Shannon a travs de un artculo publicado en el Bell System Technical Journal en 1948, titulado Una teora
matemtica de la comunicacin.
Captulo3.SistemasdeComunicaciones

29

De una forma general (sobre todo para ciencias como la Termodinmica), la entropa puede
definirse como:
Entropa: Medida de la distribucin aleatoria de un sistema
2
.
La ecuacin que define a la entropa es la siguiente:
E(E) = P

log _
1
P

En esta ecuacin se utiliza la letra H para representar a la entropa. Una de las ventajas de
utilizar los logaritmos en la definicin radica en que al trabajar en experimentos combinados se
tendr que la entropa total es igual a la suma de las entropas individuales.
Adems, generalmente se utiliza la base logartmica 10, la base e y base 2. Para cada una de
estas, la unidad de medida tiene nombres diferentes:
Base 10 hartley
Base e nat (de unidades naturales)
Base 2 bit (de unidades binarias)

Adems se puede pasar cmodamente de una unidad a otra mediante:
log
2
(x) =
log
c
(x)
log
c
(2)
=
log
10
(x)
log
10
(2)


Propiedades de la entropa

A continuacin se presentan las principales propiedades de la entropa:
1. H(E) es una funcin continua de p
i
.
2. H(E) es mxima para resultados igualmente probables. Si se tienes N elementos en el
espacio muestra con p
1
== p
N
= 1/N, ningn otro conjunto de probabilidades proporciona
una gran entropa.
3. Si p
1
= p
2
= = p
N
, entonces H(E) es una funcin creciente de N.
4. H(E
1
,E
2
) H(E
1
) + H(E
2
) con igualdad si y solo si E
1
y E
2
son independientes.

2
La palabra entropa procede del griego y significa evolucin o transformacin y dicho concepto se
relaciona ampliamente con el nivel de incertidumbre que existe en cualquier experimento o seal aleatoria.
Tambin puede ser considerado como la cantidad de ruido o desorden en el sistema.

(3.1)

















(3.2)

Captulo3.SistemasdeComunicaciones

30

La propiedad 1 quiere decir que un pequeo cambio en la probabilidad de alguna de las

salidas no provocar un gran cambio en la entropa del experimento. Si se comidera un experimento
E con dos posible salidas con probabilidades p y 1-p, la entropa esta dada por:

E(E) = -plogp - (1 - p)log (1 - p)

A continuacin se muestra la grfica que representa este experimento, en donde se puede
observar las propiedades uno y dos, ya que se ve que dicha curva es continua en p, y el mximo
ocurre cuando las dos salidas son igualmente probables, es decir, cuando p=1-p.

FIG.3.2GRFICACORRESPONDIENTEALAENTROPAH(X)

En cuanto a la propiedad 3, debido a la definicin de entropa, en donde se describi como
una medida de variabilidad, y un incremento en las salidas igualmente probables hace que la
entropa aumente.
Estas propiedades son muy importantes ya que pueden ser tiles para un gran nmero de
aplicaciones. Uno muy importante es el mtodo de la entropa mxima (MEM). Este mtodo
maximiza la entropa en un experimento sujeto a cualquier limitacin. La nica limitacin es que la
suma de las probabilidades es 1.
El problema de este mtodo radica que escoger las probabilidades desconocidas para poder
maximizar la entropa y poder satisfacer las limitaciones. Por otro lado se encuentra el
inconveniente de encontrar las limitaciones que guan a obtener las probabilidades.



0
0.2
0.4
0.6
0.8
1
1.2
0 0.2 0.4 0.6 0.8 1 1.2
E
n
t
r
p

H
(
X
)
Probabilidaddeerror
Entropa

(3.3)
Captulo3.SistemasdeComunicaciones

31

3.1.1 INFORMACIN MUTUA

La informacin mutua de dos experimentos E
i
es una cantidad que mide la dependencia mutua de
estos dos experimentos.
3

Sin embargo, para poder definir este concepto de forma numrica primero se debe hacer
referencia al concepto de entropa restante la cual se conoce despus de observar otro evento, es
decir, la entropa restante de E
1
despus de ver E
2
. Esta debe relacionarse con la probabilidad
condicional P(U
i
|M
i
) de la misma forma que la entropa inicial est relacionada con P(U
i
). Adems
tenemos que H(E
1
) es igual al log[1/P(U
i
)]. Por lo que la media del log[1/ P(U
i
|M
i
)]. Por lo que la
entropa restante es la siguiente:
E(E
1
|E
2
) = -P(u

, H
]
) log P(u

|H
]
)
,]


Esta es la entropa restante de E
1
despus de observar a E
2
, y esto es llamado entropa
condicional de E
1
dado E
2
. El cambio en la entropa es la ganancia de la informacin y es escribe
como I(E
1
,E
2
). Esta escritura tiene el siguiente significado:
I(E
1
, E
2
) = E(E
1
) - E(E
1
|E
2
)

Cabe mencionar que se cumple la igualdad: I(E
1
,E
2
)= I(E
2
,E
1
), o
I(E
1
, E
2
) = E(E
2
) -E(E
2
|E
1
)

Este trmino se conoce como informacin mutua por que es simtrica. El concepto de
informacin mutua y la entropa restante son tiles al momento de disear sistemas.

FIG.3.3INFORMACINMUTUAI(E
1
;E
2
)

3
La informacin mutua es una medida de gran importancia, dentro de la teora de la informacin. Define la
informacin aportada por una variable aleatoria sobre otra.
1.2
1
0.8
0.6
0.4
0.2
0
0 0.2 0.4 0.6 0.8 1 1.2
I
n
f
o
r
m
a
c
i

m
u
t
u
a
Probabilidaddeerror
InformacinMutua

(3.4)






(3.5)




(3.6)
Captulo3.SistemasdeComunicaciones

32

3.2 CONSIDERACIONES Y ESQUEMAS DE ANLISIS

Como se mencion al inicio del captulo, un sistema de comunicaciones esta formado por una
fuente, que genera los datos que se desean transmitir; un destino que se encarga de recibir los datos
de la fuente y reconstruirlos para que sean lo ms fieles a los originales; y un canal, que es el medio
por donde viajan los datos.
A continuacin se presenta un diagrama de bloques explicando la ubicacin de cada uno de
estos componentes:


FIG.3.4DIAGRAMADEBLOQUESDEUNSISTEMADECOMUNICACIONES

Sin embargo, al momento de realizar la transmisin entre la fuente y el destino, se pueden

presentar varios problemas en el canal como son:

Atenuacin: Es la reduccin de nivel o potencia de una seal cuando pasa a travs del canal
Esta se mide en decibeles, y por lo general depende de la frecuencia a que se este
trabajando en el sistema.
Ruido: Se considera ruido a todas las perturbaciones elctricas que interfieren sobre las
seales transmitidas o procesadas.
FUENTE
DESTINO
MODULACIN DEMODULACIN
+
RUIDO
CODIFICACIN
DECODIFICACIN
CUANTIZACIN
CONVERSIN
A/D
CONVERSIN
D/A
CUANTIZACIN
1

TRANSMISOR
RECEPTOR
Captulo3.SistemasdeComunicaciones

33

Distorsin: Es la diferencia entre seal que entra a un equipo o sistema y la seal de salida
del mismo. Por tanto, puede definirse como la "deformacin" que sufre una seal tras su
paso por un sistema.
Interferencia: La interferencia es cualquier proceso que altera, modifica o destruye una
seal durante su trayecto en el canal existente entre el emisor y el receptor.
Diafona: Es una forma de interferencia causada por las seales en las cercanas de
conductores.

Adems, existe gran variedad de canales, cada uno con diferentes caractersticas las cuales
se explicarn a continuacin.
Antes de comenzar a hablar de canales se deben de describir los diferentes tipos de canales
que se pueden estudiar. La definicin de canal nos dice que un canal es el medio mediante el cual
las seales viajan entre el transmisor y el receptor. Es decir, es el medio mediante el cual la
informacin viaja desde un punto A hasta un punto B
4
.
La velocidad de transferencia de un canal R
S
se denota por:
R
S
=
k
n

inormocion Jcl bit
simbolos Jcl conol


El mensaje a ser transmitido es un proceso estacionario X y el proceso Y es la salida. La
salida Y depende nicamente de la entrada X pero tambin de la naturaleza del canal. Para definir la
naturaleza del canal se puede hacer la siguiente clasificacin:

1. El canal es sin memoria, si el valor de Y depende nicamente del valor presente de X.
2. La entrada X presenta ruido blanco que se expande en todas las frecuencias.
3. El canal es binario (BSC), si las entradas y salidas X, Y solo pueden tomar el valor de 0 y 1.

FIG.3.5CANALBINARIOSIMTRICO

4
Un canal de comunicaciones es el medio fsico utilizado para transportar informacin entre dos extremos.
Este medio fsico puede ser cableado, inalmbrico (es decir, por medio del espectro radioelctrico), o una
combinacin de ambos.
0 0

X Y

1 1
1p

1p

(3.7)
Captulo3.SistemasdeComunicaciones

34

En la transmisin de un vector de longitud n la probabilidad condicional de la salida Y

conociendo X es:
p(|X) = p
d
(1 - p)
n-d


donde J = J
H
(X, ) es la distancia de Hamming entre el canal de entrada y salida.

Canal sin ruido:
El canal es sin ruido si existe una correspondencia uno-a-uno entre las entradas X
n
y salidas
Y
n
, para un canal binario esto significa que x
n
=0, entonces y
n
=0.

Canal con ruido:
Un canal con ruido es un sistema variable que establece una relacin esttica entre las
entradas X
n
y las salidas Y
n
.
Para un canal sin memoria, esta relacin se da por medio de matrices cuyos elementos n
]

son las probabilidades condicionales entre los estados de entradas y salidas. Por ejemplo, para un
canal binario:
= j
n
00
n
01
n
10
n
11
[ donde n
00
+ n
01
= 1 y n
10
+ n
11
= 1

Se dice que el canal es simtrico si n
10
= n
01
= [, y n
00
= n
11
= 1 - [ por lo que en un
canal simtrico:
= _
1 -[ [
[ 1 - [
_


3.3 CAPACIDAD DEL CANAL

La capacidad del canal se mide en unidades de bit por smbolo, y se define como la informacin
mutua mxima I(X,Y) obtenida al variar la probabilidad de las entradas.
Esta informacin debe ser lo ms fiable posible, es decir, que su probabilidad de error sea la
mnima para su correcta recuperacin. Existen dos definiciones ms particulares, cada una de las
cuales est enfocada a canales discretos y continuos. A continuacin se presentan ambas
definiciones:

(3.8)



















(3.9)





(3.10)

Captulo3.SistemasdeComunicaciones

35

Capacidad del Canal en canales discretos: Un canal es discreto sin memoria si cumple con las
siguientes especificaciones:

El conjunto X={x
1
,x
2
,,x
n
} en la entrada puede ser transmitido por el canal,
El conjunto Y={y
1
,y
2
,,y
n
} pueden ser recibidos en la salida del canal,
Las probabilidades de ambos conjuntos estn dados por las probabilidades condiciones del
canal (p
ij
) donde p
]
= p(y

|x

).

Se define la entropa de entrada, entropa de salida y entropa de entrada condicionada por
la salida como,
E(X) = p(x

)log
1
p(x

)
n
=1
; E() = p(y

)log
1
p(y

)
m
]=1


E((X)|) = p(y

)
m
]=1
p(x

, y

)log
1
p(x

|y

)
m
=1


Por lo que la informacin mutua estara dada por:
I(E
1
, E
2
) = E(E
2
) -E(E
2
|E
1
)

y la capacidad del canal es:
C = mox
p(x
i
)
I(X, )

Capacidad del Canal en canales continuos: La capacidad de un canal continuo esta sumamente
relacionado al teorema del muestreo, por lo que est definido de la siguiente forma:
C = Blog(1 + SNR)

donde B representa el ancho de banda, y SNR es la relacin seal a ruido.

Este concepto es aplicable a todos los tipos de canales que se mencionaron con anterioridad,
por ejemplo, la capacidad del canal para un canal binario simtrico esta dada por:
C = 1 - E
2
(p)

(3.11)
(3.12)



(3.13)




(3.14)




(3.15)




(3.16)








(3.17)
Captulo3.SistemasdeComunicaciones

36

donde H
2
es la funcin de entropa binaria.

Teorema
La informacin puede ser enviada a travs de una canal con ruido a una tasa cercana a la
capacidad del canal C con una pequea probabilidad de error.
E(X) = I(X, ) +E(X|) I(X, )

Lo cual demuestra que es posible encontrar una fuente con entropa muy cercana a C, por
lo tanto:
5

E(X) < C


3.4 CODIFICACIN DE FUENTE

Supongamos que se tiene una fuente que genera un mensaje que debe ser transmitido de forma
digital, sin embargo, el mensaje es analgico. Para poder realizar una transmisin de forma exitosa
primero se debe llevar a cabo el proceso de muestreo, cuantizacin y codificacin.
A continuacin nos enfocaremos en el proceso de codificacin abarcando diferentes clases
de cdigos que ayudan a obtener la menos cantidad posible de errores en el receptor. Para
comenzar, qu es un cdigo?, qu es la codificacin?

Un cdigo es la forma de encapsular cierta informacin para que pueda ser transmitido
con cierta seguridad. La codificacin es el mtodo que permite convertir un carcter de un
lenguaje natural en un smbolo de otro sistema de representacin, como un nmero o una
secuencia de pulsos elctricos en un sistema electrnico, aplicando normas o reglas de
codificacin
6
.

5
Este teorema permite conocer el valor de la informacin mutua an si solo se conocen los valores de
entropa de las variables por separado o en su forma conjunta.

6
Existen una gran cantidad de algoritmos para encontrar el cdigo adecuado en cada caso, sin embargo por
lo general se busca que este sea ptimo.
(3.18)




(3.19)

Captulo3.SistemasdeComunicaciones

37

Existen diferentes tipos de cdigos dependiendo el uso y aplicaciones que se requiera,

adems de que para su eleccin deben tomarse en cuenta consideraciones como la longitud de los
cdigos, su funcionalidad y seguridad.
Generalmente se buscan cdigos ptimos para minimizar la probabilidad de error. Pero,
qu es un cdigo ptimo?

Un cdigo ptimo es aquel cdigo que permite codificar todas las palabras del mensaje con
la menor longitud media, es decir, este tipo de cdigos permite utilizar la menos cantidad de
palabras de cdigo y as disminuir la probabilidad de error en el receptor
7
.

Para esto se hace uso de la distancia mnima de Hamming entre cualesquiera dos palabras
de cdigo en el canal y se denota mediante d
min
. El numero de errores de bits que el canal es capaz
de corregir t es expresado mediante la siguiente expresin:

J
mn
2t + 1


3.4.1 CONCEPTOS DE SHANNON

A continuacin se presenta uno de los cdigos ms conocidos. En el cdigo se Shannon, las
probabilidades p
i
son nmeros decimales, entonces la longitud del cdigo l

= -logp

es ptima.
A partir de esto es posible crear cdigos para diversa clase de casos.
Cada p
i
especifica un nmero entero n
i

1
2
n
i
p

<
1
2
n
i
-1


donde p

> 12
n
i
para al menos una pi. Con n
m
el mayor de los enteros n
i
, se tiene que

1
2
n
i
N
=1
1 -
1
2
n
m

7
La importancia de crear un cdigo ptimo es que con el, al disminuir su longitud de palabra y darle mayor
importancia a las palabras con mayor probabilidad de ocurrencia, se logra que la velocidad de transmisin
en el sistema aumente y por lo tanto su eficacia.

(3.20)












(3.21)





(3.22)
Captulo3.SistemasdeComunicaciones

38

Por que el lado izquierdo es un entero binario ms pequeo que 1. Si despus n

m
es
cambiado por n
m
-1, el resultado de la suma del valor no exceder 1. Por lo que la simplificacin es
la siguiente:

1
2
n
i
= 1 l

N
=1


Por lo que con este conjunto de enteros es posible crear el cdigo denotando que L
a
es la
longitud media. Entonces tenemos
I
u
= p

N
=1
p

N
=1


Por lo que el cdigo de Shannon debe cumplir con la siguiente condicin:
E(X) I
u
E(X) + 1

Teorema
Una forma sencilla de encontrar el cdigo de Shannon es mediante el siguiente mtodo:

Se ordenan los valores x
i
de mayor a menor probabilidad.
Se divide el resultado en dos grupos, procurando que la probabilidad de cada grupo est lo
ms prxima posible.
Un grupo se codificar como cero ("0") y el otro como uno ("1").
Seguidamente se repite el proceso en cada grupo, de forma recursiva, mientras cada grupo
tenga ms de un dato x
i
.

Ejemplo: Si se desea obtener el cdigo de Shannon para el siguiente conjunto de probabilidades
0.4, 0.2, 0.2, 0.1, 0.07, 0.03, se tiene que:
0.4 0
0
0
0.2 1
0.2 1
1
1
1
0
0.1 1 0
0.07 1 1 0
0.03 1 1 1
TABLA3.1CDIGODESHANNON

El cdigo Shannon para esta fuente sera: 00, 01, 10, 110, 1110, 1111.
(3.23)





(3.24)




(3.25)



Captulo3.SistemasdeComunicaciones

39

Cdigo de Huffman: Este cdigo es un cdigo ptimo ya que es el cdigo de menor longitud
media.
La construccin de este cdigo se fundamenta en asignar a cada smbolo del alfabeto fuente
una secuencia de bits cuya longitud est relacionada de forma directa con la probabilidad de
aparicin de ese smbolo. De esta forma, a los smbolos con mayor frecuencia de aparicin se les
asignarn las palabras de cdigo de menor longitud. En el proceso de construccin de este cdigo
es:
Ordenar el conjunto de smbolos del alfabeto fuente en orden decreciente de probabilidades
de aparicin.
A continuacin se juntan los dos smbolos con menor probabilidad de aparicin en un nico
smbolo cuya probabilidad ser la suma de las probabilidades de los smbolos que dieron
origen a este nuevo smbolo.
Se repite este proceso hasta que slo tengamos dos smbolos.
A continuacin se realiza el proceso de codificacin. Primeramente asignamos un 1 a uno
de los dos smbolos que tenemos y un 0 al otro.
Posteriormente recorreremos la estructura que hemos construido hacia atrs de forma que
cuando dos smbolos hayan dado origen a un nuevo smbolo, estos dos smbolos
"heredarn" la codificacin asignada a este nuevo smbolo y a continuacin se le aadir un
1 a la codificacin de uno de los smbolos y un 0 a la del otro smbolo.


3.4.2 MEDIDAS DE DISTORSIN

Sin embargo, despus de realizar la codificacin de las palabras del alfabeto que se desean
transmitir, nos topamos con un problema llamado distorsin. Literalmente, la definicin de
distorsin es la siguiente:

Distorsin es la diferencia entre seal que entra a un equipo o sistema y la seal de salida
del mismo. Por tanto, puede definirse como la "deformacin" que sufre una seal tras su paso por
un sistema. La distorsin puede ser lineal o no lineal
8
.

8
La distorsin es un factor que tiene gran relevancia en las comunicaciones en general, ya que no importa
que los sistemas cuenten con medidas de correccin muy efectivas, estas variaciones afectarn a la seal en
cualquiera de los puntos del sistema de comunicaciones, desde la propia seal original y en cada uno de los
bloques que conforman al transmisor, al receptor y al sistema de comunicaciones.
Captulo3.SistemasdeComunicaciones

40

Adems, en teora de la informacin la distorsin debe ser medida para saber que tanto se
aleja la palabra transmitida de la original y tenerlo en cuenta al momento de recuperar la
informacin.
Hay dos clases de medidas de distorsin: medidas subjetivas y medidas objetivas de
distorsin. Las primeras estn basadas generalmente en percepciones humanas analizando las
seales mediante mtodos de observacin, mientras que las segundas permiten obtener informacin
ms detallada que da la pauta para comparar el comportamiento de diferentes seales y sistemas.
La distorsin D puede calcularse de la misma forma que en la codificacin de fuente,
tomando en consideracin que la distorsin temporal se crea entre el canal y la fuente:
=
1
m
E(J(u, I))

donde U y V representan los vectores de la fuente y la salida respectivamente, y el trmino d(U,V) la
medida de distancia entre ambos vectores. Y m representa el nmero de bits que componen el
vector fuente (longitud del vector fuente).

- Distancia de Hamming: Usando la distancia de Hamming se tiene
o =
1
m
E|J
H
(u, I)]

donde es la medida de la probabilidad de error del bit, que representa la media del numero de
errores entre el vector de entrada y salida, normalizada por la longitud del vector.

- Distancia de Euclidean: Usando la distancia de Euclidean se tiene
=
1
m
E|J
L
(u, I)]

donde J
L
= [u -I[
2
. Esta medida es llamada error medio cuadrtico.


3.5 FUNCIONALIDAD TERICA PTIMA

La funcionalidad terica ptima, o por sus siglas en ingls OPTA (Optimal Performance
Theoretically Attainable), hace referencia a la tasa de transferencia como una funcin de la menor
(3.26)









(3.27)









(3.28)
Captulo3.SistemasdeComunicaciones

41

probabilidad de error, cuando se hace una transmisin con una fuente y un canal dados. De acuerdo
a la teora de Shannon, la curva OPTA denotada por R(D) est dada por:

R() =
R
S
()
C

simbolo Jcl conol
simbolo Jc lo ucntc


donde R(D) representa la funcin de tasa de distorsin entre la fuente y el canal, y R
S
(D) es la
funcin de distorsin de la fuente y C es la capacidad del canal.



























(3.29)
Captulo3.SistemasdeComunicaciones

42