CANAL DISCRETO

Tipos de • La capacidad de un canal de comunicación es la

cantidad máxima de información que puede

Canales
transportar dicho canal de forma fiable.
• Existen dos definiciones equivalentes entre sí
del concepto de capacidad de un canal:
• canales de tiempo continuo
• canales de tiempo discreto.

1
Canales Discretos
•Los modelos de canal discreto son más
sencillos porque
• resultan más fáciles y eficientes a la
hora de estimar y simular su
comportamiento

•Pero
• Se pierde la capacidad de diseño del
modem

•El objetivo fundamental al que

responde este modelo es el de diseño
de los “códigos de fuente y de canal”
• Para este objetivo, la información que
proporcionan es completa.

Canales Discretos Sin Memoria

(DMC)
•Canales Discretos Sin Memoria (DMC).
◦ Se llama discreto cuando los dos alfabetos tienen tamaños finitos.
◦ Sin Memoria significa que la salida actual depende solamente del símbolo de
entrada y no de símbolos previos.

•El canal Discreto Sin Memoria se puede describir en términos de dos

cosas:
◦ Los alfabetos de entrada y salida
◦ Un conjunto de probabilidades de transición.

1 k-1

k j k j

2
Canales Discretos Sin Memoria
(DMC)
•Este tipo de canales se puede
representar de la siguiente manera.

•Otra manera de representarlo es con

una matriz de canal (o matriz de
transición), P, como la siguiente:

Canal Simétrico Binario (BSC)

•Es el caso especial del canal discreto sin memoria en el que j=k=2.
•El canal tiene dos entradas, 𝑥 = 0 y 𝑥 = 1, y dos salidas 𝑦 = 0 y
𝑦 = 1.
◦ Es simétrico porque la probabilidad de recibir un 0 dado que se transmitió
un 1 es igual a la de recibir un 1 y haber transmitido un 0.
◦ Este canal se presenta cuando el transmisor transmite una forma de onda
binaria y el receptor emplea un dispositivo de decisión dura para estimar los
símbolos.
o Se asume que el ruido en este canal causa

errores estadísticamente independientes.

o La probabilidad de error condicional viene

dada por:
𝑃 𝑌 = 0|𝑋 = 1 = 𝑃 𝑌 = 1|𝑋 = 0 = 𝑝
𝑃 𝑌 = 1|𝑋 = 1 = 𝑃 𝑌 = 0|𝑋 = 0 = 1 − 𝑝

3
Canal de Entrada Discreta y
Salida Continua
•Es parecido al DMC excepto que aquí el receptor no emplea un
mecanismo de decisión dura y por lo tanto el detector puede asumir
cualquier valor.
𝑦 = −∞, ∞
◦ Con una densidad de probabilidad condicional igual a:

𝑃 𝑦|𝑋 = 𝑥 , 𝑘 = 0,1, ⋯ . 𝐾 − 1
◦ El más común de este tipo de canales es el canal aditivo de ruido blanco
gaussiano:
𝑌 =𝑋+𝐺
◦ Donde G es una variable aleatoria de media cero con varianza 𝜎 y 𝑋 = 𝑥 ,
𝑘 = 0,1, ⋯ . 𝐾 − 1
◦ Para una X dada, Y es también gaussiana con media 𝑥 y varianza 𝜎. Es decir:
1
𝑃 𝑦|𝑋 = 𝑥 = 𝑒
2𝜋𝜎

Canal discreto sin memoria

 
 
 p  y0 x0  p  y1 x0   p  yk 1 x0  
 
   p  y0 x1  p  y1 x1   p  yk 1 x1  
 
     
 
p y x
0 j 1  p y1 x j 1   
p yk 1 x j 1  


K 1 pxj   P X  xj 
 p y 
xj 1
 
p  x j , yk   P Y  y K X  x j P  X  x j 
k
k 0

J 1

 
p  y k   P  Y  yk    p y k x j p  x j 
j0

4
Ejemplo
•Considere el canal binario entrada-salida mostrada en la figura. La
matriz de transición viene dada por:

◦ Si las probabilidades de entrada son 𝑃 𝑥 = 𝑃 𝑥 = 0.5, determine las

probabilidades de salida y la matriz de probabilidad conjunta del canal.

5
Entropia Condicional dado un
símbolo
Dado que la entrada y el canal posee caracteríticas estadíticas. Es
necesario conocer y medir la incertindumbre de la entrada después de
haber visto la salida.

1
𝐻 X𝑌=𝑦 = 𝑝 𝑥 𝑦 log
𝑝 𝑥 𝑦

Entropia Condicional
• Entropia condicional: Representa la incertidumbre que queda de la
entrada después de haber observado la salida.

𝐻 XY = 𝐻 X Y=𝑦 𝑝 𝑦

1
𝐻 XY = 𝑝 𝑥 ,𝑦 log
𝑝 𝑥 𝑦

p  x j , yk   p  x j y K  p  y K 

6
Información Mutua
• Si tomamos en consideración la diferencia entre la entropia de la
entrada y la entropia condicional, se observa que el resultado es la
incertidumbre de la entrada que es resuelta observando la salida.
• La información mutua o transinformación de dos variables
aleatorias es una cantidad que mide la dependencia mutua de las dos
variables.
• Mide la reducción de la incertidumbre (entropía) de la entrada X, debido al
conocimiento del valor de la salida Y.
𝑝 𝑥 𝑦
𝐼 𝑋; 𝑌 = 𝑝 𝑥 ,𝑦 log
𝑝 𝑥

𝑝 y x
𝐼 Y; 𝑋 = 𝑝 𝑥 ,𝑦 log
𝑝 𝑦

Información Mutua
• Propiedades:
1. Es simétrica: 𝐼 X; 𝑌 =𝐼 Y;; 𝑋
2. Es nonegativa: 𝐼 X; 𝑌 ≥ 0
3. Esta relacionado con la entropia en conjunto de la entrada y salida del
canal.
𝐼 X; 𝑌 =H 𝑋 +H 𝑌 -𝐻 X;𝑌

𝐼 X; 𝑌 = H X − 𝐻 𝑋 𝑌
𝐼 Y;𝑋 = H 𝑌 − 𝐻 Y X

𝐻 X;𝑌 -> Entropia Conjunta

7
 Entropia Conjunta
1
𝐻 𝑋; Y = 𝑝 𝑥 ,𝑦 log
𝑝 𝑥 ,𝑦

𝐻 𝑋; 𝑌 = 𝐻 𝑋 + 𝐻 Y X
𝐻 Y; X = 𝐻 Y + 𝐻 𝑋 𝑌

𝐻 X,𝑌 =H 𝑋 +H 𝑌 -𝐼 𝑋; Y

Información Mutua

8
 •Para sistemas de banda limitada, la capacidad del canal
de un canal contaminado con AWGN es una función de
la potencia promedio de la señal recibida, S, el ruido
promedio, N, y el ancho de banda, W.
•Esta relación de capacidad, conocida como el teorema
de Shannon-Hartley:
Capacidad de 𝐶 = 𝑊 𝑙𝑜𝑔 1 +
𝑆
un canal de 𝑁
banda Donde 𝑁 = 𝑁 𝑊 donde 𝑁 es la densidad espectral
del ruido.
limitada
•En teoría es posible transmitir a una tasa R, que es igual
o menor a C con una probabilidad de error baja.
◦ Sin embargo, esto solo se puede conseguir utilizando
métodos eficientes de detección de errores de canal
y codificación de corrección de errores.
◦ El trabajo de Shannon muestra que hay un límite en
la tasa de transmisión. Límite definido por S, N y W.

Capacidad de Shannon
•La ecuación de Shannon se puede ◦ También se puede arreglar la
graficar como una función del SNR gráfica para indicar cuántos Hertz
del canal. son requeridos por bit por
segundo.
◦ Esto nos da información de cuántos
bits por segundos por Hz pueden
ser transmitidos a un SNR
específico.

9
 •Por lo general es mucho más útil (informativo)
trabajar en términos de la relación energía por bit-
densidad espectral de ruido, es decir, Eb/N0
𝐸 𝑆
=
𝑁 𝑁 𝐶
•Sustituyendo en la ecuación de capacidad obtenemos
la relación entre la capacidad normalizada y el valor
Límite de de Eb/N0.
Shannon 𝐶
= 𝑙𝑜𝑔 1 +
𝑆
= 𝑙𝑜𝑔 1 +
𝐸 𝐶
𝑊 𝑁 𝑊 𝑁 𝑊
•Reagrupando la fórmula tenemos que:
𝐸 𝐶
2𝑤 = 1 +
𝑁 𝑊
𝐸 𝑊
= 2 / −1
𝑁 𝐶

El Límite de
Shannon
•Al graficar la ecuación que relación Eb/N0 con la
capacidad normalizada se obtiene la gráfica
mostrada.
•La gráfica muestra que se puede obtener una
comunicación libre de error hasta Eb/N0=-1.6 dB pero
no existe comunicación libre de errores por debajo de
este umbral.
•Esto se conoce como el límite de Shannon. El límite
de Shannon también sirve de guía para determinar
cuán bueno un sistema puede ser y cuál es el límite
que puede alcanzar.
•También permite reducir la potencia de transmisión y
no tener errores.
•La codificación del canal permite mejorar el
desempeño y alcanzar el límite de Shannon.

10
Teorema de la capacidad de
información

Teorema de la capacidad de información

(Tercer Teorema de Shannon ó Shannon-
Mortley)

11
Teorema de la capacidad de
información (Tercer Teorema de
Shannon ó Shannon-Mortley)

12