FC 2 Conferencia #5 Fuentes Discretas

Sumario:
 Introducción.
 FDSM. Expresiones relacionadas.
 Fuentes discretas con memoria (FDCM). Descripción. Diagrama de estado
y matriz de transición.
 Canales de transmisión. Descripción y probabilidades de interés.
 Entropía de un canal discreto. Expresiones fundamentales.
 Información transmitida y capacidad del canal.

Bibliografía:
 [Carlson, 2002] “Sistemas de comunicaciones. Introducción a las señales y
al ruido en comunicaciones eléctricas.”
 [Schwartz] “Information, transmission, modulation and noise.”
 [Sklar] “Digital communications, fundamentals and applications.”
 Materiales en ftp://teleco.cujae.edu.cu

Objetivos:
 Continuar con el estudio de la teoría de la información
 Conocer cuándo estamos en presencia de una FDSM o de una FDCM.
 Caracterizar y describir a las FDCM

Introducción

Aquí debe retomarse partiendo de los conceptos principales de la clase anterior

De la clase anterior habíamos visto que la entropía promedio para una FDSM con
n niveles o símbolos posibles de probabilidades de ocurrencia pj era:
n
H   Pj log 2 Pj
j 1

Existen otros parámetros que se definen también para las fuentes de información y
que permiten su caracterización.

Estos son:

Entropía máxima:
Cuando todos los símbolos de la fuente son equiprobables:
p1 = p2 =... = pn = 1/n
  n  p
n n
H s   H   p j log 2 p j   log 2 1 j
j 1 j 1
n

p
j 1
j 1

H máx  log 2 n
n número de símbolos o niveles totales de la fuente.

Eficiencia de la fuente
Hs 

H máx
Razón o relación entre la entropía promedio de la fuente y su entropía máxima (la
que tendría si todos sus símbolos fueran equiprobables).

Redundancia de la fuente
Re(s) = Hmáx –H(s) Redundancia estadística.

Redundancia relativa
Res
r(s) =  1 
Hmáx

Velocidad de la fuente
H s 
v bits / seg 

Estas expresiones también se definen para otro tipo de fuente como puede ser la
fuente discreta con memoria de la que hablaremos a continuación.

Fuentes Discretas Con Memoria

En este tipo de fuente la generación del siguiente mensaje está condicionada.

Depende de la ocurrencia de uno o varios mensajes anteriores.
Si la fuente toma en cuenta r mensajes anteriores para generar el mensaje
siguiente se dice que el orden de la fuente es r.
Por lo tanto una FDCM de orden r tiene en cuenta r mensajes anteriores.
Ejemplo:
Una FDCM de segundo orden binario recuerda los dos últimos símbolos para la
producción del siguiente símbolo.

Ahora: Una fuente de orden r con n niveles o símbolos ¿Cuántos estados

diferentes tendrá la fuente esperando la generación del próximo símbolo si se
toma en cuenta r símbolos anteriores?
nr estados de una fuente discreta con memoria.
Ejemplo:
Veamos una FDCM o fuente de Markov de orden 2 (r = 2) veamos que significa
eso de estados.
Primero: Si la fuente es binaria eso significa que la cantidad de mensajes o
símbolos posibles a emitir por esta fuente es 2, o sea, n = 2.
Segundo: Vamos a llamar a esos símbolos A y B.
Tercero: Si el orden de la FDCM es r = 2, eso significa que la misma observa los
dos últimos mensajes transmitidos para emitir el siguiente.

O sea, si n =2 y r = 2 la fuente tendrá 4 estados.

¿Cuáles son esos 4 posibles estados?
AA (que se hayan transmitido dos símbolos A consecutivos)
AB (que se haya transmitido una A primero y una B después)
BA (que se haya transmitido una B primero y una A después)
BB (que se hayan transmitido dos símbolos B consecutivos)

Supongamos que los símbolos se desplazan a la izquierda para que el diagrama

de estado corresponda.

FDCM
ABBABAAABBABBBAABAAABB
Estado BB 1er estado
de la fuente
Estado AB Estado AB 2do estado
de la fuente
Estado AA 3er estado
de la fuente

Ya sabemos que existen 4 estados posibles de la fuente y como estas pueden ir

pasando de un estado a otro por la emisión de un símbolo ahora la emisión de un
símbolo a partir de un estado dado es condicionada, o sea, la ocurrencia de un
mismo símbolo a partir de un estado u otro de la fuente tiene diferente
probabilidad.
Necesitamos las probabilidades de ocurrencia de cada símbolo a partir de cada
estado de la fuente (estas, por supuesto probabilidades condicionales).

Necesitamos conocer:
 A   A   A   A 
P  P  P  P 
 AA   AB   BA   BB 
 B   B   B   B 
P  P  P  P 
 AA   AB   BA   BB 
Debido a que estas probabilidades caracterizan a la fuente.
A partir de estas probabilidades y de los estados de la fuente que ya conocemos,
se pueden especificar dos formas gráficas para representar la FDCM, estas son el
diagrama de estado y la matriz de transición.
  B  Diagrama de estados
`B` P   
 AA 
 A 
`A` P   
 AA  AB
AA

 B 
 B  `B` P   
`B` P     AB 
 AB 

 A 
`A` P   
 A   AB 
`A` P   
 BA 
BB
BA
 B 
`B` P   
 BB 
Probabilidad de emitir el  A 
símbolo A estando en el `A` P   
 BB 
estado BB. El resultado de
emitir A en BB es que la
fuente pasa al nuevo estado
BA y así sucesivamente.

Matriz de transición.
AA AB BA BB Estados siguientes Si
AA 0.3 0.7 0 0
AB 0 0 0.5 0 .5
BA 0.9 0.1 0 0
BB 0 0 0.6 0 .4

Estados actuales Sj
Notar que la suma de las filas siempre es 1.

Sj Estado actual
Si Estado siguiente
¿Cuál es la probabilidad de que la fuente este en un estado dado?¿Cuál es la
probabilidad de ocurrencia de un estado Si?

A partir de la matriz de transición, por ejemplo para que ocurra el estado siguiente
Si = AA pueden ocurrir dos cosas:
1. Que se esté en el estado actual AA y que se emita el símbolo A.
2. Que se esté en el estado actual BA y que se emita el símbolo A.
 A   A 
Matemáticamente sería: P(AA) = P(AA)P   + P(BA)P   (la expresión sale
 AA   BA 
de la primera columna de la matriz)
Si la fuente es estacionaria entonces la probabilidad de ocurrencia de un estado
dado es la misma si ese estado es actual o siguiente. Ej. : P(Si = AA) = P(Sj = AA)
Si esto no es así la fuente no es estacionaria.
De manera general:
S 
PS i    PS j P i 
S 
j  j
Si Estado siguiente
Sj Estado actual
Cada ecuación se saca de una columna de la matriz de transición.
Completa el sistema de ecuaciones la ecuación  PS j   1
El sistema tiene nr ecuaciones.
La probabilidad de cada uno de los símbolos de la fuente pueden hallarse una vez
que se conocen las probabilidades de cada uno de los estados P(S i).
Recordando : las probabilidades de los símbolos no son independientes.
P(mi) = (número de veces que ocurre mi en el estado Si)P(Si)

Expresiones y relaciones para las FDCM

Sj Estado actual de la fuente.
Si Estado siguiente de la fuente.
mi Mensaje o símbolo de la fuente que se emite.

m  S 
P i   P i  : La probabilidad de emitir un símbolo m; estando en el estado
S  S 
 j  j
actual Sj es la misma que la probabilidad de pasar al estado siguiente S i producto
de la emisión de mi desde el estado actual Sj.

m 
 
Entropía promedio de la FDCM de orden r: H S r    Pm i S j log 2 P i 
n n

S 
i 1 j 1  j
Pm i S j  Probabilidad conjunta de ocurrencia del símbolo siguiente mi y el estado
actual Sj.
 m 
P i  Probabilidad de que se emita mi estando en el estado actual Sj.
S 
 j 

Entropía máxima de la FDCM: Hmáx = log2n La máxima expectativa

(incertidumbre con n símbolos o mensajes se obtiene cuando no hay restricciones
o relaciones de dependencia al emitir los símbolos, o sea, sería igual a la entropía
máxima de una FDSM con símbolos equiprobables)

Eficiencia de la fuente:  
 
H Sr
H máx

Redundancia de la fuente (estadística) : Re(s) = Hmáx – H(Sr)

Redundancia relativa: r(s) = 1-

Velocidad de la fuente: v 
 
H Sr


Canales de transmisión o comunicación.

El canal de comunicaciones es el conjunto de equipos, dispositivos y medios de la

comunicación existentes entre la fuente de mensajes y el destino de esa
información que se desea transmitir.
Fuente de Canal de Destino de la
mensajes x(t) comunicacion y(t) información
es
El canal: Recibe a su entrada una información contenida en el proceso aleatorio
x(t) y entrega una información a su salida en el proceso aleatorio y(t).
Estas dos informaciones se desean sean iguales, que no haya pérdida de
información durante la transmisión.

Los canales pueden clasificarse según:

1. Existencia o no de ruido: Canales ruidosos y no ruidosos.
2. Tipo de mensajes que transmiten: Canales discretos o continuos.
3. Condiciones de transmisión: Canales sin memoria o con memoria.
4. Caracteres temporales: Canales estacionarios y no estacionarios.

Para la descripción de un canal discreto estacionario se requiere de:

1. El conjunto de todos los posibles mensajes de entrada que entrega la
fuente de mensajes, este conjunto recibe el nombre de alfabeto de entrada.
X = {xi} i = 1, 2, …, M.
 2. El conjunto de todos los posibles mensajes de salida que puede entregar el
canal de destino y que constituyen el alfabeto de salida.
Y = {yj} j = 1, 2, ..., M.
3. Las relaciones entrada-salida del canal. O sea uno de los conjuntos de
probabilidades siguientes:
  y j 
P x  : Probabilidades directas: Probabilidades de que a la salida del
  i 

canal se obtenga un yi determinado dado se transmitió un xi de la fuente.

  x i 
P y  : Probabilidades inversas: Probabilidades de que se haya
  j 

transmitido un xi determinado de la fuente dado que a la salida del canal se

tiene un yj.
Px i , y j : Probabilidades conjuntas: Probabilidades de que se produzca el
par de símbolos xi de entrada y yi de salida.

Representación gráfica de un canal discreto:

{xi} {yj}
alfabeto de Alfabeto de salida
entrada

P(yi/xi)

También puede representarse al canal mediante la matriz de transición.

Y1 Y2 ..................Ym Alfabeto de salida

X1
Conjunto de probabilidades
X2 directas (pueden ser
. P(yj/xi)
también los otros conjuntos
. de probabilidades)
.
XN

Alfabeto de entrada
 Ejemplos de canales discretos.
1. Canal binario simétrico
(BSC Binary Symmetric Channel)

1-P
0 0
P
P probabilidad de error
P

1 1
1-P

2. Binary Erasure Channel

(BEC)

1-P
0 0
P
Erasure (Indecisión)
P
1 1
1-P
Diferentes modelos de canales discretos.

y1
x1
Canal q-Q any y2
channel x2
y3
xq
y4

yQ

0 0
Canal Z
Z Channel

1 1
 0 0
Canal sin ruido o canal
abierto
1 1

Entropías de un canal de comunicaciones (Estudio individual).

Al igual que para las fuentes de información, para los canales pueden definirse
entropías asociadas con las probabilidades. Como existen 5 tipos de
probabilidades, eso da lugar a 5 entropías diferentes.

Probabilidad Entropía Descripción

Px i  N
Hx    Px i  log 2 Px i 
Entropía de entrada al
canal.
i 1

Py 
j
H y    Py j log 2 Py j 
M Entropía de salida del
 x canal.
ji 1

H y    Px i y j log 2 P j 

  y j  N M
y  Difusión del canal.
P x 
  i   x  i 1 ji 1  xi 

H x    Px i y j log 2 P i 

  x i  N M
x  Equivocación del canal.
P y 
  j   y i 1 ji 1  yj 
Px , y 
i j
Hx, y    Px i y j log 2 Px i , y j 
N M Entropía entrada-salida.
i 1 ji 1

¿Qué significa cada una de estas entropías?

H(x) Es la información promedio que debe transmitir el canal, llega
desde la fuente de mensajes y se asocia a la incertidumbre que
tendría un observador, situado a la entrada del canal, respecto a la
cual será el próximo mensaje que emitirá la fuente.
El ruido no afecta esta entropía ya que el mismo está en el canal.
H(y) Es la información promedio que brinda el canal a su salida al
conocerse las yj que se producen. Se asocia a la incertidumbre de
un observador, situado a la salida del canal, respecto a cual
mensaje saldrá del canal. Esta información H(y) no
necesariamente es igual a la información de entrada H(x) ya que el
ruido existente en el canal puede afectarla.
H(y/x) Es la incertidumbre sobre la cual yj se producirá a la salida del
canal cuando a su entrada se inyecta un xi determinado pues
debido a la acción del ruido a partir de un xi se pueden producir
varios yj. Se denomina difusión del canal y está representada por
vértices en la entrada de la representación graficadle canal.
H(x/y) Es la incertidumbre sobre la cual xi se transmitió conociendo que
se ha obtenido determinado yj a la salida del canal. Como el
receptor debe “decidir” sobre la xi que se transmitió a pesar de
 esta incertidumbre o inseguridad, se le llama equivocación a esta
entropía.

Dadas las relaciones establecidas entre probabilidades, son válidas las siguientes
expresiones:
y x
Hx, y   Hx   H   Hy   H  o también
x y
x y
Hx   H   Hy   H 
y x
¿Qué significa esta última expresión?
Habíamos dicho que:
H(x): Representaba la incertidumbre que se tenía sobre lo que se iba a transmitir
(por parte de la fuente).
H(x/y): Representaba la incertidumbre que aún se tenía sobre lo que se había
transmitido después de haber recibido y a la salida.

POR TANTO:
x
Hx   H  : Representaba la incertidumbre que hemos perdido por la aparición
y
de {yj} a la salida, o sea, representa la información que se ha recibido debido a la
aparición de yj.

Luego:
x y
Hx   H   Hy   H  :Representa la información transmitida por el canal.
y x
Esta información transmitida recibe el nombre de transinformación o información
mutua T(x, y).

Evidentemente quisiéramos que el canal transmitiera roda la información posible

de la entrada, o sea, desearíamos que la información transmitida
(transinformación) T(x, y) fuese máxima y precisamente se define capacidad del
canal:
  x    y 
Cx, y   Tx, y máx  Hx   H   Hy   H 
  y  máx   x  máx
Como Cx, y  definida así (como resta de entropías promedio) daría unidades
Cx, y  [bits / símbolo], la capacidad en bits / seg. la obtenemos:
Cx, y  canal = vf Cx, y  vf = velocidad de la fuente [símbolos / seg.]

Para cada modelo de canal específico se halla su capacidad calculando:

  x    y 
Cx, y   Tx, y máx  Hx   H   Hy   H 
  y  máx   x  máx
Que es una expresión propia para cada modelo de canal.
En algunos canales H(x/y) ó H(y/x) son constantes y entonces:
x y
Cx, y   Hx máx  H  ó Cx, y   Hy máx  H 
y x
x y
Cx, y   log 2 N  H  ó Cx, y   log 2 M  H 
y x
Como las relaciones entrada-salida del canal son en general fijas, el problema “se
reduce” a buscar una estadística de la fuente del mensaje de entrada que de una
H(x)máx para así maximizar la capacidad del canal, usar de la manera más
eficiente el mismo.

Complementario.
Velocidad de información y velocidad de transmisión.

La velocidad de información está asociada a la fuente de mensajes.

Vf: velocidad de la fuente [símbolos / seg.]
H(s): Entropía promedio de la fuente [bits / símbolo]
Vinformación = Vf H(s) [bits / seg.] bits de información.
La velocidad de transmisión esta asociada al canal, es un parámetro propio de la
transmisión digital.
Generalmente cumplen esta relación:
Vi = Vm log2N
Vi velocidad de información.
Vm velocidad de transmisión.
N número de niveles o símbolos de la fuente que se desean transmitir.

Vi [bits de información / segundo] ó [shannon / segundo]

Vm [bits / segundo] bits de dígitos binarios.

Conclusiones o resumen de la clase:

 Se continuó con el estudio de la teoría de la información.
 Se diferenció cuándo estamos en presencia de una FDSM o de una FDCM.
 Se realizó una amplia caracterización y descripción de as FDCM.
 Se orientó de estudio individual entender el significado de las entropías de
un canal de comunicaciones.