Está en la página 1de 8

Sistemas de comunicaci´on

Pr´actico 6 Teor´ıa de la Informaci´on

Cada ejercicio comienza con un s´ımbolo el cu´al indica su dificultad de acuerd o a la siguiente escala: b´asica, media, avanzada, y dif´ıcil. Adem´as puede tener un n´umero, como 3.1-4 que indica el n´umero de ejercicio del libro del curso, Communication Systems, 3th. edition. Bruce A. Carlson.

Ejercicio 1

9. Se asume que cada tecla es

utilizada en forma equiprobable. Calcule con qu´e cadencia deben ser oprimidas

Un teclado num´erico tiene los n´umeros 0, 1, 2

las mismas para generar un flujo de informaci´on de 2 bit/s.

Ejercicio 2 (15.1-2)

De un mazo de 52 cartas se elige una al azar.

(a)

Hallar la informaci´on en bits que se tiene cuando se cono ce que la carta es:

de corazonesen bits que se tiene cuando se cono ce que la carta es: una figura una

una figuraque se tiene cuando se cono ce que la carta es: de corazones una figura de

una figura de corazonescuando se cono ce que la carta es: de corazones una figura (b) Cu´anta informaci´on se

(b)

Cu´anta informaci´on se necesita para identificar la car ta si, se sabe que es roja.

Ejercicio 3 (15.1-8)

Calcular la tasa de informaci´on de una fuente telegr´afica q ue utiliza dos s´ımbolos, el punto y la raya. El punto tiene una duraci´on de 0.2s. La raya tiene el doble de duraci´on pero es la mitad de probable.

Ejercicio 4

Para una fuente binaria:

(a)

Mostrar que la entrop´ıa, H , es m´axima cuando la probabilidad de enviar un 1 es igual a la probabilidad de enviar un 0.

(b)

Hallar el valor m´aximo de la entrop´ıa.

1

Ejercicio 5

Se tiene una fuente S con s´ımbolos {s 1 , s 2 , 0.1, 0.1, 0.06 y 0.04 respectivamente.

, s 6 }, con probabilidades 0.4, 0.3,

(a)

Hallar la entrop´ıa de la fuente.

(b)

Considerar una codificaci´on binaria con largo de palabr a fijo. Indicar el m´ınimo largo de palabra para que la codificaci´on sea adecuada.

(c)

Considerar una codificaci´on de Huffman. Calcular el largo medio del c´odigo obtenido.

Ejercicio 6

Considerar un canal con la propiedad de que x i y y j son estad´ısticamente inde- pendientes para todo i , j . Mostrar que

H ( X | Y ) = H ( X ) y I ( X, Y ) = 0

Ejercicio 7

Canal Binario Sim´etrico . Considerar el modelo de un canal binario sim´etrico, representado en la
Canal Binario Sim´etrico . Considerar el modelo de un canal binario sim´etrico,
representado en la figura:
1-alfa
x1
y1
alfa
alfa
x2
y2
1-alfa
donde: P ( x 1 ) = p y P ( y 1 | x 2 ) = P ( y 2 | x 1 ) = α .
(a)
Calcular la informaci´on mutua en funci´on de p y α
(b)
Discutir qu´e valores toma α cuando la potencia del ruido es muy peque˜na
o muy grande.

Ejercicio 8

Obtener anal´ıticamente las caracter´ısticas de la figura s iguiente, correspondien- te a un canal anal´ogico de ancho de banda B, contaminado con r uido blanco gaussiano aditivo, de densidad espectral de potencia

G( f ) = η/2.

2

20 15 10 R = C 5 R > C 0 -1.6 dB 0.1 0.2
20
15
10
R
= C
5
R
> C
0
-1.6 dB
0.1
0.2
0.5
1
2
5
10
20
S/ R, dB

B/R

Ejercicio 9 (15.3-11)

Un ingeniero dice haber dise˜nado un sistema de comunicaci´on anal´ogico que permite obtener:

( S/N ) D = 60dB

cuando S R /( ηB T ) = 5dB y B T = 10W , donde B T es el ancho de banda del canal usado y W es el ancho de banda de la se˜nal a transmitir. ¿Usted le creer´ıa? ¿Por qu´e?

Ejercicio 10

Se pretende transmitir im´agenes de televisi´on digital a p artir de una fuente que genera una matriz de 480 × 500 elementos de imagen (pixels), donde cada pixel puede tomar 32 valores de intensidad. Suponga que se generan 30 im´agenes por segundo. (Esta fuente de im´agenes digitales es similar a los est´andares adoptados para TV digital.) Todos los pixels se consideran independie ntes, y los niveles de intensidad equiprobables.

(a)

Hallar la velocidad de transferencia de informaci´on R ( bit/s ).

(b)

Suponer que la imagen de TV se transmitir´a por un canal de 4, 5MHz de ancho de banda con una relaci´on se˜nal a ruido de 35dB . Hallar la capacidad del canal (bit/s). (4, 5MHz es el ancho de banda utilizado para transmitir una imagen de TV anal´ogica.)

(c)

Discutir c´omo pueden ser modificados los par´ametros de la parte (a) para permitir la transmisi´on de TV color sin incrementar el valor requerido de R . (Nota: en TV crom´atica se debe enviar informaci´on de lumi nancia y cromas; la luminacia es una se˜nal que lleva la informaci´on de brillo y las cromas son dos se˜nales que llevan la informaci´on de color. )

3

Soluci´on

Ejercicio 1

La tasa de s´ımbolos r se relaciona con la entrop´ıa H y con la tasa de informaci´on

R seg´un la expresi´on:

R = rH

La probabilidad de cada una de las teclas es : P ( T ecla ) = 10 . Por lo que la

entrop´ıa de la fuente S= {0,1,2,

1

9} es:

H ( S ) = p ( x i ) log 2

x i S

1

p ( x i ) =

x i S

1

10 log 2 10 = log 2 10 bits/simb

Despejando r se tiene:

r = R

2 bits/seg

=

bits/simb = 0, 6 simb/seg

H log 2 10

Ejercicio 2

(a)

de corazonesi m b = 0 , 6 simb/seg H log 2 10 Ejercicio 2 (a) La

La probabilidad de una carta de corazones es maci´on es I ( corazones ) = log 2 4 = 2 bits .

13

52

= 1 4 , entonces la infor-

una figura2 4 = 2 bits . 13 52 = 1 4 , entonces la infor- La

La probabiidad de una figura es I ( f igura ) = log 2 13 = 2, 1154 bits .

3

12

52

=

13 3 , entonces la informaci´on es

una figura de corazonesbits . 3 12 52 = 1 3 3 , entonces la informaci´on es 3 La

3

La probabidad de una figura de corazones es 52 , entonces la informaci´on es I ( f igura de corazones ) = log 2 52 = 4, 1154 bits .

3

(b)

esta informacion s´olo se conoce que la carta es roja y como P ( roja ) = 2 , la informaci´on que se tiene es I = log 2 2 = 1 bit .

Por tanto, la informaci´on que resta para conocer la carta es I ( carta ) I ( roja ) = log 2 (52) 1 = log 2 (26) bits . Otra forma de resolver el problema es considerando la probab ilidad de la carta conociendo que es roja, es decir P ( carta/roja ) = 26 . De esta manera llegamos

al mismo resultado I = log 2

La informaci´on que se tiene al identificar la carta es log 2 (52) bits . De

1

1

( carta/roja ) = log 2 (26) bits

P

1

Ejercicio 3

La cadencia media de s´ımbolos esta dada por:

r =

1

0, 2

seg simb . 2

1

3 + 0, 4 simb . 3

seg

4

= 30 simb

8

seg

La entrop´ıa es:

Por tanto,

H

2

= 3 log 2

3

2 +

1

3 log 2 3 = 0, 9183

R = r.H = 3, 44 bits seg

bits

simb

Ejercicio 4

(a) Sea p la probabilidad de enviar un uno. La probabilidad de env iar un 0

ser´a entonces 1 p , y la entrop´ıa queda planteada de la siguiente forma:

1

H ( p ) = p.log p + (1 p ) .log

1

1 p

Para saber cu´ando es m´axima s´olo falta derivar respecto a p:

H = log

1 p p p

2

1

2 log 1 p + (1 p ) .

1 p

(1 p

) 2 =

log 1 p

p

En el m´aximo se debe cumplir H = 0

log 1 p = 0

p

Tenemos que 1 p = 1 y entonces:

p

p = 1

2

Falta verificar que efectivamente es un m´aximo ( H < 0):

H ( p ) =

p

. p (1 p )

p 2

1

1 p

= (1 p ) p = 4

(b)

H ( 1 2 ) = 2. 2 .log 2 = log 2 2

1

bits

bit

simb = 1 simb

Ejercicio 5

(a)

P 6 log 2 6 = 2. 1435 bits/s´ımbolo.

H(S) = P 1 log 2 1 + P 2 log 2 2 + P 3 log 2 3 + P 4 log 2 4 + P 5 log 2

s

s

s

s

1

s

1

1

1

1

1

5 +

s

(b)

El m´ınimo largo de palabra de c´odigo para codificar 6 s´ımbolos es 3 bits.

(c)

Considerando la extensi´on que se muestra en el cuadro 1, el l argo de

c´odigo resulta: L = 1 × 0. 4 + 2 × 0. 3 + 3 × 0. 1 + 4 × 0. 1 + 5 × 0. 06 + 5 × 0. 04 = 2. 2 bits/s´ımbolo. N´otese que con este c´odigo se llega muy cer ca de la entrop´ıa de la fuente. Adem´as, aunque la extensi´on no es unica,´ el lar go no depende de la extensi´on elegida.

5

 

Fuente original

 

Fuente reducida

 

S´ımbolos

Prob.

C´odigo

 

S

1

S

2

S

3

S

4

s

1

0.4

1

0.4

 

1

0.4

1

0.4

1

0.6

0

s

2

0.3

00

0.3

0

0.3

00

0.3

00

0.4

1

s

3

0.1

011

0.1

011

0.2

010

0.3

01

s

4

0.1

0100

0.1

0100

0.1

011

s

5

0.06

01010*

*0.1

0101

s

6

0.04

01011*

 

Cuadro 1: S´ıntesis de un c´odigo de Huffman.

Ejercicio 6

Aplicando la definici´on:

H ( X | Y ) = P ( x i , y j ) .log 2

X,Y

1

P ( x i | y j )

Como x i y y j son independientesse cumple que P ( x i , y j ) = P ( x i ) .P ( y j ) y que P ( x i | y j ) = P ( x i ), por lo que:

H ( X | Y ) =

Y

X

P ( x i ) P ( y j ) .log 2

1

P ( x i ) =

Y

P ( y j ) P ( x i ) .log 2

X

H ( X | Y ) = P ( x i ) .log 2

X

1

P (

x i ) = H ( X )

1

P ( x i )

Para la segunda parte, aplicando la definici´on:

I

I ( X, Y ) =

X,Y

P ( x i , y j ) .log 2 P ( x i | y j )

P ( x i )

( X, Y ) = P ( x i ) P ( y j ) .log 2 P ( x i )

X,Y

P ( x i ) =

X,Y

P ( x i ) P ( y j ) . 0 = 0 = 0

X,Y

Ejercicio 7

(a)

I ( X, Y ) = P ( x i , y j ) .log 2

X,Y

P ( x i , y j )

P ( x i ) P ( y j ) =

X,Y

P ( x i , y j ) .log 2 P ( y j /x i )

P ( y j )

p (1 α ) + (1 p ) α

P ( y 2 ) = P ( x 1 ) P ( y 2 /x 1 ) + P ( x 2 ) P ( y 2 /x 2 ) = + (1 p )(1 α )

P ( y 1 ) =

P ( x 1 ) P ( y 1 /x 1 ) + P ( x 2 ) P ( y 1 /x 2 ) =

I ( X, Y ) = P ( x 1 ) P ( y 1 /x 1 ) .log 2 P ( y 1 /x 1 ) + P ( x 2 ) P ( y 1 /x 2 ) .log 2 P ( y 1 /x 2 ) +

P ( y 1 )

P ( y 1 )

P

( x 1 ) P ( y 2 /x 1 ) .log 2 P ( y 2 /x 1 ) + P ( x 2 ) P ( y 2 /x 2 ) .log 2 P ( y 2 /x 2 )

P ( y 2 )

P ( y 2 )

6

Sustituyendo queda:

I ( p, α ) = p (1α ) .log 2

(1 α )

p (1 α ) + (1

p ) α +(1p ) α.log 2

α

p (1 α ) + (1 p ) α +

pα.log

α

2 + (1

p )(1 α ) + (1 p )(1 α ) .log 2

1 α

+ (1 p )(1 α )

(b) Si la potencia del ruido es muy grande, se tiene igual probabi lidad de

recibir y 1 o y 2 (el ruido hace que lo recibido sea aleatorio e independiente de la entrada). Por lo que en este caso α toma valores cercanos a

2 . Si la potencia del ruido es muy peque˜na, entonces cuando se e nv´ıa un s´ımbolo (por ej x 1 ), siempre se recibe el mismo s´ımbolo en la recepci´on ya sea y 1 o y 2 . En este caso α toma un valor cercano a 0 o a 1.

1

Ejercicio 8

La ley de Hartley-Shannon nos dice que:

C = B log 2 ( SNR R + 1)

donde C es la capacidad del canal, B es el ancho de banda del can al y SNR R es la relaci´on se˜nal a ruido en la recepci´on. Si consideramos que la tasa de transferencia de informaci´on es igual a la capa- cidad R = C , tenemos que:

donde SNR R =

S S R

ηB = ηR B

S

Despejando ηR de :

R

R

B

R

B

= log 2 ( SNR R + 1)

= log 2 (

S R

ηR B

+ 1)

Llegamos a la expresi´on graficada:

S

ηR = (2

R

B

1) B

R

Ejercicio 9

Si el ancho de banda del mensaje es W y la relaci´on se˜nal a ruido en detecci´on es SNR D = 10 6 , la tasa de transferencia de informaci´on es:

R = W log 10 (10 6 + 1) = W. 6, 00 hartleys/seg

Por otro lado, la capacidad del canal esta dada por:

C = B log 10 ( SNR + 1)

C = 10W log 10 (10 0 . 5 + 1) = W 6, 19 hartleys/seg

El sistema es factible. Podemos decir que cumple con las limi tantes conocidas de las predicciones te´oricas.

7

Ejercicio 10

(a)

La velocidad de transferencia de informaci´on es:

R = 5 pixel bit × 480 × 500

pixel cuadro × 30 cuadro

seg

=

36 M bit seg

(b)

La capacidad de un canal anal´ogico es:

C = B log 2 ( SNR R + 1) = 4, 5 MHz log 2 (10 3 , 5 + 1) = 52, 32 M seg bit

Por lo que este ancho de banda ser´ıa suficiente para enviar TV blanco y negro con 32 niveles por pixel.

(c) Los sistemas de compresi´on de video digitales utilizan la p ropiedad del

ojo de tener una cpacidad de resoluci´on espacial del color mucho m´as baja que del nivel del brillo. As´ı, se manda informaci´on de color para bloques de pixeles, por ejemplo de 2x2. En nuestro caso, una forma razonable de enviar im´agenes col or ser´ıa enviar 4 bits/pixel en vez de 5 de informaci´on de brillo. As´ı se gana 1 bit por pixel para el color, por lo que si se elige tomar bloques de 2x2, se dispon e de 4 bits para mandar la informacion de color. Esto nos dar´ıa una gama 16 colores, que es muy poco, por lo que ser´ıa m´as razonable mandar informaci´on d e color para cada bloque de 3x3, perdiendo mas resoluci´on espacial en el color, pero disponiendo de 2 9 (512) colores diferentes.

8