TEORIA DE LA INFORMACION Y LAS TELECOMUNICACIONES

Actividad Entropía

John Edinson Alvarez Ramirez

Fundació n Universitaria Compensar

Febrero 2021
Bogotá
 Taller de repaso
1. Suponga que las calificaciones para teoría de la informació n está n dadas por las
siguientes letras, A, B, C, D, F. ¿Cuá nta informació n hay si el profesor le dice que su
nota no fue F? Con base en lo anterior, ¿cuá nta informació n se necesita para saber su
nota?
4
P= =0.80=80 %
5

En total son 5 calificaciones, pero si el profesor indica que mi nota no fue F la

probabilidad es de 0.80

Para hallar la cantidad de informació n debemos saber cuá l es el logaritmo en base dos
de uno sobre la probabilidad.

Si P=0.80

H(x)= lo g2 ( 0,81 )=¿0.32

Cantidad de informació n es 0.32

2. Se tiene una baraja compuesta por 52 cartas.

a) Calcule la cantidad de informació n cuando se sabe que una carta escogida al azar
tiene un corazó n.
13
P= =0.25=25 %
52

En total son 52 cartas, existen 13 que pueden contener corazones la probabilidad

es de 0.25

Para hallar la cantidad de informació n debemos saber cuá l es el logaritmo en base

dos de uno sobre la probabilidad.

Si P=0.25
H(x)=lo g2 ( 0,251 )=¿2
Cantidad de informació n es 2

b) Calcule la cantidad de informació n cuando se sabe que una carta escogida al azar
tiene un rostro.
 12
P= =0.23=23 %
52

En total son 52 cartas, existen 12 que pueden contener un rostro la probabilidad

es de 0.23

Para hallar la cantidad de informació n debemos saber cuá l es el logaritmo en base

dos de uno sobre la probabilidad.

Si P=0.23
H(x)=lo g2 ( 0,231 )=¿2.12
Cantidad de informació n es 2.12

c) Calcule la cantidad de informació n cuando se sabe que una carta escogida al azar
tiene un corazó n y un rostro.

3
P= =0.057=5 .7 %
52

En total son 52 cartas, existen 3 que pueden contener corazones y rostros la

probabilidad es de 0.057

Para hallar la cantidad de informació n debemos saber cuá l es el logaritmo en base

dos de uno sobre la probabilidad.
Si P=0.057
1
H(x)=lo g2 (
0,057 )
=¿4.13

Cantidad de informació n es 4.13

d) Si se escoge una carta que ya se sabe que es una carta de corazones y que tiene
un rostro, ¿cuá nta informació n se necesita para saber exactamente el tipo de
carta?

1
P= =0.33=33 %
3
 En total son 12 cartas que contienen corazones, existen 3 que pueden contener
rostros y corazones la probabilidad es de 0.33

Para hallar la cantidad de informació n debemos saber cuá l es el logaritmo en base

dos de uno sobre la probabilidad.

Si P=0.33
H(x)=lo g2 ( 0,331 )=¿1.6
Cantidad de informació n es 1.6

3. Calcule H(x) para la siguiente fuente de memoria nula que tiene seis símbolos:

Encuentre la cantidad de informació n contenida en los mensajes ABABBA y FDDFDF,

compare con la cantidad de informació n obtenida para un mensaje cualquiera de 6
símbolos.

Debemos hallar la cantidad de informació n contenida en cada uno de los mensajes

Entonces;
1
P ( A )= =0,5
2

cantidad de informació n
1
log 2 de =1
0,5
1
P ( B )= =0,25
4

cantidad de informació n
1
log 2 de =2
0,25
1
P ( C ) = =0,125
8

cantidad de informació n
 1
log 2 de =3
0,125
1
P ( D )= =0,05
20

cantidad de informació n
1
log 2 de =4,32
0,05
1
P ( E )= =0,05
20

cantidad de informació n
1
log 2 de =4,32
0,05
1
P ( F )= =0,025
40

cantidad de informació n
1
log 2 de =5,32
0,025

Ahora tenemos que el total de informació n es 19,96

la cantidad de informació n contenida en los mensajes ABABBA = 9

1
P ( A )= =0,5
2

cantidad de informació n
1
log 2 de =1
0 ,5
1
P ( B )= =0 ,25
4

cantidad de informació n
1
log 2 de =2
0 , 25

la cantidad de informació n contenida en los mensajes FDDFDF = 9,64

 1
P ( D )= =0 , 0 5
20

cantidad de informació n
1
log 2 de =4,32
0 , 05
1
P ( F )= =0 , 0 25
40

cantidad de informació n
1
log 2 de =5,32
0 , 25

Mensaje de 6 símbolos = CDCDCD = Cantidad de informació n de este mensaje es de

7,32

1
P ( C ) = =0 ,1 25
8

cantidad de informació n
1
log 2 de =3
0 , 25
1
P ( D )= =0 , 0 5
20

cantidad de informació n
1
log 2 de =4,32
0 , 05

La cantidad de informació n del mensaje de 6 dígitos es menor a la cantidad de

informació n de los dos mensajes planteados en la actividad.

4. Calcule la tasa de informació n de un telégrafo que emite dos símbolos, punto y línea.
La duració n del punto es de 0.2 segundos mientras que la línea dura el doble de
tiempo. La probabilidad de emisió n de la línea es la mitad de la probabilidad de
emisió n del punto.
 1 3 simb
r= =
seg 3 seg 1 80 s eg
0,2 . +0,4 .
simb 2 simb 3

La entropía es;

2 3 1 bits
H= log 2 + log 2 3=0,918 3
3 2 3 simb

Entonces,

bits
R=r . H=3,44
seg

5. Para la fuente de markov de la figura 1.

a) calcule la entropía de la fuente.

b) calcule la entropía conjunta de la fuente cuando se envían dos símbolos.
c) calcule la entropía condicional de la fuente.

Figura 1: Fuente de markov.

6. Una fuente binaria tiene las siguientes probabilidades de transmisió n de cero o uno,
P0 = P1 = 1/2. Ademá s las probabilidades de recibir un valor dado que se envió ´ otro
son: P(0|1) = (1|0) = 3/4. Calcule la entropía condicional de la fuente.