TEORIA DE LA INFORMACION Y LAS TELECOMUNICACIONES

Actividad Entropía

Erika Pulido Martinez

Fundación Universitaria Compensar

Marzo 2023
Bogotá
 Taller de repaso
1. Suponga que las calificaciones para teoría de la información están dadas por las
siguientes letras, A, B, C, D, F. ¿Cuánta información hay si el profesor le dice que su nota
no fue F? Con base en lo anterior, ¿cuánta información se necesita para saber su nota?

P=4 = 0.80 = 80%

5

En total son 5 calificaciones, pero si el profesor indica que mi nota no fue F la

probabilidad es de 0.80

Para hallar la cantidad de información debemos saber cuál es el logaritmo en base dos
de uno sobre la probabilidad.

Si P=0.80
1
H(x)= lo 𝑔2 ( ) =0.32
0,8

Cantidad de información es 0.32

R= El total de calificaciones es de 5 pero si el profesor indica que la nota no fue F, la

probabilidad es de 4/5.

Se logro hallar la cantidad de información realizando el siguiente procedimiento:

Log2 de 1/0,8 = 1,25 = 0,32

2. Se tiene una baraja compuesta por 52 cartas.

a) Calcule la cantidad de información cuando se sabe que una carta escogida al azar
tiene un corazón.
P=13 = 0.25 = 25%
52

En total son 52 cartas, existen 13 que pueden contener corazones la probabilidad

es de 0.25

Para hallar la cantidad de información debemos saber cuál es el logaritmo en base

dos de uno sobre la probabilidad.

Si P=0.25
1
H(x)=lo𝑔2 ( ) =2
0,25
 Cantidad de información es 2

b) Calcule la cantidad de información cuando se sabe que una carta escogida al azar
tiene un rostro.
P=12 = 0.23 = 23%5
En total son 52 cartas, existen 12 que pueden contener un rostro la probabilidades de
0.23

Para hallar la cantidad de información debemos saber cuál es el logaritmo en base

dos de uno sobre la probabilidad.

Si P=0.23
1
H(x)=lo𝑔2 ( ) =2.12
0,23

Cantidad de información es 2.12

c) Calcule la cantidad de información cuando se sabe que una carta escogida al azar
tiene un corazón y un rostro.

P= 3 = 0.057 = 5.7%
52

En total son 52 cartas, existen 3 que pueden contener corazones y rostros la

probabilidad es de 0.057

Para hallar la cantidad de información debemos saber cuál es el logaritmo en base

dos de uno sobre la probabilidad.
Si P=0.057
1
H(x)=lo𝑔2 ( ) =4.13
0,057

Cantidad de información es 4.13

d) Si se escoge una carta que ya se sabe que es una carta de corazones y que tiene un
rostro, ¿cuánta información se necesita para saber exactamente el tipo de carta?

P=1 = 0.33 = 33%

3

En total son 12 cartas que contienen corazones, existen 3 que pueden contener
rostros y corazones la probabilidad es de 0.33

Para hallar la cantidad de información debemos saber cuál es el logaritmo en base

dos de uno sobre la probabilidad.

Si P=0.33
 1
( ) =1.6
H(x)=lo𝑔2 0,33

Cantidad de información es 1.6

3. Calcule H(x) para la siguiente fuente de memoria nula que tiene seis símbolos:

Encuentre la cantidad de información contenida en los mensajes ABABBA y FDDFDF,

compare con la cantidad de información obtenida para un mensaje cualquiera de 6
símbolos.

Debemos hallar la cantidad de información contenida en cada uno de los mensajes

Entonces;

𝑷(𝑨) = 1 = 0,5
2

cantidad de información
1
𝑙𝑜𝑔2 𝑑𝑒 =𝟏
0,5

𝑷(𝑩) = 1 = 0,25
4

cantidad de información
1
𝑙𝑜𝑔2 𝑑𝑒 =𝟐
0,25

1
𝑷(𝑪) = = 0,125
8

cantidad de información
1
𝑙𝑜𝑔2 𝑑𝑒 =𝟑
0,125

1
𝑷(𝑫) = = 0,05
20

cantidad de información
1
𝑙𝑜𝑔2 𝑑𝑒 = 𝟒, 𝟑𝟐
0,05
 1
𝑷(𝑬) = = 0,05
20
cantidad de información
1
𝑙𝑜𝑔2 𝑑𝑒 = 𝟒, 𝟑𝟐
0,05

1
𝑷(𝑭) = = 0,025
40

cantidad de información
1
𝑙𝑜𝑔2 𝑑𝑒 = 𝟓, 𝟑𝟐
0,025

Ahora tenemos que el total de información es 19,96

la cantidad de información contenida en los mensajes ABABBA = 9

𝑷(𝑨) = 1 = 0,5
2

cantidad de información
1
𝑙𝑜𝑔2 𝑑𝑒 =𝟏
0,5

𝑷(𝑩) = 1 = 0,25
4

cantidad de información
1
𝑙𝑜𝑔2 𝑑𝑒 =𝟐
0,25

la cantidad de información contenida en los mensajes FDDFDF = 9,64

1
𝑷(𝑫) = = 0,05
20

cantidad de información
1
𝑙𝑜𝑔2 𝑑𝑒 = 𝟒, 𝟑𝟐
0,05

1
𝑷(𝑭) = = 0,025
40

cantidad de información
1
𝑙𝑜𝑔2 𝑑𝑒 = 𝟓, 𝟑𝟐
0,25
Mensaje de 6 símbolos = CDCDCD = Cantidad de información de este mensaje es de 7,32
 1
= 0,125
𝑷(𝑪) = 8

cantidad de información
1
𝑙𝑜𝑔2 𝑑𝑒 =𝟑
0,25

1
𝑷(𝑫) = = 0,05
20

cantidad de información
1
𝑙𝑜𝑔2 𝑑𝑒 = 𝟒, 𝟑𝟐
0,05

La cantidad de información del mensaje de 6 dígitos es menor a la cantidad de

información de los dos mensajes planteados en la actividad.

4. Calcule la tasa de información de un telégrafo que emite dos símbolos, punto y línea. La
duración del punto es de 0.2 segundos mientras que la línea dura el doble de tiempo.
La probabilidad de emisión de la línea es la mitad de la probabilidad de emisión del
punto.

1 = 3 𝑠𝑖𝑚𝑏
𝑟= 𝑠𝑒𝑔 3 𝑠𝑒𝑔 1 80 𝑠𝑒𝑔

0,2 . + 0,4 .
𝑠𝑖𝑚𝑏 2 𝑠𝑖𝑚𝑏 3

La entropía es;
2 3 1 𝑏𝑖𝑡𝑠
𝐻= 𝑙𝑜𝑔2 + 𝑙𝑜𝑔23 = 0,9183
3 2 3 𝑠𝑖𝑚𝑏
Entonces,

𝑏𝑖𝑡𝑠
𝑅 = 𝑟. 𝐻 = 3,44
𝑠𝑒𝑔

5. Para la fuente de markov de la figura 1.

a) calcule la entropía de la fuente.

b) calcule la entropía conjunta de la fuente cuando se envían dos símbolos.
c) calcule la entropía condicional de la fuente.
6. Una fuente binaria tiene las siguientes probabilidades de transmisión de cero o uno, P0
= P1 = 1/2. Además las probabilidades de recibir un valor dado que se envió´ otro son:
P(0|1) = (1|0) = 3/4. Calcule la entropía condicional de la fuente.