TEORIA DE LA INFORMACION Y LAS TELECOMUNICACIONES

Actividad Entropía

John Alexander Hernandez Martin

Sebastian Camilo Espejo Ariza

Fundació n Universitaria Compensar

Febrero 2023

Bogotá
 Taller
1. Suponga que las calificaciones para teoría de la informació n está n dadas por las
siguientes letras, A, B, C, D, F. ¿Cuá nta informació n hay si el profesor le dice que su
nota no fue F? Con base en lo anterior, ¿cuá nta informació n se necesita para saber su
nota?

P=4 = 0.80 = 80%

5

En total son 5 calificaciones, pero si el profesor indica que mi nota no fue F la

probabilidad es de 0.80

Para hallar la cantidad de informació n debemos saber cuá l es el logaritmo en base dos
de uno sobre la probabilidad.

Si P=0.80

H(x)= lo 1
𝑔2 ( ) =0.32
0,8

Cantidad de informació n es 0.32

2. Se tiene una baraja compuesta por 52 cartas.

a) Calcule la cantidad de informació n cuando se sabe que una carta escogida al azar
tiene un corazó n.
P=13 = 0.25 = 25%
52

En total son 52 cartas, existen 13 que pueden contener corazones la probabilidad

es de 0.25

Para hallar la cantidad de informació n debemos saber cuá l es el logaritmo en base

dos de uno sobre la probabilidad.

Si P=0.25
1
H(x)=lo𝑔2 ( ) =2
0,25

Cantidad de informació n es 2

b) Calcule la cantidad de informació n cuando se sabe que una carta escogida al azar
tiene un rostro.
P=12 = 0.23 = 23%
52
 En total son 52 cartas, existen 12 que pueden contener un rostro la probabilidad
es de 0.23

Para hallar la cantidad de informació n debemos saber cuá l es el logaritmo en base

dos de uno sobre la probabilidad.

Si P=0.23
H(x)=lo𝑔2 ( 1
) =2.12
0,23

Cantidad de informació n es 2.12

c) Calcule la cantidad de informació n cuando se sabe que una carta escogida al azar
tiene un corazó n y un rostro.

P= 3 = 0.057 = 5.7%
52

En total son 52 cartas, existen 3 que pueden contener corazones y rostros la

probabilidad es de 0.057

Para hallar la cantidad de informació n debemos saber cuá l es el logaritmo en base

dos de uno sobre la probabilidad.
Si P=0.057
H(x)=lo𝑔2 ( 1
) =4.13
0,057

Cantidad de informació n es 4.13

d) Si se escoge una carta que ya se sabe que es una carta de corazones y que tiene
un rostro, ¿cuá nta informació n se necesita para saber exactamente el tipo de
carta?

P=1 = 0.33 = 33%

3

En total son 12 cartas que contienen corazones, existen 3 que pueden contener
rostros y corazones la probabilidad es de 0.33

Para hallar la cantidad de informació n debemos saber cuá l es el logaritmo en base

dos de uno sobre la probabilidad.

Si P=0.33
 H(x)=lo𝑔2 ( 1
) =1.6
0,33

Cantidad de informació n es 1.6

3. Calcule H(x) para la siguiente fuente de memoria nula que tiene seis símbolos:

Encuentre la cantidad de informació n contenida en los mensajes ABABBA y FDDFDF,

compare con la cantidad de informació n obtenida para un mensaje cualquiera de 6
símbolos.

Debemos hallar la cantidad de informació n contenida en cada uno de los mensajes

Entonces;

𝑷(𝑨) = 1 = 0,5
2

cantidad de informació n
1
𝑙𝑜𝑔2 𝑑𝑒
0,5 =𝟏

𝑷(
𝑩) = = 0,25
1
4

cantidad de informació n
1
𝑙𝑜𝑔2 𝑑𝑒 =𝟐
0,25
1
𝑷(𝑪) = = 0,125
8

cantidad de informació n
1
𝑙𝑜𝑔2 𝑑𝑒
0,125 =𝟑
1
𝑷(𝑫) =
20 = 0,05
cantidad de informació n
1
𝑙𝑜𝑔2 𝑑𝑒
0,05 = 𝟒, 𝟑𝟐
1
𝑷(𝑬) =
20 = 0,05
cantidad de informació n
1
𝑙𝑜𝑔2 𝑑𝑒 = 𝟒, 𝟑𝟐
0,05
1
𝑷(𝑭) =
40 = 0,025
cantidad de informació n
1
𝑙𝑜𝑔2 𝑑𝑒
0,025 = 𝟓, 𝟑𝟐

Ahora tenemos que el total de informació n es 19,96

la cantidad de informació n contenida en los mensajes ABABBA = 9

𝑷(
𝑨) = = 0,5
1
2

cantidad de informació n
1
𝑙𝑜𝑔2 𝑑𝑒
0,5 =𝟏
1
𝑷(𝑩) = = 0,25
4

cantidad de informació n
1
𝑙𝑜𝑔2 𝑑𝑒
0,25 =𝟐

la cantidad de informació n contenida en los mensajes FDDFDF = 9,64

1
𝑷(𝑫) =
20 = 0,05

cantidad de informació n
1
𝑙𝑜𝑔2 𝑑𝑒
0,05 = 𝟒, 𝟑𝟐
1
𝑷(𝑭) =
40 = 0,025

cantidad de informació n
1
𝑙𝑜𝑔2 𝑑𝑒
0,25 = 𝟓, 𝟑𝟐

Mensaje de 6 símbolos = CDCDCD = Cantidad de informació n de este mensaje es de 7,32

 𝑷(𝑪) = 1 = 0,125
8

cantidad de informació n
1
𝑙𝑜𝑔2 𝑑𝑒
0,25 =𝟑
1
𝑷(𝑫) =
20 = 0,05
cantidad de informació n
1
𝑙𝑜𝑔2 𝑑𝑒
0,05 = 𝟒, 𝟑𝟐

La cantidad de informació n del mensaje de 6 dígitos es menor a la cantidad de

informació n de los dos mensajes planteados en la actividad.

4. Calcule la tasa de informació n de un telégrafo que emite dos símbolos, punto y línea.
La duració n del punto es de 0.2 segundos mientras que la línea dura el doble de
tiempo. La probabilidad de emisió n de la línea es la mitad de la probabilidad de
emisió n del punto.

1 = 3 𝑠𝑖𝑚𝑏
𝑟= 𝑠𝑒𝑔 3 𝑠𝑒𝑔 1 80 𝑠𝑒𝑔
0,2 . + 0,4 .
𝑠𝑖𝑚𝑏 2 𝑠𝑖𝑚𝑏 3

La entropía es;
2 3 1 𝑏𝑖𝑡𝑠
𝐻= 𝑙𝑜𝑔2 + 𝑙𝑜𝑔23 = 0,9183
3 2 3 𝑠𝑖𝑚𝑏
Entonces,

𝑏𝑖𝑡𝑠
𝑅 = 𝑟. 𝐻 = 3,44
𝑠𝑒𝑔

5. Para la fuente de Má rkov de la figura 1.

a) calcule la entropía de la fuente.

b) calcule la entropía conjunta de la fuente cuando se envían dos símbolos.
c) calcule la entropía condicional de la fuente.
Figura 1: Fuente de Márkov.