1.

Suponga que las calificaciones para teoría de la información están dadas por las siguientes letras, A,
B, C, D, F. ¿Cuanta información hay si el profesor le dice que su nota no fue F? Con base en lo
anterior, ¿cuánta información se necesita para saber su nota?
El total de calificaciones es de 5 calificaciones, pero si el profesor indica que la nota no fue F, la probabilidad
es de 4/5Para hallar la cantidad de información debemos realizar lo siguiente: Debemos saber cuál es el
logaritmo en base dos de uno sobre la probabilidad.
1
log 2 = log 2 1,25 = 0,32
0,8

2. Se tiene una baraja compuesta por 52 cartas.

a) Calcule la cantidad de información cuando se sabe que una carta escogida al azar tiene un
corazón.

La probabilidad de que exista una carta de corazones de es de 0,23 ya que son 52 cartas en total y
12 de ellas tienen corazón

1
log 2 = log 2 4,35 = 2,12
0,23

b) Calcule la cantidad de información cuando se sabe que una carta escogida al azar tiene un rostro.

La probabilidad de que exista una carta de rostro de es de 0,23 ya que son 52 cartas en total y 12
de ellas tienen rostro

1
log 2 = log 2 4,35 = 2,12
0,23

c) Calcule la cantidad de información cuando se sabe que una carta escogida al azar tiene un
corazón y un rostro.

La probabilidad de que exista una carta al azar tiene un corazón y un rostro

Es de 0,23 ya que son 52 cartas en total y 12 con rostro y corazón

1
log 2 = log 2 4,35 = 2,12
0,23

d) Si se escoge una carta que ya se sabe que es una carta de corazones y que tiene un rostro,
¿cuánta información se necesita para saber exactamente el tipo de carta?
1
log 2 = log 2 4,35 = 2,12
0,23
 3. Calcule H(x) para la siguiente fuente de memoria nula que tiene seis símbolos PA=1/2 PB=1/4 PC=1/8
PD= PE=1/20 PF=1/40. Encuentre la cantidad de información contenida en los mensajes ABABBA y
FDDFDF, compare con la cantidad de información obtenida para un mensaje cualquiera de 6
símbolos.
A= 0,5; B= 0,25; C= 0,125; D= 0,05; E= 0,05; F= 0,025
1
𝐻(𝑥) = ∑ 𝑃(𝑆𝑖 ) log 2
𝑃(𝑆𝑖 )
ABABBA

A=0,5 B=0,25 A=0,5 B=0,25 B=0,25 A=0,5

1 1 1 1 1 1
𝐻(𝑥) = 0,5 log 2 + 0,25 log 2 + 0,5 log 2 + 0,25 log 2 + 0,25 log 2 + 0,5 log 2
0,5 0,25 0,5 0,25 0,25 0,5

𝐻(𝑥) = 0,5 log 2 2 + 0,25 log 2 4 + 0,5 log 2 2 + 0,25 log 2 4 + 0,25 log 2 4 + 0,5 log 2 2
𝐻(𝑥) = 0,5 ∗ 1 + 0,25 ∗ 2 +0,5 ∗ 1 + 0,25 ∗ 2 +0,25 ∗ 2 +0,5 ∗ 1
𝐻(𝑥) = 0,5 + 0,5 + 0,5 + 0,5 + 0,5 + 0,5
𝐻(𝑥) = 3
FDDFDF

F=0,025 D=0,05 D=0,05 F=0,025 D=0,05 F=0,025

1 1 1 1 1 1
𝐻(𝑥) = 0,025 log 2 + 0,05 log 2 + 00,5 log 2 + 0,025 log 2 + 0,05 log 2 + 0,025 log 2
0,025 0,05 0,05 0,025 0,05 0,025
𝐻(𝑥) = 0,025 log 2 40 + 0,05 log 2 20 + 00,5 log 2 20 + 0,025 log 2 40 + 0,05 log 2 20 + 0,025 log 2 40
𝐻(𝑥) = 0,025 ∗ 5,321 + 0,05 ∗ 4,321 +00,5 ∗ 4,321 + 0,025 ∗ 5,321 +0,05 ∗ 4,321 +0,025 ∗ 5,321
𝐻(𝑥) = 0,1330 + 0,2160 +0,2160 + 0,1330 + 0,2160 + 0,1330
𝐻(𝑥) = 0,1330 + 0,2160 +0,2160 + 0,1330 + 0,2160 + 0,1330
𝐻(𝑥) = 1,047
CDABCF

C=0,125 D=0,05 A=0,5 B=0,25 C=0,125 F=0,025

1 1 1 1 1 1
𝐻(𝑥) = 0,125 log 2 + 0,05 log 2 + 0,5 log 2 + 0,25 log 2 + 0,125 log 2 + 0,025 log 2
0,125 0,05 0,5 0,25 0,125 0,025
𝐻(𝑥) = 0,125 log 2 8 + 0,05 log 2 20 + 0,5 log 2 2 + 0,25 log 2 4 + 0,125 log 2 8 + 0,025 log 2 40
𝐻(𝑥) = 0,125 ∗ 3 + 0,05 ∗ 4,321 + 0,5 ∗ 1 + 0,25 ∗ 2 + 0,125 ∗ 3 + 0,025 ∗ 5,321
𝐻(𝑥) = 0,375 + 0,2160 + 0,5 + 0,5 + 0,375 + 0,1330
𝐻(𝑥) = 0,375 + 0,2160 + 0,5 + 0,5 + 0,375 + 0,1330
𝐻(𝑥) = 2,099
4. Calcule la tasa de información de un telégrafo que emite dos símbolos, punto y línea. La duración del
punto es de 0.2 segundos mientras que la línea dura el doble de tiempo. La probabilidad de emisión
de la línea es la mitad de la probabilidad de emisión del punto.

Dp=0,2

Dl=0,4

Pp=

Pl=

5. Para la fuente de markov de la figura 1

a) calcule la entropía de la fuente.

b) calcule la entropía conjuunta de la fuente cuando se envían dos símbolos.
c) calcule la entropía condicional de la fuente.

6. Una fuente binaria tiene las siguientes probabilidades de transmisión de cero o uno, P0=P1= 1/2. A
demás las probabilidades de recibir un valor dado que se envió otro son: P(0|1) = (1|0) = 3/4. Calcule
la entropía condicional de la fuente.

𝑋0 = 0,5
𝑋1 = 0,5
𝑌0 = 0,75
𝑌1 = 0,75

𝐻(𝑥, 𝑦) = − 0,75 [0,5 |0,75 log 2(0,5|0,75) + 0,5| 0,75log 2(0,5|0,75) ] − 0,75[0,5|0,75log_2(0,5|0,75)
+ 0,5|0,75log_2(0,5|0,75) ]