AA1 – TAREA ENTROPÍA

Luis Alejandro Arroyave Quintero

Febrero de 2022

Presentado a Jhonn Alexander Hernández Martínez

Ingeniería de Sistemas

Teoría de la Información y las Telecomunicaciones

 Taller de Entropía – Teoría de la Información

1. Suponga que las calificaciones para teoría de la información están dadas por las siguientes

letras, A, B, C, D, F.

a) ¿Cuánta información hay si el profesor le dice que su nota no fue F?.

4
P [ ≠ F ] = =0,80∗100 %=80 %
5

l x =log 2 ( p1 )
x

l x =log 2 ( 0,801 )=0,32

Hay una cantidad de información de 0,32 bits si el profesor le dice que su nota no fue F.

b) ¿Cuánta información se necesita para saber su nota?.

1
P [ T ] =P [ A ] + P [ B ] + P [ C ] + P [ D ] = =0,25∗100 %=25 %
4

l x =log 2 ( 0,251 )=2

Se necesitan 2 bits de información para saber la nota.

2. Se tiene una baraja compuesta por 52 cartas.

a) Calcule la cantidad de información cuando se sabe que una carta escogida al azar tiene un

corazón.

13
P [C ]= =0,25∗100 %=25 %
52

l x =log 2 ( 0,251 )=2

Son 52 cartas, existen 13 que pueden contener corazones la probabilidad es del 25%. La cantidad

de información es de 2 bits cuando se sabe que una carta escogida al azar tiene un corazón.

b) Calcule la cantidad de información cuando se sabe que una carta escogida al azar tiene un

rostro.

12
P [C ]= =0,23∗100 %=23 %
52

l x =log 2 ( 0,231 )=2,12

La probabilidad que salga una carta que tiene un rostro es del 23%, ya que hay 12 cartas en una

baraja de 52. La cantidad de información es de 2,12 bits.

c) Calcule la cantidad de información cuando se sabe que una carta escogida al azar tiene un

corazón y un rostro.

3
P [C ]= =0,057∗100 %=5,7 %
52

l x =log 2 ( 0,057
1
)=4,13
La probabilidad que salga una carta que tiene un rostro y un corazón es del 5,7%, ya que hay 3

cartas en una baraja de 52. La cantidad de información es de 4,13 bits.

d) Si se escoge una carta que ya se sabe que es una carta de corazones y que tiene un rostro,

¿cuánta información se necesita para saber exactamente el tipo de carta?.

1
P [ T ] =P [ J ] + P [ Q ] + P [ K ]= =0,33∗100 %=33 %
3

l x =log 2 ( 0,331 )=1,59

Se necesitan 1,59 bits de información para saber exactamente que es una carta de corazones y

que tiene un rostro.

3. Calcule H(x) para la siguiente fuente de memoria nula que tiene seis símbolos:

1 1 1
P A = P B= PC = PD =P 1 1
2 4 8 E=¿ P
20 F =
40
¿

1 1 1 1 1 1
H x =P ( A ) log 2 + P ( B ) log 2 + P ( C ) log 2 + P ( D ) log 2 + P ( E ) log 2 + P ( F ) log 2
P( A) P ( B) P (C ) P ( D) P ( E) P( F )

() () () ( ) ( ) ( )
1 1 1 1 1 1 1 1 1 1 1 1
¿ log 2 + log 2 + log 2 + log 2 + log 2 + log 2
2 1 4 1 8 1 20 1 20 1 40 1
2 4 8 20 20 40

1 1 1 1 1 1
¿ log 2 ( 2 )+ log 2 ( 4 ) + log 2 ( 8 )+ log 2 ( 20 )+ log 2 ( 20 )+ log 2 ( 40 )
2 4 8 20 20 40

1 1 1 1 1 1
¿ ( 1 )+ (2 )+ ( 3 ) + ( 4,32 ) + ( 4,32 )+ ( 5,32 )
2 4 8 20 20 40

¿ 0,5+0,5+ 0,38+0,22+0,22+0,13=1, 95

La entropía de la fuente de memoria nula con 6 símbolos es de 1,95 bits

Encuentre la cantidad de información contenida en los mensajes ABABBA y FDDFDF,

compare con la cantidad de información obtenida para un mensaje cualquiera de 6 símbolos.

lm1=log 2 ( P1 )+log ( P1 )+ log ( P1 )+ log ( P1 )+ log ( P1 )+ log ( P1 )

A
2
B
2
A
2
B
2
B
2
A

() () () () () ()
1 1 1 1 1 1
lm1=log 2 +log 2 + log 2 + log 2 + log 2 + log 2
1 1 1 1 1 1
2 4 2 4 4 2

lm1=1+2+1+2+2+1=9

Hay 9 bits de información en el mensaje ABABBA

lm1=log 2
( P1 )+ log ( P1 )+ log ( P1 )+ log ( P1 )+log ( P1 )+ log ( P1 )
F
2
D
2
D
2
F
2
D
2
F

( ) ( ) ( ) ( ) ( ) ( )
1 1 1 1 1 1
lm1=log 2 + log 2 +log 2 + log 2 +log 2 + log 2
1 1 1 1 1 1
40 20 20 40 20 40
 lm1=5 , 32+4,32+ 4,32+ 5,32+ 4,32+5,32=28 , 9 2

Hay 28,92 bits de información en el mensaje FDDFDF.

La cantidad de información del mensaje de 6 dígitos es menor a la cantidad de información de

los mensajes de la actividad.

4. Calcule la tasa de información de un telégrafo que emite dos símbolos, punto y línea. La

duración del punto es de 0.2 segundos mientras que la línea dura el doble de tiempo. La

probabilidad de emisión de la línea es la mitad de la probabilidad de emisión del punto.

S= { p , 2 l }

1 1
H [ s ] =P ( p ) l o g2 + P ( 2l ) log 2
P(p) P ( 2l )

1 1
H [ s ] = log 2 +2
2
log 2 ()1
2 1
2
2
2
2
2 ()
1 1
H [ s ] = log 2 (2)+ 2 log 2
2 2

1
H [ s ] = +2∗−1
2

1
H [ s ] = −2
2
 H [ s ] =−1,5

H [ s ] −1,5
R= = =−7,5
t 0,2

La tasa de información de un telégrafo que emite dos símbolos punto y línea es de 7,5

bits/segundo.

5. Para la fuente de Márkov de la figura 1.

a) calcule la entropía de la fuente.

b) calcule la entropía conjunta de la fuente cuando se envían dos símbolos.

c) calcule la entropía condicional de la fuente.

Se debe encontrar la matriz de transición. Las probabilidades son:

De A hasta A: 1/3

De A hasta B: 2/3

De B hasta A: 2/3

De B hasta B: 1/3

[ ]
1 2
A 3 3
M =Origen
B 2 1
3 3

El estado estacionario de la fuente de Márkov se halla con la formula Q(M-I) = 0, como solo hay

dos estados A y B, Q=[P(A) P(B)].

 ([ ] [ ])
1 2
Q= [ P ( A ) P( B) ] 3 3 − 1 0 =0
2 1 0 1
3 3

( [ ])
−2 2
Q= [ P ( A ) P( B) ] 3 3 =0
2 −2
3 3

Q=
[ −2
3
2
P ( A )+ P( B) =0
3 ]
Q= [ 2
3
2
P ( A )− P(B) =0
3 ]
De la ecuación se puede ver que P(A)=P(B), y como la probabilidad debe sumar 1, entonces:

P(A) = 1/2

P(B) = 1/2

La entropía se halla de la siguiente forma:

H [ x ] =− ( 12 log 12 + 12 log 12 )
2 2

H [ x ] =− (−1 )=1

La entropía es de 1 Bits.

Para la entropía conjunta de la fuente cuando se envían dos símbolos, se usa la matriz que

usamos y la formula:

H { X n X n−1 }=−∑ P log 2 P

'

[ ]
1 2
A 3 3
M =Origen
B 2 1
3 3
 H { X n X n−1 }=−
'
( 1
3
1 2 2 2 2 1
log 2 + log 2 + log 2 + log 2
3 3 3 3 3 3
1
3 )
H { X n X n−1 }=−
'
( 13∗(−1,59) + 23∗(−0,59 )+ 23∗(−0,59) + 13 ∗(−1,59))
H { X n X n−1 }=−(−0,53−0 , 3 9−0 ,3 9−0,53)
'

H { X n X n−1 }=−(−1,84 ) =1,84

'

La entropía conjunta de la fuente cuando se envían dos símbolos es de 1,84 bits.

Para la entropía condicional de la fuente, usamos la formula anterior, pero se multiplica con la

probabilidad de estado estacionario.

H { X n X n−1 }=−
'
[(
1 1
2 3
1 2 2 1 2
log 2 + log 2 +
3 3 3 2 3
2 1
log 2 + log 2
3 3 ) (
1
3 )]
H { X n X n−1 }=−
'
[(
1 1
2 3
2
∗(−1,59 )+ ∗(−0,59 ) +
3
1 2
2 3
1
) (
∗(−0,59 ) + ∗(−1,59 )
3 )]
H { X n X n−1 }=−
'
[ 1
2
1
(−0,53−0,39 ) + (−0,39−0,53 )
2 ]
H { X n X n−1 }=−
'
[ 1
2
1
(−0 , 92 ) + (−0 , 92 )
2 ]
H { X n X n−1 }=−[−0,46−0,46 ]
'

H { X n X n−1 }=−[−0 , 92 ] =0,92

'

La entropía condicional de la fuente es de 0,92 bits.

6. Una fuente binaria tiene las siguientes probabilidades de transmisión de cero o uno,

1
P0=P1 = . Además las probabilidades de recibir un valor dado que se envió otro son:
2

3
P ( 0|1 )=( 1|0 )= . Calcule la entropía condicional de la fuente.
4
 ( ( ))
x 1
H ( X|Y )=P log 2
y x
p
y

(( ))
2 1
H (X ∨Y )= log 2
3 1
4 2
3
4

H ( X|Y )=0,6 7 log 2

( ( 0,61 7) )
H ( X|Y )=0,6 7 log 2 ( 1,49 )

H ( X|Y )=0,6∗0,58

H ( X|Y )=0 ,348

La entropía condicional de la fuente es de 0,348 bits.