Taller de repaso

Teorı́a de la información,Unipanamericana

Febrero 2020

1. Suponga que las calificaciones para teorı́a de la información están dadas por las si-
guientes letras, A, B, C, D, F. ¿Cuánta informació hay si el profesor le dice que su
nota no fue F?. Con base en lo anterior,¿cuánta información se necesita para saber su
nota?.

2. Se tiene una baraja compuesta por 52 cartas.

a) Calcule la cantidad de información cuando se sabe que una carta escogida al azar
tiene un corazón.
b) Calcule la cantidad de información cuando se sabe que una carta escogida al azar
tiene un rostro.
c) Calcule la cantidad de información cuando se sabe que una carta escogida al azar
tiene un corazón y un rostro.
d ) Si se escoge una carta que ya se sabe que es una carta de corazones y que tiene un
rostros, ¿cuánta información se necesita para saber exactamente el tipo de carta?.

3. Calcule H(x) para la siguiente fuente de memoria nula que tiene seis sı́mbolos:
PA = 12 PB = 14 PC = 18 PD = PE = 20 1 1
PF = 40 .
Encuentre la cantidad de información contenida en los mensajes ABABBA y FDDFDF,
compare con la cantidad de información obtenida para un mensaje cualquiera de 6
sı́mbolos.

4. Calcule la tasa de información de un telégrafo que emite dos sı́mbolos, punto y linea.
La duración del punto es de 0.2 segundos mientras que la linea dura el doble de tiempo.
La probabilidad de emisión de la linea es la mitad de la probabilidad de emisión del
punto.

5. Para la fuente de markov de la figura 1.

a) calcule la entropı́a de la fuente.

b) calcule la entropı́a conjunta de la fuente cuando se envı́an dos sı́mbolos.
c) calcule la entropı́a condicional de la fuente.
 Figura 1: Fuente de markov.

6. Una fuente binaria tiene las siguientes probabilidades de transmisión de cero o uno,
P0 = P1 = 1/2. Además las probabilidades de recibir un valor dado que se envió otro
son: P (0|1) = (1|0) = 3/4. Calcule la entropı́a condicional de la fuente.