Nombre: Luisa Fernanda Calderon Herrera

Taller de repaso
Suponga que las calificaciones para teoría de la información están dadas por las siguientes letras,
A, B, C, D, F. ¿Cuánta información hay si el profesor le dice que su nota no fue F? Con base en lo
anterior, ¿cuánta información se necesita para saber su nota?

El total de calificaciones es de 5 calificaciones, pero si el profesor indica que la nota no fue F, la

probabilidad es de 4/5Para hallar la cantidad de información debemos realizar lo siguiente:
Debemos saber cuál es el logaritmo en base dos de uno sobre la probabilidadLog2 de 1/0,8
=Log2 de 1,25 =0,32

Se tiene una baraja compuesta por 52 cartas.

a) Calcule la cantidad de información cuando se sabe que una carta escogida al azar tiene un
corazón.
Para hallar la cantidad de información debemos realizar lo siguiente:

• Debemos saber cuál es el logaritmo en base dos de uno sobre la probabilidad

• La probabilidad de que exista una carta de corazones de es de 0,23 ya que son 52 cartas
en

• total, y 12 de ellas tienen corazón.

𝟏
𝒍𝒐𝒈𝟐𝒅𝒆 = 𝒍𝒐𝒈𝟐𝒅𝒆𝟒, 𝟑𝟓 = 𝟐, 𝟏𝟐
𝟎, 𝟐𝟑

b) Calcule la cantidad de información cuando se sabe que una carta escogida al azar tiene un
rostro.
Para hallar la cantidad de información debemos realizar lo siguiente:
• Debemos saber cuál es el logaritmo en base dos de uno sobre la probabilidad.
• La probabilidad de que exista una carta de corazones de es de 0,23 ya que son 52 cartas
en total y 12 de ellas tienen rostros.

𝟏
𝒍𝒐𝒈𝟐 𝒅𝒆 = 𝒍𝒐𝒈𝟐 𝒅𝒆 𝟒, 𝟑𝟓 = 𝟐, 𝟏𝟐
𝟎, 𝟐𝟑
c) Calcule la cantidad de información cuando se sabe que una carta escogida al azar tiene un
corazón y un rostro.
Para hallar la cantidad de información debemos realizar lo siguiente:
• Debemos saber cuál es el logaritmo en base dos de uno sobre la probabilidad
• La probabilidad de que exista una carta de corazones de es de 0,058 ya que son 52
cartas en total y 3 de ellas tienen rostros
𝟏
𝒍𝒐𝒈 𝟐 𝒅𝒆 = 𝒍𝒐𝒈𝟐 𝒅𝒆 𝟏𝟕, 𝟐𝟒 = 𝟒. 𝟏𝟎𝟖
𝟎, 𝟎𝟓𝟖
d) Si se escoge una carta que ya se sabe que es una carta de corazones y que tiene un rostro,
¿cuánta información se necesita para saber exactamente el tipo de carta?
Para hallar la cantidad de información debemos realizar lo siguiente:
 • Debemos saber cuál es el logaritmo en base dos de uno sobre la probabilidad
• La probabilidad de que exista una carta de corazones de es de 0,019 ya que son 51
las cartas que quedan en total y 1 de ellas se sabe que tiene rostro y corazón.
𝟏
𝒍𝒐𝒈𝟐 𝒅𝒆 = 𝒍𝒐𝒈𝟐 𝒅𝒆 𝟓𝟐, 𝟔𝟑 = 𝟓, 𝟕𝟐
𝟎, 𝟎𝟏𝟗
3. Calcule H(x) para la siguiente fuente de memoria nula que tiene seis símbolos:

Encuentre la cantidad de información contenida en los mensajes ABABBA y FDDFDF,

compare con la cantidad de información obtenida para un mensaje cualquiera de 6
símbolos.

4. Calcule la tasa de información de un telégrafo que emite dos símbolos, punto y línea. La
duración del punto es de 0.2 segundos mientras que la línea dura el doble de tiempo. La
probabilidad de emisión de la línea es la mitad de la probabilidad de emisión del punto. 5. Para la
fuente de markov de la figura 1. a) calcule las entropías de la fuente. b) calcule la entropía
conjunta de la fuente cuando se envían dos símbolos. c) calcule la entropía condicional de la
fuente.

• Probabilidad emisión del punto ½ = 0,5

• Probabilidad emisión de la línea ¼ = 0,25

𝟏
𝒉(𝒙) = 𝟎. 𝟓 𝒍𝒐𝒈𝟐 ( ) + 𝟎. 𝟐𝟓. 𝒍𝒐𝒈𝟐(𝟎. 𝟐𝟓) = 𝟏 𝒃𝒊𝒕
𝟎. 𝟓
5. Para la fuente de markov de la figura
a) calcule la entropía de la fuente.
Para el estado A en {A * A y A * B}
𝟏 𝟏 𝟐 𝟏
𝒉(𝒂) = . 𝒍𝒐𝒈𝟐 ( ) + . 𝒍𝒐𝒈𝟐 ( )
𝟑 𝟑 𝟑 𝟑
𝒉(𝒂) = −. 𝟎𝟐𝟓 − 𝟎. 𝟑𝟗 = −𝟎. 𝟗𝟏
Para el estado B en {B y B * A}
𝟏 𝟏 𝟐 𝟏
𝒉(𝒃) = . 𝒍𝒐𝒈𝟐 ( ) + . 𝒍𝒐𝒈𝟐 ( )
𝟑 𝟑 𝟑 𝟑
 𝒉(𝒃) = −. 𝟎𝟐𝟓 − 𝟎. 𝟑𝟗 = −𝟎. 𝟗𝟏
Los dos estados son equiprobables considerando la suma de los estados como el total de la fuente:
H(F) = H(A) + H(B) H(F) = -0,91 – 0,91 H(F) = -1,88
b) calcule la entropía conjunta de la fuente cuando se envían dos símbolos.
H(X,Y) = H(X) + H(X|Y) H(A,B) = -0,91 + 0 H(A,B) = -0,91
c) calcule la entropía condicional de la fuente.
𝑿 𝟏
H(X|Y)= 𝑷 𝑳𝑶𝑮𝟐( 𝑿 )
𝑿 𝑷(
𝒀)
𝟐 𝟐
𝟑 𝟑
H(A|B) 𝑳𝑶𝑮𝟐( )
𝟐 𝟐
𝟑 𝟑

H(A|B) = 0

6. Una fuente binaria tiene las siguientes probabilidades de transmisión de cero o uno,
P0 = P1 = 1/2. Además las probabilidades de recibir un valor dado que se envió otro
son: P(0|1) = (1|0) = 3/4. Calcule la entropía condicional de la fuente.

𝑿 𝟏
H(X|Y)= 𝑷 𝑳𝑶𝑮𝟐( 𝑿)
𝑿 𝑷(
𝒀)
𝟏 𝟏

H(A|B) 𝟐𝟑 . 𝑳𝑶𝑮𝟐( 𝟏𝟐 )
𝟒 𝟑
𝟒
H(A|B) = -0,44