Asignatura:

Teoría De La Información y Comunicación

Actividad No 1

Taller De Entropía

Presenta

Guillermo Parra Castro

Ingeniería De Sistemas

Docente

Johnn Alexander Hernández Martínez

Bogotá DC Colombia 21 De Agosto Del 2022

1
 Contextualización

La teoría de la información es una rama de las matemáticas actuales que fue desarrollada por Claude
Shannon a mediados del siglo XX. Es la base teórica de la ciencia y la ingeniería de telecomunicaciones
reciente, la cual va a permitir al estudiante entender qué es la información, cómo se mide y cuál es la
capacidad mínima de un canal de transmisión para poderla transmitir.

2
Contenido
Contextualización .................................................................................................................................... 2

Taller De Repaso ..................................................................................................................................... 4

Teoría De La Información ..................................................................................................................... 4

Ejercicio No 1........................................................................................................................................ 4

Solución Ejercicio No 1 ........................................................................................................................ 4

Ejercicio No 2........................................................................................................................................ 4

Solución Ejercicio No 2 ........................................................................................................................ 4

Ejercicio No 3........................................................................................................................................ 6

Solución Ejercicio No 3 ........................................................................................................................ 6

Ejercicio No 4........................................................................................................................................ 7

Solución Ejercicio No 4 ........................................................................................................................ 7

Ejercicio No 5........................................................................................................................................ 8

Solución Ejercicio No 5 ........................................................................................................................ 8

Ejercicio No 6........................................................................................................................................ 9

Solución Ejercicio No 6 ........................................................................................................................ 9

3
 Taller De Repaso

Teoría De La Información

Ejercicio No 1

1. Suponga que las calificaciones para teoría de la información están dadas por las siguientes
letras, A, B, C, D, F. ¿Cuanta información hay si el profesor le dice que su nota no fue F? Con
base en lo anterior, ¿cuanta información se necesita para saber su nota?

Solución Ejercicio No 1

 El total de calificaciones es de 5 calificaciones, pero si el profesor indica que la nota no fue F, la

probabilidad es de 4/5 Para hallar la cantidad de información debemos realizar lo siguiente:
Debemos saber cuál es el logaritmo en base dos de uno sobre la probabilidad

Log2 de 1/0,8 = Log2 de 1,25 = 0,32

Ejercicio No 2

2. Se tiene una baraja compuesta por 52 cartas.

Solución Ejercicio No 2

a. Calcule la cantidad de información cuando se sabe que una carta escogida al azar tiene un
corazón.

 Para hallar la cantidad de información debemos realizar lo siguiente: Debemos saber cuál es el
logaritmo en base dos de uno sobre la probabilidad. La probabilidad de que exista una carta de
corazones es de 0,23 ya que son 52 cartas en total y 12 de ellas tienen corazón.

La cantidad de información es 2,121.

4
 b. Calcule la cantidad de información cuando se sabe que una carta escogida al azar tiene un
rostro.

 Para hallar la cantidad de información debemos realizar lo siguiente: Debemos saber cuál es el
logaritmo en base dos de uno sobre la probabilidad. La probabilidad de que exista una carta de
corazones de es de 0,23 ya que son 52 cartas en total y 12 de ellas tienen rostros.

La cantidad de información es 2,121.

c. Calcule la cantidad de información cuando se sabe que una carta escogida al azar tiene un
corazón y un rostro.

 Para hallar la cantidad de información debemos realizar lo siguiente: Debemos saber cuál es el
logaritmo en base dos de uno sobre la probabilidad. La probabilidad de que exista una carta de
corazones de es de 0,058 ya que son 52 cartas en total y 3 de ellas tienen rostros.

La cantidad de información es 4,108.

d. Si se escoge una carta que ya se sabe que es una carta de corazones y que tiene un rostro,
¿cuanta información se necesita para saber exactamente el tipo de carta?

 Para hallar la cantidad de información debemos realizar lo siguiente: Debemos saber cuál es el
logaritmo en base dos de uno sobre la probabilidad. La probabilidad de que exista una carta de
corazones de es de 0,019 ya que son 51 las cartas que quedan en total y 1 de ellas se sabe que
tiene rostro y corazón.

5
La cantidad de información es 5,72.

Ejercicio No 3

3. Calcule H(x) para la siguiente fuente de memoria nula que tiene seis símbolos:

Encuentre la cantidad de información contenida en los mensajes ABABBA y FDDFDF, compare con
la cantidad de información obtenida para un mensaje cualquiera de 6 símbolos.

Solución Ejercicio No 3

 Primero, debemos hallar la cantidad de información contenida en cada uno de los mensajes
Entonces.

6
  La cantidad de información contenida en los mensajes ABABBA = 9
1 1
P (A) = 2 = 0,5 , Cantidad de información 𝐿𝑜𝑔2 𝑑𝑒 = 𝐿𝑜𝑔2 𝑑𝑒 2 = 1
0,5

1 1
P (A) = 4 = 0,25 , Cantidad de información 𝐿𝑜𝑔2 𝑑𝑒 = 𝐿𝑜𝑔2 𝑑𝑒 4 = 2
0,25

 La cantidad de información contenida en los mensajes FDDFDF = 9,64

1 1
P (D) = 20 = 0,05 , Cantidad de información 𝐿𝑜𝑔2 𝑑𝑒 = 𝐿𝑜𝑔20 𝑑𝑒 = 4,32
0,05

1 1
P (F) = 40 = 0,025 , Cantidad de información 𝐿𝑜𝑔2 𝑑𝑒 = 𝐿𝑜𝑔40 𝑑𝑒 = 5,32
0,025

 Mensaje de 6 símbolos = CDCDCD = Cantidad de información de este mensaje es de 7,32

1 1
P (C) = 8 = 0,125 , Cantidad de información 𝐿𝑜𝑔2 𝑑𝑒 = 𝐿𝑜𝑔8 𝑑𝑒 = 3
0,125

1 1
P (D) = 20 = 0,05 , Cantidad de información 𝐿𝑜𝑔2 𝑑𝑒 = 𝐿𝑜𝑔20 𝑑𝑒 = 4,32
0,05

La cantidad de información del mensaje de 6 dígitos es menor a la cantidad de información de los dos
mensajes planteados en la actividad.

Ejercicio No 4

4. Calcule la tasa de información de un telégrafo que emite dos símbolos, punto y línea. La
duración del punto es de 0.2 segundos mientras que la línea dura el doble de tiempo. La
probabilidad de emisión de la línea es la mitad de la probabilidad de emisión del punto.

Solución Ejercicio No 4

 La tasa de información del punto = 3.33 puntos per segundo.

 La tasa de información de una línea = 0.833 línea per segundo.

7
Ejercicio No 5

5. Para la fuente de markov de la figura 1.

Solución Ejercicio No 5

a) Calcule la entropía de la fuente.

b) Calcule la entropía conjunta de la fuente cuando se envían dos símbolos.

c) Calcule la entropía condicional de la fuente.

Figura 1: Fuente de markov.

8
Ejercicio No 6

6. Una fuente binaria tiene las siguientes probabilidades de transmisión de cero o uno,

P0 = P1 = 1=2.

Además las probabilidades de recibir un valor dado que se envió otro son:

P (0/1) = (1/0) = 3=4.

Solución Ejercicio No 6

Calcule la entropía condicional de la fuente.

La entropía de la fuente es 75