Comunicación

De Datos Ingeniería en Sistemas de Información

UTN-FRRE

TRABAJO PRÁCTICO Nº 1

TEORÍA DE LA INFORMACIÓN

1. ¿Como se mide la cantidad de información? ¿Cuáles son las unidades?

La cantidad de información es una magnitud proporcional al grado de incertidumbre de un evento, es decir

está relacionado a la probabilidad de que un evento ocurra, cuando menos probable sea más información
tendrá, además para definir una función que relacione cant. de información / probabilidad; debemos tener en
cuenta lo siguiente:

1) La información es un número positivo

2) Si la probabilidad de un mensaje es 1, entonces su información es nula
3)Si un mensaje A es más probable que uno B, entonces la información de B es mayor que la información
que contiene A
4) Si se tienen dos mensajes independientes A y B, cuando se transmite primero A y luego B, la información
recibida por el usuario es la suma de las informaciones de los mensajes individuales. Si hablamos del evento C
como el que representa la ocurrencia de AyB, entonces P(C)=P(A).P(B); la información que lleva C es función
de P(A)P(B), será I(C)=I(A) + I(B)

En consecuencia, la función que las relaciona es la función logaritmo, la base de la función logaritmo define las
unidades

1
I (a) = log
P(a)

Si la base es 2 la unidad se denomina bits

Si la base es el número natural e la unidad se denomina nats

Si la base es decimal la unidad se denomina Hartley

2. Calcular la información asociada a la caída de una moneda (suceso estadísticamente

independiente).

La probabilidad para cada cara de la moneda es de 1 , en consecuencia

2
1
I (cara) = log = log2 2 = 1bits = I (cruz)
1
= log 2
P(cara) 1
2 1
1 1
Si usamos base e  I (cara) = log = loge 2 = loge 2 = 0,6931nats
P(cara)

1
 I (cara) = log
1
Si usamos base 10 = log10 = log10 2 = 0,301029Hartley
P(cara) 1
2
Es decir, 1bits = 0,693nats = 0,301029Hartley
 Comunicación
De Datos Ingeniería en Sistemas de Información
UTN-FRRE

3. Calcular la información entregada por la aparición de una letra entre 32 equiprobables.

La probabilidad para cada letra es 1

32 , en consecuencia
1
I (letra) = log
1
= log2 = log2 32 = 5bits
P(letra) 1
32

4. Calcular la probabilidad que aparezcan 3 caras consecutivas en la tirada de una moneda y su

información asociada

Aplicando la teoría de probabilidades, como cada vez que tiramos la moneda es un suceso independiente, la
probabilidad será el producto de los tres sucesos independientes

P(a) = P(a 1) * P(a 2 )* P(a 3 ) = 1 * 12 * 1 = 1

2 2 8

1
I (a) = log 2
1
= log2 = log2 8 = 3bits
P(a) 1
8
También se podría resolver calculando directamente la información de cada suceso independiente

1 1 1
I (a) = I (a 1 ) + I (a 2 ) + I (a 3 ) = log 2
1 1 1
+ log 2 + log 2 = log2 + log 2 + log2 = 3bits
P(a1) P(a 2) P(a 3) 1 1 1
2 2 2

5. Supongamos que una fuente produce los símbolos A, B, C y D con probabilidades 1/2, 1/4, 1/8
y 1/8. a ) – Calcular la información en cada caso. b ) – Si los símbolos son independientes,
calcular los bits de información del mensaje:
BACADA CADACA

1 1
I (A) = log 2 I (B) = log 2
1 1
= log 2 = log 2 2 = 1bits = log 2 = log 2 4 = 2bits
P(A) 1 P(B) 1
2 4

1 1
I (C ) = log 2 I (D) = log 2
1 1
= log 2 = log 2 8 = 3bits = log 2 = log 2 8 = 3bits
P(C ) 1 P(D) 1
8 8

Como los símbolos son independientes, la información total de cada mensaje será la que proporcione la suma
de sus símbolos

I (BACADA) = I (B) + I (A) + I (C ) + I (A) + I (D) + I (A) = (2 + 1 + 3 + 1 + 3 + 1)bits = 11bits

I (CADACA) = I (C ) + I (A) + I (D) + I (A) + I (C ) + I (A) = (3 + 1 + 3 + 1 + 3 + 1)bits = 12bits

 Comunicación
De Datos Ingeniería en Sistemas de Información
UTN-FRRE

6. De un mazo de 40 barajas españolas se extrae una carta. Si me informaron que es de “oro”.

a ) – ¿ Cuántos bits de información he recibido ?
b ) – ¿ Qué información adicional es necesaria para especificar la carta ?

a - Como tenemos cuatro variedades de cartas, la posibilidad que sea oro es de un 25 % entonces será
1
I (oro) = log
1
= log2 = log 2 4 = 2bits
P(oro) 1
4
b – Necesitamos distinguir una de entre 10 cartas, o sea la posibilidad es de un 10 %

1
I (carta) = log
1
= log2 = log2 10 = 3.32bits
P(carta) 1
10
Cuando recibimos una carta la información total recibida será:

I (total ) = I (oro) + I (carta) = 2bits + 3,32bits = 5,32bits

Esto lo podemos confirmar calculando la información que tiene una carta cualquiera del maso

1
I (total ) = log
1
= log2 = log 2 40 = 5.32bits
P(total ) 1
40

7. Sea un alfabeto en el cual la probabilidad de ocurrencia de las diferentes letras se da en la

siguiente tabla:

A 0.081 E 0.124 I 0.072 M 0.072 Q 0.002 V 0.009

B 0.016 F 0.023 J 0.001 N 0.072 R 0.060 W 0.020
C 0.032 G 0.016 K 0.005 O 0.079 S 0.066 X 0.002
D 0.037 H 0.051 L 0.040 P 0.023 T 0.096 Y 0.019
U 0.031 Z 0.001

a) - Cual letra proporciona la máxima cantidad de información?

b) - Cual letra proporciona la mínima cantidad de información?
c) - Suponiendo que las letras se eligen independientemente para formar palabras, calcule la
entropía de este alfabeto
d) - Que cantidad de información contiene la palabra INGENIERIA

a) - La máxima cantidad de información será la letra con menor probabilidad, en nuestro alfabeto la J y la Z
1 1
I (J ) = I (Z ) = log = log 2 = log2 1000 = 9,966bits
P(J ) 0,001

b) – La mínima cantidad de información será la letra con mayor probabilidad:

1 1
I (E ) = log = log 2 = 3,012bits
P(E ) 0,124
c) – La entropía será:
1
+ .......... + P(Z )log
N 1 = 4,316bits
= P(A)log 2
1
+ P(B)log
1
H =  Pj log 2
P (A) P(B) P(Z )
2 2
j =1 Pj
 Comunicación
De Datos Ingeniería en Sistemas de Información
UTN-FRRE

8. Una fuente produce 5 símbolos con probabilidades 1/2, 1/4, 1/8, 1/16 y 1/16.
Calcular la entropía de la fuente (H).

5
1 1 1 1 1 1
H =  Pj log 2 = 1 log2
2
+ 1 log2
4
+ 1 log2
8 1
+ 1 log 2
16 1
+ 1 log 2
16 1
j =1 Pj 1 1
2 4 8 16 16

H = 12 *1 + 14 * 2 + 18 * 3 + 1 * 4 + 1 * 4 = 1 + 1 + 3 + 1 + 1 = 1,875bits
16 16 2 2 8 4 4

9. Calcular la tasa de información o velocidad de información de una fuente telegráfica teniendo

P (punto) = 2/3 P (raya) = 1/3
Siendo  = Duración promedio del símbolo
 (punto) = 0,2 seg.  ( raya) = 0,4 seg

Calculamos primero la cantidad de información por símbolo

1 1
I (punto ) = log 2 I (raya ) = log 2
1 1
= log 2 = 0,585bits = log 2 = 1,585bits
P(punto ) 2 P(raya ) 1
3 3

Podemos calcular la tasa de información como:

P( punto) * I ( punto) P(raya) * I (raya) 2 * 0,585bits 1 *1,585bits bits bits

R= + = 3 + 3 = 1,95 + 1,32
(punto ) (raya) 0,2seg 0,4seg seg seg

bits
R = 3,27
seg
 Comunicación
De Datos Ingeniería en Sistemas de Información
UTN-FRRE

10. Una fuente de datos tiene 8 símbolos equiprobables y emite en bloques de tres a una tasa de
1000 bloques por segundo. Si el primer símbolo de cada bloque es siempre el mismo
(sincronización) y los restantes pueden ser cualquiera de los 8 símbolos de la fuente.
Calcular la Tasa de Información R y la velocidad de señalización

Calculamos la cantidad de información que aporta cada símbolo

1
I (simbolo ) = log 2
1
= log 2 = 3bits
P(simbolo ) 1
8
Consideramos la información que aporta cada bloque, cada bloque tiene tres símbolos, pero solo dos son de
información, en consecuencia, será:

I (bloque ) = 2 * 3bits = 6bits

Se emiten 1000 bloques por segundo y cada uno tiene 6 bits

bloques bits
R = 1.000 * 6bits = 6.000
seg seg
La velocidad de señalización es la cantidad de símbolos que se emiten, en este caso debemos considerar el
símbolo de sincronización.

bloques simbolos
V = 1.000 * 3simbolos = 3.000
seg seg

11. Se transmiten trenes de cuatro pulsos cada uno, teniendo cada pulso una duración de 1
mseg. Los pulsos pueden tomar en forma equiprobable los niveles de tensión 0, 1, 2 y 3 volts
excepto el primer pulso del tren o block que siempre toma el nivel 1 volt. Calcular la Tase da
Información R.

Calculamos la cantidad de información que aporta cada pulso

1
I ( pulso ) = log 2
1
= log 2 = 2bits
P( pulso ) 1
4
Cada tren tiene cuatro pulsos, pero el primero no aporta información, entonces:

I (tren ) = 3 * 2bits = 6bits

Cada pulso dura 1mseg , entonces el tren de cuatro pulsos dura:

Tiempo (tren ) = 4 *1mseg = 4mseg

La tasa de información será entonces

I (tren) 6bits bits

R= = = 1,5
Tiempo(tren) 4mseg mseg
 Comunicación
De Datos Ingeniería en Sistemas de Información
UTN-FRRE

12. Una fuente de datos tiene 16 símbolos equiprobables posibles, cada uno de 1 mseg. de
duración. Los símbolos se emiten en bloques de a 15, separados por un pulso de
sincronización de 5 mseg. Calcular R.

1
I (simbolo ) = log 2
1
= log 2 = 4bits
P(simbolo ) 1
16



15simbolos = 15mseg sincronización = 5mseg

I (trendepulsos ) = 15 * I (simbolo ) = 15 * 4bits = 60bits

I (trendepulsos) I (trendepulsos) 60bits bits

R= = = =3
TiempoTotal Tiempopulsos + TiempoSincronizacion 15mseg + 5mseg mseg

13. Una fuente produce ocho símbolos distintos e independientes cuyas probabilidades de
aparición son: un símbolo con una probabilidad de 0.512; tres símbolos con una probabilidad,
cada uno, de 0.032, tres símbolos con una probabilidad, cada uno, de 0.128 y un símbolo con
una probabilidad de 0.008. Los símbolos se producen a una velocidad de 1000 símbolos por
segundo, se codifican en binario para transmitirlos por un canal telefónico de 4 Khz. Calcule
la velocidad de información, la velocidad de señalización, también llamada de modulación, si
son distintas explique el motivo. ¿Se pueden transmitir por el canal telefónico?

Calculamos primero la velocidad de información, como los símbolos son de distintas probabilidades
trabajamos directamente con la entropía de la fuente

8
1 1 1 1
H =  Pj log 2 1 = 0.512 log 2 + 3 * 0.128 log 2 + 3 * 0.032 log 2 + 0.008 log 2 = 2,166bits
j =1 Pj 0.512 0.128 0.032 0.008

H = 2,166bits

Si se emiten 1000 símbolos por segundo la velocidad de información será:

1 * 2,166bits = 2.166 bits

R = 1.000
seg seg
Calculamos ahora la velocidad de señalización, si son 8 símbolos y se codifican en binario necesitamos 3
dígitos binarios para representarlos, en consecuencia, será:

1 * 3binits = 3.000 binits

V = 1.000
seg seg
Las velocidades son distintas porque los símbolos no son equiprobables Es posible trasmitir por el canal
telefónico porque al ser de 4 Khz, admite hasta 4.000 dígitos binarios por segundo.
 Comunicación
De Datos Ingeniería en Sistemas de Información
UTN-FRRE

14. Un fax transmite una imagen que tiene 250 líneas horizontales y 200 puntos por línea. Si cada
punto puede tomar 32 niveles equiprobables de brillo, calcular la Información de la imagen. Si
la imagen una vez explorada se almacena eléctricamente en una memoria y se envía por un
canal de transmisión de 208,33 bit/seg. ¿ Cuánto tiempo se tarda en transmitirla ?

Calculamos primero la cantidad de puntos por imagen

puntos
Puntos = 250lineas * 200 = 50.000 puntos
lineas
La información de cada punto será:

1
I (punto ) = log 2
1
= log 2 = 5bits
P(punto ) 1
32
El total de información de la página será:

I (pagina ) = 50.000 * 5bits = 250.000bits

Si el canal de transmisión tiene una velocidad de información de 208,33bits/seg será

I I
R= T = = 250.000bits = 1.200seg
T R 208,33bits
seg

15. Una imagen de televisión tiene 625 líneas con 500 puntos por línea y 128 niveles
equiprobables de brillo por punto. Si se transmiten 25 imágenes por segundo. Calcular R.

Calculamos primero la cantidad de puntos por imagen

puntos
Puntos = 625lineas * 500 = 312.500 puntos
lineas
La información de cada punto será:

1
I (punto ) = log 2
1
= log 2 = 7bits
P( punto ) 1
128

El total de información de la página será:

I (pagina ) = 3125.500 * 7bits = 2.187.500bits

Si necesitamos transmitir 25 imágenes por segundo la velocidad de información debe ser:

1 1 = 54.687.500 bits
R = I ( pagina ) * 25 * = 2.187.500bits * 25 *
seg seg seg
 Comunicación
De Datos Ingeniería en Sistemas de Información
UTN-FRRE

16. Una imagen de televisión tiene 800 líneas por 600 puntos por línea, tiene 4 niveles de brillo
equiprobables y 8 niveles de color (1/10, 1/5, 1/10, 3/10, 1/20, 1/20, 1/10, 1/10).
a ) – Calcular la Información de la imagen.
b ) – Si se transmiten 4 imágenes por segundo. Calcular la Tasa de Información.
c ) – Si la imagen se almacena eléctricamente en una memoria y se transmite por un módem
de banda ancha cuya velocidad de transmisión es de 230,4 Kbyte por segundo. ¿
¿Cuánto tiempo se tarda en transmitir ?.

Cada punto presente 4 niveles de brillo y 8 niveles de color posibles, es decir un total de 32 estados posibles.
Pero los estados de color no son equiprobables, como los estados de brillo y color son independientes entre si
por lo tanto para un punto cualquiera será:

P( punto) = P(brillo)* P(color ) en consecuencia, la información vendrá dada por la entropía del sistema
4 8 4 8
1 1
H =  Pij ( punto) log 2 =   P (brillo)P (color ) log
P (punto ) i j 2
P (brillo )P (color )
i =1 j =1 ij i =1 j =1 i j

Para todos los puntos P(brillo) ,es la misma podemos resolver la primer sumatoria como
8 8
1 1
H = 4 *  P (brillo)Pj (color ) log 2 = 4 * P(brillo) Pj (color ) log 2
j =1 P i(brillo )P j (color ) j =1 P (brillo )P j(color )

8 8 ,
1 1 4
H = 4*  P (color ) log
j 2
=  P j (color ) log 2 P (color )
4 j =1
1 Pj (color ) j =1 j
4
 1
= 4 1 4 1 4 3 4 1 4 1 4 1 4 1 4 
H + log 2 + log 2 + log 2 + log 2 + log 2 + log 2 + log 2 =
1 
 10 log 2
1 1 3 1
5 1 10 10 20 1 20 1 10 10
 10 5 10 10 20 20 10 10 

1 1 1 3 1 1 1 1 
H =  * 5,32 + * 4,32 + * 5,32 + * 3,73 + * 6,32 + * 6,32 + * 5,32 + * 5,32 =

 10 5 10 10 20 20 10 10 

H = (0,532 + 0,864 + 0,532 + 1,119 + 0,316 + 0,316 + 0,532 + 0,532) = 4,743bits

Esta es la información promedio de cada punto de imagen

a) - Calculamos la cantidad de puntos de la imagen:

puntos
Cantidad _ de _ puntos = 800lineas * 600 = 4.800 puntos
lineas
La información de la imagen será:

I (imagen) = H * Cantidad _ de _ puntos = 4.743bits * 4.800 = 22.780,8bits

b) - Si transmitimos cuatro imágenes por segundo será:

1 1 = 91.123,2 bits
R = 4 * I (imagen) * = 4 * 22.780,8bits *
seg seg seg
Kbytes
c) - Si trasmitimos a 230,8 será:
seg
T 22.780,8bits
I I R bits
R= T = = 230,8 * 8 *1.000
Comunicación
De Datos Ingeniería en Sistemas de Información
UTN-FRRE

seg
=
22.78 = 0,0123seg
0,8bit
s
1.84
6.40
0
bits
seg