Teoría de la Información

Claude Elwood Shannon Norbert Wiener

(2)
(1)
1948 y 1949
Ing. Hernán Matías Ferro TEORIA DE LAS COMUNICACIONES - FI - UNaM 1
Norbert Wiener
Estudió como extraer la
información de señales,
que en general no
devenían de un proceso
diseñado. De esta forma
dio origen a la teoría de
la detección y de la
decisión estadística.

Ing. Hernán Matías Ferro TEORIA DE LAS COMUNICACIONES - FI - UNaM 2

Dada una fuente de
información y un canal de
comunicación, existe una
técnica de codificación tal
que la información se puede
transmitir por un canal a
cualquier rapidez menor
que la capacidad del canal y
una frecuencia de error
arbitrariamente pequeña,
no obstante la presencia de
ruido.
Ing. Hernán Matías Ferro TEORIA DE LAS COMUNICACIONES - FI - UNaM 3
 información

• La información está constituida por datos

desconocidos por el receptor.
• Cuanto menor probabilidad de que el receptor
deduzca este dato mayor será la información.
• Por lo tanto cuando un evento tenga menor
probabilidad de ocurrir, este suceso tendrá
mayor información.

Ing. Hernán Matías Ferro TEORIA DE LAS COMUNICACIONES - FI - UNaM 4

 Cantidad de información
1
𝐼(𝑥) = − log 𝑏 𝑃 𝑥 = log 𝑏
𝑃(𝑥)

Con b=2
1
𝐼(𝑥) = log 2 𝑏𝑖𝑡𝑠
𝑃(𝑥)

¿Por qué b=2?

𝑃(𝐴) = 𝑃(𝐵) = 1ൗ2

𝐼(𝐴) = 𝐼(𝐵) = log 2 2 = 1𝑏𝑖𝑡

Ing. Hernán Matías Ferro TEORIA DE LAS COMUNICACIONES - FI - UNaM 5
 Para calcular el log 2 𝑥
log 2 𝑥 = log 2 10 ∙ log 𝑥

log 2 10 = 3,32192809

log 2 𝑥 = 3,32192809 ∙ log 𝑥

Ing. Hernán Matías Ferro TEORIA DE LAS COMUNICACIONES - FI - UNaM 6

 EJEMPLOS
1- Determinar la cantidad de información de cada símbolo del siguiente universo
de posibilidades {a;b}.
a- Pa= 0,5 y Pb= 0,5
b- Pa= 0,7 y Pb= 0,3
c- Pa= 1

2- Determinar la cantidad de información de cada elemento de una fuente

discreta sin memoria los siguientes símbolos; 𝐴, 𝐵, 𝐶, 𝐷, 𝐸, 𝐹, 𝐺, 𝐻
a- Considerando que todos los símbolos tienen probabilidades iguales.
b- Considerando la siguiente distribución de probabilidades;

𝑃𝐴 = 0,35; 𝑃𝐵 = 0,22; 𝑃𝐶 = 0,18; 𝑃𝐷 = 0,13; 𝑃𝐸 = 0,06; 𝑃𝐹 = 0,03; 𝑃𝐺 = 0,02; 𝑃𝐻 = 0,01

Ing. Hernán Matías Ferro TEORIA DE LAS COMUNICACIONES - FI - UNaM 7

 Entropía
• La entropía es la Información promedio producida por una fuente.

Para una fuente con símbolo estadísticamente independientes que emite mensajes de una
logitud constante, podemos determinar la entropía de la fuente de la siguiente manera:
Siendo:
𝑚 = Número de símbolos de la fuente.
𝑃(𝑖) = Probabilidad de el símbolo i-ésimo.
𝐼(𝑖) = Información del símbolo i-ésimio
N= numero de símbolos del mensaje.
𝑚

ℎ = ෍ 𝑁𝑃(𝑖) 𝐼(𝑖)
𝑖=1
1
𝐼(𝑖) = log 2
𝑃(𝑖)
Esta h es la información del mensaje, ahora para saber la información promedio debemos
dividir a esta por N

1
𝐻 = σ𝑚 𝑚
𝑖=1 𝑃(𝑖) 𝐼(𝑖) = σ𝑖=1 𝑃(𝑖) log 2 𝑃 (Entropía promedio)
(𝑖)

Ing. Hernán Matías Ferro TEORIA DE LAS COMUNICACIONES - FI - UNaM 8

 Ejemplo

3- Determine la entropía de una fuente binaria con

ambos símbolos de igual probabilidad e
independientes.

1
𝑚=2 𝑃(1) = 𝑃(0) =
2

𝐻 = 2 (1/2) log 2 2 = 1

Ing. Hernán Matías Ferro TEORIA DE LAS COMUNICACIONES - FI - UNaM 9

Determine la entropía en función de P (probabilidad) de
una fuente binaria con probabilidades independientes.

𝑃(1) = 1 − 𝑃(0)
1 1
𝐻 = 𝑃(0) log 2 + 1 − 𝑃(𝑜) log 2
𝑃(0) 1 − 𝑃(0)
H
1.2

0.8

0.6
H

0.4

0.2

0
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 1.1

Ing. Hernán Matías Ferro TEORIA DE LAS COMUNICACIONES - FI - UNaM 10

5- Determinar la entropía del ejemplo 2.b.

S= 𝐴, 𝐵, 𝐶, 𝐷, 𝐸, 𝐹, 𝐺, 𝐻

𝑃𝐴 = 0,35; 𝑃𝐵 = 0,22; 𝑃𝐶 = 0,18; 𝑃𝐷 = 0,13;

𝑃𝐸 = 0,06; 𝑃𝐹 = 0,03; 𝑃𝐺 = 0,02; 𝑃𝐻 = 0,01

𝐻 𝑆 = ෍ 𝑃𝑖 ∙ 𝐼𝑖
𝑖=𝐴

Ing. Hernán Matías Ferro TEORIA DE

11
LAS COMUNICACIONES - FI - UNaM
 Redundancia
Se refiere a que las probabilidades dentro de un mensaje
se repiten de una cierta manera predecible. Mientras
mayor sea la redundancia de un mensaje, menor será su
incertidumbre y menor la información que contenga.
• INDICE REAL DE UN LENGUAJE (r): es la entropía de
todos los mensajes de una determinada longitud
dividido por esa longitud.
• INDICE ABSOLUTO (D): es el logaritmo en base dos de
todas las (1/P) de las posibles letras del lenguaje.
• REDUNDANCIA (R)
• : es el indice absoluto menos el real
𝑅 =𝐷−𝑟
Ing. Hernán Matías Ferro TEORIA DE
12
LAS COMUNICACIONES - FI - UNaM
 Velocidad de entropía o
velocidad de información
Si
τത = duración promedio de símbolo
R = velocidad de Información
𝑯 𝒃𝒊𝒕𝒔
𝑹=
𝝉ത 𝒔𝒆𝒈

τത = ෍ 𝑃(𝑖) τ(𝑖)
𝑖=1
1
Promedio de símbolos por unidad de tiempo=
τത
Ing. Hernán Matías Ferro TEORIA DE LAS COMUNICACIONES - FI - UNaM 13
 Ejemplo
Calcúlese la velocidad de entropía de una fuente
telegráfica que tiene;
𝑃𝑝𝑢𝑛𝑡𝑜 = 2/3, τ𝑝𝑢𝑛𝑡𝑜 = 0,25𝑠, 𝑃𝑟𝑎𝑦𝑎 = 1/3, τ𝑟𝑎𝑦𝑎 = 0,4𝑠
𝑚
1 2 3 1
𝐻 = ෍ 𝑃(𝑖) log 2 = log 2 + log 2 3
𝑃(𝑖) 3 2 3
𝑖=1
𝐻 = 0,918
2
2 1
τത = ෍ 𝑃(𝑖) τ(𝑖) = ∙ 0,25 + ∙ 0,4 = 0,3
3 3
𝑖=1
𝐻
𝑅 = = 3,06 𝑏𝑖𝑡𝑠ൗ𝑠𝑒𝑔
τത
Ing. Hernán Matías Ferro TEORIA DE LAS COMUNICACIONES - FI - UNaM 14
Considere un sistema de modulación por pulso cuya entrada
es la señal continua f(t) de una ancho de banda W=50Hz,
suponga una velocidad de muestreo de 𝑓𝑠 =2W, y que existen
cuatro niveles de cuantía cada uno de ellos con las siguientes
probabilidades ½, ¼, 1/8 y 1/8. Determine la velocidad de
entropía.
1 1 1 1
𝐻 = log 2 2 + log 2 4 + log 2 8 + log 2 8 = 1,75 𝑏𝑖𝑡𝑠ൗ𝑠í𝑚𝑏𝑜𝑙𝑜
2 4 8 8

1 1
𝑓𝑠 = = 100
τത 𝑠𝑒𝑔.

𝐻
𝑅 = = 100 ∙ 1,75 = 𝟏𝟕𝟓 𝒃𝒊𝒕𝒔ൗ𝒔𝒆𝒈.
τത
Ing. Hernán Matías Ferro TEORIA DE LAS COMUNICACIONES - FI - UNaM 15
 Citas
(1) Imagen extraida de http://www.revistamilmesetas.com/24-02-
2013-dicen-que-dijo-claude-shannon
(2) Imagen extraida de http://canalhypatia-
pensamientosciencia.blogspot.com.ar/2009/03/norbert-wiener.html

Se Recomienda ver el siguiente video

https://www.youtube.com/watch?v=vVokVFHz8uA&ab_channel=PEDE
CIBA25

Ing. Hernán Matías Ferro TEORIA DE LAS COMUNICACIONES - FI - UNaM 16