Universidad del Zulia

Facultad de Ingeniería
Escuela de Ingeniería Eléctrica
Departamento de Circuitos y Comunicaciones
Asignatura: Comunicaciones II

Unidad I. Teoría de la Información

Prof. Andry Contreras

 Comunicaciones Digitales

Teoría de la Información
 Comunicaciones Digitales

¿Qué es Comunicación?
«Es el proceso mediante el cual se transfiere información desde un
punto en el espacio y en el tiempo, denominado “fuente de
información”, hasta otro punto denominado “destino de la
información”, con el mínimo de pérdidas o perturbaciones»

Las perturbaciones en la mayoría

Los sistemas de comunicación
de los sistemas de comunicación
pueden considerarse entonces
se parecen a las perturbaciones a
como una prolongación de
las cuales nuestros sentidos están
nuestros sentidos
adaptados

Unidad I: Teoría de la Información

 Comunicaciones Digitales

Modelo de un sistema de transmisión de información

Fuente de Transductor Ruido Transductor

Destino
Información de entrada de salida

Transmisor Canal Receptor

Sistema de transmisión

Unidad I: Teoría de la Información

 Comunicaciones Digitales
Modelo del sistema
Ruido
El ruido que afecta a un
sistema de comunicación
se clasifica dependiendo de su origen

Interno Externo

Unidad I: Teoría de la Información

 Comunicaciones Digitales
Modelo del sistema
Ruido

Proviene de los componentes

Interno
del sistema

Unidad I: Teoría de la Información

 Comunicaciones Digitales
Modelo del sistema
Ruido
Producido por
descargas eléctricas.
Interno Atmosférico En la transmisión de
datos es de particular
importancia.

Externo

Unidad I: Teoría de la Información

 Comunicaciones Digitales
Modelo del sistema
Ruido

Interno Atmosférico

Debido al sol y otros

Extraterrestre cuerpos calientes del
firmamento
Externo

Unidad I: Teoría de la Información

 Comunicaciones Digitales
Modelo del sistema
Ruido

Interno Atmosférico

Extraterrestre
Descargas por efecto
Externo corona en líneas de alta
Producido por tensión, motores
el hombre eléctricos, alumbrado
fluorescente, entre
otros.
Unidad I: Teoría de la Información
 Comunicaciones Digitales
Modelo del sistema
¿Qué es información, mensaje y señal?

Información, en comunicaciones, se define en forma matemática

precisa y constituye una cantidad medible

Mensaje es la materialización de la información en una manifestación

física, el mensaje es el soporte de la información

Señal es la magnitud eléctrica que resulta de la transformación de una

magnitud no eléctrica portadora de información en una magnitud
eléctrica variable en el tiempo

La señal de salida del transductor se conoce como “señal mensaje”

Unidad I: Teoría de la Información

 Comunicaciones Digitales

Características de las comunicaciones digitales

 En las comunicaciones digitales la información se representa
mediante una señal digital.
 La mayoría de las señales digitales son aperiódicas.
 Se usan dos nuevos términos para describir una señal digital:
• Tasa de bit, en lugar de la frecuencia (bps)
• Intervalo de bit, en lugar del periodo (seg)

Unidad I: Teoría de la Información

 Comunicaciones Digitales

Ventajas de la transmisión digital

Las señales digitales se pueden regenerar. Permite el empleo de

repetidores regenerativos.

Regenerador
digital

La principal ventaja de los sistemas digitales de comunicación es que

impide que los efectos del ruido se acumulen.

Unidad I: Teoría de la Información

 Comunicaciones Digitales
Ventajas
Las señales digitales son fáciles de detectar. Habrá una menor
probabilidad de que el receptor confunda un pulso por otro y entregue
un dato erróneo.
Esto no sucede con las comunicaciones analógicas

El aumento de la distancia
provoca la disminución de la
intensidad de señal

La amplificación es inservible
pues refuerza con la misma
proporción tanto el ruido como
la señal

Unidad I: Teoría de la Información

 Comunicaciones Digitales
Ventajas

Otra ventaja de las señales digitales es su adaptabilidad al multiplexaje

por distribución de tiempo.

Los sistemas digitales son cada vez más

económicos que lo analógicos debido a que los
costos de fabricación de los circuitos digitales se
reducen de manera importante con el tiempo.

Unidad I: Teoría de la Información

 Comunicaciones Digitales
Ventajas
Las principales ventajas de la comunicación digital:

 Alta inmunidad al ruido y a la distorsión

 Empleo de regeneradores que eliminan el ruido
 Codificación de las señales para lograr tasas de error sumamente
bajas y alta fidelidad
 Mayor eficiencia y facilidad de multiplexaje de varias señales digitales
 Empleo de microprocesadores, conmutación digital y circuitos
integrados a gran escala

Estas ventajas no se obtienen gratis, el precio que se tiene que pagar

es el aumento en el ancho de banda de transmisión

Unidad I: Teoría de la Información

 Comunicaciones Digitales

Ancho de banda y Potencia de transmisión

 En general, es difícil optimizar ambos recursos simultáneamente.

 Se puede clasificar los canales como “limitados en potencia” o

“limitados en ancho de banda”.

La meta es diseñar un sistema que transmita información a la máxima

velocidad con el mínimo de potencia y ancho de banda.

Unidad I: Teoría de la Información

 Comunicaciones Digitales
Ancho de Banda
Ancho de banda de una señal digital

Si la señal digital es periódica, la señal descompuesta tiene

representación en el dominio de espectral con frecuencias discretas

Unidad I: Teoría de la Información

 Comunicaciones Digitales
Ancho de Banda
Ancho de banda de una señal digital

Si la señal digital es aperiódica, la señal descompuesta tiene

representación en el dominio de espectral con frecuencias continuas

Unidad I: Teoría de la Información

 Medida de la Información

Teoría de la Información
 Medida de la Información

¿Cuál es el propósito de un sistema de

comunicación?
Es transmitir información

¿Cómo podemos medir la información?

Teoría de la Información

La palabra “información”, o cantidad de

información es una expresión técnica y con un
valor cuantitativo, que está asociado al
concepto de la incertidumbre.
En 1949, Claude Shannon
Unidad I: Teoría de la Información
 Medida de la Información

Un hombre quiere viajar al Caribe y llama a la Estación Meteorológica y

recibe los siguientes pronósticos.

1º en forma virtual, no
contiene información

2º pronóstico, el de
lluvia proporciona una
información que se
desconocía

3º pronóstico contiene aún

más información.

Orden decreciente en cuanto a probabilidad

Orden creciente en cuanto a información
Unidad I: Teoría de la Información
 Medida de la Información

Consideremos un suceso A cualquiera.

La ignorancia en cuanto al suceso es simplemente la incertidumbre

que se tiene acerca de él.

Al realizarse el suceso, la incertidumbre se convierte en certeza y

hemos obtenido un conocimiento o recibido una información.
Cantidad de Incertidumbre  Cantidad de Información

La magnitud de la incertidumbre depende del grado de probabilidad

de ocurrencia del suceso A.

U ( A)  I ( A)  f ( PA )

Unidad I: Teoría de la Información

 Medida de la Información

Medida de la información
1
f ( PA )  logb   logb PA
PA

En el caso b = 2, la unidad de información se denomina “bit”

1
I ( A)  log 2   log 2 PA bits
PA

Si la información se determina por medio del logaritmo base 10

1
log 2 N  .log b N log 2 N  3,322.log10 N
logb 2

Unidad I: Teoría de la Información

 Medida de la Información

Propiedades de la relación funcional

Aditividad
PA  PB .PC  I ( A)  f ( PB .PC )
I ( A)  I ( B)  I (C )
f ( PA )  f ( PB )  f ( PC )

Magnitud de la información
lim f ( PA )  0
f ( PA )  0 donde 0  PA  1 PA 1

Probabilidad de varios sucesos

f ( PA )  f ( PB ) para PA  PB

Unidad I: Teoría de la Información

 Medida de la Información

Ejercicio 1. Información asociada a la caída de una moneda

Determinar la cantidad de información

asociada a la caída de una moneda

Solución

Tendrán igual probabilidad

P  P1  P2  P( E )  1/ 2
1=cara y 2=sello
Cantidad de información
1 1
I ( E )  log 2  log 2  log 2 2  1 bit
P( E ) 1/ 2

Unidad I: Teoría de la Información

 Medida de la Información

Ejercicio 2. Información de una foto

Número de pixeles:
500 filas y 500 columnas.

Cada uno de esos elementos tendrá un determinado valor de

coloración. Considerar 256 niveles de colores y que todos los
elementos son independientes entre sí

Determinar la cantidad de información de la foto

Unidad I: Teoría de la Información

 Medida de la Información

Ejercicio 3. Información asociada a la aparición de un símbolo en

el Código ASCII

En el caso del alfabeto ASCII se

presentan 128 símbolos, los cuales
son equiprobables

Determinar la cantidad de
información de un símbolo

Unidad I: Teoría de la Información

 Características de la información

Teoría de la Información
 Características de la Información

Entropía

Velocidad
Entropía
de
condicional
información
Características

Redundancia Codificación
Agregada de canal

Unidad I: Teoría de la Información

 Características de la Información

Entropía

Velocidad
Entropía
de
condicional
información
Características

Redundancia Codificación
Agregada de canal

Unidad I: Teoría de la Información

 Características de la Información

Entropía
Considerar una fuente discreta que produce N símbolos o mensajes

 x1, x2 , x3 ,..., xN }  P1, P2 , P3 ,..., PN } Pi  Pj , i  j

De la definición de la probabilidad
N

P
j 1
j 1

Cuando se transmite un mensaje cualquiera 𝑥𝑗 I j  I ( j )  log 2 (1/ Pj ) bits

Si se transmite una larga secuencia de L símbolos. L >> 1 símbolos

N
1
1 1  LP2 I 2  LP3 I 3  ...  LPN I N  L  Pj .log 2
It  LPI bits
j 1 Pj

Unidad I: Teoría de la Información

 Características de la Información
Entropía

No se puede conocer con certeza cual mensaje se va a producir por

una fuente de información, por consiguiente se espera obtener en
promedio de la información total
It N 1
H    Pj .log 2 bits / símb
L j 1 Pj

Esta información promedio normalmente se representa con la letra

H, que simboliza la “Entropía de la Fuente”, como la denominó
Shannon

Unidad I: Teoría de la Información

 Características de la Información
Entropía
Propiedades de la Entropía

Es máxima cuando las probabilidades de ocurrencia de los símbolos

son iguales
H max  log2 N 0  H  log 2 N

La entropía (H) es una medida de la incertidumbre que nos provee una

variable aleatoria, por consiguiente cumple las propiedades de la
relación funcional

Extensión de una fuente A H ( Ak )  k.H ( A)

 x1 x1 x1 x2 x1 x3 x2 x1 x2 x2 x2 x3 x3 x1 x3 x2 x3 x3 
 x1 x2 x3 ... xN 
 

A
 A2   
  PP
P
 1 P2 P3 ... PN   1 1 PP
1 2 PP
1 3 P2 P1 P2 P2 P2 P3 P3 P1 P3 P2 P3 P3 

Unidad I: Teoría de la Información

 Características de la Información
Entropía
Ejercicio 4. Entropía de una Fuente Binaria

Sea una fuente binaria (N = 2)

¿Cuál es el valor de la Entropía de la fuente?

Unidad I: Teoría de la Información