Información

Se  define  información  con  todo  aquello  que  a  través  de 

nuestros  sentidos  llega  al  cerebro  y  produce  un  incremento 
en nuestro nivel de conocimiento.

La  información  se  recibe  por  medio  del  mensaje,  que  está
compuesto por símbolos.

El  soporte  físico  del  mensaje,  en  telecomunicaciones,  es  una 

oscilación  eléctrica  o  electromagnética  que  constituye  la 
señal.

El  concepto  de  cantidad  de  información  que  proporciona  el 

conocimiento  de  un  hecho  viene  relacionada  con  la 
incertidumbre de que ocurra.
1/18
 Cantidad de Información
Se  puede  afirmar  que  cuanto  mayor  sea  la  incertidumbre  de  que  se
presente un hecho, mayor cantidad de información se recibe al conocer 
su ocurrencia.

Si  un  suceso  tiene  una  probabilidad  grande  de  ocurrencia  su 
conocimiento proporciona poca información. La cantidad de información 
se podría obtener como:
1
CS 
P( s)
Pero se elige, como medida de la cantidad  de información,  el logaritmo 
de esta cantidad:
1
I  log( )
P(s)

Dependiendo de la base del logaritmo tenemos:
2     → bit
10   → Hartley
e      → nat 2/18
 Fuentes de Información
Son  los  dispositivos  que  generan  información.  Esta  aparece  como 
consecuencia de la variación de características físicas de la fuente.

El  soporte  físico  del  mensaje  es  el  signo  o  señal,  éste  puede  ser  un 
sonido, distintos niveles de intensidad luminosa, variaciones de tensión, 
etc. 

Las señales pueden ser discontinuas (digitales) o continuas (analógicas). 

En el primer caso están formadas por un conjunto discreto de elementos 
o signos distintos entre sí que se llaman símbolos o caracteres. 

En  el  segundo  caso  pueden  estudiarse  descomponiéndolas  en  un 

número  discreto  de  niveles,  cada  uno  de  los  cuales  representa  un 
símbolo.
3/18
 Fuente de información de memoria nula

Es  aquella  en  la  que  dos  símbolos  emitidos  son  estadísticamente 
independientes (no hay memoria). Se describe mediante su alfabeto:
S1, S2, S3, …, Sn y las probabilidades con las que se presentan cada uno de 
sus símbolos: P(S1), P(S2), P(S3), …, P(Sn).

Si  los  símbolos  presentan  la  misma  probabilidad  de  aparición,  la 
cantidad de información por símbolo es:
1
I i  log 2 ( )   log 2 ( P( S )) bits
P( Si )
Se define como entropía H(S) de la fuente de memoria nula a la cantidad 
media de información por símbolo:

1
H ( S )   P( Si ) log 2 ( )   P( Si ) I ( Si ) bits / símbolo
i P( Si ) i

4/18
 Extensión de una fuente de memoria nula (I)

Si  en  lugar  de  transmitir  símbolos  aislados  se  trabaja  con  grupos  de 
símbolos,  ejem.:  000,  001,  010,  011,  100,  …,  111.  La  fuente  primaria 
podría considerarse como una fuente de ocho símbolos.

Para una fuente de memoria nula con alfabeto S1, S2, .. Si, … Sn, en la que 
Pi es la probabilidad de emitir el símbolo Si, la extensión de orden q de S, 
Sq, es una fuente de memoria nula de nq bloques (G1, G0, … Gnq). 

Al  bloque  Gi le  corresponde  una  secuencia  de  q símbolos  de  los  n que 
tiene el alfabeto.
( S i1 , Si2 ,...........S i q )

La probabilidad de que se presente el bloque Gi, P(Gi), es la probabilidad 
de la secuencia anterior.

5/18
 Extensión de una fuente de memoria nula (II)

Esta secuencia                                      es una de las n
( S i1 , S i2 ,...........S i q ) q variaciones con repetición 

que  se  pueden  construir  con  los  n símbolos  de  la  fuente  primitiva.  La 
probabilidad del grupo Gi será:
P (Gi )  ( Pi1  Pi2  ...........  Piq )

La entropía de la fuente H(sq) tendrá un valor de:

H ( S q )  qH ( S )

La  información  media  de  un  bloque  es  q veces  (el  número  de  símbolos  del 
bloque) la de un símbolo de la fuente inicial.

6/18
 Fuentes de Markov
En este tipo de fuentes la presencia de un símbolo depende de la secuencia de 
símbolos emitidos anteriormente, son fuentes de memoria no nula.

Las fuentes de Markov quedan definidas por su alfabeto (S1, S2, .. Si, .., Sn), el 
orden m y el conjunto de probabilidades condicionales.

Una fuente de Markov tiene orden m cuando la probabilidad de que se emita 
el símbolo Si es función de los m símbolos precedentes.

Una forma de representar una fuente de Markov es mediante su diagrama de 
estados.
0.2
Las  probabilidades  condicionales  para 
la fuente de la figura son:
0.8 1 0 0.5
P(0/0)=0.5 P(1/0)=0.5
0.5
P(1/1)=0.8 P(0/1)=0.2
7/18
 Fuentes de Markov Ergódicas (I)
Una  fuente  de  Markov  es  ergódica  cuando  observada  un  tiempo 
suficientemente  amplio,  emite  con  probabilidad  1  una  secuencia  típica  de 
símbolos.
En  una  fuente  de  Markov,  después  de  generarse  un  número  suficiente  de 
símbolos, se llega a una distribución de probabilidades estacionaria para el 
conjunto de estados de la fuente, siendo además única. Esto quiere decir, que 
los distintos estados irán apareciendo con una frecuencia  que sólo  depende 
de  la  fuente.  Puesto  que  la  distribución  estacionaria  no  depende  de  la 
distribución  inicial  con  que  los  estados  son  escogidos,  puede  calcularse 
directamente a partir de las probabilidades condicionales de los símbolos.
Las  probabilidades  de  estado  de  la  distribución  estacionaria  se  pueden 
calcular resolviendo:
Pi   Pj  Pi / j
j
1   Pi
i
8/18
 Fuentes de Markov Ergódicas (II)

La entropía de la fuente de Markov ergódica  viene dada por:

H ( S )   P ( S j1 , S j 2 ,....., S jm ) H ( S i / S j1 ,....., S jm )
Sm
q
1
H ( S )   P( S j1 , S j 2 ,.....S jm )  P ( S i / S j1 ,....., S jm ) log 2 ( )
Sm i 1 P( S i / S j1 ,....., S jm )
1
H ( S )   P ( S j1 , S j 2 ,.....S jm , S i )P ( S i / S j1 ,....., S jm ) log 2 ( )
S m1 P ( Si / S j1 ,....., S jm )

9/18
 Fuente Afín

Dada una fuente de Markov de orden m cualquiera, alfabeto  (S1, S2,  …, Sr)  y 

probabilidades absolutas de los símbolos (P(S1), P(S2), …, P(Sr)). Se denomina 
fuente  afín  de  S,  representada  por  S,  a  la  fuente  de  memoria  nula  de  igual
alfabeto y probabilidades que la fuente S.

Se puede comprobar que una fuente de Markov proporciona menor cantidad 
de información que otra de memoria nula del mismo alfabeto.

H (S )  H (S )

10/18
 Valores de Entropía

El sentido de aumento de la entropía en función del tipo de fuente es 
el siguiente:

Aumento de la entropía

Fuente de  Fuente de  Fuente de 

Markov. símbolos de  símbolos 
probabilidad  equiprobables.
cualquiera.

11/18
 Redundancia
Sea una fuente de alfabeto:
S  {S1 , S 2 ,....., S r }
Con probabilidades:
P1 , P2 ,....., Pr
Si la fuente es de símbolos equiprobables:
1 1
H ( S )  H max ( S )   P ( Si ) log 2  r  P( Si ) log 2  log 2 (r )
i P( Si ) P( Si )
Si no lo son:
H ( S )  log 2 (r )
Se define como redundancia absoluta de la fuente a la diferencia:
H max ( S )  H ( S )

12/18
 Redundancia y velocidad media de información

Normalmente  se  emplea  su  valor  relativo,  denominado  simplemente 

redundancia:
H max ( S )  H ( S ) H (S )
R  1
H max ( S ) log 2 r
Al siguiente cociente se le denomina eficacia:
H (S )
log 2 r
La velocidad media de información es la información media transmitida por 
unidad de tiempo. Si una fuente produce información media por símbolo H(S) 

y la duración de un símbolo es de     segundos, la velocidad media será:
1
V   H (S ) bit / segundo


13/18
 Capacidad de un sistema (I)
La  transmisión  de  señales  por  un  canal  está limitada  por  tres  causas 
fundamentales:
• Está limitada la potencia máxima del canal, lo que se traduce en una 
limitación en el valor máximo del voltaje que se puede emplear.
• Está limitada la velocidad de variación de la señal.
• Los  sistemas  reales  no  permiten  distinguir  o  separar  un  número 
indefinido de niveles de amplitud.
Estas restricciones imponen un límite superior  a la  velocidad  media  de 
información que puede transmitirse por un canal real, consecuencia de:
• Todos  los  sistemas  tienen  elementos  que  almacenan  energía, 
existiendo un límite para la variación de ésta.
• En  todos  los  sistemas  existen  fluctuaciones  de  tensión  debidas  al 
ruido,  que  aunque  muy  pequeñas,  no  nos  permiten  subdividir 
indefinidamente las amplitudes distinguibles de la señal.

14/18
 Capacidad de un sistema (II)

Como consecuencia de lo anterior, hay un mínimo de tiempo     , necesario 
para  la  variación  de  la  energía  y  un  máximo  número  de  niveles 
reconocibles de la amplitud señal n (función del valor máximo y del nivel 
de ruido). 
La  cantidad  de  información 
Niveles
transmitida  por  este  canal  durante 
n
un  tiempo  T  será función  de  los 

parámetros n y    .
V
El  número  de  combinaciones  de 
1 amplitud  de  señal  diferentes  y 
reconocibles  que  podemos 
 t
transmitir en el intervalo T serán: 
T
T
N  n
15/18
 Capacidad de un sistema (III)
La  cantidad  de  información  que  suministra  la  fuente  se  relaciona  con  el 
número de mensajes que puede generar la fuente (N).
Si  suponemos  que  los  mensajes  son  equiprobables,  la  entropía  será
máxima con un valor de:
 T  T
H max ( S )  log 2  n   log 2 n
  bit / mensaje
 
La fuente más el canal se puede considerar  como una  fuente  equivalente 
en destino, y en este caso se puede definir la capacidad del canal como la 
velocidad máxima de la fuente equivalente:
1
C  log 2 n bit / segundo


El parámetro    está muy relacionado con el ancho de banda del canal y n
con la relación señal/ruido del mismo.

16/18
 Fórmula de Shanon (I)
Shanon  obtuvo  el  valor  de  la  capacidad  de  un  canal  como  función  de  la 
relación señal/ruido y la anchura de banda disponible. La relación entre el 

ancho de banda y el valor de    es: 
1
B
2
Por  otra  parte  en  recepción  la  señal  viene  mezclada  con  el  ruido,  lo  que 
hace difícil percibir exactamente la verdadera amplitud. La habilidad para 
recibir la información se denomina resolución.

Si en el ancho de banda considerado hay una potencia media de ruido N y 
de señal S, la amplitud recibida será de              . En esta amplitud se pueden 
N S
distinguir saltos de       voltios, luego el número medio de niveles diferen‐
N
tes será de:
N S
N
Cualquier  amplitud  o  diferencia  de  amplitud  de  señal  inferior  a       N      no 
podrá distinguirse del ruido.
17/18
 Fórmula de Shannon (II)
Finalmente la capacidad la podemos expresar como:

1 S S
C  log 2 n  2 B  log 2 ( 1  )  B  log 2 (1  ) bit / seg
 N N
Esta  es  la  velocidad  máxima  de  transmisión  de  la  información  que 
se puede obtener de un determinado canal con ancho de banda B y 
relación señal ruido S/N.

 C es la capacidad en bits/seg.
 B es el ancho de banda en Hz.
 S/N es la relación señal ruido (adimensional).

18/18