Está en la página 1de 8

Ing.

Freddy Toribio Huayta Meza

Objetivo
La Teora de la Informacin nos muestra, entre otras cosas, el camino a seguir para determinar la cantidad de informacin til de unos datos y para comprimir la informacin de manera que los datos se representen de una manera eficiente.

Metodologa
Se desarrolla en trminos de probabilidades, ya que la informacin tiene una naturaleza aleatoria (si supisemos de antemano la informacin, para qu la querramos?). Por supuesto, en la realidad no disponemos a priori de las probabilidades necesarias, por lo que habr que estimarlas de los datos existentes. En este trabajo supondremos conocidas las caractersticas estadsticas de nuestros datos.

Fuentes de informacin
Es un elemento que entrega informacin, como pueden ser una persona hablando, un ordenador entregando datos... La visin de la persona hablando (por ejemplo), nos puede servir para ver los elementos ms importantes en la emisin de la informacin.

Esto se puede formalizar con unas definiciones ms rigurosas. Una fuente de informacin es un elemento que entrega una seal, y una seal es una funcin de una o ms variables que contiene informacin acerca de la naturaleza o comportamiento de algn fenmeno.

Tipos de fuentes de informacin

Las fuentes de informacin se clasifican basndose en el tipo de seal que entregan. Se pueden clasificar, segn el tipo de variable independiente (tiempo) en: Fuentes de tiempo continuo: la funcin est definida para cualquier valor de la variable independiente. Fuentes de tiempo discreto: la funcin slo est definida para un conjunto contable de instantes de tiempo.

Tipos de fuentes de informacin

Pero se pueden clasificar tambin segn el rango de valores que cubren las seales. En este caso los tipos de fuentes de informacin sern: Fuentes continuas o de amplitud continua: el valor de la funcin toma un rango continuo de valores. Fuentes discretas o de amplitud discreta: el valor de la funcin slo toma un conjunto finito de valores. A cada uno de estos valores lo llamamos smbolo. El conjunto de todos los smbolos se suele llamar alfabeto. La eleccin del alfabeto es, en cierto modo, arbitraria, ya que podemos varios smbolos para crear otros.

Informacin de un smbolo

Como hemos visto, a mayor sorpresa (probabilidad de aparicin de un smbolo menor) mayor es la informacin que aporta ese smbolo. De esta manera se define la informacin que aporta un smbolo en funcin de su probabilidad de aparicin como: Aunque la base del logaritmo se puede tomar arbitrariamente, se suele tomar base 2. De este modo, la informacin de un smbolo se mide en bits. La informacin de un smbolo tiene las siguientes propiedades: , ya que la probabilidad siempre est comprendida entre 0 y 1. Esta propiedad nos dice que un smbolo podr aportar mucha, poca o ninguna informacin, pero nunca supondr una prdida de informacin.


Como habamos visto antes, si sabemos de antemano que smbolo va a aparecer, ste no aporta ninguna informacin nueva. Es decir, a mayor sorpresa, mayor informacin. Esto quiere decir que la informacin aportada por un smbolo que es la concatenacin de otros dos es la suma de las informaciones de ambos smbolos.