ESCUELA SUPERIOR POLITECNICA DE CHIMBORAZO

FACULTAD DE ELECTRONICA E INFORMATICA

ESCUELA DE INGENIERIA EN ELECTRONICA EN CONTROL Y REDES
INDUSTRIALES
ANALISIS DE SEALES
Cdigo: 431
RESUMEN ENTROPA DE LA INFORMACION
La teora de la informacin fue desarrollada encontrar el modo adecuado para la
comprensin y alamacenamiento fiable y una buena transmisin de datos. Su
aplicacin es en muchas reas, incluyendo inferencia estadstica, y el proceso del
anlisis de datos.
Entropa es un concepto el cual fue usado en termodinmica, mecnica esttica
y luego en la teora de la informacin. Se conoce como una medida de la
informacin o incertidumbre que contiene una variable aleatoria (psicolgica) ,
tiene que ver con cualquier proceso que permite reducir o eliminar la
incertidumbre: tardaron aos en hacer aparente la relacin entre la informacin y
la entropa.
Se puede decir que al recibir una informacin de un tema
ignorancia, desorden o incertidumbre de este.

disminuyamos la

Es importante entender que la informacin que proporciona un mensaje, en el

proceso de transmisin disminuir pero no aumentara, ya que al transmitir una
informacin a un destinario equivocado no ser la misma informacin.
La informacin y su medida
La teora de la informacin de Shannon, la informacin es cualquier cosa que va
hacia a una fuente receptora, all de alguna forma la informacin transforma al
receptor, se refiere a la inseguridad que desaparece al momento de se recibida
una seal por el receptor. Shannon se preocupa en encontrar las probabilidades
esto abarca una concepcin de la informacin como algo cualitativo y una
equilibrio que entre ms posible sea un signo mayor ser la cantidad de
informacin.
La informacin es medida a travs de la falta de incertidumbre, el cual
proporciona un anlisis de la cantidad de la informacin, por lo tanto la medida de
la informacin que proporciona la fuente de la informacin.

La entropa tambin conocida como entropa de Shannon, en honor a su mentor

Claude E. Shannon.
La entropa asociada a la variable aleatoria X es un nmero que depende de la
distribucin de probabilidad de X e indica lo predecible que puede ser un resultado
de proceso sujeto a incertidumbre. Del punto de vista matemtico cuanto ms
plana sea la distribucin de probabilidad es ms difcil acertar cul de ellas se
dar en cada instante. Si una distribucin es plana tiene alta entropa esto ocurre
cuando todos los valore de x tienen probabilidades similares, en cambio cuando
algunos valores de X son diferentes y mucho ms probables que otros (La
funcin es ms puntiaguda en estos valores). Cuando existe alta entropa es difcil
predecir cul podra ser el nuevo valor de X, ya que existe la posibilidad de que
todos los valores de X sean igualmente probables.
Shannon ofrece una definicin que ofrece las siguientes afirmaciones.
La medida de la informacin debe ser continua, un cambio pequeo en la
probabilidad de aparicin de los elementos de la seal debe no debe cambiar
mucho a la entropa
Si todos los elementos de la seal son igualmente probables al momento de
aparecer, entonces la entropa ser mxima.
La informacin que aporta xi el cual es un valor determinado, de una variable
aleatoria discreta X, se define como:
(

(1/p(xi)) =

p(xi)

Su unidad es el bit para ello se utiliza el logaritmo en base 2 (por ejemplo, cuando
se emplea el logaritmo neperiano o natural se habla de nats). Pese al signo
negativo en la ltima expresin, la informacin deber tener siempre el signo
positivo.
La entropa o entropa de la informacin determina como la informacin media
puede adoptar (tambin medida en bits): tambin el lmite mximo al cual se pude
comprimir una informacin sin ninguna prdida de la misma. El clculo se puede
realizar el clculo con la formula siguiente:

Propiedades de la entropa

1. 0 <= H <=
. Es decir, la entropa H est delimitada superiormente
(cuando esta es mxima) y no cuando se supone que no existe perdida de
informacin.
2. Dado un procesos con posibles resultados {A1, .., An} con probabilidades
relativas
3. p1, . . . , pn, la funcin H(p1, . . . , pn), es mxima en el caso de que p1 =
= pn =1/n,
4. Dado un procesos con posibles resultados {A1, .., An} con probabilidades
relativas
5. p1, . . . , pn, la funcin H(p1, . . . , pn), es nula en el caso de que pi = 0 para
cualquier
WEBGRAFIA:

http://sistemas.fciencias.unam.mx/~cvrc/files/stnl.pdf
http://tgsentropia.blogspot.com/2010/10/shannon-y-la-teoria-de-lainformacion.html
http://www.eumed.net/librosgratis/2008b/405/La%20entropia%20de%20Shannon.htm
http://fundamentosdelasticunisalle.blogspot.com/2010/09/la-entropia-de-lainformacion-y-la.html