Facultad de Informtica y Electrnica

Escuela de Ingeniera Electrnica

Control y Redes Industriales
Anlisis de Seales

Adriana Prez
Cdigo 778

Ing. Tony Flores

Cuarto A
29/Oct/2014

Entropa
Introduccin:
Su trmino fue planteado por Rudolf J. E. Clausius en 1850 se introdujo para
poder medir el grado de identidad de distribucin de la energa. En el siglo XIX se
defini en fsica como el desorden que existe entre las partculas.
Existen tres tipos de entropa:
o La que se encuentra en termodinmica
o La de mecnica estadstica
o La informacional
Es muy asociada a la termodinmica ya que se puede medir las partculas de
estados en un determinado sistema.
La entropa es capaz de medir la capacidad aleatoria que existe en un sistema que
fue propuesta por Shannon en 1948.
Shannon ofreci una serie de afirmaciones con la cual se poda definir exactamente
lo que es entropa.
La primera Ley de Einstein muestra que la entropa es la igual a la disminucin de
energa.
En mecnica estadstica la entropa es una magnitud fsica de la energa que no se
puede utilizar en un trabajo.
En la informacin, una seal puede enviar distintos mensajes que pueden ser
escogidos en distinto orden por las revelaciones que se han dado con los aos.
Concepto:
Su significado tiene que ver con la informacin y transmisin de la seal aleatoria
es la medida de comunicacin e incertidumbre que posee smbolos necesarios para
tratar un proceso.
La entropa es ms aceptada en la informacin que en las otras ramas pero este
trmino no es muy aceptado su concepto es objetivo ya que tiene atributos humanos
como la incertidumbre y la ignorancia que en parte es un poco subjetiva.
Tambin se la puede definir como el ruido que se encuentra en el ambiente as
como el desorden que puede contener o dejar un sistema. Siendo as la proporcin
de informacin que contiene una seal.
Shannon nos da diversas maneras de definir a la entropa donde afirma lo siguiente:

La informacin debe ser continua es decir proporcional especialmente en la

medida.
La entropa ser mxima cuando los objetos que posee esa seal son
equiprobables en el momento que aparecen.

La entropa contiene un smbolo en su fuente que se mide por la magnitud de la

cantidad media de los datos.
Estos mensajes se miden en bits, para poder medirla se utiliza logaritmos que se
encuentran en base dos.
= 2 ( )
El nmero de bits nos muestra que pueden surgir dos posibilidades.
Un mensaje posee distintas probabilidades siendo diferentes para cada uno, cuando
posee una misma probabilidad se dice que la entropa es mxima, pero cuando es
diferente la entropa es menor.
Cuando existe un solo mensaje y este es el nico que puede ser elegido, quiere
decir que la entropa ser nula al no haber desorden.
Cuando hay incertidumbre en el mensaje ya que ha existido ruido en la seal se
dice que existe una entropa relativa entre los mensajes que son recibidos con los
mensajes que son enviados.

Propiedades de la Entropa
1. La entropa no puede ser negativa debido a que su probabilidad es pi.
2. La funcin H es mxima cuando se presente que 1 = 2 = = 1/ que
se dan en procesos que contienen posibles resultados.
3. Si se tiene probabilidades relativas en la funcin , es nula dado el caso que
= 0 para todo i, que tiene como excepcin una clase y se cumple que =
1.Esto se da en procesos que contienen resultados posibles.
4. La informacin de una fuente crece paulatinamente al incrementar la fuente
de memoria nula q.
Se puede dar como ejemplo de una fuente de informacin nula, una fuente
binaria de memoria nula.

Figura 1. Grafica de la representacin de H (w)1

En distintas repeticiones la entropa puede tomar distintos valores existiendo una

probabilidad en las distribuciones de los valores que pueden tomar los diferentes
datos.
Hoy en da a la entropa se le asocia con idea de simplemente informacin, ya que
esta tiene un papel muy importante, y que probablemente tambin se le pueda
asociar su trmino con otras reas.

Bibliografa:
o Castillo, Adolfo. (2012) Asociacin de la Entropa con la Informacin
perdida Disponible en: http://www.tendencias21.net/cogno/Informacion-yEntropia-de-la-Entropia-como-medida-del-desorden-a-la-asociacion-de-laEntropia-con-la-Informacion-perdida_a135.html
o Marcos
Alfredo
Informacin
y
Entropa

Disponible
en:
https://www.google.com.ec/url?sa=t&rct=j&q=&esrc=s&source=web&cd=6&
ved=0CD4QFjAF&url=http%3A%2F%2Fwww.fyl.uva.es%2F~wfilosof%2Fw
ebMarcos%2Ftextos%2FENTRO2.DOC&ei=YUxQVMeqFIafNr1gzg&usg=AFQjCNEYx1WPFd7N_4HhIK2gM9nPxbEtbg&cad=rja
o Ferreyra, Marcelo Data Mining basado en la Teora de la Informacin.
Disponible en:
http://web.austral.edu.ar/images/contenido/facultad-ingenieria/2Data_Mining_basado_Teoria_Informacion_Marcelo_Ferreyra.pdf
o Carrin, Klever (2012) Comunicaciones Digitales. Disponible en:
http://es.slideshare.net/EduNeira22/entropia-20704475
o Hoyos, Alberto Entropa (informacin ) Disponible en :
1

Carrin, Klever Comunicaciones Digitales. Disponible en: http://es.slideshare.net/EduNeira22/entropia20704475

http://es.slideshare.net/GAlbertoHoyos/entropia-13460269