El concepto y la información

En la teoría de la información, la entropía es la medida de la

incertidumbre que existe ante un conjunto de mensajes (de los
cuales sólo se recibirá uno solo). Se trata de una medida de la
información que es necesaria para reducir o eliminar la incertidumbre.
Otra manera de entender la entropía es como la cantidad media de
información que contienen los símbolos transmitidos. Palabras
como “el” o “que” son los símbolos más frecuentes en un texto pero,
sin embargo, son los que aportan menos información. El mensaje
tendrá información relevante y máxima entropía cuando todos los
símbolos son igualmente probables.