La teora de la informacin, tambin conocida como teora matemtica de la
comunicacin (mathematical theory of communication) o teora matemtica de la
informacin, es una propuesta terica presentada por Claude E. Shannon y Warren Weaver a finales de la dcada de los aos 1940. Esta teora est relacionada con las leyes matemticas que rigen la transmisin y el procesamiento de la informacin y se ocupa de la medicin de la informacin y de la representacin de la misma, as como tambin de la capacidad de los sistemas de comunicacin para transmitir y procesar informacin. 1 La teora de la informacin es una rama de la teora matemtica y de las ciencias de la computacin que estudia la informacin y todo lo relacionado con ella: canales, compresin de datos y criptografa, entre otros. La teora de la informacin surgi a finales de la Segunda Guerra Mundial, en los aos cuarenta.
-****************
En Teora de la Informacin se denomina distancia de Hamming a la efectividad de
los cdigos de bloque y depende de la diferencia entre una palabra de cdigo vlida y otra. Cuanto mayor sea esta diferencia, menor es la posibilidad de que un cdigo vlido se transforme en otro cdigo vlido por una serie de errores. A esta diferencia se le llama distancia de Hamming, y se define como el nmero de bits que tienen que cambiarse para transformar una palabra de cdigo vlida en otra palabra de cdigo vlida. Si dos palabras de cdigo difieren en una distancia d, se necesitan d errores para convertir una en la otra. Por ejemplo:
La distancia Hamming entre 1011101 y 1001001 es 2.
La distancia Hamming entre 2143896 y 2233796 es 3.
La distancia Hamming entre "tener" y "reses" es 3.