TEORIA DE LA INFORMACION Claude Elwood Shannon

Claude Elwood Shannon

Nacimiento: Claude Elwood

Shannon naci el 30 de abril de 1916 en Petoskey, Michigan, en el seno de una culta familia media americana. Su padre, Claude Elwood, era el juez de una pequea localidad de tres mil habitantes, llamada Gaylord, y su madre la directora del instituto. Adems de sus padres, Shannon recibi una influencia decisiva de su abuelo, un granjero al que gustaba construir todo tipo de mquinas agrcolas, el cual le inculc dos aficiones que siempre practicara, la construccin de ingenios electromecnicos y los juegos malabares.

Inicio

Estudios

Los primeros aos de su vida los pas en Gaylord, donde se gradu de la secundaria en 1932. Desde joven, Shannon demostr una inclinacin hacia las cosas mecnicas. Resaltaba respecto a sus compaeros en las asignaturas de ciencias. Su hroe de la niez era Edison, a quien luego se acerc bastante en sus investigaciones. En 1932 ingres en la Universidad de Mchigan, siguiendo a su hermana Catherine, doctora en matemtica. En 1936 obtuvo los ttulos de ingeniero electricista y matemtico. Su inters por la matemtica y la ingeniera continu durante toda su vida. En 1936 acept la posicin de asistente de investigacin en el departamento de ingeniera elctrica en el Instituto de Tecnologa de Massachusetts (MIT). Su situacin le permiti continuar estudiando mientras trabajaba por horas para el departamento, donde trabaj en el computador analgico ms avanzado de esa era, el Differential Analyzer de Vannevar Bush.

Inicio

Teora De La Informacin
La teora de la informacin surgi a
Utiliz su teora para medir la

finales de la segunda guerra mundial en los aos cuarenta. En esta poca se buscaba utilizar de manera ms eficiente los canales de comunicacin, mandando as una cantidad de informacin por un determinado canal y como medir su capacidad. Esta teora buscaba la transmisin ptima de los mensajes. Es una rama de la teora matemtica de la probabilidad y la estadstica que estudia la informacin y todo lo relacionado con ella: canales, compresin de datos, criptografa y temas relacionados.

informacin y su contenido.
Cuanto ms inesperado es un

suceso, mas cantidad de informacin puede generar

El contenido de la informacin

de un suceso = una funcin decreciente de la probabilidad de su aparicin.

Para traducir las probabilidades

en informacin Shannon uso el logaritmo de la inversa de la probabilidad Inicio

N de sucesos por Shannon

Formalmente si tenemos un conjunto de n sucesos, uno de

los cuales sabemos con certeza que va a ocurrir, y cada uno con una probabilidad de que ocurra entonces:

x
i 1

El contenido de informacin expresado por Shannon es:

1 H ( x) xi log xi i 1
Inicio

Entropa (H) y capacidad del emisor

n variables aleatorias con
probabilidades P1.Pn

H medida en bits por

smbolo

H mide la cantidad de

informacin de una fuente Concepto clave de la TI Capacidad de la fuente

1 H ( x ) pi log pi i 1

H/t
Inicio

 El nivel de la entropa se interpreta como la diferencia relativa del contenido de la informacin Menos entropa es equivalente a ms igualdad

n 1 2 4 10 2 2 2 10 10

Sequence of xi 1.00 0.50 0.25 0.10 0.50 0.60 0.90 0.10 . 0.50 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

0.25 0.25 0.25 0.50 0.40 0.10 . . . . . .

0.10 0.10 0.10 0.10 0.10 0.10 0.10 0.10 0.10

0.10 0.10 0.10 0.10 0.10 0.10 0.10 0.10 0.10

0.91 0.01 0.01 0.01 0.01 0.01 0.01 0.01 0.01 0.01

sum y=sum x*ln(1/x) 1 0.000 1 0.301 1 0.602 1 1.000 1 0.301 1 0.292 1 0.141 1 1.000 1 0.217

El caso con ms desigualdad es cuando un solo individuo recibe toda la

renta Si la renta se reparte equitativamente entre mas personas la medida debera incrementarn Si quitamos renta a n individual (con la misma renta cada uno) y se la damos a un individuo la medida debera decrecer

Inicio

Modelo De La Comunicacin
El modelo comunicacional desarrollado por Shannon y Weaver se basa en un sistema de comunicacin general que puede ser representado de la siguiente manera:

Inicio

Modelo De La Comunicacin
FUENTE DE INFORMACION: selecciona el mensaje

deseado de un conjunto de mensajes posibles. TRANSMISOR: transforma o codifica esta informacin en una forma apropiada al canal. SEAL: mensaje codificado por el transmisor. CANAL: medio a travs del cual las seales son transmitidas al punto de recepcin. FUENTE DE RUIDO: conjunto de distorsiones o adiciones no deseadas por la fuente de informacin que afectan a la seal. Pueden consistir en distorsiones del sonido (radio, telfono), distorsiones de la imagen (T.V.), errores de transmisin (telgrafo), etc. RECEPTOR: decodifica o vuelve a transformar la seal transmitida en el mensaje original o en una aproximacin de este hacindolo llegar a su destino.
Inicio

Medicin De La Informacin
Este establece que mientras

ms probable sea un mensaje menos informacin proporcionar. mensaje de ser enviado y no su contenido, lo que determina su valor informativo.

I(Xi) > I(Xk)

Si y solo Si

la probabilidad que tiene un

I(xi) : cantidad de

informacin proporcionada por xi. p(xi) : probabilidad de xi

P(Xi) < P(Xk)

Inicio

Muerte
Claude Elwood Shannon

falleci el 24 de febrero del ao 2001, a la edad de 84 aos, despus de una larga lucha en contra la enfermedad de Alzheimer.