Está en la página 1de 2

Elementos de la Teora de la Informacin

Duracin: 1/ 2 Materia.

Programa: 1. Probabilidad e inferencia. Motivacin. Probabilidades (conjuntas, condicionadas, directas, inversas). Algunas distribuciones de probabilidad. 2 clases. 2. Inferencia, estimacin, testeo de hiptesis. 2 clases. 3. Entropa, Informacin Mutua y tasa de entropa: Definiciones y relaciones entre ellas. Regla de la cadena. Desigualdad de Jensen. Desigualdad del procesamiento de datos. Segunda ley de la termodinmica. Estadstica suficiente. 3 clases. 4. La propiedad de equiparticin asinttica. Conjunto altamente probable y conjunto tpico. Teorema de codificacin de una fuente. 3 clases. 5. Compresin de datos: Ejemplos de cdigos. Desigualdad de Kraft. Cdigos ptimos. Cotas al cdigo ptimo. Cdigo de Huffman. 2 clases. 6. Capacidad de un canal: Ejemplos. Canales simtricos. Propiedades de la capacidad de un canal. Cdigos sin error. Cdigos de Hamming. 2 clases

Evaluacin: 2 clases.

Bibliografa:
Cover TM & Joy AT Elements of Information Theory, John Wiley & sons, New York, 1991. Kullback S. Information theory and statistics, Wiley, New York, 1959. Ash RB, Information Theory, Dover, New York, 1965. McKay, Information theory, inference, and learning algorithms, 2003, Cambridge University Press.

Ctedra: Docente a cargo: Ins Samengo

Mtodo de evaluacin: Dos parciales.

Aplicaciones de la Teora de la Informacin

Duracin: 1/ 2 Materia.

Programa: 1. Cdigos que corrigen errores. Teorema de codificacin de un canal. 3 clases. 2. Cadenas Markovianas. Tasa de entropa y de informacin. Aplicacin a la mecnica estadstica. Ejemplos. 3 clases. 3. Mtodos de decodificacin: Decodificacin de Bayes, de mxima probabilidad, de producto escala, lineal. Ejemplos de cdigos: Cdigo de Shannon-Fano-Elias. Cdigo aritmtico. Optimizacin: 3 clases. 4. Variables continuas: Entropa diferencial. Relacin entre la entropa diferencial y discreta. Informacin mutua para variables continuas. Propiedades. Informacin de Fisher. El canal gaussiano. Recproco del teorema de codificacin para el canal Gaussiano. Canales de banda limitada. Canales con ruido Gaussiano coloreado. 3 clases 5. Informacin transmitida en redes neuronales. Informacin entre estmulos y actividad nerviosa. Mtodos de estimacin. Errores de estimacin. Informacin transmitida por neuronas corticales. 2 clases

Evaluacin: 2 clases

Bibliografa:
Cover TM & Joy AT Elements of Information Theory, John Wiley & sons, New York, 1991. Kullback S. Information theory and statistics, Wiley, New York, 1959. Ash RB, Information Theory, Dover, New York, 1965. McKay, Information theory, inference, and learning algorithms, 2003, Cambridge University Press. Rieke, Warland de Ruyter van Steveninck, Bialek. Spikes: exploring the neural code. Cambridge Massachussetts, The MIT Press, 1997.

Ctedra: Docente a cargo: Ins Samengo

Mtodo de evaluacin: Dos parciales.