Reactivos del Curso de Teoría de Codificación y Manejo de Información

1
8º semestre
Especialidad de Comunicaciones- ICE

INSTITUTO POLITÉCNICO NACIONAL

ESCUELA SUPERIOR DE INGENIERÍA MECÁNICA Y ELÉCTRICA

UNIDAD ZACATENCO

DEPARTAMENTO DE INGENIERÍA EN COMUNICACIONES Y ELECTRÓNICA

ELABORACIÓN DE MATERIAL DIDÁCTICO

“REACTIVOS DEL CURSO TEORÍA DE CODIFICACIÓN Y MANEJO DE

INFORMACIÓN”

Semestre: 8º
Especialidad de comunicaciones

Prof. José Ernesto Rojas Lima

Academia de Comunicaciones

Ciudad de México, 2022

José Ernesto Rojas Lima

Academia de Comunicaciones ICE-ESIME Zacatenco
 Reactivos del Curso de Teoría de Codificación y Manejo de Información
2
8º semestre
Especialidad de Comunicaciones- ICE
UNIDAD 1. PRINCIPIOS DE LA TEORÍA DE LA

INFORMACIÓN PARTE I PROBLEMAS (80%)

De acuerdo al programa del curso de teoría de codificación y manejo de información del plan 2004, de
la especialidad de comunicaciones impartido en la carrera de ICE en el octavo semestre, la primera
parte de este problemario comprende la unidad I, donde se abordan los principios de la teoría de la
información.

1. En la siguiente tabla se muestran las estadísticas de las letras del alfabeto inglés
A 0.081 D 0.037 G 0.016 J 0.001 M 0.022 P 0.023 S 0.066 V 0.009 Y 0.019
B 0.016 E 0.124 H 0.051 K 0.005 N 0.072 Q 0.002 T 0.096 W 0.020 Z 0.001
C 0.032 F 0.023 I 0.072 L 0.040 O 0.079 R 0.060 U 0.031 X 0.002

Determinar cuál letra lleva la máxima cantidad de información y cuál letra lleva la mínima
cantidad de información (argumentar).
2. Suponiendo que las letras mostradas en la tabla anterior representan el alfabeto de una fuente sin
memoria, determinar la cantidad de información contenida en el mensaje P O L I T E C N I C O.

3. Considerar el siguiente canal discreto

1
2
y1

x1
1
2
y2

x2 1 y3

Determinar la información mutua entre los pares de eventos I(x1;y1), I(x2;y3) cuando P(x1)=1/4, P(x2)=3/4.
4. -Se sabe que I(xi ; yi ) = I(xi ) − I(xi |yj ) , demostrar que I(xi ; yi ) = I(xi ) + I(yj ) − I(xi yi ); donde
I(xi yi ) = −log2 P(xi , yj )

5. Determinar la entropía de la fuente del problema 1

6. Determinar I(X;Y) para el canal discreto mostrado en el problema 3 cuando P(x1)=1/4, P(x2)=3/4.

7. -Dos variables aleatorias binarias X y Y están distribuidas de acuerdo a las distribuciones conjuntas:

P(X =0, Y = 0) = P(X = 0, Y = 1) = P(X =1, Y = 1) = 1/3

Determinar la información propia condicional promedio o entropía condicional H(X|Y)

José Ernesto Rojas Lima

Academia de Comunicaciones ICE-ESIME Zacatenco
 Reactivos del Curso de Teoría de Codificación y Manejo de Información
3
8º semestre
Especialidad de Comunicaciones- ICE
PARTE II PREGUNTAS (20%)

1- Dibujar el diagrama a bloques simplificado de un sistema de comunicaciones digitales:

Explicar brevemente la finalidad de cada uno de los bloques: fuente de información, codificador de fuente,
codificador de canal, modulador, canal de comunicación y su respectiva contraparte en el receptor.
2. En el contexto de las comunicaciones ¿Cuál es la finalidad del curso de teoría de la información?
3. ¿Qué es una fuente de información y como se clasifican las fuentes de información?
4. ¿Qué es una fuente de información continua?
5. ¿Qué es una fuente de información discreta?
6. ¿Qué es una fuente discreta sin memoria (DMS)? Dar algún ejemplo.
7. Desde el punto de vista matemático ¿Cómo se modela una fuente de información continua?
8. ¿Qué es un proceso aleatorio?
9. Matemáticamente como se modela una fuente de información discreta
10. ¿Cuál es el significado de estacionariedad estadística para una fuente discreta con memoria?
11. De qué depende la cantidad de información de un evento y como se determina. Explicar.
12. ¿Qué es la información mutua entre un par de eventos?
13. Explicar por qué en comunicaciones nos interesa conocer la información promedio que produce una
fuente de información en lugar de conocer la información de un solo símbolo
14. ¿Cuál es el significado de la entropía de una fuente de información?
15. ¿Cuál es el significado de la entropía condicional?

José Ernesto Rojas Lima

Academia de Comunicaciones ICE-ESIME Zacatenco