TEORÍA DE LA

INFORMACIÓN

Katty Rohoden
2021-06-03
 Contenidos
Información mutua

Entropía afín

Canales de información

• Canal sin ruido

• Información mutua de un canal sin ruido
• Canal determinante
• Información mutua de un canal determinante
• Canal uniforme

Canales en serie

Canales reducidos
 Información mutua
Definición: es el número medio de bits necesarios para determinar un
símbolo de entrada antes de conocer el símbolo de salida
correspondiente, menos el número medio de bits necesarios para
especificar un símbolo de entrada después de conocer el símbolo de
salida.

Una descripción cuantitativa de la información

transferida en un canal.
Formas de expresar la información mutua
Información mutua de
la extensión de orden n
de un canal
Propiedades de la información mutua
• La información media recibida por un canal ha de ser siempre positiva.
• No se pierde información por el hecho de observar la salida del canal.
• La condición para que la información mutua sea nula es que los
símbolos de entrada y salida sean estadísticamente independientes.

La información mutua es simétrica respecto a las variables a y b. Por lo

tanto:
 Mide la incertidumbre de un suceso simultáneo:
Entropía afín
Relaciones entre las diferentes magnitudes de un canal

H(A,B)

H(A) H(B)

H(A/B) I(A:B) H(B/A)

Canal sin ruido

Definición: un canal definido

por una matriz con un
elemento, y solamente uno,
distinto de cero en cada
columna se denomina canal sin
ruido.
Información
mutua de un
canal sin
ruido
Canal
determinante Definición: un canal
definido por una matriz
con un elemento, y
solamente uno, distinto de
cero en cada fila se
denomina canal
determinante.
 Información mutua de un canal determinante
El símbolo de entrada ai es suficiente para determinar, con probabilidad 1, el símbolo de salida b j . Por
lo tanto, las probabilidades P(bj/ai) serán 0 o 1. Entonces:
Canal uniforme
Un canal es uniforme si cada fila y cada columna de la matriz es una
permutación arbitraria de los elementos de la primera fila.
Información mutua de un canal uniforme
Canales en serie (I)
• Concatenación de varios canales para formar un nuevo canal.

• El alfabeto de entrada del segundo canal es idéntico a B, el alfabeto de salida se

conoce como C.
• La entrada de bj al canal 2 da una salida ck .
• El símbolo ck depende de la entrada ai a través de bj .
Canales en serie (II) En los dos canales en serie la equivocación H(A/C)
aumenta, además es mayor que H(A/B).
Los canales tienden a
perder información.
Ejemplo

• Dados los canales, encontrar la

información mutua al tener los dos
canales en serie.
• Considerar probabilidades
equiprobables para el primer canal.
Canales reducidos
Definición: Sea un canal de r entradas y s salidas, definido por una
matriz P. Se define un nuevo canal de r entradas y s-1 salidas asociando
y sumando dos de las columnas de P.
El nuevo canal es una reducción elemental de P y su matriz se
indicará mediante P’.

La reducción de un canal disminuye la

información mutua entre los alfabetos
de entrada y salida.
Ejemplo
Realice una reducción del siguiente canal:
Actividades del componente:
Aprendizaje autónomo
Deber 1 (D1_B2)
• Realizar ejercicios relacionados
con los diferentes tipos de
canales y su información mutua.
• Fecha de entrega: 10 de junio,
23h00.
Cuestionario en línea (C1_B2)
• Evaluación de conocimientos
adquiridos en la semana 1 del
segundo bimestre.
• Fecha: lunes, 07 de junio,
10h00.