Ti 2 21.1

TEORIA DE LA
INFORMACIÓN
INGENIERÍA EN TELECOMUNICACIONES
Ing. Santiago Medina León
INFORMACIÓN DE CANAL
CODIFICACIÓN DE LA FUENTE CODIFICACIÓN DEL CANAL

• Almacenar/Transmitir • Mitigar los efectos del ruido
• En medios de • Durante
almacenamiento/transmisión almacenamiento/transmisión
UNIDAD 2
𝑃(𝑏𝑗 |𝑎𝑖 )
• Cada fila de P contiene las probabilidades de todas las posibles salidas

de la misma entrada del canal.
• Cada columna de P, contiene todas las probabilidades posibles de
entrada para una salida particular del canal.
UNIDAD 2
• Las probabilidades de la sumatoria de cada fila, debe ser igual a 1.

REPRESENTACIÓN DE UN CANAL
0,8
0 0
0,8 0,2
𝑃𝐴𝐵 = A B
0,3 0,7
1 1
0,7
CANAL SIN RUIDO CANAL CON RUIDO
1 0 0,99 0,01
𝑃= 𝑃=
0 1 0,01 0,99
UNIDAD 2
Canal Simétrico Binario (BSC) Y Canal Binario con Borrado (BEC)
B
S
C
𝑃 𝑏=1𝑎=0 =𝑃 𝑏=0𝑎=1 =𝑞
𝑝 𝑞
𝑃= 𝑞 𝑝 𝑝 =1−𝑞
UNIDAD 2
Canal Simétrico Binario (BSC) Y Canal Binario con Borrado (BEC)
B
E
C
𝑃 𝑏 =? 𝑎 = 0 = 𝑃 𝑏 =? 𝑎 = 1 = 𝑞
𝑝 𝑞 0
𝑃=
0 𝑞 𝑝
UNIDAD 2
Probabilidades hacia Adelante
UNIDAD 2
Probabilidades hacia Adelante
𝑟
𝑃 𝑏𝑗 = ෍ 𝑃(𝑎𝑖 )𝑃(𝑏𝑗 |𝑎𝑖 )

𝑖=1
0,8 0,2
𝑃= 𝑃 𝑎 = 0,3 0,7
0,3 0,7
UNIDAD 2
Probabilidades hacia Atrás
𝑃 𝑎𝑖 , 𝑏𝑗 𝑃(𝑎𝑖 )𝑃 𝑏𝑗 |𝑎𝑖 𝑃(𝑎𝑖 )𝑃 𝑏𝑗 |𝑎𝑖
𝑃 𝑎𝑖 |𝑏𝑗 = = = 𝑟
𝑃(𝑏𝑗 ) 𝑃(𝑏𝑗 ) σ𝑖=1 𝑃(𝑎𝑖 )𝑃(𝑏𝑗 |𝑎𝑖 )
2/3 1/3 3 1
𝑃= 𝑃 𝑎 = ,
1/10 9/10 4 4
UNIDAD 2
Probabilidades hacia Atrás
𝑃 𝑎𝑖 , 𝑏𝑗 𝑃(𝑎𝑖 )𝑃 𝑏𝑗 |𝑎𝑖 𝑃(𝑎𝑖 )𝑃 𝑏𝑗 |𝑎𝑖
𝑃 𝑎𝑖 |𝑏𝑗 = = = 𝑟
𝑃(𝑏𝑗 ) 𝑃(𝑏𝑗 ) σ𝑖=1 𝑃(𝑎𝑖 )𝑃(𝑏𝑗 |𝑎𝑖 )
3/4 1/4 2 1
𝑃= 𝑃 𝑎 = ,
1/8 7/8 3 3
UNIDAD 2
Entropía a Priori Entropía a Posteriori
1 1
𝐻(𝐴) = ෍ 𝑃 𝑎 log 𝐻(𝐴|𝑏𝑗 ) = ෍ 𝑃 𝑎|𝑏𝑗 log
𝑃(𝑎) 𝑃(𝑎|𝑏𝑗 )
𝑎∈𝐴 𝑎∈𝐴
UNIDAD 2
¿Cómo cambia nuestra incertidumbre promedio sobre la entrada

después de observar la salida del canal? Intuitivamente, esperamos
que nuestra incertidumbre se reduzca ya que la salida del canal nos
proporciona conocimiento y el conocimiento reduce la incertidumbre.
Sin embargo, el resultado a veces puede aumentar nuestra
incertidumbre (puede ser más un obstáculo que una ayuda).
UNIDAD 2
UNIDAD 2
UNIDAD 2
UNIDAD 2
INFORMACIÓN MUTUA
𝐼 𝐴; 𝐵 = 𝐻 𝐴 − 𝐻(𝐴|𝐵)
𝑃(𝑎, 𝑏) 𝑃(𝑏|𝑎)
𝐼 𝐴; 𝐵 = ෍ ෍ 𝑃 𝑎, 𝑏 log = ෍ ෍ 𝑃 𝑎 𝑃(𝑏|𝑎) log
𝑃 𝑎 𝑃(𝑏) 𝑃(𝑏)
𝐴 𝐵 𝐴 𝐵
SIN RUIDO, si 𝐻 𝐴 𝐵 = 0, implica I 𝐴; 𝐵 = 𝐻(𝐴)
CON RUIDO, si 𝐻 𝐴 𝐵 > 0, pero H 𝐴|𝐵 < 𝐻(𝐴)

UNIDAD 2
AMBIGUO, si 𝐻 𝐴 𝐵 = 𝐻(𝐴), el ruido sobrepone al canal 𝐼 𝐴; 𝐵 = 0
𝐼(𝐴; 𝐵) ≥ 0
𝐼 𝐴; 𝐵 = 𝐼(𝐵; 𝐴) ≥ 0
PROPIEDADES DE LA INFORMACIÓN MUTUA
UNIDAD 2
Información mutua en BSC
UNIDAD 2
Información mutua en BEC
UNIDAD 2
CANAL SIN RUIDO Y CANAL DETERMINÍSTICO
CANAL SIN RUIDO CANAL DETERMINÍSTICO
I 𝐴; 𝐵 = 𝐻(𝐴)
I 𝐴; 𝐵 = 𝐻(𝐵)
UNIDAD 2
CANAL EN CASCADA
La información pasa a
través de una cascada
de diferentes canales,
en lugar de 1 solo canal
UNIDAD 2
CANAL EN CASCADA
UNIDAD 2
𝑃 𝑐𝑘 𝑎𝑖 , 𝑏𝑗 = 𝑃 𝑐𝑘 𝑏𝑗
CANAL EN CASCADA
Lo que nos interesa comparar es la información mutua entre el canal AB y BC, esto es entre
𝐼 𝐴; 𝐵 𝑦 𝐼(𝐵; 𝐶)
𝐻 𝐴 𝐶 − 𝐻(𝐴|𝐵) ≥ 0
1 1
𝐻 𝐴 𝐶 − 𝐻 𝐴 𝐵 = ෍ ෍ 𝑃 𝑎, 𝑐 log − ෍ ෍ 𝑃 𝑎, 𝑏 log
𝑃(𝑎|𝑐) 𝑃(𝑎|𝑏)
𝐴 𝐶 𝐴 𝐵
UNIDAD 2
𝐼 𝐴; 𝐵 ≥ 𝐼(𝐴; 𝐶)
CAPACIDAD DE CANAL
“Cuánta cantidad de información se puede transmitir por un canal, dadas las condiciones de ese
canal”
𝐶 = max 𝐼(𝐴; 𝐵)
𝐶 = max 𝐻 𝐴 − 𝐻(𝐵|𝐴)
UNIDAD 2
CAPACIDAD DE CANAL
TEOREMA DE NYQUIST: “Sin ruido” 1928
𝐶 = 2W log 𝑀 𝑏𝑖𝑡𝑠 𝑝𝑜𝑟 𝑠𝑒𝑔𝑢𝑛𝑑𝑜

Donde M representa los niveles de modulación (# de niveles para transmitir
información), por defecto N=2
UNIDAD 2
CAPACIDAD DE CANAL
TEOREMA DE SHANNON-HARTLEY: La capacidad de información de un canal continuo 1948
de ancho de banda 𝑊 𝐻𝑧, perturbado por
𝐴𝑊𝐺𝑁 de 𝑑𝑒𝑛𝑠𝑖𝑑𝑎𝑑 𝑒𝑠𝑝𝑒𝑐𝑡𝑟𝑎𝑙 𝑑𝑒 𝑝𝑜𝑡𝑒𝑛𝑐𝑖𝑎 y también con banda limitada 𝑊 𝐻𝑧,
esta dada por:
𝑃
𝐶 = W log 1 + 𝑏𝑖𝑡𝑠 𝑝𝑜𝑟 𝑠𝑒𝑔𝑢𝑛𝑑𝑜
𝑁𝑜 𝑊
𝐶 = W log 1 + 𝑆𝑅𝑁 𝑏𝑖𝑡𝑠 𝑝𝑜𝑟 𝑠𝑒𝑔𝑢𝑛𝑑𝑜

UNIDAD 2
CAPACIDAD DE CANAL
UNIDAD 2
Mathematical Theory of Communication, Part IV: The Continuous Channel, pag 637
REPRESENTACIÓN ANALÓGICA
¿CÓMO SE INTERPRETA EL SRN?
UNIDAD 2
EL SRN ME INDICA LA CANTIDAD DE

SEÑAL QUE TENGO POR SOBRE EL RUIDO
CAPACIDAD DE CANAL
CAPACIDAD DE CANAL
Limite de Shannon
C Mbps
AB=20MHz 140
120
100
80
60
40
20
0
0 5 10 15 20
UNIDAD 2
Con SRN bajo, mi velocidad disminuye, con SRN alto, mi velocidad aumenta
CAPACIDAD DE CANAL
¿Cuál es la SNR mínima necesaria para soportar un modem de 56k con un W=3600Hz?
𝐶 = W log 1 + 𝑆𝑁𝑅 𝑏𝑖𝑡𝑠 𝑝𝑜𝑟 𝑠𝑒𝑔𝑢𝑛𝑑𝑜

UNIDAD 2
CANAL UNIFORME
- Igual número de símbolos in y out
- Matriz cuadrada
- Filas y Columnas son una permutación de la primera fila
0,2 0,3 0,5

𝑃𝐴𝐵 = 0,3 0,5 0,2
0,5 0,2 0,3
1
UNIDAD 2
𝐶 = 𝑙𝑜𝑔2 𝑟 − ෍ 𝑃 𝑏 𝑎 log
𝑃(𝑏|𝑎)
𝐵
CANAL UNIFORME
0,75 0,25 1
𝑃𝐴𝐵 = 𝐶 = 𝑙𝑜𝑔2 𝑟 − ෍ 𝑃 𝑏 𝑎 log
0,25 0,75 𝑃(𝑏|𝑎)
𝐵
UNIDAD 2
CODIFICACIÓN DE FUENTE
- Convertir la representación de la fuente, en una representación para el canal.
1. Asignar de forma exclusiva cualquier mensaje fuente arbitrario a un código binario y viceversa
2. Asignar de manera eficiente un mensaje fuente de código binario más compacto y viceversa (compresión)
UNIDAD 2
- Consideramos un alfabeto fuente:
𝑆 = 𝑠𝑖 ; 𝑖 = 1,2,3 … 𝑞
- Consideramos un alfabeto código;
𝑋 = 𝑥𝑗 ; 𝑗 = 1,2,3 … 𝑟
Un mensaje fuente de longitud 𝑛, es una cadena de símbolos de longitud 𝑛 del alfabeto fuente, esto
es: 𝜎𝑖𝑛 = 𝑠𝑖1 𝑠𝑖2 𝑠𝑖3 … 𝑠𝑖𝑛
Un código de palabra 𝐶(. ) es una cadena de longitud finita con 𝑙 símbolos del alfabeto código, esto es:
𝐶 . = 𝑥𝑗1 𝑥𝑗2 𝑥𝑗3 … 𝑥𝑗𝑙
La codificación de fuente es entonces la asignación de un símbolo de la fuente 𝒔𝒊 a

un código de palabra 𝑪 𝒔𝒊 . Siendo la decodificación el proceso inverso: de un
código 𝑪 𝒔𝒊 a un símbolo 𝒔𝒊
UNIDAD 2
La tabla de códigos describe las codificaciones de las palabras de código de todos los símbolos fuente,
esto es: 𝑠𝑖 → 𝐶 𝑠𝑖 ; 𝑖 = 1,2,3 … 𝑞
𝒏𝒕𝒉 Extensión de un código
La 𝑛𝑡ℎ extensión de un código, mapea los mensajes fuente de longitud 𝑛, 𝜎𝑖𝑛 que son
los símbolos del alfabeto fuente 𝑆 𝑛
- La extensión entonces de 𝑆 es la secuencia correspondiente del código de palabra,
esto es:
𝐶(𝜎𝑖𝑛 ) = 𝐶(𝑠𝑖1 ) 𝐶(𝑠𝑖2 ) 𝐶(𝑠𝑖3 ) … 𝐶(𝑠𝑖𝑛 )
UNIDAD 2
CLASIFICACIÓN DE LOS CÓDIGOS
NO BLOQUE
CÓDIGOS
SINGULAR
BLOQUE NO UNÍVOCO
NO SINGULAR NO INSTANTANEOS
UNÍVOCO
INSTANTÁNEOS
UNIDAD 2
TIPOS DE CÓDIGOS
Un código fuente puede llegar a identificarse como:
1. CODIGOS DE BLOQUE DE LONGITUD 𝑛 >> cuando todas las palabras del código
son todas de longitud 𝑛
2. NO SINGULARES >> cuando todas las palabras del código son distintas
TODOS LOS CÓDIGOS PRÁCTICOS, DEBEN SER ENTONCES UNICAMENTE

DECODIFICABLES
Un código es unívocamente decodificables “Un código es NO DECODIFICABLE de

si la extensión del código es NO SINGULAR forma exclusiva, si hay al menos una
UNIDAD 2
para cada valor finito de 𝑛 instancia de una decodificación no única”
TIPOS DE CÓDIGOS
Considerar el alfabeto de fuente 𝑆 = 𝑠1 , 𝑠2 , 𝑠3 , 𝑠4 y el código binario, 𝑋 = 0,1
La siguiente tabla, muestra 3 posibles códigos de fuente binarios:
“UN CÓDIGO DE BLOQUE DE

UNIDAD 2
LONGITUD 𝒏, ES UN CÓDIGO
UNÍVOCAMENTE DECODIFICABLE”
CÓDIGOS INSTANTANEOS
Un código unívocamente decodificable es instantáneo, si y solo si se puede realizar la
decodificación sin referencia a los símbolos de código subsiguientes (“sobre la
marcha”
Consideremos los siguientes 3 códigos binarios de la fuente 𝑆 = 𝑠1 , 𝑠2 , 𝑠3 , 𝑠4

UNIDAD 2
01011101100100010
marcha”

UNIDAD 2
01101011100
marcha”

UNIDAD 2
011111111 … .
Condición del prefijo:
“ninguna palabra del código, puede ser prefijo de otra palabra”, si esto se cumple,
entonces estamos frente a un código instantáneo.
En base a esta afirmación, podemos decir que los códigos instantáneos también son
conocidos como códigos prefijos.
UN CÓDIGO PUEDE UN CÓDIGO

SER DECODIFICABLE INSTANTÁNEO PUEDE
DE FORMA ÚNICA, SIN SER DECODIFICABLE DE
SER INSTANTANEO FORMA ÚNICA
UNIDAD 2
COD A es instantáneo ya que COD C es NO instantáneo ya que la

ninguna palabra de código es un palabra de código 𝑠1 es un prefijo
prefijo de ninguna otra palabra de de 𝑠2 , y 𝑠2 es prefijo de 𝑠3 .
código (el código A obedece a la Sin embargo es unívocamente
condición de prefijo). Como es decodificable considerando que
instantáneo, también es “0” actúa como separador.
COD B es NO instantáneo ya que la
decodificable de forma única.
palabra de código 𝑠1 es un prefijo de
𝑠2 , y 𝑠2 es prefijo de 𝑠3 , etc.
Sin embargo es unívocamente
UNIDAD 2
decodificable considerando que “0”

actúa como separador.
Un código de decodificación
única, no implica que sea
instantáneo.
Pero un código instantáneo,
automáticamente podemos decir
que es un código unívocamente
decodificable.
UNIDAD 2
CONSTRUCCIÓN DE UN CÓDIGO INSTANTANEO
Partimos del siguiente planteamiento:

“Para una fuente con 𝑞 símbolos se requiere diseñar los 𝑞 códigos de
palabra individual con longitud de palabras 𝑙1 , 𝑙2 , … 𝑙𝑞 tal que el código sea
instantáneo”
1. Ordenar las longitudes de las palabras de código en orden creciente.

2. Se deriva en secuencias de tal manera que en cada paso, la palabra de código
actual no contenga ninguna de las otras palabras de código como prefijo.
UNIDAD 2
A B C D E
𝑙1 2 1 1 1 1
𝑙2 2 3 2 3 2
𝑙3 2 3 3 3 3
𝑙4 2 3 3 2 2
A B C D E
𝒔𝟏 00 0 0 0 0
𝒔𝟐 01 100 10 100 10
𝒔𝟑 10 110 110 110 110
UNIDAD 2
𝒔𝟒 11 111 111 11 11
La condición de prefijo no solo facilita determinar si un código dado es instantáneo
o no, sino que también se puede usar para diseñar sistemáticamente un código
instantáneo con longitudes específicas para las palabras de código individuales.
Diseñar un código binario instantáneo con longitud de palabras 3, 2, 3, 2, 2
Diseñar un código binario instantáneo con longitud de palabras 2, 3, 2, 2, 2
Diseñar un código ternario instantáneo con longitud de palabras 2, 3, 1, 1, 2

UNIDAD 2
LONGITUD DEL CÓDIGO
𝐿𝑛 = ෍ 𝑝𝑖 𝑙𝑖 𝑙𝑖 es la longitud de la palabra del código que representa el símbolo

𝑝𝑖 es la probabilidad de dicho símbolo
𝑖
UNIDAD 2
INECUACIÓN DE KRAFF
La condición necesaria y suficiente para la existencia de un código instantáneo de
longitudes 𝑙1 , 𝑙2 , … 𝑙𝑞 es:
෍ 𝑟 −𝑙𝑖 ≤ 1
𝑖
𝑟 es el número de símbolos diferentes que constituyen el alfabeto

código “binario”, “ternario”, “cuaternario”
𝑙𝑖 es la longitud de la palabra del código que representa el símbolo
UNIDAD 2
DECODIFICACIÓN DE UN CÓDIGO INSTANTANEO
Dado que un código instantáneo tiene la propiedad de que el símbolo o mensaje fuente puede
decodificarse inmediatamente…, el proceso de decodificación puede ser completamente descrito por
un árbol de decodificación o una máquina de estados que puede implementarse fácilmente en lógica .
A
𝒔𝟏 00
𝒔𝟐 01
𝒔𝟑 10
𝒔𝟒 110
𝒔𝟓 111
UNIDAD 2
PROPIEDADES DE LOS CÓDIGOS INSTANTANEOS
1. Facilidad de comprobar si un código es instantáneo, mediante simple inspección de

la condición del prefijo.
2. El código de prefijo permite un diseño sistemático de códigos instantáneos basados
en las longitudes de palabra de código especificadas.
3. La decodificación basada en un árbol de decodificación es rápida y no requiere
almacenamiento en memoria.
4. Los códigos instantáneos son códigos de decodificación única, donde se considera
únicamente la longitud de una palabra de código para el diseño y la selección de
códigos.
UNIDAD 2
SENSIBILIDAD DE UN BIT DE ERROR
FUENTE COD LONG VARIABLE COD BLOQUE

𝒔𝟏 0 00
𝒔𝟐 10 01
𝒔𝟑 110 10
𝒔𝟒 111 11
𝑆11 𝑆32 𝑆23 𝑆44 𝑆25 𝑆16 𝑆11 𝑆32 𝑆23 𝑆44 𝑆25 𝑆16
UNIDAD 2
CÓDIGO COMPACTO
Aquel cuya longitud promedio sea menor o igual a la longitud promedio de todos los
demás códigos decodificables de forma única para el mismo código-alfabeto
FUENTE 𝒑𝒊 A B
𝒔𝟏 0,5 00 1
𝐿𝑛 = ෍ 𝑝𝑖 𝑙𝑖 𝒔𝟐 0,1 01 000
𝑖
𝒔𝟑 0,2 10 001
𝒔𝟒 0,2 11 01
UNIDAD 2
La longitud promedio se acorta: “… cuando la longitud de palabra código más corta

se asigne a la más probable, y las longitudes más largas, a las menos probables”
TEOREMA DE McMILLAN
UNIDAD 2
TEOREMA DE McMILLAN
Todo código de decodificación única, satisface la desigualdad de Kraff.
Si un código no es instantáneo, pero si es de decodificación única, se lo

puede re-diseñar para que sea instantáneo
FUENTE COD FUENTE COD

𝒔𝟏 0 𝒔𝟏 0
𝒔𝟐 01 𝐾 = ෍ 𝑟 −𝑙𝑖 ≤ 1 = 1 𝒔𝟐 10
𝒔𝟑 011 𝑖 𝒔𝟑 110
𝒔𝟒 111 𝒔𝟒 111
UNIDAD 2
TEOREMA DE McMILLAN
Diseñar un código unívocamente decodificable ternario con longitudes de palabra: 1, 1, 2, 2, 3, 3
𝐾 = ෍ 𝑟 −𝑙𝑖 ≤ 1
𝑖
UNIDAD 2
ENTROPÍA Y LONGITUD PROMEDIO
“relación”: “Si la longitud promedio es menor a la entropía, estoy botando información”
𝐻(𝑠)
𝐿ത ≥ 𝐻𝑟 𝑠 =
𝑙𝑜𝑔2 𝑟
UNIDAD 2
EFICIENCIA DE UN CÓDIGO
“Relación entre la entropía y la longitud promedio”
𝐻𝑟 𝑠
𝜂=
𝐿ത
REDUNDANCIA DE UN CÓDIGO
1−𝜂
UNIDAD 2
Ejemplo:
FUENTE 𝒑𝒊 A B
𝒔𝟏 0,5 00 1 𝐻𝑟 𝑠
𝜂= 1−𝜂
𝒔𝟐 0,1 01 000 𝐿ത
𝒔𝟑 0,2 10 001
𝒔𝟒 0,2 11 01
UNIDAD 2
FUENTES ESPECIALES
1
Una fuente con probabilidades 𝑃𝑖 : 𝑖 = 1,2, … , 𝑞 tales que 𝑙𝑜𝑔𝑟 :𝑖 = 1,2, … , 𝑞 sea un
𝑃𝑖
entero, es considerada como una fuente especial.
Se puede diseñar un código 100% eficiente con 𝐿ത = 𝐻𝑟 𝑠
1 1
𝑙𝑜𝑔𝑟 es un entero, lo que implica entonces que 𝑙𝑖 = 𝑙𝑜𝑔𝑟
𝑃𝑖 𝑃𝑖
UNIDAD 2
CODIFICACIÓN SHANNO-FANO
UNIDAD 2
Para el diseño de códigos instantáneos, trata de producir códigos cercanos a óptimos.

La idea principal es que los símbolos equiprobables deberían conducir a palabras de
código de igual longitud.
Si consideramos una fuente 𝑆 con 𝑞 símbolos 𝑠𝑖 : 𝑖 = 1,2, … , 𝑞 y sus probabilidades

𝑃 𝑠𝑖 : 𝑖 = 1,2, … , 𝑞 con probabilidades distribuidas como 𝑃 𝑠1 ≥ 𝑃 𝑠2 ≥ ⋯ ≥
𝑃(𝑠𝑞 )
Fano divide los 𝑞 símbolos en grupos de símbolos equiprobables o lo mas cercano a

considerarse equiprobables, luego asigna palabra de código a cada grupo, repitiendo el
proceso.
UNIDAD 2
Si consideramos una fuente 𝑆 con 𝑞 símbolos 𝑠𝑖 : 𝑖 = 1,2, … , 𝑞 y sus probabilidades 𝑃 𝑠𝑖 : 𝑖 = 1,2, … , 𝑞
con probabilidades distribuidas como 𝑃 𝑠1 = 1Τ2 , 𝑃 𝑠2 = 𝑃 𝑠3 = 1Τ8 , 𝑃 𝑠4 = 𝑃 𝑠5 = 𝑃 𝑠6 =
1Τ , 𝑃 𝑠 1
16 7 = 𝑃 𝑠8 = Τ32
Determinar la codificación para esta fuente.

Símbolo Probabilidad Símbolo Código Long
𝑠1 1ൗ 0 𝑠1 0 1
2
𝑠2 1ൗ 0 𝑠2 100 3
8 𝐻 𝑆 = 2,3125
𝑠3 1ൗ 0 𝑠3 101 3
8 1
𝑠4 1ൗ 0 𝑠4 1100 4 𝐿ത = 2,3125
16 0
𝑠5 1ൗ 1 1 𝑠5 1101 4 𝐻 𝑆
16 𝜂= = 1 × 100% = 100%
𝑠6 1ൗ
𝑠6 1110 4 𝐿ത
UNIDAD 2
16 1 0
0 𝑠7 11110 5
𝑠7 1ൗ 1
32 1 𝑠8 11111 5
𝑠8 1ൗ 1
32
con probabilidades distribuidas como 𝑃 𝑠1 = 1Τ2 , 𝑃 𝑠2 = 𝑃 𝑠3 = 1Τ8 , 𝑃 𝑠4 = 𝑃 𝑠5 = 𝑃 𝑠6 =
1Τ , 𝑃 𝑠 1
16 7 = 𝑃 𝑠8 = Τ32

Símbolo Probabilidad 1 2 3 4 5 Cod Long
𝑠1 1ൗ 0 0 1
2
𝑠2 1ൗ 1 0 0 100 3
8 𝐻 𝑆 = 2,3125
𝑠3 1ൗ 1 0 1 101 3
8
𝑠4 1ൗ 1 1 0 0 1100 4
𝐿ത = 2,3125
16
𝑠5 1ൗ 1 1 0 1 1101 4 𝐻 𝑆
16 𝜂= = 1 × 100% = 100%
𝑠6 1ൗ 𝐿ത
1 1 1 0 1110 4
UNIDAD 2
16
𝑠7 1ൗ 1 1 1 1 0 11110 5
32
𝑠8 1ൗ 1 1 1 1 1 11111 5
32
con probabilidades distribuidas como 𝑃 𝑠1 = 4Τ9 , 𝑃 𝑠2 = 𝑃 𝑠3 = 𝑃 𝑠4 = 𝑃 𝑠5 = 𝑃 𝑠6 = 1Τ9
Símbolo Probabilidad
𝑠1 4ൗ
9
𝑠2 1ൗ
9
𝑠3 1ൗ
9
𝑠4 1ൗ
9
𝑠5 1ൗ
9
𝑠6 1ൗ
UNIDAD 2
Símbolo Probabilidad
𝑠1 0,30
𝑠2 0,25
𝑠3 0,15
𝑠4 0,12
𝑠5 0,08
𝑠6 0,10
UNIDAD 2
ELECTRONICA Y TELECOMUNICACIONES
UNIDAD 2
CODIFICACIÓN HUFFMAN
UNIDAD 2
CODIFICACIÓN HUFFMAN
Dada una fuente de símbolos, 𝑠𝑖 y las correspondientes probabilidades de fuente 𝑃(𝑠𝑖 ). El algoritmo
de Huffman intenta asignar a cada símbolo una palabra de código de longitud proporcional a la
cantidad de información transmitida por ese símbolo.
El algoritmo de Huffman funciona primero reduciendo sucesivamente una

fuente con 𝑞 símbolos, a una fuente con 𝑟 símbolos.
Posteriormente, Huffman opera retrocediendo a través de la secuencia de
fuentes reducidas.
UNIDAD 2
ALGORITMO HUFFMAN
- Ordenar probabilidades mayor a menor

- Agrupar los dos valores menores
- Reordenar
- Volver agrupar los 2 valores menores
- Reordenar, hasta que la fuente tenga un solo símbolo.
- Asignar un código compacto a la última fuente reducida.
- Regresar hasta la fuente original, asignando un código compacto a cada fuente.
UNIDAD 2
ALGORITMO HUFFMAN
- Considere la siguiente fuente:
𝑃 𝑠1 = 0,2 ; 𝑃 𝑠2 = 0,4 ; 𝑃 𝑠3 = 0,1 ; 𝑃 𝑠4 = 0,1 ; 𝑃 𝑠5 = 0,2
𝑺 Code 𝑃 𝑠𝒊 𝑺𝟏 𝒔𝟐 𝒔𝟑
𝑠2 0,4 0,4 0,4 0,6
𝑠1 0,2 0,2 0,4 0,4
𝑠5 0,2 0,2 0,2
𝑠3 0,1 0,2
𝑠4 0,1
𝐻 𝑆 = 2,3125 𝑏𝑖𝑡/𝑠𝑦𝑚𝑏
UNIDAD 2
𝐻 𝑆 2,122
𝐿ത = 2,2 𝑏𝑖𝑡/𝑠𝑦𝑚𝑏 𝜂= = = 96,5%
𝐿ത 2,1
ALGORITMO HUFFMAN
UNIDAD 2
ALGORITMO HUFFMAN
𝑃 𝑠1 = 0,2 ; 𝑃 𝑠2 = 0,4 ; 𝑃 𝑠3 = 0,1 ; 𝑃 𝑠4 = 0,1 ; 𝑃 𝑠5 = 0,2
𝑺 Code 𝑃 𝑠𝒊 𝑺𝟏 𝒔𝟐 𝒔𝟑
𝑠2 0,4 0,4 0,4 0,6
𝑠1 0,2 0,2 0,4 0,4
𝑠5 0,2 0,2 0,2
𝑠3 0,1 0,2
𝑠4 0,1
𝐻 𝑆 = 2,3125 𝑏𝑖𝑡/𝑠𝑦𝑚𝑏
UNIDAD 2
𝐻 𝑆 2,122
𝜂= = = 96,5%
𝐿ത = 2,2 𝑏𝑖𝑡/𝑠𝑦𝑚𝑏 𝐿ത 2,1
ALGORITMO HUFFMAN
UNIDAD 2
ALGORITMO HUFFMAN
𝜎 2 = ෍ 𝑃𝑖 (𝑙𝑖 − 𝐿ത )2
𝑖=1
UNIDAD 2
Los códigos con una variación de longitud promedio menor son preferibles ya
que producen una tasa de bits de código más constante.
CÓDIGO HUFFMAN
𝑃 𝑠1 = 0,25 ; 𝑃 𝑠2 = 0,25 ; 𝑃 𝑠3 = 0,2 ; 𝑃 𝑠4 = 0,15 ; 𝑃 𝑠5 = 0,15
Construir un código binario.
𝑆 𝑃𝑆𝑖 𝐶𝑂𝐷
𝑠1 0,25
𝑠2 0,25
𝑠3 0,2
𝑠4 0,15
𝑠5 0,15
UNIDAD 2
CÓDIGO HUFFMAN
𝑃 𝑠1 = 0,25 ; 𝑃 𝑠2 = 0,25 ; 𝑃 𝑠3 = 0,2 ; 𝑃 𝑠4 = 0,15 ; 𝑃 𝑠5 = 0,15
Construir un código ternario.
𝑠1 0,25
𝑠2 0,25
𝑠3 0,2
𝑠4 0,15
𝑠5 0,15
UNIDAD 2
CÓDIGO HUFFMAN
𝑃 𝑠1 = 0,25 ; 𝑃 𝑠2 = 0,25 ; 𝑃 𝑠3 = 0,2 ; 𝑃 𝑠4 = 0,1 ; 𝑃 𝑠5 = 0,1 ; 𝑃 𝑠6 = 0,1
𝑠1 0,25
𝑠2 0,25
𝑠3 0,2
𝑠4 0,1
𝑠5 0,1
UNIDAD 2
𝑠6 0,1
CÓDIGO HUFFMAN 𝒓-ary
𝑞−𝑟 Si 𝛼 no es entero, entonces debemos agregar 𝑞 símbolos
Calcular: 𝛼=
(𝑟 − 1) “falsos” tales que me permitan obtener un valor entero
𝑞 = 𝑟 + 𝛼 (𝑟 − 1) El valor de 𝑞 con 𝛼 entero, será el nuevo número de

símbolos de la fuente.
UNIDAD 2
CÓDIGO HUFFMAN
𝑃 𝑠1 = 0,25 ; 𝑃 𝑠2 = 0,25 ; 𝑃 𝑠3 = 0,2 ; 𝑃 𝑠4 = 0,1 ; 𝑃 𝑠5 = 0,1 ; 𝑃 𝑠6 = 0,1
𝑠1 0,25
𝑠2 0,25
𝑠3 0,2
𝑠4 0,1
𝑠5 0,1
UNIDAD 2
𝑠6 0,1
- Considere la siguiente fuente para construir un código cuaternario:
𝑃 𝑠1 = 0,16 ; 𝑃 𝑠2 = 0,14 ; 𝑃 𝑠3 = 0,13 ; 𝑃 𝑠4 = 0,12 ; 𝑃 𝑠5 = 0,10
𝑃 𝑠6 = 0,10 ; 𝑃 𝑠7 = 𝑃 𝑠8 0,06 ; 𝑃 𝑠9 = 0,05 ; 𝑃 𝑠10 = 𝑃 𝑠11 = 0,04
𝑠1 0,16
𝑠2 0,14
𝑠3 0,13
𝑠4 0,12
𝑠5 0,10
𝑠6 0,10
𝑠7 0,06
𝑠8 0,06
UNIDAD 2
𝑠9 0,05
𝑠10 0,04
𝑠11 0,04
código cuaternario
𝑠1 0,16
𝑠2 0,14
𝑠3 0,13
𝑠4 0,12
𝑠5 0,10
𝑠6 0,10
𝑠7 0,06
𝑠8 0,06
𝑠9 0,05
𝑠10 0,04
𝑠11 0,04
UNIDAD 2
𝑠12 0,00
𝑠13 0,00

Ti 2 21.1

Cargado por

Información del documento

Título original

Derechos de autor

Formatos disponibles

Compartir este documento

Compartir o incrustar documentos

Opciones para compartir

¿Le pareció útil este documento?

¿Este contenido es inapropiado?

Copyright:

Formatos disponibles

Ti 2 21.1

Cargado por

Copyright:

Formatos disponibles

TEORIA DE LA

CODIFICACIÓN DE LA FUENTE CODIFICACIÓN DEL CANAL

• Cada fila de P contiene las probabilidades de todas las posibles salidas

• Las probabilidades de la sumatoria de cada fila, debe ser igual a 1.

CANAL SIN RUIDO CANAL CON RUIDO

𝑃 𝑏𝑗 = ෍ 𝑃(𝑎𝑖 )𝑃(𝑏𝑗 |𝑎𝑖 )

¿Cómo cambia nuestra incertidumbre promedio sobre la entrada

SIN RUIDO, si 𝐻 𝐴 𝐵 = 0, implica I 𝐴; 𝐵 = 𝐻(𝐴)

CON RUIDO, si 𝐻 𝐴 𝐵 > 0, pero H 𝐴|𝐵 < 𝐻(𝐴)

AMBIGUO, si 𝐻 𝐴 𝐵 = 𝐻(𝐴), el ruido sobrepone al canal 𝐼 𝐴; 𝐵 = 0

CANAL SIN RUIDO CANAL DETERMINÍSTICO

𝐶 = 2W log 𝑀 𝑏𝑖𝑡𝑠 𝑝𝑜𝑟 𝑠𝑒𝑔𝑢𝑛𝑑𝑜

𝐶 = W log 1 + 𝑆𝑅𝑁 𝑏𝑖𝑡𝑠 𝑝𝑜𝑟 𝑠𝑒𝑔𝑢𝑛𝑑𝑜

EL SRN ME INDICA LA CANTIDAD DE

𝐶 = W log 1 + 𝑆𝑁𝑅 𝑏𝑖𝑡𝑠 𝑝𝑜𝑟 𝑠𝑒𝑔𝑢𝑛𝑑𝑜

0,2 0,3 0,5

La codificación de fuente es entonces la asignación de un símbolo de la fuente 𝒔𝒊 a

TODOS LOS CÓDIGOS PRÁCTICOS, DEBEN SER ENTONCES UNICAMENTE

Un código es unívocamente decodificables “Un código es NO DECODIFICABLE de

para cada valor finito de 𝑛 instancia de una decodificación no única”

“UN CÓDIGO DE BLOQUE DE

Consideremos los siguientes 3 códigos binarios de la fuente 𝑆 = 𝑠1 , 𝑠2 , 𝑠3 , 𝑠4

Consideremos los siguientes 3 códigos binarios de la fuente 𝑆 = 𝑠1 , 𝑠2 , 𝑠3 , 𝑠4

Consideremos los siguientes 3 códigos binarios de la fuente 𝑆 = 𝑠1 , 𝑠2 , 𝑠3 , 𝑠4

UN CÓDIGO PUEDE UN CÓDIGO

COD A es instantáneo ya que COD C es NO instantáneo ya que la

decodificable considerando que “0”

Partimos del siguiente planteamiento:

1. Ordenar las longitudes de las palabras de código en orden creciente.

Diseñar un código binario instantáneo con longitud de palabras 3, 2, 3, 2, 2

Diseñar un código binario instantáneo con longitud de palabras 2, 3, 2, 2, 2

Diseñar un código ternario instantáneo con longitud de palabras 2, 3, 1, 1, 2

𝐿𝑛 = ෍ 𝑝𝑖 𝑙𝑖 𝑙𝑖 es la longitud de la palabra del código que representa el símbolo

𝑟 es el número de símbolos diferentes que constituyen el alfabeto

1. Facilidad de comprobar si un código es instantáneo, mediante simple inspección de

FUENTE COD LONG VARIABLE COD BLOQUE

La longitud promedio se acorta: “… cuando la longitud de palabra código más corta

Todo código de decodificación única, satisface la desigualdad de Kraff.

Si un código no es instantáneo, pero si es de decodificación única, se lo

FUENTE COD FUENTE COD

Diseñar un código unívocamente decodificable ternario con longitudes de palabra: 1, 1, 2, 2, 3, 3

“relación”: “Si la longitud promedio es menor a la entropía, estoy botando información”

Se puede diseñar un código 100% eficiente con 𝐿ത = 𝐻𝑟 𝑠

Para el diseño de códigos instantáneos, trata de producir códigos cercanos a óptimos.

Si consideramos una fuente 𝑆 con 𝑞 símbolos 𝑠𝑖 : 𝑖 = 1,2, … , 𝑞 y sus probabilidades

Fano divide los 𝑞 símbolos en grupos de símbolos equiprobables o lo mas cercano a

Determinar la codificación para esta fuente.

Determinar la codificación para esta fuente.

Determinar la codificación para esta fuente.

El algoritmo de Huffman funciona primero reduciendo sucesivamente una

- Ordenar probabilidades mayor a menor

Construir un código ternario.

𝑞 = 𝑟 + 𝛼 (𝑟 − 1) El valor de 𝑞 con 𝛼 entero, será el nuevo número de

Construir un código ternario.

También podría gustarte