Departamento de Ingeniera El ectrica

Facultad de Ciencias Fsicas y Matem aticas

Universidad de Chile
EL7024: Teora de Informaci on: Fundamentos y Aplicaciones.
Tarea 2
Problema 4
Fuentes Perfectas
Profesor:
Jorge Silva, Ph.D.
Auxiliar:
Rodrigo Lobos
Ayudante:
Hernan Calderon
Integrantes:
Felipe Santiba nez-Leal
Fecha:
02 de Junio, 2014
Felipe Santiba nez-Leal EL724 Tarea 2 Problema 4
Problema 4 (Fuentes Perfectas)
Fuentes Perfectas. Considere una fuente X
1
, X
2
, sin memoria con valores en A = {1, . . . , M} y masa de
probabilidad p
X
(). Ademas considere L

= {l
1
, l
2
, , l
M
} los largos de un codigo PF optimos para X (por
ejemplo obtenidos con el algoritmo de Human).
Muestre que L

M
j=1
p
X
(j) l
j
= H(X) , s y solo s:
p
X
(j) = 2
l
j
, j {1, . . . , M}
Desarrollo
Podemos desarrollar este problemas basandonos en los resultados de la seccion 2,5,2 Entropy bounds on L,
en el libro Principles of digital communication 2008. En primer lugar, de la ecuacion 2,8 (donde se considera
sin perdida de generalidad p
j
> 0):
H(X) L =
M

j=1
p
j
log
1
p
j

j=1
p
j
l
j
=
M

j=1
p
j
log
2
l
j
p
j
Usando la desigualdad lnu u 1 se obtiene la desigualdad 2,9:
H(X) L (log e)
M

j=1
p
j

2
l
j
p
j
1

Para obtener H(X) = L, se debe tener:

H(X) L (log e)
M

j=1
p
j

2
l
j
p
j
1

= 0
La unica forma posible de obtener la igualdad deseada corresponde a que
2
l
j
p
j
1 = 0, para cada valor de
j. Es decir se requiere que:
2
l
j
p
j
= 1, j
Finalmente se debe cumplir:
2
l
j
= p
j
, j
Es decir:
p
X
(j) = 2
l
j
, j {1, . . . , M}
Problema 4 continued on next page. . . Page 1 of 2
Felipe Santiba nez-Leal EL724 Tarea 2 Problema 4 (continued)
Con lo que hemos demostrado lo requerido en este problema.
Page 2 of 2