Departamento de Ingeniera El ectrica

Facultad de Ciencias Fsicas y Matem aticas

Universidad de Chile
EL7024: Teora de Informaci on: Fundamentos y Aplicaciones.
Tarea 2
Problema 5
Adaptado de Gallager
Profesor:
Jorge Silva, Ph.D.
Auxiliar:
Rodrigo Lobos
Ayudante:
Hernan Calderon
Integrantes:
Felipe Santiba nez-Leal
Fecha:
02 de Junio, 2014
Felipe Santiba nez-Leal EL724 Tarea 2 Problema 5
Problema 5 (Adaptado de Gallager)
Adaptado de Gallager. Considere una fuente X
1
, X
2
, con valores en A = {1, 2, 3} y funcion .de probabi-
lidad {0,5, 0,4, 0,1}, respectivamente:
Parte (a). Determine L
min,1
: el largo promedio mnimo de un codigo PF para X
1
, X
2
, .
Como el alfabeto tiene tres elementos, es posible encontrar la codicacion de Human binaria para este caso.
EL elemento de mayor probabilidad tendra codigo 0, y los otros dos tendran codigos 10 y 11 indistintamente. De
esta forma los largos de codigo empleados en la codicaion son {1, 2, 2}. El largo promedio minimo es entonces:
L
min,1
=

3
i=1
p
i
l
i
= 0,5 1 + 0,4 2 + 0,1 2
= 1,5 bits
Parte (b). Determine L
min,2
: el largo promedio mnimo para la fuente producto X
2
1
, X
4
3
,
con valores en A
2
.
El conjunto de probabilidades para la fuente producto esta dada por: {0,25, 0,2, 0,05, 0,2, 0,16, 0,04, 0,05, 0,04, 0,01}.
Por comodidad y simplicidad utilizaremos una version ordenada de este conjunto: {0,25, 0,2, 0,2, 0,16, 0,05, 0,05, 0,04, 0,04, 0,01}.
Desarrollando un codigo de Human binario para la fuente producto se tiene: {2, 2, 2, 3, 5, 5, 5, 6, 6}. EL
largo esperado es por tanto de 2,68. EL largo esperado por letra de fuente es L
min,2
= 1,34.
Parte (c). Verique por denci on que L
min,1
L
min,2
.
De la parte anterior se tiene un ejemplo de esta relacion. Es posible apreciar que este resultado es general.
Para esto debemos prestar atencion al hecho de que un conjunto de palabras de codigo para la fuente producto
puede ser descrito en el peor de los cosas simplemente mediante la concatenacion de las palabras de codigo para
las 2 fuentes originales. Es decir, el largo promedio por palabra de fuente no sera mayor al del codigo fuente
original L
min,2

1
2
(L
min,1
+ L
min,1
).
Parte (d). Generalice lo anterior y muestre que: n > 0, l > 0:
L
min,n
L
min,ln
Podemos asumir que disponemos de la informacion para L
min,n
, es decir la concatenacion de n fuentes. Ahora
podemos imaginar un nuevo conjunto formado por la combinacion de l fuentes caracterizadas por L
min,n
. La
concatenacion de l fuentes n-producto tendra un largo promedio no puede ser peor que l veces L
min,n
:
L
min,ln

1
l

l

j=1
L
min,n
Asi:
Problema 5 continued on next page. . . Page 1 of 2
Felipe Santiba nez-Leal EL724 Tarea 2 Problema 5 (continued)
L
min,ln

l
l
L
min,n
Obteniendo la relacion buscada:
L
min,ln
L
min,n
Parte (e). De lo anterior muestre que si la fuente X
n

X
n
1
, X
2n
n+1

con valores en A
n
tiene
distribucion perfecta (problema 1), entonces todas las fuentes concatenadas {X
n
, X
2n
, X
3n
, }
tambien satisfacen dicha propiedad.
Una forma de establecer la codicacion para las fuentes concatenadas

X
n
, X
2n
, X
3n
,

es utilizando
concatenacion de codigos de Human para cada fuente X
n
en la concatenacion. El largo esperado de la fuente
concatenada esta dado por: L
min,n
+ L
min,n
+ L
min,n
= L
min,2n
+ L
min,n
. Si consideramos el largo esperado
normalizado por letra de fuente, el largo optimo no puede ser peor que (por ejemplo para concatenacion de M
fuentes X
n
):
L
min,Mn

1
M

j=1
L
min,n

Puede reescribirse como:

L
min,Mn

M 1
M

L
min,(M1)n

+
1
M
(L
min,n
)
Con lo que hemos comprobado la validez de la propiedad para todas las fuentes concatenadas.
Page 2 of 2