INF-164 1er Parcial I/2013

C.I. Apellido Nombre firma _

1. Dada la fuente de Markov S de orden 3 con alfabeto {a,b} donde:
p(a/aaa)=0.2, p(a/aab)=0.1, p(a/aba)=0.75, p(a/abb)=0.3, p(a/baa)=0.7, p(a/bab)=0.25, p(a/bba)=0.9, p(a/bbb)=0.8, p(b/aaa)=0.8,
p(b/aab)=0.9, p(b/aba)=0.25, p(b/abb)=0.7, p(b/baa)=0.3, p(b/bab)=0.75, p(b/bba)=0.1, p(b/bbb)=0.2

a) Dibuje la matriz de transicin de estados de la tercera extensin de la fuente S escribiendo en ella las siguientes probabilidades:
p(bab/aaa), p(aba/aab), p(aab/aba), p(baa/abb), p(abb/baa), p(bba/bab), p(bbb/bba), p(aaa/bbb).
b) Detalle la forma de obtener cada una de estas ocho probabilidades.

aaa aab aba abb baa bab bba bbb
aaa 0,008 0,053 0,105 0,189 0,028 0,131 0,126 0,504
aab 0,032 0,023 0,42 0,081 0,112 0,056 0,504 0,216
aba 0,016 0,006 0,023 0,008 0,056 0,016 0,027 0,02
abb 0,144 0,019 0,203 0,023 0,504 0,047 0,243 0,06
baa 0,06 0,243 0,047 0,504 0,023 0,203 0,019 0,144
bab 0,02 0,027 0,016 0,056 0,008 0,023 0,006 0,016
bba 0,216 0,504 0,056 0,112 0,081 0,42 0,023 0,032
bbb 0,504 0,126 0,131 0,028 0,189 0,105 0,053 0,008

P(i/jkl) aaa aab aba abb baa bab bba bbb
a 0,2 0,1 0,75 0,3 0,7 0,25 0,9 0,8
b 0,8 0,9 0,25 0,7 0,3 0,75 0,1 0,2
p(bab/aaa)= p(b/aaa) p(a/aab) p(b/aba)= 0,8 0,1 0,25 = 0,02
p(aba/aab)= p(a/aab) p(b/aba) p(a/bab)= 0,1 0,25 0,25 = 0,0063
p(aab/aba)= p(a/aba) p(a/baa) p(b/aaa)= 0,75 0,7 0,8 = 0,42
p(baa/abb)= p(b/abb) p(a/bbb) p(a/bba)= 0,7 0,8 0,9 = 0,504
p(abb/baa)= p(a/baa) p(b/aaa) p(b/aab)=
0,7 0,8 0,9 = 0,504
p(bba/bab)= p(b/bab) p(b/abb) p(a/bbb)= 0,75 0,7 0,8 = 0,42
p(bbb/bba)= p(b/bba) p(b/bab) p(b/abb)= 0,1 0,75 0,7 = 0,0525
p(aaa/bbb)= p(a/bbb) p(a/bba) p(a/baa)= 0,8 0,9 0,7 = 0,504


2. Sean S={s1, s2} y T={t1, t2} dos fuentes estadsticamente independientes con probabilidades {p1, p2} y {q1, q2} respectivamente. Si el
producto S T es la fuente cuyos smbolos son los pares (si tj) con probabilidades P(si tj) = pi qj para toda i y j, demostrar que:
H(S T) = H(S) + H(T)

1 1 1 2 2 1 2 2
1 1 1 2 2 1 2 2
1 1 1 2 2 1 2 2
1 1 1 2 2 1 2 2
1 1 1 1 1 2 1 2
1 1 1 2
1 1 1 1
( ) log log log log
1 1 1 1 1 1 1 1
log log log log log log log log
1 1 1 1
log log log log
H S T p q p q p q p q
p q p q p q p q
p q p q p q p q
p q p q p q p q
p q p q p q p q p
p q p q
= + + +
| | | | | | | |
= + + + + + + +
| | | |
\ . \ . \ . \ .
= + + + +
( ) ( ) ( ) ( )
( )
2 1 2 1 2 2 2 2
2 1 2 2
1 2 1 1 2 1 1 2 2 1 2 2
1 1 2 2
1 2 1 2
1 2 1 2
1 1 1 1
log log log log
1 1 1 1
log log log log
1 1 1 1
log log log log
( )
q p q p q p q
p q p q
q q p p p q p p q q q p
p q q p
p p q q
p p q q
H S H T
+ + +
= + + + + + + +
= + + +
= +



3. Sea la fuente de Markov de primer orden S= {1,2}, cuyo diagrama de transicin es la figura y donde q =1 - p y s = 1 r.
s
q
1
p
2
r

a. Hallar la entropa de la fuente afn.

1 1
2 2
1 2
1
W W
w w p s
q r w w
w w
H =
( ( (
=
( ( (

+ =

1 2 1
1 2 2
1 2
1 2
1 2
1 2
1
0
0
1
pw sw w
qw rw w
w w
qw sw
qw sw
w w
+ =
+ =
+ =
+ =
=
+ =

( )
1 2
2
2
0
1 1
s
w w
q
s
w
q
q
w
q s
=
+ =
=
+

( )
1
1
log log
q s
w
q s q s
q q s s q s
H S
q s q q s s
= =
+ +
| | + + | |
= +
| |
+ +
\ .
\ .


b. Toda la combinacin de valores de p y r para los cuales S no es ergdica.

( ) ( ) 1 1 p r = v =

INF-164 1er Parcial I/2013

C.I. Apellido Nombre firma _


4. Los smbolos de una fuente tienen las siguientes probabilidades p(s1)=0.2, p(s2)=0.5, p(s3)=0.3.
a) Obtener el cdigo aritmtico para la palabra cdigo s2s1s2s3.
b) Hallar la palabra de cuatro smbolos que corresponde al siguiente cdigo: 0.81927

a) b)
si pi Fi
Amplitud 1,00 0,500 0,100 0,050
Lim. Inf. 0,00 0,200 0,200 0,220
s1 0,20 0,20 0,200 0,300 0,220 0,230
s2 0,50 0,70 0,700 0,550 0,270 0,255
s3 0,30 1,00 1,000 0,700 0,300 0,270 0,260
Lim. Sup. 1,00 0,700 0,300 0,270
Palabra s2 s1 s2 s3

si pi Fi
Amplitud 1,00 0,300 0,150 0,075
Lim. Inf. 0,00 0,700 0,760 0,790
s1 0,20 0,20 0,200 0,760 0,790 0,805
s2 0,50 0,70 0,700 0,910 0,865 0,843 0,819
s3 0,30 1,00 1,000 1,000 0,910 0,865
Lim. Sup. 1,00 1,000 0,910 0,865
Palabra s3 s2 s2 s2



5. Construya una fuente de 11 smbolos, cuyo cdigo ternario sea compacto y 100% eficiente y cuya longitud mxima de palabra sea
3. Especifique para la fuente las probabilidades de cada smbolo y calcule con ellas a) la longitud media del cdigo y b) la entropa de
la fuente.

p
i
l
i
p
i
*l
i
-log(p
i
) -p
i
log(p
i
) p
i
l
i
p
i
*l
i
-log(p
i
) -p
i
log(p
i
) p
i
l
i
p
i
*l
i
-log(p
i
) -p
i
log(p
i
)
1/3 1 1/3 1 1/3 1/3 1 1/3 1 1/3 1/9 2 2/9 2 2/9
1/3 1 1/3 1 1/3 1/9 2 2/9 2 2/9 1/9 2 2/9 2 2/9
1/27 3 1/9 3 1/9 1/9 2 2/9 2 2/9 1/9 2 2/9 2 2/9
1/27 3 1/9 3 1/9 1/9 2 2/9 2 2/9 1/9 2 2/9 2 2/9
1/27 3 1/9 3 1/9 1/9 2 2/9 2 2/9 1/9 2 2/9 2 2/9
1/27 3 1/9 3 1/9 1/27 3 1/9 3 1/9 1/9 2 2/9 2 2/9
1/27 3 1/9 3 1/9 1/27 3 1/9 3 1/9 1/9 2 2/9 2 2/9
1/27 3 1/9 3 1/9 1/27 3 1/9 3 1/9 1/9 2 2/9 2 2/9
1/27 3 1/9 3 1/9 1/27 3 1/9 3 1/9 1/27 3 1/9 3 1/9
1/27 3 1/9 3 1/9 1/27 3 1/9 3 1/9 1/27 3 1/9 3 1/9
1/27 3 1/9 3 1/9 1/27 3 1/9 3 1/9 1/27 3 1/9 3 1/9
1 1 2/3 1 2/3 1 1 8/9 1 8/9 1 2 1/9 2 1/9


e
31
1 2 3
33 32
33
1
33
3
33
2
32
1
32
3
32
2
31
1
31
3
31
2

e
31
1 2 3
33 32 22
33
1
33
3
33
2
32
1
32
3
32
2
21 23

e
31
2 3
33 32 22
33
1
33
3
33
2
21 23
1
12 11 13