Está en la página 1de 2

er

INF-164 1 parcial II/2013

A C.I.
1.

Apellido

Nombre

firma

Sean S={s1, s2, s3} y T={t1, t2} dos fuentes -no necesariamente estadsticamente independientes- con probabilidades {p1, p2, p3}
y {q1, q2} respectivamente. Si el producto S T es la fuente cuyos smbolos son los pares (si, tj), demostrar que:
H(S T) H(S) + H(T).

H ( S T ) P( si | t j ) P(t j ) log P( si | t j ) P(t j ) P( si | t j ) P(t j )log P( si | t j ) log P(t j )


i

P( si | t j ) P(t j ) log P( si | t j ) P( si | t j ) P(t j ) log P(t j ) P(t j ) log P( si | t j ) P(t j ) log P(t j )
i

H ( S / T ) H (T )
como
2.

H ( S | T ) H ( S ) H ( S T ) H ( S ) H (T )

Sea S la extensin de tercer orden de una fuente binaria de memoria nula, cuya probabilidad de emitir un 0 es igual a p. Otra
fuente, T, observa las salidas de S, emitiendo un 0, 1, 2 3 segn que la salida de S contenga 0,1,2 3 ceros.
a)
(10) Calcular H(S)
Fuente
Tercera
b)
(15) Calcular H(T)
c)
(05) Interpretar el resultado de H(S) H(T).
Original
extensin
Fuente T

So
0
1

poi
p
q

1
1
1
1
3 p 2 q log 2 3 pq 2 log 2 q 3 log 3
3
p
p q
pq
q
1
1
1
1
H (T ) p 3 log 3 3 p 2 q log 2 3 pq 2 log
q 3 log 3
2
p
3p q
3 pq
q

H ( S ) p 3 log

S
000
001
010
011
100
101
110
111

pi
ppp
ppq
pqp
pqq
qpp
qpq
qqp
qqq

T
0
1
2
3

pi
qqq
3pqq
3ppq
ppp

H (S ) H (T ) 3 p 2 q(log 3) 3 pq 2 (log 3) 3 log( 3) ( p 2 q pq 2 ) 3 log( 3) pq H (S ) H (T )


3.

Determinar la entropa de la fuente afn de la siguiente fuente de Markov de segundo orden

0.1
00
0.3

0.9
0.2
01

10

D = p34p13+ 2p21p34 + p42 p21 =


p(00) = w1 = p13p34 / D =
p(01) = w2 = p34p21 / D =
p(10) = w3 = p34p21 / D =
p(11) = w4 = p42p21 / D =

1,56
1/13
3/13
3/13
6/13

0.7
Entropia de la Fuente Afin S'

0.8

0.4

p(0)=p(0/00)p(00)+p(0/10)p(10)+p(0/01)p(01)+p(0/11)p(11) = w1 + w3 =
p(1)=p(1/00)p(00)+p(1/10)p(10)+p(1/01)p(01)+p(1/11)p(11) = w2 + w4 =

11
0.6

H( S' ) =

0.1w1
0.1 0 0.3 0 w1 w1
w
w
0.9
w1

0.9
0
0.7
0

2 2
0 0.8 0 0.4 w3 w3
0.0
0 0.2 0 0.6 w4 w4
0.0
w1

w2

0.9w1
0.9w1
0.0
0.0
w1

w3

w2

0.3w3
0.7 w3
w3
0.0

0,0
0,0
0,8
0,2

0.0 w1
0.0 w2
0.4 w4 w3
0.6 w4 w4

w3

0.0 0
w1 1 3 w3
0.0 0
w2 w3
0.4 w4 0
w2 1 2 w4
0.4 w4 0

w4 3w1 w2 w3 ; w4 6w1

w1 3w1 3w1 6w1 1 13w1 1 w1


0,1
0,9
0,0
0,0

0.3w3
0.7 w3
0.0
0.0

w4 1

0.0
w2
0.2 w2
0.8w2
1

0.0
0.0
0.8w2
0.2 w2

0,89049

0,3
0,7
0,0
0,0

0,0
0,0
X
0,4
0,6

0,077
0,231
=
0,231
0,462

1
13

; w2 313 ; w3 313 ; w4 6 13

0,077
0,231
0,369
0,323

4/13
9/13

er

INF-164 1 parcial II/2013

B C.I.

Apellido

Nombre

firma

Sean S={s1, s2} y T={t1, t2, t3} dos fuentes -no necesariamente estadsticamente independientes- con probabilidades {p1, p2} y
{q1, q2, q3} respectivamente. Si el producto S T es la fuente cuyos smbolos son los pares (s i, tj), demostrar que:
H(S T) H(S) + H(T).
El nmero de cdigos diferentes correspondientes a una fuente S de q smbolos puede cifrarse con ayuda de rboles.
Encontrar todos los rboles diferentes que corresponda a algn cdigo compacto ternarios con q = 7. Dos cdigos son
diferentes si sus conjuntos de longitudes de palabras son diferentes. A cada rbol encontrado coloque su conjunto de
longitudes e indique las probabilidades para el cual cada cdigo encontrado tiene el 100% de eficiencia.

2.

e
1

31
1

1.

31

32

31
2

31
3

32
1

32
2

33

32
3

33
1

33
2

21

33
3

22

23

32
1

31

32
2

e
1

11

12

13

si
xi
li
pi
pi*li
-pi*log(pi)
si
xi
li
pi
pi*li
-pi*log(pi)
si
xi
li
pi
pi*li
-pi*log(pi)
3.

21

22

23

31

1
2
3
4
1
2 311 312
1
1
3
3
0,33 0,33 0,04 0,04
0,33 0,33 0,11 0,11
0,33 0,33 0,11 0,11

32

33

33
1

33
2

5
313
3
0,04
0,11
0,11

33
3

6
321
3
0,04
0,11
0,11

7
322
3
0,04
0,11
0,11

8
323
3
0,04
0,11
0,11

9
331
3
0,04
0,11
0,11

10
332
3
0,04
0,11
0,11

11
333
3
0,04
1
0,11 1,67 =L
0,11 1,67 =H(S)

1
2
3
4
5
6
7
1 21 22 23 31 321 322
1
2
2
2
2
3
3
0,33 0,11 0,11 0,11 0,11 0,04 0,04
0,33 0,22 0,22 0,22 0,22 0,11 0,11
0,33 0,22 0,22 0,22 0,22 0,11 0,11

8
323
3
0,04
0,11
0,11

9
331
3
0,04
0,11
0,11

10
332
3
0,04
0,11
0,11

11
333
3
0,04
1
0,11 1,89 =L
0,11 1,89 =H(S)

1
2
3
4
5
6
7
8
9 10
11 12 13 21 22 23 31 32 331 332
2
2
2
2
2
2
2
2
3
3
0,11 0,11 0,11 0,11 0,11 0,11 0,11 0,11 0,04 0,04
0,22 0,22 0,22 0,22 0,22 0,22 0,22 0,22 0,11 0,11
0,22 0,22 0,22 0,22 0,22 0,22 0,22 0,22 0,11 0,11

11
333
3
0,04
1
0,11 2,11 =L
0,11 2,11 =H(S)

Determinar la entropa de la fuente afn de la siguiente fuente de Markov de segundo orden:

0.1
00
0.9

0.7
0.8

01

10
0.3
0.2

0.4
11
0.6

32

32
3

33

33
1

33
2

33
3

También podría gustarte