Actividad de Aprendizaje 2

1. Una fuente binaria de memoria nula tiene las probabilidades P(0) = 0.1 y P(1) = 0.9
a) Calcule la entropía de la fuente.

H(X) P0 * log2 (1/p) + P1 * log2 (1/p)

0.1 * log2 (1/0,1) + 0,9 * log2 (1/0,9)
0.1 * log2 (1/0,1) = 0,3321
0.9 * log2 (1/0,9) = 0,1368

0,3321+0,1368 = 0, 4689

La entropía de la fuente es de 0,4689

b) Calcule la longitud media de código utilizando códigos compactos binarios para S n

dónde n = 1, 2, 3, 4
Teniendo en cuenta como alfabeto
X = {0, 1}
Tip: S2 = {00, 01, 10, 11}, luego las probabilidades serian:
PS2 = {0.01, 0.09, 0.09, 0.81}

Calculado en Ps1
Prob. Binaria Valor Nueva Probabilidad
0 0,1 0,1
1 0,9 0,9

S Probabilidad
S1 0,1
S2 0,9

Longitud Media de Código = 1

Calculado en Ps2

Calculo Nueva
Probabilidad Nueva Probabilidad
Probab.
00 0,1*0,1 0.01
01 0,1*0,9 0.09
10 0,9*0,1 0.09
11 0,9*0,9 0.81

This study source was downloaded by 100000834056255 from CourseHero.com on 09-02-2022 20:55:00 GMT -05:00

https://www.coursehero.com/file/57309628/Actividad-de-Aprendizaje-2-Luis-Valbuena-Pardodocx/
 S Probabilidad
S1 0,81 / 0 0,81 / 0 0,81 / 0

S2 0,09 / 11 0,1 / 10 0,19 / 1

S3 0,09 / 100 0,09 / 11

S4 0,01 / 101

Longitud Media de Código: 1,29

Probabilidad Longitud Valor

0,81 1 0,81
0,09 2 0,18
0,09 3 0,27
0,01 3 0,03
Longitud
1,29
Media

Calculado en Ps3

Probabilidad Calculo Nueva Prob. Nueva Probabilidad

000 0,1*0,1*0,1 0,001
001 0,1*0,1*0,9 0,009
010 0,1*0,9*0,1 0,009
011 0,1*0,9*0,9 0,081
100 0,9*0,1*0,1 0,009
101 0,9*0,1*0,9 0,081
110 0,9*0,9*0,1 0,081
111 0,9*0,9*0,9 0,729

S S1 S2 S3 S4 S5 S6 S7
S1 0,729 / 0 0,729 / 0 0,729 / 0 0,729 / 0 0,729 / 0 0,729 / 0 0,729 / 0
S2 0,081 / 100 0,081 / 100 0,081 / 100 0,081 / 100 0,109 / 11 0,162 / 10 0,271 / 1
S3 0,081 / 101 0,081 / 101 0,081 / 101 0,081 / 101 0,081 / 100 0,109 / 11
S4 0,081 / 110 0,081 / 110 0,081 / 110 0,081 / 110 0,081 / 101
S5 0,009 / 11110 0,010 / 1110 0,010 / 1110 0,028 / 111
S6 0,009 / 11111 0,009 / 11110 0,018 / 1111
S7 0,009 / 11100 0,009 / 11111
S8 0,001 / 11101

Longitud Media de Código: 1,598

This study source was downloaded by 100000834056255 from CourseHero.com on 09-02-2022 20:55:00 GMT -05:00

https://www.coursehero.com/file/57309628/Actividad-de-Aprendizaje-2-Luis-Valbuena-Pardodocx/
 Probabilidad Longitud Valor
0,729 1 0,729
0,081 3 0,243
0,081 3 0,243
0,081 3 0,243
0,009 5 0,045
0,009 5 0,045
0,009 5 0,045
0,001 5 0,005
Longitud Media 1,598

Calculado en Ps4

Probabilidad Calculo Nueva Prob. Nueva Probabilidad

0000 0,1*0,1*0,1*0,1 0,0001
0001 0,1*0,1*0,1*0,9 0,0009
0010 0,1*0,1*0,9*0,1 0,0009
0011 0,1*0,1*0,9*0,9 0,0081
0100 0,1*0,9*0,1*0,1 0,0009
0101 0,1*0,9*0,1*0,9 0,0081
0110 0,1*0,9*0,9*0,1 0,0081
0111 0,1*0,9*0,9*0,9 0,0729
1000 0,9*0,1*0,1*0,1 0,0009
1001 0,9*0,1*0,1*0,9 0,0081
S4 1010
S5 S6 0,9*0,1*0,9*0,1
S7 S8 S9 S10 0,0081
S11 S12
S S1 S2 S3 S13 S14 S15
1011
0,6561 0,6561 0,9*0,1*0,9*0,9 0,0729
0,6561 0,6561 0,6561 0,6561 0,6561 0,6561 0,6561
S1 0,6561 0,6561 0,6561 0,6561 0,6561 0,6561
S2 0,0729 0,0729 0,0729 0,07291100
0,0729 0,0729 0,9*0,9*0,1*0,1 0,0081
0,0729 0,0729 0,0729 0,0729 0,0729 0,1252 0,1458 0,1981 0,3439
S3 0,0729 0,0729 0,0729 0,07291101
0,0729 0,9*0,9*0,1*0,9 0,0729
0,0729 0,0729 0,0729 0,0729 0,0729 0,0729 0,0729 0,1252 0,1458
1010
0,0729 0,0729 0,9*0,1*0,9*0,1 0,0081
0,0729 0,0729 0,0729 0,0729 0,0729 0,0729 0,0729
S4 0,0729 0,0729 0,0729 0,0729
1111 0,9*0,9*0,9*0,9 0,6561
S5 0,0729 0,0729 0,0729 0,0729 0,0729 0,0729 0,0729 0,0729 0,0729 0,0729 0,0729 0,0729
S6 0,0081 0,0081 0,0081 0,0081 0,0081 0,0118 0,0162 0,0162 0,0199 0,0199 0,0523
S7 0,0081 0,0081 0,0081 0,0081 0,0081 0,0081 0,0118 0,0162 0,0162 0,0324
S8 0,0081 0,0081 0,0081 0,0081 0,0081 0,0081 0,0081 0,0118 0,0162
S9 0,0081 0,0081 0,0081 0,0081 0,0081 0,0081 0,0081 0,0081
S10 0,0081 0,0081 0,0081 0,0081 0,0081 0,0081 0,0081
S11 0,0081 0,0081 0,0081 0,0081 0,0081 0,0081
S12 0,0009 0,0010 0,0018 0,0019 0,0037
S13 0,0009 0,0009 0,0010 0,0018
S14 0,0009 0,0009 0,0009
S15 0,0009 0,0009

This study source was downloaded by 100000834056255 from CourseHero.com on 09-02-2022 20:55:00 GMT -05:00

https://www.coursehero.com/file/57309628/Actividad-de-Aprendizaje-2-Luis-Valbuena-Pardodocx/
S16 0,0001

Codificación
0
101
110
111
1000
100101
1001000
1001100
1001101
1001110
1001111
100100101
100100110
100100111
1001001000
1001001001

Longitud Media de Código = 1,9702

Probabilidad Longitud Valor

0,6561 1 0,6561
0,0729 3 0,2187
0,0729 3 0,2187
0,0729 3 0,2187
0,0729 4 0,2916
0,0081 6 0,0486
0,0081 7 0,0567
0,0081 7 0,0567
0,0081 7 0,0567
0,0081 7 0,0567
0,0081 7 0,0567
0,0009 9 0,0081
0,0009 9 0,0081
0,0009 9 0,0081
0,0009 10 0,009

This study source was downloaded by 100000834056255 from CourseHero.com on 09-02-2022 20:55:00 GMT -05:00

https://www.coursehero.com/file/57309628/Actividad-de-Aprendizaje-2-Luis-Valbuena-Pardodocx/
 0,0001 10 0,001
Longitud Media 1,9702

2. Dada la fuente S= {1/3,1/3,1/9,1/9,1/27,1/27,1/27}

a) Encontrar codigos compactos para X = {0,1} y X = {0,1,2}

b) Calcular la longitud media de código para cada codificación.

X= { 0 , 1 }

S Prob Prob. En Decimal Código Final S1 S2 S3 S4

S1 1/3 0,333333 / 1 0,333333 / 1 0,333333 / 1 0,333333 / 1 0,333333 / 1 0,666667 / 0
S2 1/3 0,333333 / 00 0,333333 / 00 0,333333 / 00 0,333333 / 00 0,333333 / 00 0,333333 / 1
S3 1/9 0,111111 / 011 0,111111 / 011 0,111111 / 011 0,222222 / 010 0,333333 / 01
S4 1/9 0,111111 / 0100 0,111111 / 0100 0,111111 / 0100 0,111111 / 011
S5 1/27 0,037038 / 01011 0,074075 / 01010 0,111111 / 0101
S6 1/27 0,037037 / 010100 0,037037 / 01011
S7 1/27 0,037037 / 010101

Longitud Media de Código = 2.4074

Probabilidad Longitud Valor

0,333333333 1 0,333333333
0,333333333 2 0,666666666
0,111111111 3 0,333333333
0,111111111 4 0,444444444
0,037037038 5 0,18518519
0,037037037 6 0,222222222
0,037037037 6 0,222222222
Total 2,40740741

X= { 0 , 1 , 2 }

S Prob Probabilidades S1 S2

This study source was downloaded by 100000834056255 from CourseHero.com on 09-02-2022 20:55:00 GMT -05:00

https://www.coursehero.com/file/57309628/Actividad-de-Aprendizaje-2-Luis-Valbuena-Pardodocx/
 S1 1/3 0,333333333 / 0 0,333333333 / 0 0,33333333 / 0
S2 1/3 0,333333333 / 1 0,333333333 / 1 0,33333333 / 1
S3 1/9 0,111111111 / 20 0,111111111 / 20 0,33333333 / 2
S4 1/9 0,111111111 / 21 0,111111111 / 21
S5 1/27 0,037037037 / 220 0,111111111 / 22
S6 1/27 0,037037037 / 221
S7 1/27 0,037037037 / 222

Longitud Media de Código = 1,4444

Probabilidad Longitud Valor

0,333333333 1 0,333333333
0,333333333 1 0,333333333
0,111111111 2 0,222222222
0,111111111 2 0,222222222
0,037037037 3 0,111111111
0,037037037 3 0,111111111
0,037037037 3 0,111111111
Total 1,444444444

3. La fuente S consta de 9 símbolos cada uno de probabilidad de 1/9.

a) Encontrar un código compacto de alfabeto
a. X = {0,1}
b. X = {0,1,2}
c. X = {0,1,2,3}

X={0,1}

S Prob. S1 S12 S2 S3 S4 S5 S6 S7
S1 1/9 0,11111 /001 0,222 /01 0,222 /01 0,222 /01 0,222 /01 0,333 / 00 0,444 / 1 0,555 / 0
S2 1/9 0,11111 /0000 0,111 / 011 0,222 /10 0,222 /10 0,222 /10 0,222 / 01 0,333 / 0 0,444 / 1
S3 1/9 0,11111 /0001 0,111 /0000 0,111 /001 0,222 /11 0,222 /11 0,222 / 10 0,222 / 01
S4 1/9 0,11111 /110 0,111 /0001 0,111 /0000 0,111 /001 0,222 /000 0,222 / 11
S5 1/9 0,11111 /111 0,111 /110 0,111 /0001 0,111 /0000 0,111 /001
S6 1/9 0,11111 /100 0,111 /111 0,111 /110 0,111 /0001

This study source was downloaded by 100000834056255 from CourseHero.com on 09-02-2022 20:55:00 GMT -05:00

https://www.coursehero.com/file/57309628/Actividad-de-Aprendizaje-2-Luis-Valbuena-Pardodocx/
 S7 1/9 0,11111 /101 0,111 /100 0,111 /111
S8 1/9 0,11111 /010 0,111 /101
S9 1/9 0,11111 /011

X={0,1,2}

S Prob. S1 S2 S3 S4
S1 1/9 0,11111 / 20 0,333 / 0 0,333 / 0 0,333 / 0
S2 1/9 0,11111 / 21 0,111 / 20 0,333 / 1 0,333 / 1
S3 1/9 0,11111 / 22 0,111 / 21 0,111 / 20 0,333 / 2
S4 1/9 0,11111 / 10 0,111 / 22 0,111 / 21
S5 1/9 0,11111 / 11 0,111 / 10 0,111 / 22
S6 1/9 0,11111 / 12 0,111 / 11
S7 1/9 0,11111 / 00 0,111 / 12
S8 1/9 0,11111 / 01
S9 1/9 0,11111 / 02

X={0,1,2,3}

S Prob. S1 S2 S3
S1 1/9 0,11111 / 2 0,333 / 1 0,444 / 0
S2 1/9 0,11111 / 3 0,111 / 2 0,333 / 1
S3 1/9 0,11111 / 00 0,111 / 3 0,111 / 2
S4 1/9 0,11111 / 01 0,111 / 00 0,111 / 3
S5 1/9 0,11111 / 02 0,111 / 01
S6 1/9 0,11111 / 03 0,111 / 02
S7 1/9 0,11111 / 10 0,111 / 03
S8 1/9 0,11111 / 11
S9 1/9 0,11111 / 12
S10 0 0 / 13

This study source was downloaded by 100000834056255 from CourseHero.com on 09-02-2022 20:55:00 GMT -05:00

https://www.coursehero.com/file/57309628/Actividad-de-Aprendizaje-2-Luis-Valbuena-Pardodocx/
Powered by TCPDF (www.tcpdf.org)