M HA TI U BNG PHNG PHP SHANNON

I. GII THIU
1. Mt s khi nim
a. Ngun tin ri rc

Ngun tin ri rc : ngun tin to ra mt cui cc bin

ngu nhin ri rc X1,X2,,Xn

K hiu X={ X1,X2,,Xn}

b. M ha ngun :
M ha ngun l mt php m ha bin i ngun X
thnh X tng tc c thng tin trong trng hp R<C hay
chnh l tc lp tin ca ngun nh hn thng lng ca knh.
Do m ha ngun l m ha lm tng thng tin trung bnh
trong mi tin ca ngun.
c. B m ti u:
Mt b m m ha cho mt ngun c gi l ti u nu c
chiu di trung bnh l nho nht trong tt c cc b m ( d
nhin phn tch c) c th m ha cho ngun . V d nhin
b m ti u l mt b m prefix.
d. M c tnh prefix:
Mt b m c gi l c tinh prefix nu nh khng c t
m no l phn u ca t m khc.
Page 1 of 13

M HA TI U BNG PHNG PHP SHANNON

Trong thc tin thng dng m c tnh prefix v n cho ta
iu kin kim tra ngn nht hay c chm gii m nh nht.
e. Chiu di trung bnh
T mt ngun ri rc c tin X={Xi} i= c tin Xi
xut hin th P(X)={P(Xi)}, P(Xi) tng th li gim khi chiu
di trung bnh ca t m m ha thng tin l:

i).li

2.Cc nh l v gii hn trn v gii hn di ca chiu di

trung bnh.
a) nh l 1:
Cho ngun tin X= {a1,,ak} vi cc xc sut tng ng
p1,,pk. Mt b m phn tch c bt k cho ngun ny vi c s
m m, chiu di trung bnh t m s tha( trong H(X) la entropy
cua ngun vi c s ca logarit la m).

b) nh l 2:
Page 2 of 13

M HA TI U BNG PHNG PHP SHANNON

Cho ngun tin X= {a1,,ak} vi cc xc sut tng ng
p1,,pk, c th xy dng mt m prefix vi c s m sao cho:
<

+1

3. Hiu sut lp m
nh gi mt phng php m ha no tt hay khng
ngi ta a khi nim hiu sut lp m.
Hiu sut lp m h c nh ngha bng hiu s gia entropy
vi chiu di trung bnh ca b m c lp:
h=

.100%

4. Quy tc i s thp phn h mi sang h hai

Ly s cn i nhn vi 2, tch nhn c s gm phn
nguyn v phn l nh phn, ly phn l nh phn ca tch thu c
nhn tip vi 2. Lm nh vy cho ti khi c tch chn bng 1.
Chn ring cc phn nguyn ( phn trc du phy) ca cc tch
thu c v sp xp li s c cc ch s sau du phy ca s h
hai cn tm

V d: i 0,125 ra s h hai
Page 3 of 13

M HA TI U BNG PHNG PHP SHANNON

Ta thc hin nh sau:
0,125

* 2

= 0 ,250

0,250

* 2

= 0 ,500

0,500

* 2

= 1 ,000

V kt qu thu la:
(0,125)10 = (0,001)2 { phn c in m v gch chn}

5. Emtropy
Gi s X l mt bin ngu nhin ly cc gi tr trn mt tp
hp hu hn theo phn b xc sut P(X). khi emtropy ca
phn b xc sut ny c nh ngha l lng:
H(X)=

.log2( )

6. T m

T m : mt t hp m biu din mt tin hay hay ns phi

cha trong n mt tin no y hay n c dng i din hoc

thay th cho mt tin.

K hiu : wi

II. M HA TI U.
L php m ha m kt qu l mt b m c chiu di trung
bnh l nh nht trong tt c cc php m ha c th c cho ngun.

Page 4 of 13

M HA TI U BNG PHNG PHP SHANNON

B m ca php m ha ti u cho ngun c gi l b m ti
u.
C ba php m ha: Shannon, fano, Huffman.
Trong mi php m ha chng ta s m ha vi c s m m=2
trc ( m ha nh phn) sau s m rng cho trng hp m>2.
1.

Phng php m ha Shannon

a) c im.
- M ti u.
- Khng c tnh prefix.
b) Thut ton
Bc 1: sp xp cc xc sut theo th t gim dn.
khng mt tng qut. Gi s p1

pk.

Bc 2: nh ngha :
q1=0;
qi =

j;

=1,2, ,k;
Bc 3: i qi sang c s 2 hay ni cc khc l biu
din qi bng mt chui nh phn.
Bc 4: T m c gn cho ai l li k hiu ly t sau
du phy ca dy nh phn tng ng vi qi. trong
li=[-log2pi]
c) V d
V d 1:
Page 5 of 13

M HA TI U BNG PHNG PHP SHANNON

Hy m ha ngun X={a1,a2,a3,a4,a5,a6} vi cc xc
sut ln lt l: 0,3; 0,25; 0,2; 0,12; 0,08; 0,05
Hy m ha ngun trn bng phng php shannon vi
c s m m=2.
Tnh H(X), chiu di trung bnh ca t m ,hiu sut
lp m h
Bi gii
Tin

Xc

ai

sut

Biu din nh
qi=

T m wi

phn

li=[-log2pi]

Pi
a1

0,3

0,00

00

a2

0,25

0,3

0,01001

01

a3

0,2

0,55

0,10001

100

a4

0,12

0,75

0,11000

1100

a5

0,08

0,87

0,11011

1101

a6

0,05

0,95

0,111100

11110

Tnh emtropy ca ngun:

H(X)=

.log2( )

Page 6 of 13

M HA TI U BNG PHNG PHP SHANNON

= 0,3.log2(

+ 0,25.log2(

0,08.log2(

) + 0,2.log2( ) + 0,12.log2(

)+0,05.log2(

2,36014
2,36
Tnh chiu di trung bnh
=

i)li

= 0,3 .2 + 0,25 .2 + 0,2 .3 +0,12 .4 + 0,08 .4 +0,05 .5

= 2,75
Tnh hiu sut lp m ca ngun:

h=

.100%
.100%

= 85,81 %
V d 2:
Hy m ha ngun sau bng phng php shannon. Tnh
H(X), ,h:
Ngun X={a1,a2,a3,a4,a5,a6} vi cc xc sut ln lt l: 0,25;
0,21; 0,19; 0,16; 0,14; 0,05

Page 7 of 13

M HA TI U BNG PHNG PHP SHANNON

Bi lm

Tin

Xc

ai

sut

Biu din nh
qi=

phn

T
li=[-log2pi]

Pi

m
wi

a1

0,25

0,00

00

a2

0,21

0,25

0,01

010

a3

0,19

0,46

0,01110

011

a4

0,16

0,65

0,10100

101

a5

0,14

0,81

0,11001

110

a6

0,05

0,95

0,111100

11110

Tnh emtropy ca ngun:

H(X)=

.log2( )

= 0,25.log2(
0,16.log2(

+0,21.log2(
+0,14.log2(

) + 0,19.log2(
) + 0,05.log2(

)+
)

2,46423
2,46

Tnh chiu di trung bnh

i)li

Page 8 of 13

M HA TI U BNG PHNG PHP SHANNON

= 0,25 .2+0,21 .3 +0,19 .3 +0,16 .3 +0,14 .3 +0,05 .5
= 2,85
Tnh hiu sut lp m ca ngun:
h=
=

.100%
.100%

= 86,31%
d) Nhn xt

Phng php shannon cho kt qu l mt m prefix.

Phng php shannon c th m rng vi m>2.

Xc sut pi cc ln th di t m wi cng nh.

2. Phng php m ha fano

a) Phng php m ha ny c thc hin qua nm bc sau:
Bc 1: Sp xp xc sut theo th t gim dn. khng mt
tnh tng qut. Gi s p1,,pk :
Bc 2:Phn cc xc sut thnh hai nhm c tng xc sut gn
bng nhau.
Bc 3: Gn cho hai nhm ln lt cc k hiu 0 v 1( hoc
ngc li).
Bc 4: Lp li bc 2 cho cc nhm con cho n khi khng
th tip tc c na.

Page 9 of 13

M HA TI U BNG PHNG PHP SHANNON

Bc 5: T m ng vi mi tin l chui gm cc k hiu theo
th t ln lt c gn cho cc nhm c cha xc sut tng ng
ca tin.

b)

V d

V d 1:
Hy m ha ngun X={a1,a2,a3,a4,a5,a6} vi cc xc sut
ln lt l: 0,3; 0,25; 0,2; 0,12; 0,08; 0,05.
Tnh H(X), ,h:

Bi lm

Xc
Tin

Phn nhm ln

T m

sut pi

a1

0,3

00

a2

0,25

01

a3

0,2

10

a4

0,12

a5

0,08

1110

0.05

1111

wi

ai

a6

110

Tnh emtropy ca ngun:

Page 10 of 13

M HA TI U BNG PHNG PHP SHANNON

H(X)=

= 0,3.log2(
0,12.log2(

.log2( )
+ 0,25.log2(

+ 0,08.log2(

) + 0,2.log2( ) +

)+0,05.log2(

2,36014
2,36
Tnh chiu di trung bnh
=

i)li

= 0,3 .2 + 0,25 .2 + 0,2 .2 +0,12 .3 + 0,08 .4 +0,05 .4

= 2,38
Tnh hiu sut lp m ca ngun:
h=
=

.100%
.100%

= 99,15 %

Ch : trong nhiu trng hp c nhiu hn mt cch chia

thnh cc nhm c tng xc sut gn bng nhau, ng vi mi cc

chia c th cho ra cc b m c chiu di trung bnh khc nhau
V d 2:
Hy m ha ngun X={a1,a2,a3,a4,a5,a6,a7,a8} vi cc xc
sut ln lt l: 0,23; 0,2; 0,14; 0,12; 0,1;

Page 11 of 13

M HA TI U BNG PHNG PHP SHANNON

0,09; 0,06; 0,06.
Tnh H(X), ,h:
Bi lm
ai

Pi

1 2

wi

ai

Pi

1 2 3

wi

a1 0,23

0 0

00

a1 0,23

0 0

00

a2 0,2

0 1

01

a2 0,2

0 1

01

a3

0,14

1 0 0

100

a3 0,14

1 0 0

100

a4

0,12

1 0 1

101

a4 0,12

1 0 1

101

a5

0,1

1 1 0

0 1100

a5 0,1

1 1 0 0

1100

a6

0,09

1 1 0

1 1101

a6 0,09

1 1 0 1

1101

a7

0,06

1 1 1

0 1110

a7 0,06

1 1 1 0

1110

a8

0,06

1 1 1

1 1111

a8 0,06

1 1 1 1

1111

=2,88

=2,89

c) Nhn xt:
So snh hiu sut ca hai phng php trn ta thy phng
php m ha theo fano tt hn m ha theo shannon.
M ha theo fano d th hin hn m ha theo shannon.

Page 12 of 13

M HA TI U BNG PHNG PHP SHANNON

Page 13 of 13