La thorie de linformation

Comment mesurer la scurit apporte par un systme de cryptographie? Cest

le mathmaticien Claude Shannon qui en 1947 a rpondu cette question en
dveloppant la thorie de linformation.
Entropie
On considre une preuve alatoire, et une variable alatoire X associe cette
preuve. Comment mesurer linformation moyenne apporte par la connais-
sance de X sur lpreuve alatoire?
1
Prenons lexemple suivant : on lance un d non pip et on considre les 3 vari-
ables alatoires suivantes :
X
1
qui vaut 0 si le nombre tir est pair, 1 sil est impair.
X
2
qui vaut 0 si le nombre tir est 1 ou 2, 1 si le nombre tir est 3 ou 4, 2 si
le nombre tir est 5 ou 6.
X
3
qui vaut le nombre tir.
Il est intuitivement clair que la connaissance de X
3
renseigne plus sur le droule-
ment de lpreuve alatoire que la connaissance de X
2
, qui elle-mme renseigne
plus que celle de X
1
.
2
La notion dentropie permet de mathmatiser cette heuristique :
Dnition 1 Si X est une variable alatoire discrte, lentropie de X est dnie
par :
H(X)

x
P(X x) log(P(X x))
Dans cette dnition, la base du logarithme est souvent choisie gale 2. Lentropie
se mesure alors en shannons, ou en bits.
Il nous faut encore mesurer lincertitude ou le dsordre, lie lexprience ala-
toire. Si {a
1
, . . . , a
N
} est lensemble des issues possibles de lexprience, lentropie
vaut :
H(E)

i
P({a
i
}) log(P({a
i
}))
On retrouve ici la dnition physique de lentropie : mesure du dsordre dun
systme. La variable alatoire X renseigne totalement sur le droulement de
lexprience E si H(X) H(E).
3
Exemples :
Dans lexemple du d, on vrie que :
H(X
1
) log2 < H(X
2
) log3 < H(X
3
) log6
Dans cet exemple, lincertitude totale lie lexprience est log6.
Si X est une variable alatoire quidistribue qui peut prendre n valeurs,
lentropie de X est :
H(X)
n

k1
1
n
log

1
n

logn
Il est facile de voir que parmi les variables n valeurs, lentropie H(X)
est maximale lorsque X est quirpartie : une variable alatoire apporte en
moyenne un maximumdinformations lorsquelle peut prendre chaque valeur
avec une gale probabilit.
En effet
A cause de la concavit de la fonction t t logt sur lintervalle [0, 1], lentropie
H(X) est maximale si et seulement si X est quidistribue.
En effet, si X nest pas quidistribue, il existe deux valeurs de x telles que
t
1
P(X x
1
) /P(X x
2
) t
2
.
Notons f (t ) t logt ,
f (t
1
) + f (t
2
) >2f (
t
1
+t
2
2
).
Si on remplace X par la variable X
t
avec P(X x
1
) P(X x
2
)
t
1
+t
2
2
, on
obtient une entropie plus grande: H(X
t
) > H(X).
4
Pour la cryptographie, la quantit importante va tre lentropie conditionnelle
de X sachant Y . Elle est dnie par :
H(X[Y )

x,y
P(X x, Y y) log(P(X x[Y y))
o la somme est tendue toutes les valeurs x et y prises par X et Y .
H(X[Y ) reprsente lincertitude quil reste sur X lorsque lon connait Y .
Elle verie la proprit:
H(X, Y ) H(Y ) +H(X[Y )
qui signie que linformation apporte par les 2 variables X et Y vaut
linformation apporte par Y seule
plus
linformation apporte par X connaissant dj la valeur de Y .
5
Proposition 1 On a:
H(X, Y ) H(Y ) +H(X[Y )
o H(X, Y ) dsigne lentropie de la variable alatoire (X, Y ).
Dmonstration: Il suft de se rappeler que
P(X x, Y y) P(X x[Y y)P(Y y).
On a alors:
H(X, Y )

x,y
P(X x, Y y) logP(X x, Y y)

x,y
P(X x, Y y)(logP(X x[Y y) +logP(Y y))
H(X[Y )

x
P(X x, Y y)

logP(Y y)
H(X[Y )

y
P(Y y) logP(Y y)
H(X[Y ) +H(Y )
6
La quantit H a un certain nombre de proprits intressantes qui justient plus
loin quelle soit prise comme mesure raisonnable de choix ou dinformation.
1. H 0 si et seulement si tous les p
i
sauf un sont nuls, celui-ci ayant la valeur
1. Ainsi seulement quand nous sommes certains des rsultats, H 0.
Autrement H est positif.
2. Pour n donn, H est un maximum et une gale logn quand tous les p
i
sont gaux (c.--d., 1/n). Cest intuitivement la situation la plus incertaine.
3. Supposons quil y ait deux vnements, x et y en question avec m possi-
bilits pour la premire et le n pour la seconde. Soit p(i , j ) la probabilit de
loccurrence commune de i pour le premier et de j pour la seconde. Lentropie
de lvnement commun est
H(x, y)

p(i , j ) logp(i , j )
tandis que
H(x)

i
(

j
p(i , j )) log

j
p(i , j )
H(y)

j
(

i
p(i , j )) log

i
p(i , j )
il est facilement montr que
H(x, y) H(x) +H(y)
avec lgalit seulement si les vnements sont indpendants (c.--d., p(i , j )
p(i )p( j )). Lincertitude dun vnement commun est infrieur ou gal la somme
des diffrentes incertitudes.
4. Nimporte quel changement vers lgalisation des probabilits p
1
, p
2
, . . . , p
n
augmente H. Ainsi si p
1
< p
2
et si nous augmentons p
1
, dcroissions p
2
du
mme montant de telle sorte que p
1
et p
2
soient plus voisins, alors H augmente.
5. Lincertitude (ou lentropie) de lvnement commun x, y est lincertitude de x
plus lincertitude de y quand x est connu.
H(x, y) H(x) +H(y[x)
6. Daprs 3 et 5 nous avons
H(x) +H(y) H(x, y) H(x) +H(y[x)
Donc
H(y) H(y[x)
Lincertitude de y nest jamais augmente par la connaissance de x. Elle sera
diminue moins que x et y soient des vnements indpendants, dans ce cas
elle nest pas change.
7
Application la cryptographie
Shannon a modlis les systmes cryptographiques de la faon suivante :
le message clair m est dni comme une variable alatoire valeurs dans
lensemble des messages M possibles;
le message chiffr c est dni comme une variable alatoire valeurs dans
lensemble C des messages chiffrs.
m, k et c sont relis par la relation
c e
k
(m),
o e est la fonction de chiffrement.
Lincertitude lie au systme est lentropie H(m).
Un cryptanalyste doit donc obtenir de lordre de H(m) shannons dinformation
pour retrouver m. A priori, il ne peut connaitre que le systme cryptographique
utilis, et c.
8
Proposition 2 Pour quun systme cryptographique soit parfaitement sr il faut
et il suft que
H(m[c) H(m)
o m et c sont des variables alatoires.
Dmonstration
H(m[c) H(m)
{
H(m[c) +H(c) H(c) +H(m)
{
H(m, c) H(c) +H(m)
{
m et c sont indpendantes
{
P(m[c) P(m)
9
Proposition 3 Lquivocation du message et de la cl sont lis par
H(k[c) H(m[c) +H(k[m, c)
Dmonstration
Par la proprit 5 de lentropie, on a
H(m[c) H(m, c) H(c)
H(m, k, c) H(k[m, c) H(c)
H(k[c) H(k, c) H(c)
H(m, k, c) H(m[k, c) H(c)
Maintenant, puisquun systme de cryptographie est rversible, la connaissance
de c et k dtermine compltement m. Donc: H(m[(c, k)) 0.
Par consquent
H(k[c) H(m, k, c) H(c)
H(m[c) +H(k[m, c)
10
Corollaire 1 On a H(k[c) H(m[c)
Thorme 1 Si un systme cryptographique est parfait, alors :
H(k) H(m)
Dmonstration
H(k) H(k[c) H(m[c) H(m)
En dautres termes, linformation contenue dans la cl est au moins aussi grande
que linformation contenue dans le message en clair. Si t est la taille de la cl, on
a H(K) t .
Il ne sert rien de vouloir inventer un systme de cryptographie cl rduite
aussi sr que le chiffre de Vernam. La thorie de Shannon prouve que cela est
impossible.
11
Distance dunicit
Shannon a aussi considr le cas des systmes imparfaits, cl courte, en
cherchant a dterminer la quantit dinformation ncessaire au cryptanalyste
pour retrouvrer la cl partir du texte chiffr.
Prenons le cas, par exemple, dun systme de chiffrement par substitution sur
lalphabet latin. On a
M C A {A, B, . . . , Z}
et lensemble K des cls est lensemble des permutations de 26 lments. Il
est clair que si le cryptanalyste intercepte un texte chiffr trop court, par exemple
dune seule lettre, il ne saura en dduire la cl. Combien de lettres lui faut-il
intercepter en moyenne pour quil puisse en dduire la cl ?
12
Plus gnralement, supposons quune mme cl K, de longueur xe, soit utilise
pour chiffrer un texte constitu de n messages M
1
, . . . , M
n
, auxquels sont as-
socis les cryptogrammes C
1
, . . . ,C
n
. On appelle distance dunicit d le plus
petit entier n tel que
H(K[(C
1
, . . . ,C
n
)) 0.
Il sagit du plus petit nombre moyen de cryptogrammes C
1
, . . . ,C
n
tel que, con-
naissant C
1
, . . . ,C
n
, il ny ait plus aucune incertitude rsiduelle sur la cl. On
a:
H(K[(C
1
, . . . ,C
n
)) H(K,C
1
, . . . ,C
n
) H(C
1
, . . . ,C
n
)
H(M
i
, . . . , M
n
, K,C
1
, . . . ,C
n
) H(C
1
, . . . ,C
n
)
H(M
i
. . . . , M, K) H(C
1
, . . . ,C
n
)
H(M
i
, . . . , M
n
) +H(K) H(C
1
, . . . ,C
n
)
la dernire galit provenant de ce que les M
i
sont indpendants de K.
On vient donc de montrer que :
H(M
i
, . . . , M
d
) +H(K) H(C
1
, . . . ,C
d
) 0.
Comment utiliser cette galit pour valuer d?
On pourra faire lhypothse que H(C
1
, . . . ,C
d
) d log(#C).
Cela signie que tous les cryptogrammes possibles sont quiprobables, ce qui
est clairement une caractristique souhaitable dun systme cryptographique.
13
Posons
H
1
d
H(M
1
, . . . , M
d
).
Si lon peut considrer les messages M
i
comme indpendants, alors on a H
H(M
i
).
Si les messages M
i
sont les lettres dun texte crit dans un langue naturelle,
lhypothse dindpendance est inexacte. Mais si une lettre dpend fortement
des lettres voisines elle dpend en gnral trs peu des lettres plus loignes,
autrement dit la suite
H(M
1
), H(M
1
, M2)/2, H(M
1
, M
2
, M
3
)/3 . . .
est rapidement stationnaire. On pourra donc, par exemple, prendre un chantil-
lon de texte, calculer la frquence p
L
dapparition de chaque suite L de i lettres
et poser
H
1
i

LA
i
p
L
logp
L
.
Dans ces conditions, lgalit
H(M
i
, . . . , M
d
) +H(K) H(C
1
, . . . ,C
d
) 0.
se rcrit
dH +H(K) d log(#C) 0
cest--dire
d
H(K)
log(#C) H
14
Reprenons notre exemple de chiffrement par substitution sur lalphabet latin. Dans
ce cas on a H(K) log(26!), et log(#C) log(#A) log26. Pour des textes
en clair crits en anglais ou en franais une analyse ne des frquences en
prenant i de lordre de 8 permet destimer lentropie par lettre H 2 bits. On
en dduit :
d 30.
Cela veut dire que lon doit savoir retrouver la cl ds que le texte chiffr dpasse
une trentaine de lettres. Iexprience conrme ce calcul assez prcisment.
15
On peut retenir de cette analyse que, si lon chiffre des messages qui contiennent
une certaine redondance, comme celle des langues naturelles, et que lon utilise
des cls de longueur xe, alors il est invitable, quel que soit le systme de
chiffrement utilis, quavec sufsamment de cryptogrammes intercepts, le crypt-
analyste aura sa disposition assez dinformation pour retrouver la cl. Cela ne
prjuge cependant pas de leffort de calcul qui lui sera ncessaire.
Du point de vue des utilisateurs dun systme de chiffrement, on peut galement
retenir quil est souhaitable, pour augmenter la distance dunicit, de rduire la
redondance des messages en clair avant de les chiffrer, par exemple par un algo-
rithme de compression.