Nicolas Sendrier

Programme Informatique Th
ematique S
ecurit
e

Introduction la th
eorie de linformation

Cours n0
Pr
esentation

Syst`
eme de communication

Source

Codeur
?

Canal

Utilisateur 

D
ecodeur

Bruit

Source : voix, musique, image (fixe ou anim

ee), texte, . . .
Canal : radio, fil, fibre optique, support magn
etique ou optique, . . .
Bruit : perturbations electromagn
etiques, rayures, . . .

cours n 0: Pr
esentation

Codage de source et de canal

Source

Codeur de
source

Codeur de
canal
?

Canal

Utilisateur 

D
ecodeur
de source

D
ecodeur
de canal

Bruit

Efficacit
e : Pour faire parvenir une quantit
e donn
ee dinformation `
a
lutilisateur, utiliser le minimum de ressources.
Fiabilit
e : Restituer `
a lutilisateur une information suffisamment fid`
ele
`
a celle produite par la source.
cours n 0: Pr
esentation

Exemple de codage de source

X = {a1, a2, a3 , a4 }, Loi 1 :

a1

a
2
Code A :

a3

a
4

00
01
10
11

1 1 1 1
, , ,
, Loi 2 :
4 4 4 4


a1

a
2
Code B :

a3

a
4

1 1 1 1
, , ,
2 4 8 8

0
10
110
111

Longueur moyenne :
pour le Code A, on trouve 2 dans les deux cas
pour le Code B
1 = 9 = 2.25
avec la Loi 1 : (1 + 2 + 3 + 3) 4
4
1 + (3 + 3) 1 = 7 = 1.75
avec la Loi 2 : 1 1
+
2

2
4
8
4
Le meilleur code d
epend de la loi d
emission de la source

cours n 0: Pr
esentation

Entropie dune source discr`

ete

Source discr`
ete sans m
emoire X = (X , pX ) :
Alphabet fini X = {a1 , . . . , aK }
Loi de probabilit
e pX (a1 ), . . . , pX (aK )
La longueur moyenne de tout code est au moins
egale `
a lentropie :
H(X) =

K
X

pX (ak ) log2

k=1

1
pX (ak )

Dans lexemple pr
ec
edent


1
Loi 1 : H(X) = 4 4 2 = 2
1 1 + 1 2 + 1 3 + 1 3 = 7 = 1.75
Loi 2 : H(X) = 2
4
8
8
4

cours n 0: Pr
esentation

Un autre exemple de codage de source

X = {a1, a2, a3 , a4 }, Loi : (0.4, 0.3, 0.2, 0.1)

a1

a
2
Code optimal :

a3

a
4

0
10
110
111

Entropie : 1.846

Longueur moyenne : 1.9

Le code optimal natteint lentropie que si les probabilit
es sont des
1
puissances de 2 .

cours n 0: Pr
esentation

Canal binaire sym

etrique
Alphabet
dentr
ee
0 PPPP

PP

PP

p
p









1p
PP



PP



PP




P
P

PP

PP

PP




PP



PP



PP

PP

Alphabet
de sortie

0



PP

1p

PP
P

p est la probabilit
e derreur du canal.
Pour combattre les effets du bruit on ajoutera de la redondance. Par
exemple, le code `
a r
ep
etition de longueur 3 :
0 7 000
1 7 111
Ce code `
a un taux de transmission 0.33 et corrige une erreur.
cours n 0: Pr
esentation

Code `
a r
ep
etition

Si la probabilit
e derreur du canal p = 0.01 pour chaque symbole
transmis, il se produira 0 ou 1 erreur avec une probabilit
e
(1 p)3 + 3p(1 p)2 0.9997
et il se produira 2 ou 3 erreurs avec une probabilit
e
3p2 (1 p) + p3 3 104
Le symbole sera mal transmis avec une probabilit
e 3 104 . Avec un
code `
a r
ep
etition de longueur 5, cette probabilit
e tombe `
a 105
10p3 (1 p)2 + 5p4 (1 p) + p5 105
Ce code `
a un taux de transmission 0.2.

cours n 0: Pr
esentation

Capacit
e du canal binaire sym
etrique
1
La capacit
e est le
taux de transmission
maximal du
code `
a utiliser pour
transmettre de linformation dans de
bonnes conditions .

C = 1 + p log2(p) + (1 p) log2(1 p)
0.8
0.6
0.4

Par ex. C(0.01) =

0.919. Il y a donc
moyen de faire (beaucoup) mieux que le
a r
ep
etition ! ! !
1 code `

0.2
0

0.2

0.4

0.6

0.8

p
cours n 0: Pr
esentation

Canal continu et canal discret

Canal discret

Source

Codeur de
source

Codeur de
canal
discret

Modulateur
de donn
ees
digitales
?

Bruit

Utilisateur 

D
ecodeur
de source

cours n 0: Pr
esentation

D
ecodeur
de canal
discret

D
emodulateur de
donn
ees
digitales

Canal
continu

R
esultats importants du cours

Premier th
eor`
eme de Shannon (Codage de source)
1. On peut coder toute source en utilisant un nombre de bits par
lettre aussi proche que lon veut de son entropie.
2. On ne peut pas faire mieux.
Second th
eor`
eme de Shannon (Codage de canal)
1. On peut transmettre de linformation de fa
con fiable en utilisant un code correcteur derreur de taux de transmission
inf
erieur `
a la capacit
e du canal utilis
e.
2. On ne peut pas faire mieux.
Ces r
esultats ne sont pas constructifs

cours n 0: Pr
esentation

10