Dpt. Gnie Electrique Thorie de l information T.

Grenier 1
Thorie de linformation
Thomas Grenier
Dpt. Gnie Electrique Thorie de l information T. Grenier 2
1. Introduction .. D3-7
2. Sources discrtes & Entropie . D8-16
3. Canaux discrets & Capacit .. D17-21
4. Codage de source . D23-39
5. Codage de canal . D41-73
6. Cryptographie . D75-D112
7. Conclusion .. D113
Plan
Dpt. Gnie Electrique Thorie de l information T. Grenier 3
1. Introduction
Vue densemble dun systme de communication
indpendante des moyens techniques & physiques
1948 : Shannon Thorie de l'information
Rflexion sur les techniques de communication (XIX)
- Mcanique, accoustique
- Ondes radio-lectrique
- Tlgraphe (code morse)
- Tlphone, .
Systme de communication = fonctions physiques ralisables
Mauvaise comprhension des perturbations, des dbits
Dpt. Gnie Electrique Thorie de l information T. Grenier 4
GSM codage de source & canal
TV Num codage de source & canal
Rseaux codage de canal (erreurs)
@business cryptage
Ca ne sert rien !
1960 / conqute spatiale

codage de source
Aujourd'hui
Dpt. Gnie Electrique Thorie de l information T. Grenier 5
Paradigme de Shannon = modle sys. com.
Source = je parle
Canal = l'air ambiant
Perturbations = bruit sonore
Destinataire = tu coutes
Dpt. Gnie Electrique Thorie de l information T. Grenier 6
Modle dtaill
Th. Signaux dcrit messages et perturbations
Modulation modifie les signaux pour les propager
Electronique ralise les fonctions
Th. Information propose une mesure quantitative de
l'information et tudie sa reprsentation,
sa transmission, sa dgradation
Dpt. Gnie Electrique Thorie de l information T. Grenier 7
Source : sige d'vnements alatoires qui constituent
le message mis Entropie
Canal : transmet et dgrade le message Capacit
Des messages diffrents portent la mme information, le codage
cherche le message avec les meilleures proprits.
Codage de source supprime la redondance, rduit le cot
Codage de canal protge contre les perturbations
Cryptage protge contre les curieux
Deux thormes fondamentaux :
Codage de source Codage de canal
Dpt. Gnie Electrique Thorie de l information T. Grenier 8
2. Sources discrtes & Entropie
Sources dbitant des messages sous forme discrte !
Source discrte d'information : suite de variables alatoires
discrtes X
1
, X
2
, X
n
Mot : succession finie de symboles
Alphabet : totalit des D lettres
[X] = [x
1
,x
2
, ., x
D
]
Symbole ou lettre : lment fondamental irrductible
contenant une information, cad ralisation particulire de la
source d'information.
Dpt. Gnie Electrique Thorie de l information T. Grenier 9
Source discrte sans mmoire : source pour laquelle la
probabilit d'apparition d'un symbole ne dpend pas des
symboles prcdents
) ( ,...) , / (
2 1 n n n n
i i i i
x p x x x p =

Source discrte mmoire : source pour laquelle la probabilit
d'apparition d'un symbole dpend du ou des symboles prcdents
Source sationnaire : source pour laquelle les probabilits
d'apparition des diffrents symboles ne dpendent pas de
l'origine des temps
k x p x p
k n n
i i
=
+
) ( ) (
Source dbit contrlable : source pouvant gnrer des
messages comme suite une commande externe (Tlgraphe, .)
Dpt. Gnie Electrique Thorie de l information T. Grenier 10
Source dbit non contrlable : source gnrant des
messages avec un dbit fix, proprit de la source (CD audio)
Source discrte contraintes fixes : source pour laquelle
certains symboles ne peuvent tre utiliss qu'en des conditions
dtermines (Morse, )
Source discrte contraintes probabilistes : source
mmoire. Dans un tat, la source peut gnrer n'importe
lequel des symboles avec une probabilit qui dpend des
symboles prcdents (texte )
Source de Markov : source pour laquelle la probabilit de
gnrer un symbole ne dpend que du symbole l'instant n-1
) / ( ,...) , / (
1 2 1
=
n n n n n
i i i i i
x x p x x x p
Dpt. Gnie Electrique Thorie de l information T. Grenier 11
Quantit d'information & Entropie
Quantit d'information propre
Proprit de l'information = i mprvi si bi l i t
Quantit d'information propre : )
) (
1
( ) (
x p
f x h =
Avec f croissante & f(1)=0
2 evt. indpendants apportent la somme de leur quantit d'info
) ( ) ( )
) (
1
( )
) (
1
( )
) ( ). (
1
( )
) , (
1
( ) , ( y h x h
y p
f
x p
f
y p x p
f
y x p
f y x h + = + = = =
f

fonction l ogari t hme (Base 2 >> bit)

)) ( log( )
) (
1
log( ) ( x p
x p
x h = =
Dpt. Gnie Electrique Thorie de l information T. Grenier 12
Rgle de Bayes : ) , ( ) ( ). ( ) ( ). ( ) , ( x y p x p x y p y p y x p y x p = = =
)
) , (
1
log( ) , (
y x p
y x h =
)
) (
1
log( ) (
y x p
y x h =
) , ( ) ( ) ( ) ( ) ( ) , ( x y h x h x y h y h y x h y x h = + = + =
) ( ) ( x h y x h =
si x et y indpendants
Ex

cartes
Dpt. Gnie Electrique Thorie de l information T. Grenier 13
Entropie
Hyp : source discrte finie stationnaire sans mmoire
n ..., 1,2, i pour ) ( = = =
i i
x X p p
Emission = variable alatoire X
1
1
=

=
n
i
i
p

= =
= = =
n
i
i i
n
i
i i
p p p p X h E X H
1 1
) log( . ) 1 log( . )) ( ( ) (
Quantit d'information moyenne associe
chaque symbole de la source = entropie
Dpt. Gnie Electrique Thorie de l information T. Grenier 14
Ex : Source binaire
p p
p p
=
=
1 ) 0 (
) 1 (

=
< <
=
1 ou 0 si 0
1 0 pour ) 1 log( ). 1 ( ) log( .
) (
p
p p p p p
X H
Dpt. Gnie Electrique Thorie de l information T. Grenier 15
Redondance
) ( ) (
max
X H X H R =
) (
) (
1
max
X H
X H
=
Proprits de l entropie
Continuit : l'entropie est une fonction continue de chaque
variable p
i
.
Additivit : de part la dfinition de l'information propre.
Positive :
Borne :
0 ) ,..., , ( ) (
2 1
=
n
p p p H X H
) log( )
1
,...,
1
,
1
( ) ( n
n n n
H X H =
Dpt. Gnie Electrique Thorie de l information T. Grenier 16
Entropie & Dbit d information
Le dbit d'information d'une source est donn par le produit
de l'entropie de la source (valeur moyenne de l'info /symbole)
par le nombre moyen de symboles par seconde soit :
k
ime
extension : source S
k
dont l'alphabet Q
kaire
est obtenu
en groupant par bloc de k celui de la source S
Source Qaire
Source Q
aire
: source S dont l'alphabet possde Q lments
symbole un d' moyenne dure avec ) . (
) (
1

= s bits
X H
D
X
Dpt. Gnie Electrique Thorie de l information T. Grenier 17
3. Canaux discrets & Capacit
Canal : milieu de transmission de l'information situ entre la source
et la destination. Le canal opre une transformation entre l'espace
des symboles l'entre et celui de la sortie.
Canal discret : les espaces d'entre et de sortie sont discrets
Canal continu : les espaces d'entre et de sortie sont
continus
Canal sans mmoire : si la transformation d'un symbole x
l'entre en un symbole y en sortie ne dpend pas des
transformations antrieures
Canal stationnaire : si les transformations ne dpendent pas de
l'origine des temps
Dpt. Gnie Electrique Thorie de l information T. Grenier 18
[ ]

=
m n n n
m
m
y x y x y x
y x y x y x
y x y x y x
Y X
...
... ...
...
.
2 1
2 2 2 1 2
1 2 1 1 1
[ ]

=
) , ( ... ) , ( ) , (
... ...
) , ( ) , ( ) , (
) , ( ... ) , ( ) , (
) , (
2 1
2 2 2 1 2
1 2 1 1 1
m n n n
m
m
y x p y x p y x p
y x p y x p y x p
y x p y x p y x p
Y X P

=
=
m
j
j i i
y x p x p
1
) , ( ) (

=
=
n
i
j i j
y x p y p
1
) , ( ) (
Probabilits marginales
)) ( log( . ) ( ) (
1
i
n
i
i
x p x p X H

=
=
)) ( log( . ) ( ) (
1
j
m
j
j
y p y p Y H

=
=
Dpt. Gnie Electrique Thorie de l information T. Grenier 19
) ( ) ( ) , (
0 ) / ( ) / (
Y H X H Y X H
X Y H Y X H
= =
= =
) ( ) ( ) , (
) ( ) / ( et ) ( ) / (
Y H X H Y X H
Y H X Y H X H Y X H
+ =
= =
Canaux non perturbs
)) , ( log( . ) , ( ) , (
1 1
j i
n
i
m
j
j i
y x p y x p Y X H

= =
=
Entropie runie ou conjointe
)) / ( log( . ) , ( ) / (
1 1
j i
n
i
m
j
j i
y x p y x p Y X H

= =
=
Entropie conditionnelle ou quivoque
Canaux trs perturbs
Dpt. Gnie Electrique Thorie de l information T. Grenier 20
Transinformation & capacit
Information mutuelle
) ) ( ) ( log( ) ; ( x p y x p y x i =

) ; ( ) ; ( x y i y x i =
Transinformation
)
) ( ). (
) , (
log( . ) , ( ) ; (
1 1
j i
j i
n
i
m
j
j i
y p x p
y x p
y x p Y X I

= =
=
) / ( ) ( ) / ( ) ( ) ; (
) , ( ) ( ) ( ) ; (
X Y H Y H Y X H X H Y X I
Y X H Y H X H Y X I
= =
+ =
Dpt. Gnie Electrique Thorie de l information T. Grenier 21
Capacit dun canal
Redondance dun canal
Efficacit dun canal
)) ; ( ( Y X I Max C =
) ; ( Y X I C Rc =
C
Y X I
c
) ; (
=
Ex

canal binaire
C
Y X I
c
) ; (
1 =