1.

Capacit dun canal discret

Canal : Dispositif permettant dacheminer un message entre deux points distants.

1.1 Exemple dune chane de transmission numrique en bande de base

0
Source Formant Canal de Filtre rception Comparateur de Seuil 0 estim
binaire (filtre) transmission Echantillonneur
S1 g (t ) g ( t ) 1 estim
ak
+ (minimiser la
a g (t kT )
k =
k
probabilit derreur) Justifi lorsque : les lments
binaires sont cods par des
1/T : dbit
Zone de dcision des binaire de S
symboles estims : valeurs symtriques V +V et le
canal de transmission est assimil
un canal bruit additif gaussien.

Laurent BOUILLAUT Thorie de lInformation Chapitre 3 Canaux Discrets 1

 1. Capacit dun canal discret

1.2. Modlisation dun canal

Chapitre 2 : Comment utiliser les redondances d'une source
pour diminuer son dbit binaire tout en conservant sa quantit
d'information.
On souhaite maintenant voir comment faire parvenir un
destinataire cette nouvelle source X.

Les imperfections du canal peuvent tre traduites en termes dinformation quapporte Y sur la
variable dentre X :
I (X ;Y ) = H (X ) H (X / Y ) Ambigut : Cest lincertitude qui reste sur
X pour Y connu. Dautant plus grande que
le canal est perturb.

Modlisation dun canal : - 2 Alphabets (entre et sortie).

- Q, matrice de transition : Qij=Probabilit pour que la ime valeur
de lalphabet dentre soit transforme en la jme valeur de
lalphabet de sortie.
- C, capacit du canal (car I(X;Y) dpend de la loi de X et ne peut
caractriser le canal de faon intrinsque) :
C = max I ( X ; Y )
les lois de X
Cest la max dinformation que peut apporter le canal de
transmission.

Laurent BOUILLAUT Thorie de lInformation Chapitre 3 Canaux Discrets 2

 1. Capacit dun canal discret

1.2. Modlisation dun canal (suite)

Canal discret : Les alphabets sont finis.

Canal sans mmoire : Canal pour lequel on a la relation :

n
n
{X i = xi } = P{Yi = yi / X i = xi }
n
P {Yi = yi } n, xi , yi
i =1 i =1 i =1
La sortie un instant donn ne dpend statistiquement que de
lentre correspondante

Canal symtrique : Lensemble des valeurs constituant lalphabet de sortie peut tre
partitionn en sous-ensembles dont la sous-matrice de transition vrifie :
- Toutes les lignes sont identiques ( des permutations prs).
- Toutes les colonnes (sil y en a au moins 2) sont identiques
( des permutations prs).

Exemple : Soit Q, la matrice de transition dun canal:

Partitionnement de
lalphabet de Y
Le canal est donc symtrique

Laurent BOUILLAUT Thorie de lInformation Chapitre 3 Canaux Discrets 3

 1. Capacit dun canal discret

1.2. Modlisation dun canal (suite)

Calcul de capacit gnralement difficile utilisation dalgorithme.
SAUF si le canal est dcomposable en canaux lmentaires de capacits connues

Thorme : Pour un canal symtrique, la capacit est atteinte pour une loi
uniforme sur lalphabet dentre.

Remarques :

- Si C a t calcule en considrant des mots de n symboles, on exprimera la capacit par

symbole par le rapport C/n.
- C correspondant l'aptitude du dispositif transmettre de l'information, on sera amen
utiliser la capacit par unit de temps C' (en gnral la seconde), exprime
en bits par seconde, obtenue en divisant la capacit par symbole par l'inverse du dbit
symbole.
- On dfinit l'entropie d'une source par unit de temps H', correspondant au rapport de
l'entropie par symbole par l'inverse du dbit symbole.
- Lorsque se posera le problme de la connexion d'une source un canal, on aura comparer
H' et C' . L'objet du deuxime thorme de Shannon consistera montrer que la transmission
de l'information pourra s'effectuer dans les meilleures conditions ds lors que H' < C' .

Laurent BOUILLAUT Thorie de lInformation Chapitre 3 Canaux Discrets 4

 1. Capacit dun canal discret

1.3. Exemples de calculs de capacits

Premier exemple :
Pour une distribution uniforme sur X :
I (X ;Y ) = H ( X ) H ( X / Y ) Car il ny a pas
1 1 damigut
= H ( X ) = 2 * log 2 = 1
2 2
La transmission nest affecte daucun dfaut.

Second exemple :

I ( X ; Y ) = H (Y ) H (Y / X ) = 0
Car H(Y)=0 et pas dambigut

Laurent BOUILLAUT Thorie de lInformation Chapitre 3 Canaux Discrets 5

 1. Capacit dun canal discret

1.3. Exemples de calculs de capacits (suite)

Troisime exemple (canal binaire symtrique) :

1 p p
Q =
p 1 p
La capacit est atteinte pour une distribution uniforme sur X :
P{X=0} = P{X=1} = 0.5

Remarques : H2 reprsente lentropie dune VA de Bernouilli de paramtre p.

- Pour p=1/2, cette entropie est maximum et vaut 1.
La capacit est donc nulle. Cest le cas le plus
dfavorable car Y napporte aucune information sur X.
- Pour p=0, il ny a jamais derreur de transmission,
la capacit est maximum.
- Pour p=1, il y a erreur systmatique. La connaissance
permet donc de dterminer X.
La capacit est maximum.

Laurent BOUILLAUT Thorie de lInformation Chapitre 3 Canaux Discrets 6

 1. Capacit dun canal discret

1.3. Exemples de calculs de capacits (suite)

Quatrime exemple (canal binaire effacement) :

On fixe deux seuils D1 et D2.

- Si Y>D1 on dcide que 1 a t mis.
- Si Y<D2 on dcide que 0 a t mis.
- Sinon, symbole deffacement. Dans ce cas, soit on utilise une
voie de retour pour demander la rexpdition du symbole
(probabilit derreur nulle mais diminution (resp. augmentation)
du dbit de source (resp. de canal)),
soit on utilise un code correcteur derreur (ce code ne pourra
tre efficace que si les seuils ne sont pas trop levs).

Laurent BOUILLAUT Thorie de lInformation Chapitre 3 Canaux Discrets 7

 2. Codage de canal
Nous allons nous intresser la qualit de la transmission en termes de probabilit derreur.
Le terme H(X/Y) interprt comme lincertitude dans la dfinition de la capacit pourra, ici, tre
interprt comme linformation perdue par le canal de transmission.

On considre un canal possdant un alphabet de sortie identique lalphabet dentre : {x1, x2, , xm}

Pij = P (X = xi ; Y = x j ) Qij = P (Y = x j / X = xi ) Pe la probabilit derreur par symbole

Ingalit de Fano :
H ( X / Y ) H 2 ( pe ) + pe log 2 (m 1)

Corollaire de lingalit de Fano :

En permutant les rles de X et Y dans lingalit de Fano, on obtient :
H (Y / X ) H 2 ( pe ) + pe log 2 (m 1)
Thorme :
Soit un canal discret sans mmoire utilis pour transmettre des mots code de
longueur n. On dsigne par Xn = (X1, X2, , Xn) et Yn = (Y1, Y2, , Yn) lentre et
la sortie du canal. Alors :
( ) I (X ;Y )
n
n n
I X ;Y i i
i =1

Laurent BOUILLAUT Thorie de lInformation Chapitre 3 Canaux Discrets 8

 2. Codage de canal

Second thorme de Shannon :

Soient un canal discret sans mmoire de capacit C et une source discrte
stationnaire dentropie R. Alors, si R < C, > 0, il existe un code bloc de
longueur n tel que la probabilit derreur pe aprs le dcodeur soit infrieure si
le code bloc est utilis sur le canal.

Thorme rciproque du second thorme de Shannon :

Soit un canal discret sans mmoire de capacit C sur lequel on transmet des mots
de longueur n. On note H(X) lentropie par lettre code. Si m dsigne la taille de
lalphabet code et pe la probabilit derreur par mot code, on a la relation :
1 1
pe H(X ) C
log 2 m n

Remarque :- Si on se place sous l'hypothse suivant laquelle l'entropie de la source est

infrieure la capacit du canal, alors le deuxime thorme de Shannon nous
permet d'affirmer que la transmission du contenu de la source peut s'effectuer
dans les meilleures conditions.
- le 2nd thorme s'applique lorsque l'entropie de la source H(X) est plus grande
que la capacit du canal C auquel on la connecte.
On ne peut alors transmettre le contenu de la source avec une probabilit
d'erreur infrieure la borne donne par le thorme.

Laurent BOUILLAUT Thorie de lInformation Chapitre 3 Canaux Discrets 9

 3. Exercices

Exercice 1

On considre le canal quatre entres et cinq sorties :

1. Montrer que le canal est symtrique.

2. Calculer sa capacit.
On se propose dutiliser ce canal pour transmettre le contenu dune source binaire S.
3. Dterminer lordre dextension de la source S pour que les mots sources puissent tre transmis
directement sur le canal.
4. On suppose la source binaire S sans mmoire. Calculer la probabilit pour quun mot source
soit transmis correctement par le canal.
5. Si la source S est quidistribue (P{S=0} = P{S=1} = 0.5) et son dbit binaire Ds=1/TS, quel
devrait tre le dbit dutilisation du canal DC pour quune transmission du contenu de S puisse
tre envisage avec une probabilit derreur aussi petite que souhaite,

Laurent BOUILLAUT Thorie de lInformation Chapitre 3 Canaux Discrets 10

 3. Exercices

Exercice 2

1. Calculer les capacits des canaux C1 et C2 ci-dessous.

2. Dduire du 1. la capacit du canal rsultant de la mise en cascade de C1 et C2 obtenue en

reliant les sortie et du canal 1 aux entres et du canal 2.

Exercice 3
Calculer la capacit dun canal rsultant de la mise en cascade dun canal binaire symtrique de
probabilit derreur p et dun canal effacement :

Laurent BOUILLAUT Thorie de lInformation Chapitre 3 Canaux Discrets 11

 3. Exercices

Exercice 4

Calculer la capacit du canal K-aire sans mmoire dfini par les probabilits de transition :
P{ Y=ai / X=ai } = q
P{ Y=aj / X=ai } = p ji
On a donc q + (K-1)p = 1

Laurent BOUILLAUT Thorie de lInformation Chapitre 3 Canaux Discrets 12