Mthodes nonlinaires et stochastiques de la recherche

oprationnelle
Marco Dozzi
2 aot 2004
2
Table des matires
II Chanes de Markov et les dattente 5
II.1 Rappel sur les probabilits conditionnelles et le modle dIsing . . . . . . . . 5
II.2 Les chanes de Markov temps discret . . . . . . . . . . . . . . . . . . . . . 7
II.2.1 Dnition, probabilits de transition et loi stationnaire . . . . . . . . 8
II.2.2 Exemples en gestion, conomie et imagerie . . . . . . . . . . . . . . . 12
II.3 Les chanes de Markov temps continu . . . . . . . . . . . . . . . . . . . . . 15
II.3.1 Intensits de transition et modles linaires . . . . . . . . . . . . . . 16
II.3.2 Le processus de Poisson . . . . . . . . . . . . . . . . . . . . . . . . . 17
II.3.3 La loi stationnaire dans le cas o lensemble des tats possibles est ni 19
II.3.4 Un exemple en gestion . . . . . . . . . . . . . . . . . . . . . . . . . . 20
II.3.5 Les les dattente M/M/s/R . . . . . . . . . . . . . . . . . . . . . . . 22
II.4 Simulation de les dattente . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
II.4.1 Simulation dune variable alatoire de loi donne . . . . . . . . . . . 25
II.4.2 Gnrateur de nombres pseudo-alatoires . . . . . . . . . . . . . . . 27
II.4.3 Un exemple de gestion . . . . . . . . . . . . . . . . . . . . . . . . . . 31
II.5 Remarques bibliographiques . . . . . . . . . . . . . . . . . . . . . . . . . . . 32
3
4 TABLE DES MATIRES
Chapitre II
Chanes de Markov et les dattente
Dans ce chapitre des mthodes probabilistes et statistiques de la recherche opration-
nelle sont traites. Il sagit, par exemple, danalyser lvolution temporelle du march dun
produit, ou de reconstituer une image ou danalyser une le dattente avec des arrives et
des dparts alatoires. Nous eectuons ces analyses dans le cadre des chanes de Markov en
temps discret (section II.2) ou en temps continu (section II.3). Plus gnralement ce cadre
permet danalyser des systmes dont lvolution temporelle comporte des incertitudes dues
des facteurs qui ne sont pas entirement sous contrle. Lanalyse se fait en termes de
variables alatoires ou de vecteurs alatoires et de leur lois qui dcrivent le comportement
futur du systme en fonction des paramtres observs. Il est assez frquent que de tels
systmes trouvent, aprs un certain temps, un tat dquilibre, appel tat stationnaire qui
reste valable jusqu ce que des facteurs extrieurs provoquent nouveau un dsquilibre.
En section II.2 et II.3 nous donnons des formules explicites qui permettent de trouver ces
lois stationnaires et qui sont applicables des systmes peu complexes. Pour des systmes
plus complexes les analyses mathmatiquement rigoureuses sont souvent diciles eec-
tuer et dpassent le cadre de ce cours. Parfois on prfre simuler lvolution du systme sur
ordinateur et obtenir des prvisions sur le comportement futur de cette faon. Pour cette
raison nous traitons en section II.4 la simulation de variables alatoires.
Comme la notion de probabilit conditionnelle est fondamentale pour les chanes de
Markov, nous commenons ce chapitre par un rappel de ces notions.
II.1 Rappel sur les probabilits conditionnelles et le modle
dIsing
Dnition. La probabilit conditionnelle de B donn A, note P(B|A), est donne par :
P(B|A) =
P(B A)
P(A)
si P(A) = 0.
B est indpendant de A si P(B|A) = P(B).
Exemple :
A lensemble des fumeurs dune population note
B lensemble des personnes sourant dun cancer des poumons de
P(B|A) est alors le risque de sourir dun cancer des poumons si on considre uniquement la
population des fumeurs. Une question qui se pose souvent est alors si P(A|B) > P(B|A
c
).
5
6 CHAPITRE II. CHANES DE MARKOV ET FILES DATTENTE
A B
A
C

En pratique il est assez frquent dobserver les probabilits conditionnelles mais de sin-
tresser en fait aux probabilits non conditionnelles, comme le montre lexemple suivant :
Exemple : Considrons la fabrication en grande quantit dune certaine pice. Notons
A
i
lensemble des pices fabriques sur la machine i (i = 1, 2, ..., n),
B lensemble des pices dfectueuses,
P(B|A
i
) probabilit conditionnelle quune pice est dfectueuse sachant quelle a t pro-
duite sur la machine i.
Lacheteur des pices sintresse P(B). Nous allons dduire cette probabilit laide de
la formule de probabilit totale. Supposons que les valeurs numriques suivantes ont t
observes sur n = 4 machines :
machine % de la production % de pices dfectueuses P(B|A
i
)
1 40 1 0.01
2 30 2 0.02
3 20 4 0.04
4 10 5 0.05
La machine 4 est donc la moins able. P(B) se calcule comme suit :
P(B) = P(B (A
1
A
2
A
3
A
4
))
= P((B A
1
) (B A
2
) (B A
3
) (B A
4
))
=
n

i=1
P(B A
i
) =
n

i=1
P(A
i
)P(B|A
i
)
= 0.4 0.01 + 0.3 0.02 + 0.2 0.04 + 0.1 0.05 = 0.023
La probabilit quune pice choisie au hasard soit dfectueuse est donc gale 0.023.
On a utilis la formule de probabilit totale qui, en forme gnrale, scrit :
P(B) =

n
i=1
P(A
i
)P(B|A
i
) avec A
1
,A
2
,...,A
n
disjoints, P(
n

i=1
A
i
) = 1.
Probabilits conditionnelles pour le modle dIsing
(E. Ising, physicien allemand, 1925)
Considrons la grille G de points donne ci-contre, repr-
sentant des pixels dun appareil photographique numrique
par exemple. A chacun des points est associe une valeur
(reprsentant un niveau de gris par exemple). On note S
lensemble des valeurs possibles. Pour simplier on suppose
S = {1, +1} (-1 pour un point blanc, +1 pour un point
noir). Une conguration, note c = (c
i
)
iG
, est une famille
de valeurs c
i
S, o i parcourt lensemble des points de G.
On sintresse diverses mesures qui permettent de dcrire
la structure de la conguration. Par exemple on considre







II.2. LES CHANES DE MARKOV TEMPS DISCRET 7
H(c) =

ij
c
i
c
j
,
o i j signie que i et j sont voisins (horizontalement ou verticalement). H(c) est le
surplus des voisins de coloration dirente sur les voisins de coloration gale (contrastes).
Souvent on considre H

(c) = H(c) o est une constante donne. Il sagit dun cas

particulier dun modle que E. Ising avait considr en magntisme, o est la temprature
inverse, et c
i
est la charge positive ou ngative dune particule. On va voir que ce modle
sert, parmi dautres, la reconstitution dimages.
Pour faire le lien avec les probabilits conditionnelles, nous considrons des congurations
alatoires, notes (X
i
)
iG
, o les X
i
sont des variables alatoires. Une loi de probabilit
associe H sur lensemble des congurations est donne par :
(c) =
1
Z
exp(

ij
c
i
c
j
), c = (c
i
)
iG
,
o Z =

c
exp(

ij
c
i
c
j
), la somme

c
stend sur lensemble des congurations pos-
sibles de G. Cette somme est impraticable parce que le nombre de congurations possibles
est beaucoup trop grand en pratique : de lordre de (10
6
)
256
, si la grille compte 10
6
points,
chacun dentre eux tant color par un des 256 niveaux de gris disponibles. On prfre donc
les probabilits conditionnelles qui sont plus simples calculer comme le montre le calcul
suivant. Pour S = {1, +1} et pour i G x on a :
P(X
i
= c
i
|X
j
= c
j
pour tous j = i) =
P(X
j
= c
j
pour tous j = i et X
i
= c
i
)
P(X
j
= c
j
pour tous j = i)
=
P(X
i
= c
j
pour tous j = i et X
i
= c
i
)
P(X
j
= c
j
pour tous j = i et X
i
= 1) +P(X
j
= c
j
pour tous j = i et X
i
= +1)
=
[exp(

ji
c
i
c
j

lj,l,j=i
c
l
c
j
)]/Z
[exp(+

ji
c
j

lj,l,j=i
c
l
c
j
) +exp(

ji
c
j

lj,l,j=i
c
l
c
j
)]/Z
=
exp(c
i

ji
c
j
)
exp(

ji
c
j
) +exp(

ji
c
j
)
(II.1)
Pour c
i
= 1 on a donc
P(X
i
= 1|X
j
= c
j
pourtous j = i) = (1 +exp(2

ji
c
j
))
1
.
La loi conditionnelle de X
i
donn X
j
pour tous j G, j = i se calcule donc facilement
partir des valeurs des points voisins de i seulement. Nous utiliserons ces probabilits
conditionnelles la section suivante.
II.2 Les chanes de Markov temps discret
Nous allons tudier lvolution temporelle dun systme, qui possde la proprt de
Markov. Le futur dun tel systme est dtermin par son tat prsent, et ne tient pas
compte de son pass.
Notons X
t
ltat du systme linstant t. Nous modlisons X
t
par une variable alatoire
ou un vecteur alatoire valeurs dans S, lensemble des tats possibles du systme quel
que soit t.
8 CHAPITRE II. CHANES DE MARKOV ET FILES DATTENTE
Dans cette section t varie dans N ou dans un sous-ensemble ni de N. Pour des modles
en temps continu que lon tudiera la section suivante, t varie dans R ou dans un sous-
ensemble de R. De faon gnrale on note (X
t
, t I) une famille de variables alatoires.
La proprit de Markov signie alors que ltat futur X
t+u
est indpendant du pass X
ts
,
sachant le prsent X
t
(t, s, u > 0).
II.2.1 Dnition, probabilits de transition et loi stationnaire
Dnition. Soit I N. (X
t
, t I) est une chane de Markov
1
( temps discret) si
P(X
t+1
= x
j
|X
t
= x
i
, X
t1
= x
t1
, ..., X
tn
= x
tn
) = P(X
t+1
= x
j
|X
t
= x
i
)
pour tous n N

tel que t + 1,t,t 1,...,t n I et tous x

j
, x
i
, x
t1
,..., x
tn
S.
Exemple 1 : La souris markovienne et les quatre trous.
2
3
1
4
1
2
/
1
2
/
1
2
/
1
2
/
1
2
/ 1
2
/
1
2
/
1
2
/
I = N, S = {1, 2, 3, 4}
La souris qui se trouve dans le trou i prsent,
saute avec une probabilit
1
2
vers lun des trous
i + 1 ou i 1 (mod 4). Son choix du prochain
trou ne tient donc pas compte du trou par lequel
elle est arrive au trou i. De faon gnrale on
note
t
p
ij
= P(X
t+1
= j|X
t
= i)
la probabilit de transition de i vers j (i,j S).
Notons quil sagit de probabilits condition-
nelles dnies en section II.1.
Dans cet exemple les probabilits de transition sont stationnaires au sens que
t
p
ij
ne
dpend pas de t. On crit donc p
ij
la place de
t
p
ij
. On pose
P := (p
ij
; i, j S) =
_
_
_
_
0
1
2
0
1
2
1
2
0
1
2
0
0
1
2
0
1
2
1
2
0
1
2
0
_
_
_
_
.
P est la matrice de transition de la chane de Markov.
On va voir maintenant que la loi initiale (cest--dire le vecteur des probabilits P(X
0
=
i), i S) et P dterminent la loi de X
n
(cest--dire le vecteur des probabilits P(X
n
=
i), i S) pour tous n N

. En eet, par la formule de la probabilit totale (voir section

II.1), on a :
P(X
1
= j) =
4

i=1
P(X
0
= i)P(X
1
= j|X
0
= i) =
4

i=1
P(X
0
= i)p
ij
j = 1, 2, 3, 4,
ce qui signie quon obtient la loi de X
1
en multipliant la loi de X
0
par P.
On procde la dnition des probabilits de transition dordre suprieur :
1
A.A. Markov, mathmaticien russe, 1856-1922
II.2. LES CHANES DE MARKOV TEMPS DISCRET 9
Dnition. Soit I N et (X
t
; t I) une chane de Markov. Les probabilits de transition dordre n
sont donnes par
t
p
(m)
ij
= P(X
t+m
= x
j
|X
t
= x
i
) m N

, t, t +m I.
Les probabilits de transition dordre m sont stationnaires si
t
p
(m)
ij
=p
(m)
ij
pour tous x
i
, x
j

S (cest--dire ne dpendant pas de t).
La prochaine proposition montre que les probabilits de transition dordre m pour
m > 1 se calculent facilement partir de P.
Proposition II.1. (galits de Chapman-Kolmogorov)
Soit (X
t
; t N) une chane de Markov dont les probabilits de transition dordre m sont
stationnaires pour tous m N

. Soit S = {x
1
, x
2
, ..., x
n
} lensemble des tats possibles de
la chane. Alors
p
(m)
ij
= P(X
t+m
= x
j
|X
t
= x
i
) =

kS
p
(l)
ik
p
(ml)
kj
pour tous l {1, ..., m 1} et x
i
, x
j
S. Notons P
(m)
= (p
(m)
ij
; i, j S). Alors P
(m)
=
P
(l)
P
(ml)
pour tous l {1, ..., m1}. En particulier P
(m)
= P
m
.
Preuve. Elle se fait laide de la proprit de Markov et le calcul des probabilits condi-
tionnelles. Nous donnons le calcul explicite pour m = 2 et l = 1.
p
(2)
ij
= P(X
t+2
= x
j
|X
t
= x
i
) =

kS
P(X
t+2
= x
j
, X
t+1
= x
k
|X
t
= x
i
)
=

x
k
S
P(X
t+2
= x
j
, X
t+1
= x
k
, X
t
= X
i
)
P(X
t
= x
i
)

P(X
t+1
= x
k
, X
t
= x
i
)
P(X
t+1
= x
k
, X
t
= x
i
)
=

x
k
S
P(X
t+2
= x
j
|X
t+1
= x
k
, X
t
= x
i
)P(X
t+1
= x
k
|X
t
= x
i
)
=

x
k
S
p
kj
p
ik
= (PP)
ij
= (P
2
)
ij
(i, j S)
Donc P
(2)
= (p
(2)
ij
; i, j S) = P
2
. De mme faon on dmontre que
p
(3)
ij
= P(X
t+3
= x
j
|X
t
= x
i
) =

x
k
S
p
ik
p
2
kj
= (PP
2
)
ij
= (P
3
)
ij
.
Donc P
(3)
= P
3
. De faon gnrale on a
P
(m)
= P
(1)
P
(m1)
= P
(1)
P
(1)
P
(m2)
= P
m
.

Exemple 1 (suite). Par la Proposition II.1 et en eectuant le calcul du produit de matrices

on obtient :
P
(2)
= PP =
_
_
_
_
1
2
0
1
2
0
0
1
2
0
1
2
1
2
0
1
2
0
0
1
2
0
1
2
_
_
_
_
, P
(3)
= PP
(2)
= P, P
(4)
= PP
(3)
= P
2
10 CHAPITRE II. CHANES DE MARKOV ET FILES DATTENTE
On en dduit que P
(2m+1)
= P et P
(2m)
= P
2
. Ceci dtermine le comportement de P
(m)
pour m . Dans ce cas la suite (P
(m)
)
mN
ne converge donc pas. Lexemple suivant
montre que la suite (P
(m)
)
mN
converge dans certains cas.
Exemple 2. La souris markovienne et les 3 trous.
2 3
1
1
2
/
1
2
/
1
2
/
1
2
/
1
2
/
1
2
/
I = N, S = {1, 2, 3},
P =
_
_
0
1
2
1
2
1
2
0
1
2
1
2
1
2
0
_
_
, P
(2)
= P
2
=
_
_
1
2
1
4
1
4
1
4
1
2
1
4
1
4
1
4
1
2
_
_
.
On remarque quaucun lment de P
(2)
est ga zro, contrairement lExemple 1
o il y avait des zros dans P
(m)
pour tous m N

. Nous allons maintenant tudier le

comportement de (P
(m)
)
mN
pour lExemple 2. Supposons dabord que la loi de X
0
est
donne par
P(X
0
= 1) = P(X
0
= 2) = P(X
0
= 3) =
1
3
Par la formule de probabilit totale on obtient pour j=1,2,3 :
P(X
1
= j) =
3

i=1
P(X
0
= i)P(X
1
= j|X
0
= i) =
1
3
3

i=1
P(X
1
= j|X
0
= i) =
1
3
3

i=1
p
ij
=
1
3
En remplaant X
0
par X
1
et X
1
par X
2
on obtient de mme faon : P(X
2
= j) =
1
3
(j=1,2,3). On en dduit du calcul ci-dessus que :
a) P(X
n
= j) =
1
3
pour tous n N

, cest dire que X

n
suit la loi uniforme sur
S = {1, 2, 3} pour tous n N

.
b) Notons = (
1
,
2
,
3
) = (
1
3
,
1
3
,
1
3
). Alors = P, cest dire que est invariant
par multiplication droite par P.
Le Thorme II.2 ci-dessous nous dit que P
()
= lim
n
P
(n)
existe dans ce cas et
que les lignes de P
()
sont gales :
P
()
=
_
_
1
3
1
3
1
3
1
3
1
3
1
3
1
3
1
3
1
3
_
_
Ceci veut dire que intervient aussi en tant que limite, quand n , des probabilits de
transition. En plus, cette limite ne dpend pas de la loi initiale. En eet, par la formule de
la probabilit totale, P(X
n
= j) =

3
i=1
P(X
0
= i)P(X
n
= j| X
0
= i) pour tous n N

,
quelle que soit la loi initiale P(X
0
= i) i = 1, 2, 3. Donc
lim
n
P(X
n
= j) =
3

i=1
P(X
0
= i) lim
n
P(X
n
= j| X
0
= i) =
3

i=1
P(X
0
= i)p
n
ij
=
j
3

i=1
P(X
0
= i) =
j
j = 1, 2, 3,
II.2. LES CHANES DE MARKOV TEMPS DISCRET 11
quelle que soit la loi initiale P(X
0
= i), i = 1, 2, 3. On dit que = (
1
,
2
,
3
) est une loi
stationnaire.
Pour la souris de lExemple 2 cela veut dire que quelque soit sa position linstant zro,
la probabilit quelle se trouve dans le trou i aprs un grand nombre de sauts va converger
vers
1
3
pour i = 1, 2, 3. La loi de sa position aprs un grand nombre de sauts va donc
converger vers la loi uniforme sur S = {1, 2, 3}.
Sous quelles conditions la loi stationnaire existe-t-elle en gnral ?
La dnition qui suit donne des conditions susantes pour lexistence dune loi sta-
tionnaire.
Dnition. Soit (X
n
, n N) une chane de Markov dont les probabilits de transition
sont stationnaires. Soit S = {x
1
, x
2
, ..., x
q
}.
a) x
j
S est rcurent positif si x
j
est visit une innit de fois, cest--dire quil existe
un nombre inni de valeurs n telles que X
n
= x
j
. On suppose en plus que le temps
moyen entre deux visites est ni, ce qui est toujours le cas si S est ni, mais pas
ncessairement si S est inni.
(X
n
; n N) est rcurrent positif si tous les lments de S sont rcurrents positifs.
b) (X
n
; n N) est apriodique si p
(m)
ii
> 0 pour tous m N susamment grand, et
pour tous x
i
S.
Remarque. Les chanes de Exemples 1 et 2 sont rcurrentes positives. En fait, la proba-
bilit quun site ne sera plus jamais visit aprs un certain temps est gal zro. Notons
aussi que la probabilit quun certain site est visit une innit de fois est soit zro soit un
(preuve admise).
La chane de lExemple 1 nest pas apriodique : en fait p
(2m+1)
ii
= 0 pour tous m N

et
tous i S = {1, 2, 3, 4} (voir les zros dans les matrices de transition P et P
2
). La chane
de lExemple 2 est apriodique : p
(m)
ii
> 0 pour tous m N

et tous i S = {1, 2, 3}.

Thorme II.2. Soit (X
n
, n N) une chane de Markov apriodique et rcurrente posi-
tive, valeurs dans S={x
1
, x
2
, ..., x
q
}. La loi de X
n
, ainsi que les probabilits de transitions
p
(m)
ij
(x
i
, x
j
S) convergent alors, quand n et m , vers une loi stationnaire
= (
j
, j = 1, 2, ..., q). Cette loi stationnaire ne dpend pas de la loi initiale (cest dire
de la loi de X
0
). Elle est dtermine de faon unique par le systme dquations linaires
= P,
q

j=1

j
= 1,
j
0 (j = 1, ..., q)
Remarque. a) Une autre condition susante pour lexistence de probabilits station-
naires est la suivante :
(C) il existe m N

tel que tous les lments de P

(m)
sont positifs, cest--dire que
p
(m)
ij
> 0 pour tous x
i
, x
j
S.
La condition (C) implique en fait que la chane est rcurrente positive et apriodique.
b) On peut aussi dmontrer que la moyenne du nombre des visites en x
j
S jusquau
temps n, donn par
1
n
n

i=0
1
x
j
(X
i
),
converge en probabilit, quand n , vers
j
pour tous x
j
S.
12 CHAPITRE II. CHANES DE MARKOV ET FILES DATTENTE
Pour une preuve du Thorme I.2 nous rfrons aux ouvrages suivants :
A.A. Borovkov. Probability theory. Gordon and Breach, 1998
W. Feller. An introduction to probability theory and its applications. Vol. 1. Wiley,
1970
V.G. Kulkarni. Modeling and analysis of stochastic systems. Chapman and Hall, 1995
II.2.2 Exemples en gestion, conomie et imagerie
Nous terminons cette section par quelques exemples de lois stationnaires.
1) Considrons un march o n produits A
1
, A
2
, ..., A
n
sont en comptition les uns contre
les autres. Supposons que les clients dcident de rester dles leur produit ou de changer
de produit en tenant compte de la satisfaction ou de linsatisfaction avec le produit utilis
prsent sans tenir compte des produits utiliss antrieurement (mme comportement que
la souris markovienne). Lvolution du comportement des clients (dune semaine lautre
par exemple) est alors donn par la matrice de transition P. Notons que dans ce cas les
lments de la diagonale ne sont pas ncessairement = 0.
P
(m)
dcrit le march aprs m semaines, et la loi stationnaire, si elle existe, donne ltat
dquilibre du march, duquel il va sapprocher de plus en plus.
Nous rfrons aux exercices en TD pour dautres exemples dapplication en gestion.
2) La marche alatoire avec rexion aux bords. Considrons la marche alatoire symtrique
sur S = {N, N + 1, ..., 1, 0, 1, ..., N 1, N} qui consiste faire, chaque instant, un
pas en arrire ou en avant avec la probabilit
1
4
ou de rester sur place avec la probabilit
1
2
.
Aux bords, la marche repart avec probabilit
1
4
et reste sur place avec probabilit
3
4
. Pour
N = 5 par exemple, on a le graphe des probabilits ci-dessous.
-5 -4 -3 -2 -1 0 1 2 3 4 5
3/4
1/4 1/2
1/4 1/4
La matrice de transition est de dimension 2N + 1 et donne par
P = (p
ij
; i, j S) =
_
_
_
_
_
_
3
4
1
4
0 ... 0 0 0
1
4
1
2
1
4
... 0 0 0
... ... ... ... ... ... ...
0 0 0 ...
1
4
1
2
1
4
0 0 0 ... 0
1
4
3
4
_
_
_
_
_
_
.
Pour toute loi initiale (par exemple dpart du point 0), on peut calculer la loi de X
n

laide de la formule de probabilit totale
P(X
n
= j) =
N

i=N
P(X
0
= i)p
(n)
ij
(n N

)
La loi stationnaire est la loi uniforme sur S,
i
=
1
2N+1
pour tous i S. Elle se calcule
laide du Thorme II.2. La gure ci-dessous (G. Winkler : Image analysis, Random
Fields and Markov Chain Monte Carlo Methods, Springer 2003) illustre cette convergence.
Le point de dpart est 0 (P(X
0
=0)=1) et N = 20. Le graphique en haut est un suivi de
II.2. LES CHANES DE MARKOV TEMPS DISCRET 13
trajectoires dun grand nombre de ralisations (X
n
; n=0,1,...,600). Les histogrammes pour
les instants n=0, 100 et 600 montrent bien la convergence vers la loi uniforme.
Un cadre concret pour ce type de chane de Markov est lvolution du cours dchange
entre deux monnaies. Le bord infrieur et le bord suprieur sont les points dinterventions
de lautorit montaire pour stabiliser le cours dchange.
Histogrammes : rpartitions des trajectoires de la chane aux instants n=0, 100 et 600
3) Le modle dIsing. Ici S est lensemble des congurations des points dune grille G. Les
probabilits de transition dune conguration vers lautre sont plus complexes dans cet
exemple et se calculent partir des probabilits conditionnelles calcules en section II.1.
Plus prcisment notons p
{i}
la probabilit de transition de la conguration du i-me point
de G. Pour deux congurations c
t
= (c
l
t
)
lG
et c
t+1
= (c
l
t+1
)
lG
, p
{i}
est donne par
p
{i}
(c
t
, c
t+1
) = P(X
i
t+1
= c
i
t+1
| X
j
t
= c
j
t
pour tous j = i).
Cette probabilit se calcule laide de la formule II.1 . La matrice de transition dune
conguration (de tous les points de G) vers une autre est alors donne par
P = (p(c
t
, c
t+1
), c
t
, c
t+1
S) o p(c
t
, c
t+1
) =

iG
p
{i}
(c
t
, c
t+1
).
Notons que P est une matrice nn, sil y a n congurations possibles de G. Pour obtenir la
probabilit de transition dune conguration c
t
vers une conguration c
t+1
il faut calculer
llment de P qui se trouve sur la ligne qui correspond c
t
et dans la colonne qui correspond
c
t+1
. On peut dmontrer que la matrice de transition dordre m est gale P
m
, et que
la loi stationnaire pour le modle de Ising ((c), c S) est donne par
(c) =
1
Z
exp(

ij
c
i
c
j
) o Z =

c
exp(

ij
c
i
c
j
),
14 CHAPITRE II. CHANES DE MARKOV ET FILES DATTENTE
la somme

c
tant sur toutes les congurations possibles de G. A noter quil sagit de la
loi introduite en section II.1.
Il se peut que la convergence vers la loi staionnaire est assez lente comme le montre la
Figure 1 ci dessous. Lchelle sur laxe vertical est la frquence relative de points voisins
ayant la mme conguration, laxe horizontal est le temps. A gauche se trouve limage
de dpart avec un trs grand nombre de voisins de congurations direntes. Lapplication
rptitive de P est cens nettoyer limage, cest--dire de sapercevoir quil ny a pas dob-
jets rels, mais seulement des bruits (noise en anglais) quil faut supprimer. Ceci revient
diminuer le nombre de voisins avec congurations direntes. Au cas o l image comporte
des objets rels qui sont bruits, il faut choisir un algorithme qui supprime ces bruits sans
faire disparatre limage de ces objets rels. La suite de la Figure 1 montre ltat de ce
nettoyage aprs 150, 300 et 8000 applications (sweeps en anglais) de P. Lecacit du
nettoyage dpend fortement de la valeur de . Pour la Figure 1=0.8, pour la Figure 2
=0.43 et pour la Figure 3 =1.0. Les carrs des Figures 2 et 3 montrent ltat du net-
toyage aprs 0, 1, 3,10, 30, 100, 1000 et 3000 applications de P. A noter la dirence entre
les rsultats du nettoyage. Les gures sont reproduites de : G. Winkler, Image Analysis,
Random Fields and Markov Chain Monte Carlo Methods. Springer 2003. Nous remercions
lauteur pour la permission de reproduire ces gures dans ce polycopi et rfrons son
ouvrage pour un traitement dtaill de la reconstitution dimages.
Figure 1. = 0.8, n = 0, 150, 300, 8000
II.3. LES CHANES DE MARKOV TEMPS CONTINU 15
(a) (b) (c) (d)
(e) (f) (g) (h)
Figure 2. = 0.43 n = 0, 1, 3, 10, 30, 100, 1000, 3000
(a) (b) (c) (d)
(e) (f) (g) (h)
Figure 3. = 1.0 n = 0, 1, 3, 10, 30, 100, 1000, 3000
II.3 Les chanes de Markov temps continu
Dans beaucoup des cas on souhaite disposer de manire continue lvolution temporelle
dun systme. On prfre alors considrer le temps comme tant une variable continue,
prenant ses valeurs dans un intervalle I R
+
et des chanes de Markov indexs par les
points de I : (X
t
; t I). Des exemples typiques sont le nombre dappels arrivant un
service de renseignements tlphonique en priode [t, t +h], le nombre de tches arrivant
16 CHAPITRE II. CHANES DE MARKOV ET FILES DATTENTE
la partie centrale dun ordinateur ou encore le nombre de machines qui tombent en panne
et qui doivent tre rpares en [t, t + h]. Ces exemples rentrent dans le cadre du schma
clients/serveur : les clients sont les personnes qui appellent, les tches qui arrivent ou
les machines tombes en panne ; les serveurs sont le service de renseignements, lordinateur
ou le centre de rparation des machines. Du ct pratique on sintresse, entre autres,
la longueur de la le dattente qui se forme devant les guichets, aux dures dattente des
clients ou au degr doccupation des serveurs.
II.3.1 Intensits de transition et modles linaires
Soit I R
+
la priode dobservation, et soit S lensemble des tats possibles de la
chane (S = {x
l
; l J}, J N, ni ou non). Dans les exemples prcdents les tats sont
typiquement le nombre de clients prsents (servis ou non) ou le nombre de clients en
attente dtre servis. Notons X
t
(t I) ltat de la chane linstant t, et notons
p
ij
(h) = P(X
t+h
= x
j
| X
t
= x
i
) (x
i
, x
j
S, t, t +h I, h > 0)
les probabilits de transition, supposes stationnaires dans cette section, cest--dire que
p
ij
(h) ne dpend pas de t. Ces probabilits de transition sont des fonctions de h, donc
des expressions plus complexes quen section II.2. Nous allons dmontrer que les lois des
X
t
(t I) sont dtermines uniquement par la loi initiale et les drives en h = 0 des
probabilits de transition. Ces drives remplacent donc les probabilits de transition des
chanes temps discret dans le calcul des lois de X
t
et de la loi stationnaire, si elle existe.
Notons que :
d
dh
p
ij
(0) = lim
h0
1
h
(p
ij
(h) p
ij
(0)) =
_
lim
h0
1
h
p
ij
(h) si i = j,
lim
h0
1
h
(p
ii
(h) 1) si i = j.
(II.2)
De faon quivalente on peut crire :
p
ij
(h) = p
ij
(0) +h
d
dh
p
ij
(0) +(h) quand h 0.
Ici (h) est une fonction de h, inconnue en gnral, tel que lim
h0
1
h
(h) = 0. Notons aussi
que

jS
p
ij
(h) = 1, et donc

jS
d
dh
p
ij
(h) = 0 pour tous i S. Les drives sinter-
prtent comme les intensits dun saut de x
i
vers x
j
dans une priode (innitsimalement)
courte. Nous traitons dans cette section le cas o seules les intensits dun saut vers un des
voisins dans S sont positives. Dans le cadre du schma clients/serveur ceci signie quil
est peu probable que deux ou plusieurs clients arrivent en mme temps : soit que la chane
reste en ltat i, soit quelle passe ltat (i + 1) (un client est arriv), soit quelle passe
ltat (i 1) (un client est servi et part).
Dnition. Une chane de Markov (X
t
; t I) valeur dans S N est linaire (ou un
processus de naissance et de mort) si, pour tous i, j S et t, t +h I
p
ij
(h) = P(X
t+h
= j| X
t
= i) =
_

i
h +(h) si j = i + 1

i
h +(h) si j = i 1
1 (
i
+
i
)h +(h) si i = j
(h) si |i j| 2
quand h 0. Daprs (II.2),
i
=
d
dh
p
i,i+1
(0) et
i
=
d
dh
p
i,i1
(0).
i
(resp.
i
) sont les
intensits (ou taux) de naissance (resp. de mort) ltat i S. Leurs valeurs sont sup-
poses donnes ou estimables partir de lobservation de la chane. Pour S = N on a la
reprsentation graphique suivante :
II.3. LES CHANES DE MARKOV TEMPS CONTINU 17
0 1 2 3

0

1

2

1

2

3

2

2

3

3

1

1

n

n
, 0
II.3.2 Le processus de Poisson
(Denis Poisson, mathmaticien franais, 1781-1840)
Considrons la chane de Markov linaire avec S = N,
i
= > 0 et
i
= 0 pour tous
i N. Supposons que X
0
= 0. Les probabilits de transition sont donnes par :
p
ii
(h) = (1 )h +(h), p
i,i+1
(h) = h +(h) quand h 0.
Quelle est la loi de X
t
, pour t > 0 ? Posons p
i
(t) = P(X
t
= i) (i S). Nous dterminons
les valeurs de p
i
(t) rcursivement, en commenant par i = 0, et nous allons voir que les X
t
suivent la loi de Poisson avec paramtre t, cest--dire que p
i
(t) =
(t)
i
i!
e
t
(t 0, i N).
i = 0 :
p
0
(t +h) = P(X
t+h
= 0) = P(X
t+h
= 0| X
t
= 0)P(X
t
= 0)
= p
00
(h)p
0
(t) = (1 h +(h))p
0
(t) pour h 0.
Donc p
0
(t +h) p
0
(t) = (h +(h))p
0
(t) pour h 0.
Donc
d
dt
p
0
(t) = lim
h0
1
h
(p
0
(t +h) p
0
(t)) = p
0
(t), p
0
(0) = 1.
Do
d
dt
p
0
(t) = p
0
(t), p
0
(0) = 1.
La solution de cette quation direntielle est donne par p
0
(t) = e
t
. Il sagit bien de la
probabilit en i = 0 de la loi de Poisson de paramtre t.
Cas gnral : On procde par induction. On suppose que p
i1
(t) =
(t)
i1
(i1)!
e
t
, et on
souhaite dmontrer que la formule reste valable si i 1 est remplac par i.
p
i
(t +h) = P(X
t+h
= i) = P(X
t+h
= i, X
t
= i) +P(X
t+h
= i, X
t
= i 1)
= P(X
t+h
= i| X
t
= i)P(X
t
= i) +P(X
t+h
= i| X
t
= i 1)P(X
t1
= i 1)
= p
ii
(h)p
i
(t) +p
i1,i
(h)p
i1
(t)
= (1 h +(h)) p
i
(t) + (h +(h)) p
i1
(t) quand h 0.
Donc
d
dt
p
i
(t) = p
i
(t) +p
i1
(t) = p
i
(t) +(

i1
(i 1)!
e
t
), p
i
(0) = 0.
On vrie facilement que p
i
(t) =
(t)
i
i!
e
t
est solution de cette quation direntielle.

18 CHAPITRE II. CHANES DE MARKOV ET FILES DATTENTE

Les trajectoires (temporelles) de ce processus sont donc des fonctions en escalier, avec des
marches (arrive de clients) des instants alatoires, nots T
1
, T
2
,... On pose T
0
= 0. On
a donc
X
t
n T
n
t pour n N

, t 0.
0
1
2
3
4
5
X
t
T
1
T
2
T
3
T
4
t
Le thorme suivant rsume le rsultat obtenu ci-dessus, et donne les proprits les plus
importantes du processus de Poisson.
Thorme II.3. Les caractrisations suivantes sont quivalentes pour le processus de Pois-
son (X
t
; t 0) dintensit > 0 issu de zro.
a) (X
t
; t 0) est une chane de Markov linaire valeur dans N et dintensit
i
=
> 0 et
i
= 0 (i N).
b) pour tous s, t 0, s < t et tous i N on a :
P(X
t
X
s
= i) = P(X
ts
= i) =
[(t s)]
i
i!
e
(ts)
, (II.3)
et les accroissements sur des intervalles disjoints sont indpendants, cest--dire que,
pour tous n N

et tous 0 t
0
< t
1
< t
2
< ... < t
n
,
X
t
1
X
t
0
, X
t
2
X
t
1
, ..., X
tn
X
t
n1
, (II.4)
sont des variables alatoires indpendantes.
Remarque. La premire galit en (II.3) dit que la loi des accroissements X
t
X
s
ne
dpend que de la longueur t s de lintervalle [s, t], mais pas de sa position. On dit
que les accroissements sont stationnaires et par (II.4), indpendants. Une autre proprit
importante du processus de Poisson est le fait que les temps dattente entre deux sauts
U
i
= T
i
T
i1
(i N

) sont des variables alatoires indpendantes et que U

i
suit la loi
exponentielle de paramtre ; cest--dire que la fonction de rpartition des U
i
est donne
par P(U
i
x) = 1 exp(x)1
R
+
(x).
La proprit de Markov du processus de Poisson se traduit donc par labsence dune
mmoire pour les temps dattente entre deux sauts. On a en fait
P(U
n
> x +y| U
n
> x) =
P(U
n
> x +y)
P(U
n
> x)
=
e
(x+y)
e
x
= e
y
= P(U
n
> y).
II.3. LES CHANES DE MARKOV TEMPS CONTINU 19
Cest--dire que la probabilit dattendre au moins x+y units de temps jusquau prochain
saut ne dpend pas du fait que cette attente dure dj x units de temps. Elle est simplement
gale
`
la probabilit (inconditionnelle) que lattente dure au moins y units du temps aprs
x.
Notons que EU
n
=
1

, et que V ar U
n
=
1

2
, tandis que EX
t
= V ar X
t
= t.
Remarque. La dmonstration complte de lquivalence de a) et b) du Thorme prc-
dent et de la loi exponentielle de U
i
exige une analyse plus ne du processus de Poisson
qui nest pas le but de ce cours.
II.3.3 La loi stationnaire dans le cas o lensemble des tats possibles
est ni
Nous tudions maintenant le cas o S = {1, 2, .., n}. Soit (X
t
; t 0) une chane de
Markov linaire et valeurs dans S. Sa fonction de transition ( valeur matrices) est donne
par P(t) = (p
ij
(t), i, j S), o p
ij
(t) = P(X
s+t
= j| X
s
= i) et t varie dans R
+
. Les
galits de Chapman-Kolmogorov (Proposition II.1) restent valables en temps continu et
se lisent de faon suivante :
P(t +s) = P(t)P(s) pour tous t, s > 0.
Elles nont cependant pas la mme importance quen temps discret, o lgalit P
(n)
= P
n
permet le calcul direct de la loi de X
n
. En temps continu, le calcul de P(t), de la loi X
t
et de la loi stationnaire est plus compliqu en gnral. Il faut procder de mme faon que
pour le processus de Poisson et rsoudre des systmes dquations direntielles pas trs
simples en gnral. Nous nous contentons ici de poser ce systme dquations direntielles
et den dduire une formule explicite pour la loi stationnaire qui sera la formule de base
pour les les dattente. Le graphe des intensits de transition facilite la comprhension de
ces quations direntielles.
0 1 2
n

0

1

1

2

2

2

1

1
n-1

n-1

n-1

n-1

n
En appliquant lingalit de Chapman-Kolmogorov on dduit du graphe ci-dessus :
p
j
(t +h) = P(X
t+h
= j) =

iS
P(X
t
= i)P(X
t+h
= j| X
t
= i) =

iS
p
ij
(h)p
i
(t)
= p
j
(t)(1
j
h
j
h +(h)) +p
j1
(t)(
j1
h +(h))
+p
j+1
(t)(
j+1
h +(h)) +(h) quand h 0
Donc
d
dt
p
j
(t) = lim
h0
1
h
(p
j
(t +h) p
j
(t))
= (
j
+
j
)p
j
(t) +
j1
p
j1
(t) +
j+1
p
j+1
(t) 1 j n 1
En tenant compte des particularits aux tats 0 et n on obtient le systme dquations
direntielles suivant :
20 CHAPITRE II. CHANES DE MARKOV ET FILES DATTENTE
Proposition II.4. Soit (X
t
; t 0) une chane de Markov linaire valeurs dans S =
{0, 1, .., n}. La loi de X
t
pour tous t > 0 est alors donne par la loi X
0
(p
j
(0) = P(X
0
=
j), j S) et la solution du systme suivant dquations direntielles :
_
_
_
d
dt
p
j
(t) = (
j
+
j
)p
j
(t) +
j1
p
j1
(t) +
j+1
p
j+1
(t) 1 j n 1,
d
dt
p
0
(t) =
0
p
0
(t) +
1
p
1
(t),
d
dt
p
n
(t) =
n
p
n
(t) +
n1
p
n1
(t).
(II.5)
La loi stationnaire de (X
t
, t 0) se dduit facilement de la proposition prcdente.
Thorme II.5. Soit (X
t
; t 0) une chane de Markov linaire valeurs dans S =
{0, 1, 2, .., n}. Supposons que
i
> 0 pour i = 0, 1, 2, ..., n 1 et
i
> 0 pour i = 1, 2, ..., n.
La loi stationnaire (cest--dire la loi associe aux valeurs supposes donnes de
i
et
i
et valable pour tous t 0) est donne par
p
l
= P(X
t
= l) =

l
j=1

j1

n
i=0

i
j=1

j1

j
(l S, t I). (II.6)
Remarque. a) Dans le dnominateur de la formule ci-dessus on obtient pour i = 0 le
produit
0
j=1
... Il faut le poser gal 1.
b) Lexemple du processus de Poisson montre que la loi stationnaire nexiste pas toujours
si S est inni. Les les dattente que lon va traiter ci-dessous montrent cependant quelle
existe sous certaines conditions mme si S est inni.
Preuve du Thorme II.5 : Sous le rgime stationnaire les probabilits p
ij
(t) (j
S, t I) ne dpendent pas de t. Le systme dquations direntielles de la Proposition
II.4 devient donc un systme dquations pour les inconnues p
j
, j S. Il se lit :

0
p
0
=
1
p
1
(
j
+
j
)p
j
=
j1
p
j1
+
j+1
p
j+1
(1 j n 1)

n1
p
n1
=
n
p
n
Comme ce systme est linaire, on peut le rsoudre facilement de la faon suivante :
p
1
=

0

1
p
0
, p
2
=
1

2
[(
1
+
1
)p
1

0
p
0
] =

0

2
p
0
, ...
p
n
=
n
j=1

j
p
0
.
Comme

n
j=0
p
j
= 1, on obtient p
0
(

n
i=0

i
j=1

j1

j
) = 1, et donc p
0
= (

n
i=0

i
j=1

j1

j
)
1
.
Il sensuit que p
1
,..p
n
se calculent daprs la formule du Thorme.
II.3.4 Un exemple en gestion
Considrons n machines de mme type. Posons
X
i
la dure alatoire de fonctionnement de la machine i entre deux tombes en panne
successives,
Y la dure alatoire de rparation dune machine.
Comme les machines sont du mme type, on peut supposer que les variables alatoires
X
i
suivent la mme loi. Supposons aussi que les variables alatoires X
i
et Y sont indpen-
dantes, que X
i
suit la loi exponentielle de paramtre > 0 et que Y suit la loi exponentielle
II.3. LES CHANES DE MARKOV TEMPS CONTINU 21
de paramtre > 0
2
. Les machines qui tombent en panne sont rpares lune aprs lautre.
Notons Z
t
le nombre de machines en panne linstant t. On sintresse la loi stationnaire
de Z
t
, cest--dire aux probabilits p
l
= P(Z
t
= l) pour l = 1, ..., n. Pour calculer cette loi
on modlise (Z
t
, t 0) comme une chane de Markov linaire, les naissances tant les
machines qui tombent en panne, les morts tant les machines qui sont remises en service
aprs rparation. Sous les hypothses faites sur X
i
et Y on voit facilement que (Z
t
; t 0)
est eectivement une chane de Markov. Il faut calculer les taux de naissances et les taux
de morts, et appliquer le Thorme II.5. Posons S = {0, 1, 2, .., n}. Pour calculer
j
on
pose

j
=
d
dh
p
j,j1
(0) = lim
h0
1
h
p
j,j1
(h) = lim
h0
1
h
P(Z
t+h
= j 1| Z
t
= j).
Pour h trs petit il faut donc calculer la probabilit quune machine sort de rparation en
]t,t +h]. Supposons qu linstant t la rparation dure dj t

units de temps. On a alors

P(Z
t+h
= j 1| Z
t
= j) = P(Y t

+h| Y > t

) =
P(t

< Y t

+h)
P(Y > t

)
=
e
t

e
(t

+h)
e
t

= 1 e
h
.
Donc
j
= lim
h0
1
h
(1 e
h
) = pour j = 1, 2, .., n. Remarquons que, daprs le Tho-
rme II.3, le nombre de machines rpares est un processus de Poisson avec intensit gale
.
Calcul de
j
(j = 0, 1, ..., n 1) :

j
=
d
dh
p
j,j+1
(0) = lim
h0
1
h
P(Z
t+h
= j + 1| Z
t
= j)
Pour h trs petit il faut donc calculer la probabilit quune machine tombe en panne en
]t,t +h]. Numrotons de 1 n j les machines en service linstant t.
P(Z
t+h
= j + 1|Z
t
= j) = P( l {1, ..., n j} tel que X
l
]t t

l
, t +h t

l
]| X
l
> t t

l
)
(t

l
est linstant de la remise en service actuelle de la machine l)
= 1 P(X
l
> t +h t

l
pour tous l {1, .., n j}| X
l
> t t

l
)
= 1
nj
l=1
P(X
l
> t +h t

l
| X
l
> t t

l
) = 1
nj
l=1
P(X
l
> h)
daprs la remarque qui suit le Thorme II.3. Donc

j
= lim
h0
1
h
(1
nj
l=1
P(X
l
> h)) = lim
h0
1
h
(1 e
(nj)h
) = (n j).
Le graphe des taux de naissances et de morts pour (Z
t
; t 0) est donc le suivant :
0 1 2


j n
n (n-1) (n-2) (n-j)
n (n-1) (n-2) (n-j)

2
Ces dernires hypothses peuvent bien sr ne pas tre satisfaites dans un cas concret. Elles gurent ici
pour que les calculs qui suivent restent simples.
22 CHAPITRE II. CHANES DE MARKOV ET FILES DATTENTE
En appliquant le Thorme II.5, on obtient la loi stationnaire de Z :
p
l
= P(Z
t
= l) =
l
j=1
(n j + 1)

/(
n

i=0

i
j=1
(n j + 1)

)
= (

)
l
1
(n l)!
/(
n

i=0
(

)
i
1
(n j)!
) l {0, 1, ..., n}.
II.3.5 Les les dattente M/M/s/R
Les les dattente sont des cas particuliers des chanes de Markov linaires. On les note
dhabitude par M/M/s/R, o
M/M signie que les arrives se font selon un processus de Poisson dintensit donne
(note > 0). Par la remarque qui suit le Thorme II.3 les temps dattente entre
deux arrives successives sont indpendants et suivent la loi exponentielle de para-
mtre .
Le deuxime M signie que les dures de services suivent la loi exponentielle dun
paramtre donn (not > 0), et que ces dures de services sont indpendantes. Le
nombre de services eectus au cours de la priode ]t, t+h] suit donc la loi de Poisson
dintensit s, o
s est le nombre de serveurs,
R est le nombre maximal de clients dans le systme (en train dtre servi ou en attente
dun service). Remarquons que R .
Exemple : Une banque avec s guichets, o la porte dentre ne souvre plus ds quil y a
R clients lintrieur de la banque. Remarquons que le nombre de guichets ouverts peut
varier selon lintensit des arrives des clients.
On sintresse en gnral aux nombres de clients en le dattente en fonction du taux des
arrives, du nombre de serveurs et de la dure de service. On sintresse aussi la dure
dattente et la dure totale de prsence dun client dans le systme. Nous allons rpondre
aux questions laide dune chane de Markov linaire de taux constant, not , des arri-
ves des clients et de taux de dpart des clients servis, not , dpendant uniquement de s.
Remarquons que dautres modles sans la restriction que les taux darrives et de dparts
sont constants peuvent tre dduits du Thorme II.5, mais les formules rpondant aux
questions ci-dessus sont alors plus compliques ou inconnues. Dans certains cas, il faut se
contenter dapproximations.
Notations :
S = {0, 1, ..., R}
X
t
S (t 0) nombre de clients prsents dans le systme linstant t en le dattente ou
en train dtre servis
p
l
= P(X
t
= l), l S loi stationnaire de (X
t
; t 0) si elle existe
N
S
= EX
t
=

lS
p
l
l
N
W
= E(X
t
s)
+
=

lS
p
l
(l s)
+
_

_
Nombre moyen de clients pr-
sents dans le systme (N
S
) ou
dans la le dattente (N
W
)
T
S
(resp. T
W
) dure moyenne quun client passe dans le systme (resp. dans la le dattente)
II.3. LES CHANES DE MARKOV TEMPS CONTINU 23
Les quantits N
S
, N
W
, T
S
et T
W
sont calcules sous la loi stationnaire.
a) La le dattente M/M/1/R (R )
Le graphe des taux des arrives et des dparts est le suivant :
0 1 2


R

R-1

Si R = + la loi stationnaire existe si et seulement si < .
Les formules ci-dessous pour p
l
sont une consquence du Thorme II.5, appliqu n = R
et
j
= ,
j
= .
Si R = + les formules suivantes sont valables :
p
l
=
l
(1 ) , l N, = / < 1
N
S
=

1
=


, N
W
= N
S
=

2
( )
T
S
=
1

N
S
=
1

, T
W
=
1

N
W
=

( )
Si R < + les formules suivantes sont valables :
p
l
=

l
(1)
1
R+1
, l {0, 1, ..., R}, = /, =
N
S
=
[1(R+1)
R
+R
R+1
]
(1
R+1
)(1)
, = , N
W
= N
S
(1 p
0
)
T
S
=
N
S
(1p
R
)
, T
W
=
N
W
(1p
R
)
Remarquons que p
l
=
1
R+1
(l = 0, 1, .., R) si = et R < . Il sagit donc de la
loi uniforme sur S. Les formules pour T
S
et T
W
sont connues sous le nom de formules de
Little. Pour une dmonstration de ces formules, nous rfrons au livre de K. Borovkov :
Elements of stochastic modelling. World Scientic 2003.
b) La le dattente M/M/s/R (R )
Ici

j
= (j = 0, 1, ..., R 1)

j
=
_
j si 1 j s
s si j s (j = 1, 2, ..., R)
Le graphe des taux des arrives et des dparts est le suivant :
24 CHAPITRE II. CHANES DE MARKOV ET FILES DATTENTE
0 1 2
R

R-1

s s
s
2
S-1 S

-(s-1)

(s-1)
-s -s -s
2
Si R = + la loi stationnaire existe si et seulement si < s. P(X
t
s) est la
probabilit que tous les serveurs sont occups. Les formules ci-dessous pour p
l
sont une
consquence du Thorme II.5. Pour s = 1 on retrouve les formules de la partie a).
Si R = + les formules suivantes sont valables :
p
l
=
_

l
p
0
l!
si l s 1
, l N, = / < s

l
p
0
s
ls
s!
si l s
p
0
= [
s1

i=0

i
i!
+

s
(1 /s)s!
]
1
, P(X
t
s) =

s
p
0
(1 /s)s!
N
W
=

s(1 /s)
P(X
t
s), N
s
= N
W
+, T
W
=
N
W

, T
S
=
N
S

Si R < + les formules suivantes sont valables :

p
l
=
_

l
p
0
l!
si l s 1

l
p
0
s
ls
s!
si s l R
p
0
= [
s1

i=0

i
i!
+

s
s!
Rs

i=0

i
s
i
]
1
N
W
=

s
p
0
(1 /s)
2
s!

s
[1 (

s
)
Rs+1
(R s + 1)(

s
)
Rs
(1

s
)]
N
S
= N
W
+
s1

i=0
ip
i
+s(1
s1

i=0
p
i
), T
W
=
N
W
(1 p
R
)
, T
S
=
N
S
(1 p
R
)
II.4 Simulation de les dattente
Souvent les systmes tudier sont trop complexes pour une analyse laide des for-
mules proposes en section II.2 et II.3. Il existe des formules plus ou moins explicites pour
certains cas plus gnraux, et des travaux de recherche motivs par les applications r-
centes, par exemple en rseaux de tlcommunication, ont t eectus. Dans dautres cas
on est amen eectuer des simulations sur ordinateur pour apprendre davantage sur
lvolution temporelle dun systme.
Exemple : Bilan conomique dune compagnie daviation.
Considrons une compagnie arienne qui dispose de 10 avions. Supposons quil en faut 8
pour assurer lensemble des vols quotidiens sous sa responsabilit. Les avions sont soit en
II.4. SIMULATION DE FILES DATTENTE 25
tat de service (not N), soit en attente dtre rpars (A), soit en rparation (R), soit en
tat dattente pour mise en service (S). Supposons aussi quil y a trois postes de rparation
disposition. On peut alors dcrire le ux des avions dun tat vers le suivant par le schma
suivant :
S
N
A
R
Les surfaces hachures correspondent ltat initial du systme : 6 avions en service, 1
avion en attente, 3 en rparation.
Supposons que les dures entre 2 instants successifs quun avion tombe en panne sont des
variables alatoires indpendantes qui suivent une loi exponentielle de paramtre > 0
(hypothse vrier statistiquement partir dobservations, avec lestimation de ). Sup-
posons aussi que les dures entre deux instants successifs quun avion sort de rparation
sont, elles aussi, indpendantes et de loi exponentielle de paramtre > 0 (hypothse
vrier galement, avec estimation de ).
Il y a donc deux les dattente, une pour les postes de rparation (il sagit dune M/M/3/10),
et lautre les mises en service (il sagit dune M/M/8/10). Les arrives aux deux les dat-
tente se font selon des processus de Poisson de paramtres resp. . Mais les deux processus
ne sont pas indpendants, parce que les dparts de lune des les dattente sont les arrives
lautre le dattente. Les formules de la section II.3.5 ne sont donc pas applicables.
Le but dans cet exemple est de faire des prvisions sur le bilan conomique de la socit
daviation. Il faut donc des informations sur lvolution probable des tats des avions pen-
dant une certaine priode. Dans cet exemple, il convient de simuler la loi de (S
t
, N
t
, A
t
, R
t
)
quand le temps t parcourt la dure [0,T]. Il faut donc simuler des ralisations de variables
alatoires exponentielles de paramtres et qui interviennent dans les deux les dat-
tente. Ce sera fait dans les deux sous-sections qui suivent et on poursuivra ltude de la
compagnie daviation dans le dernier paragraphe.
II.4.1 Simulation dune variable alatoire de loi donne
Thorme II.6. Soit X une variable alatoire de fonction de rpartition F continue don-
ne. Alors Y = F(X) suit la loi uniforme sur [0,1].
Preuve. Notons F
Y
la fonction de rpartition de Y . Alors, pour y [0, 1],
F
Y
(y) = P(Y y) = P(F(X) y) = P(X F
1
(y)) = F(F
1
(y)) = y,
et F
Y
= 0 si y < 0 et F
Y
= 1 si y > 1. Remarquons que F
1
est dnie telle que
F
1
(y) = inf{x : F(x) = y}.
26 CHAPITRE II. CHANES DE MARKOV ET FILES DATTENTE
1
0
y
x
F(x)
x=F (y)
-1
Remarque. Lexemple suivant montre comment le Thorme permet de simuler de va-
riables alatoires de loi F partir de ralisations indpendantes de loi uniforme sur [0,1].
On verra dans la sous-section suivante comment on peut obtenir ces derniers en simulant
des chires pseudo-alatoires.
Exemple : Simulation de ralisations de variables alatoires de loi exponentielle de para-
mtre donn.
Choisissons = 3/heure la frquence des arrives dans une le dattente.
La fonction de rpartition de cette loi est donne par
y = F(x) = (1 e
x
) 1
R
+
(x)
Donc
x =
1

ln(1 y) =
1
3
ln(1 y) [heures] = 20 ln(1 y) [minutes].
Comme Y et 1 Y ont mme loi, on peut remplacer x par x

= 20ln(y) [minutes]. Par

le Thorme I.6 x est une ralisation de la loi F donne si y est une ralisation de la loi
uniforme sur [0, 1].
Supposons donns les chires alatoires suivants :
57494 72484 22676
Ils donnent lieu aux ralisations suivantes de la loi uniforme sur [0,1] :
y
1
= 0,57494 y
2
= 0,72484 y
3
= 0,22676
On en dduit les valeurs suivantes de x

:
x

1
= 11,0698 x

2
= 6,4361 x

3
= 29,6773
Les valeurs x
1
, x

2
et x

3
sont donc des ralisations de la loi exponentielle de paramtre
= 3/heure = 20/minute. Avec ces simulations on peut eectuer des valuations statis-
tiques comme sil sagissait dobservations relles.
La simulation de ralisations de variables alatoires de loi discrte est dirente et illustre
par lexemple suivant. Considrons la loi F donne ci-dessous : elle ralise 4 valeurs avec
les probabilits p
1
,p
2
,p
3
,p
4
(

4
i=1
p
i
= 1). Supposons donnes les ralisations y
1
,y
2
de loi
uniforme sur [0,1]. On en dduit les ralisations x
1
= F
1
(y
1
) et x
2
= F
1
(y
2
) de F suivant
le graphique ci-dessous :
II.4. SIMULATION DE FILES DATTENTE 27
F(x)
x = F (y )
1 1
-1
x = F (y )
2 2
-1
y
1
O
P
1
P
2
P
3
P
4
1
y
2
Remarquons que lon a F(F
1
(y)) = y en gnral au cas o F est discrte.
II.4.2 Gnrateur de nombres pseudo-alatoires
Si on a besoin dun grand nombre de ralisations de variables alatoires de la loi uniforme
sur [0,1] il faut les gnrer laide dun algorithme convenable. Ceci est prcis dans la
dnition suivante.
Dnition. Un gnrateur de nombres pseudo-alatoire (GNPA) est un algorithme qui
gnre des suites de chires y
1
, y
2
,...,y
n
, quel que soit n N

, tel que le comportement sta-

tistique de ces suites est celui dune suite Y
1
, Y
2
,...,Y
n
de variables alatoires indpendantes
de loi uniforme sur [0,1].
Dnition. Soient a, b, n N et n premier. Un GNPA congruentiel linaire est donn par
la valeur initiale, note y
0
, et par la formule rcursive pour y
i
y
i
= (ay
i1
+b) (mod n) i = 1, 2, ...
Remarque. On a videmment y
i
0, 1, 2, ..., n 1. Pour obtenir des ralisations ind-
pendantes dune variable de loi uniforme sur [0,1], il sut de xer la prcision r souhaite,
de choisir r chires conscutives de y
i
et de les identier aux r premires dcimales dun
nombre de [0,1].
Le choix de a, b et n est crucial pour la qualit dun GNPA, comme le montrent les exemples
suivants :
Exemple 1 : a=13, n=7, b=0. Soit y
0
=29. On obtient
y
1
= 377 (mod 7) = 6, y
2
= 78 (mod 7) = 1, y
3
= 13 (mod 7) = 6.
On obtient donc y
2i1
=6, y
2i
=1, i=1,2,... On a donc gnr la suite 296161616 qui nest
certainement pas une bonne suite de chires pseudo-alatoires.
Exemple 2 : a=3, n=100, b=0. Soit y
0
=13.
La suite de nombres gnrs par ce GNPA est priodique de priode 20, cest--dire que
y
i
= y
i(mod 20)
. Les 20 premiers nombres gnrs par cet algorithme sont les suivants :
39 17 51 53 59 77 31 93 79 37 11 33 99 97 91 73 19 57 71 13
En rptant cette suite de nombres on obtient une suite qui nest videmment pas utilisable
pour crer des ralisations indpendantes de loi uniforme sur [0,1] parce que la priode est
beaucoup trop courte. Ceci est illustr par le fait que lensemble des couples (y
2i1
/100,
y
2i
/100) (n N) reprsentent 10 points seulement situs sur 3 droites dans [0,1]
2
.
28 CHAPITRE II. CHANES DE MARKOV ET FILES DATTENTE
0
1
1
Exemple 3 : Un bon choix de a, b et n est :
a = 2
16
+ 3 = 65539 ou a = 2100005341 et n = 2
31
1 = 2147483647, b = 0.
La justication de ce choix est
dune part algbrique : il faut que la priode des nombres gnrs soit extrmement longue,
et
dautre par statistique : les tests pour lindpendance et de la loi uniforme sur [0,1] ne
doivent pas indiquer des dirences signicatives.
La qualit du GNPA avec a = 2
16
+3 et n = 2
31
1 est illustr ci-dessous par la trajectoire
qui trace lordre de succession des cents premiers points (y
2i1
/(2
31
1),y
2i
/(2
31
1))
gnrs ; ils sont rpartis de faon trs irrgulire dans [0,1]
2
.
Y
X
0.0000
0.1000
0.2000
0.3000
0.4000
0.5000
0.6000
0.7000
0.8000
0.9000
1.0000
0.0000 0.2000 0.4000 0.6000 0.8000 1.0000
Voici un exemple de code Scilab
3
pour gnrer les 100 premiers points par cette mthode.
3
http ://scilabsoft.inria.fr/
II.4. SIMULATION DE FILES DATTENTE 29
format(20,20) ;
fd1=mopen("chier.data","w") ;
a=216+3 ;
n=231-1 ;
b0=a ;
for i = 1 :100
b1=pmodulo(b0*a,n) ;
mfprintf (fd1,%5.3f %5.3f \n,b0/n,b1/n) ;
b0=b1 ;
end
mclose(fd1) ;
Pour visualiser ces rsultats, une possibilit : xgraph
xgraph -x Y2-1 -y Y2 -bb -nl -M chier.data
xgraph -x Y2-1 -y Y2 -bb chier.data
Il faut cependant dire que, quelle que soit la valeur de a, n et b, les points (y
2i1
/n,y
2i
/n)
sont toujours situs sur un nombre ni de droites dans [0,1]
2
. Plus gnralement les points
(Y
i
/n,Y
i+1
/n,...,Y
i+p1
/n), i N

seront toujours situs sur un nombre ni dhyperplans

de dimension p 1 dans [0,1]
p
. Cependant ce nombre est trs lev pour les bons GNPA.
Mais il est major par (p!n)
1/p
. Pour lexemple 3 et p = 2 on obtient

2n = 65535 droites.
Nous terminons cette sous-section par des tests statistiques pour la loi uniforme sur [0,1]
et pour lindpendance des nombres pseudo-alatoires.
a)Test de validit dajustement
Il permet de tester la rpartition uniforme des nombres pseudo-alatoires sur [0,1]. On
aligne les chires c
j
{0, 1, ..., 9} gnrs par les y
i
, i = 1, ..., n
Soit X
l
le nombre de chires gaux l (l=0,1,...,9)
Hypothse H
0
: X = (X
0
, X
1
, ..., X
9
) suit la loi multinomiale de paramtres (n,
1
10
,
1
10
, ...,
1
10
)
Variable de test :
2
=
9

l=0
(X
l

n
10
)
2
/
n
10
=
10
n
9

l=0
(X
l

n
10
)
2
Notons que n =
9

l=0
X
l
.
Il faut rejeter H
0
si
2
>
2
(9)
1
, o
2
(9) est la loi de Khi-deux avec 9 degrs de libert,
est la probabilit dune erreur de 1
re
espce et
2
(9) est lextrmit gauche de lintervalle
qui porte la probabilit (hachure dans la gure ci-dessous).

2
(9)
2
1
(9)
2
Fonction de densite de
0
30 CHAPITRE II. CHANES DE MARKOV ET FILES DATTENTE
b) Test dindpendance des observations
Soit c
1
, c
2
, ..., c
n
, la suite dnie en partie a).
Hypothse H
0
: C
1
, C
2
, ..., C
n
, sont des variables alatoires indpendantes uniformment
rparties sur {0,1,...,9}
Variable de test : On calcule le nombre r
n
de soussuites croissantes ou dcroissantes de
c
1
, c
2
, ..., c
n
.
Exemple numrique :
39786 47879 45786 97125 83237
n = 25 r
25
= 15
0.0000
1.0000
2.0000
3.0000
4.0000
5.0000
6.0000
7.0000
8.0000
9.0000
5.0000 10.0000 15.0000 20.0000 25.0000
Sous H
0
on a ER
n
=
1
3
(2n 1) et V ar R
n
=
1
90
(16n 29). En plus
Z
n
:= (R
n
ER
n
)/

V ar R
n
suit, asymptotiquement, quand n , la loi normale
centre rduite, note N(0, 1).
Il faut rejeter H
0
, si |z
n
| > z
1/2
, o est la probabilit dune erreur de 1
re
espce et
z
1/2
est lextrmit gauche de lintervalle qui porte la probabilit /2 (hachure dans la
gure ci-dessous).
Fonction densit de N(0, 1)
/2 /2
-z
1/2
z
1/2
z
II.4. SIMULATION DE FILES DATTENTE 31
II.4.3 Un exemple de gestion
On retourne a lexemple du bilan de la compagnie daviation. Supposons que =0.4
et =0.7. On peut simuler des ralisations de variables alatoires de loi uniforme sur [0,1]
suivant la sous-section II.4.2 et en dduire des ralisations indpendantes des variables
alatoires de loi exponentielle de paramtres et suivant la sous-section II.4.1.
Supposons quon arrive de cette faon aux ralisations suivantes :
Loi exponentielle de paramtre =0.4 :
5.86 0.06 2.16 1.18 3.09 1.94 3.88 6.17 11.56
Loi exponentielle de paramtre =0.7 :
0.69 3.02 1.80 3.96 6.14 0.89 0.89 8.61 0.31
A laide de ces valeurs on peut simuler lvolution temporelle de la compagnie daviation
suivant le schma donn la page 25. Le tableau ci-dessous retrace les vnements qui se
produisent durant les 20 premires units temporelles. Ces vnements dbutent par des
mises en service dun avion aux instants 0.69, 3.71 (=0.69+3.02), 5.51 (3.71+1.80), qui
sont suivies par des pannes aux instants 5.86, 5.92 (=5.86+0.06) etc. Aux instants de ces
vnements on observe les valeurs de S,N,A et R, notes S(t), N(t), A(t) et R(t).
t S(t) N(t) A(t) R(t)
0 0 6 1 3
0.69 0 7 0 3
3.71 0 8 0 2
5.51 1 8 0 1
5.86 0 8 0 2
5.92 0 7 0 3
8.08 0 6 1 3
9.26 0 5 2 3
9.47 0 6 1 3
t S(t) N(t) A(t) R(t)
12.35 0 5 2 3
14.29 0 4 3 3
15.61 0 5 2 3
16.50 0 6 1 3
17.39 0 7 0 3
18.17 0 6 1 3
24.34
An de ne pas alourdir les calculs, on considre uniquement les quantits suivantes (pour
une unit temporelle) :
m le cot xe dun avion, quel que soit son tat,
b le bnce dun avion en service,
c le cot de rparation dun avion.
Le bnce de la compagnie daviation pour une dure de T units temporelles, not B(T),
est alors gal :
B(T) = b
_
T
0
N(t)dt c
_
T
0
R(t)dt 10mT.
Les graphes des fonctions N(t) et R(t) (0 t 20), donns ci-dessous permettent de cal-
culer facilement B(T) pour T = 20. On obtient
_
20
0
N(t)dt = 124.7 et
_
20
0
R(t)dt = 57.23
et donc B(20) = 88.5, cest--dire un dcit de 88.5. En partant avec dautres valeurs
simules des lois exponentielles on arrive videmment valeurs direntes de B(20). B(20)
a donc le caractre dune variable alatoire, et des simulations rptitives mnent des
ralisations indpendantes de B(20), auxquelles on peut appliquer une analyse statistique,
comme sil sagissait dun chantillon dobservations relles (calculer sa moyenne, la va-
riance, estimer la loi par lhistogramme de lchantillon etc.).
32 CHAPITRE II. CHANES DE MARKOV ET FILES DATTENTE
t
1.0000
2.0000
3.0000
4.0000
5.0000
6.0000
7.0000
8.0000
0.0000 5.0000 10.0000 15.0000 20.0000 25.0000
N
t
R
t
II.5 Remarques bibliographiques
Dans la plupart les livres de probabilits et processus stochastiques on trouve des cha-
pitres sur les chanes de Markov. Parmi les livres qui sadressent plus particulirement aux
informaticiens et aux ingnieurs, on peut citer :
K. Borovkov. Elements of stochastic modelling. World Scientioc 2003.
P. Brmaud. Markov chains. Springer Verlag 1998.
N. Bouleau. Processus stochastiques et applications. Hermann 2000.
S. M. Ross. Probability models for computer science. Academic Press 2002.
Pour un trait plus avanc des les dattente on peut citer :
P. Robert. Rseaux et les dattente : mthodes probabilistes. Springer Verlag 2000.
Nombreux sont les ouvrages rcents sur lanalyse des images et sur les rseaux stochastiques.
Nous citons :
G. Winkler. Image analysis, random elds and Markov chains Monte Carlo methods.
Springer Verlag 2003.
H. Chen, D.D. Yao. Fundamentals of queuing networks. Springer Verlag 2001.
R. Serfozo. Introduction to stochastic networks. Springer Verlag 1999.