Introduction aux chanes de Markov

pour les professeurs

Lyce

Auteur : Raymond Moch

Table des matires

1 Introduction 1.1 Pourquoi ce papier ? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1.2 Notations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1.3 Avertissement . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 Dnition des chanes de Markov 2.1 Gnralits, vocabulaire et notations de base . . . . . . . . . . . . . . . . . . . . 2.2 Rgle de multiplication des probabilits le long dun chemin . . . . . . . . . . . 2.3 Chane de Markov et indpendance . . . . . . . . . . . . . . . . . . . . . . . . . 3 Exemples de chanes de Markov 3.1 Lois instantanes dune chane de Markov . . . . . . . . . . . . . . . . . . . . . 3.2 Exemples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 1 2 2 2 2 4 6 7 7 7

4 Calcul des lois instantanes 10 4.1 Calcul matriciel de lois . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10 4.2 Calcul la main des lois L1 et L2 . . . . . . . . . . . . . . . . . . . . . . . . . 11 4.3 Transitions lointaines . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12 5 Quels problmes rsolvent les chanes de Markov ? 14 5.1 Lois-limites . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14 5.2 Temps darrt . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14 6 Solution des exercices 16

Mots-clefs : chanes ou processus de Markov, espace des tats, loi initiale, lois instantanes, matrice de transition, matrice stochastique, probabilit de passage dun tat un autre, tat absorbant, rgle de multiplication des probabilits le long dun chemin, temps darrt, temps de retour, temps datteinte.

1
1.1

Introduction
Pourquoi ce papier ?

Il est destin aux professeurs de lyce loccasion de la rentre 2012. En eet, en Spcialit Mathmatiques de la Terminale S, apparaissent, sans tre nommes (sauf par exemple dans [2], p. 51), des chanes de Markov. Ce sujet, qui largit considrablement le domaine des suites de variables alatoires indpendantes et quidistribues, permet de traiter de trs nombreux nouveaux problmes (par exemple des marches alatoires ou le modle de diusion dEhrenfest) 1

au moyen notamment de simulations et de calcul matriciel. Lintrt est donc double, en Calcul des probabilits et en Algorithmique.

1.2

Notations

X = (X0 , X1 , . . .) : chane de Markov P est la probabilit de lespace de probabilit sur lequel les variables alatoires X0 , X1 , . . . sont dnies. E = (1, 2, . . . , t) : espace ou ensemble des tats de la chane de Markov i, j, i0 , i1 , . . . : tats de la chane de Markov t : nombre dtats de la chane Ln : loi sur E de la variable alatoire Xn , identie Ln = (Ln (1), Ln (2), . . . , Ln (t)) T = (p(i, j )) : matrice de transition de X p(i, j ) : probabilit de passage de ltat i ltat j p(n) (i, j ), n 2 : lment gnrique de la matrice T n n est habituellement linstant prsent du processus (par opposition au pass ou au futur).

1.3

Avertissement

En principe, cet expos est facile. Les obscurits ou dicults ventuelles ne sont pas ncessairement du fait de lauteur. Il faut aussi tenir compte  du manque de connaissances suppos du lecteur. Par exemple, on ne peut pas parler correctement de la loi dune variable alatoire car cest une mesure. Le Calcul des probabilits est bas sur lintgrale de Lebesgue (voir par exemple [5]). Toute thorie restreinte base sur lintgrale de Riemann, les sommes et les sries conduit des dicults insurmontables, mme au niveau de lenseignement au lyce. On triche donc. Ci-dessus, on a confondu Ln et Ln . Cest un moindre mal.  de lambigit modlisation/mathmatiques. Les chanes de Markov sont des objets mathmatiques parfaitement dnis. On les utilise comme modle. Plaquer un modle sur un phnomne rel est plutt un acte de foi. On peut tre convaincu ou non. La distinction modlisation/mathmatiques nest pas toujours claire dans le papier car tout est imbriqu.  de la lourdeur des notations et des conditionnements. Il est tentant doublier quon ne peut conditionner que par un vnement de probabilit > 0 car la thorie des chanes de Markov est connue : on sait que a marche. Nous navons pas cd la tentation.

2
2.1

Dnition des chanes de Markov

Gnralits, vocabulaire et notations de base
0 dont la

Dnition 1 On appelle matrice stochastique toute matrice carre T de rels somme des lments sur chaque ligne vaut 1. Exemple 1

0 1 0 1 / 2 0 1 / 2 T = 1/2 1/6 1/3

Les lments dune matrice stochastique appartiennent donc lintervalle [0, 1]. Il nest pas trs utile de sappesantir sur les matrices stochastiques en soi. Voici une proprit simple : Exercice 1 Dmontrer que toute les puissances dune matrice stochastique sont des matrices stochastiques. Solution : On dmontrera que le produit de deux matrices stochastiques de mme taille est une matrice stochastique puis on fera une rcurrence. Dnition 2 Soit X = (X0 , X1 , . . . , Xn , . . .) une suite de variables alatoires valeurs dans lensemble E = (1, 2, . . . , t). On dit que X est une chane de Markov despace des tats E , de loi initiale L0 sur E et de matrice de transition T , T tant une matrice stochastique (t t) dont les coecients seront nots p( , ) si  L0 est la loi suivie par X0 ,  quel que soit lentier n 0 et quels que soient les tats i0 , i1 , . . . , in1 , i et j tels que P(X0 = i0 , . . . , Xn1 = in1 , Xn = i) > 0, P (Xn+1 = j/X0 = i0 , . . . , Xn1 = in1 , Xn = i) = p(i, j ). (1) La condition P (X0 = i0 , . . . , Xn1 = in1 , Xn = i) > 0 assure videmment que la probabilit conditionnelle (1) a bien un sens. p(i, j ), lment gnrique de la matrice de transition T sappelle probabilit de transition de ltat i ltat j . (2) nous dit que p(i, j ) est une probabilit conditionnelle (si i est un tat visit, cest dire sil existe un instant n tel que P (Xn = i) > 0, ce que lon peut videmment toujours supposer). Ce nest pas une probabilit sauf si lon se rfre la notion de loi conditionnelle. La terminologie est trompeuse. On devrait videmment se poser le problme de lexistence de tels objets mathmatiques. Cest trop dicile pour ce papier, voir [4], pp. 127-128 : Chanes de Markov homognes. La proprit de Markov - galit (1) - porte sur un conditionnement par linstant prsent (linstant n) et tous les instants passs, sil y en a (si n 1). Voici une proprit de conditionnement par linstant prsent seulement : Thorme 1 Soit X une chane de Markov despace des tats E , de loi initiale L0 sur E et de matrice de transition T . Alors, quels que soient les tats i, j et lentier n 0 tels que P(Xn = i) > 0, P (Xn+1 = j/Xn = i) = p(i, j ). (2) Au lieu du thorme 1, nous allons plutt dmontrer le thorme plus gnral 2, dans lequel on conditionne par le prsent (linstant n) et une partie quelconque du pass. Thorme 2 Soit X une chane de Markov despace des tats E , de loi initiale L0 sur E et de matrice de transition T , n, n1 , ( . . . , np , o p 0, des instants tels n 1 < < n p < n, ) que 0 i1 , . . . , ip, i des tats tel que P Xn1 = i1 , . . . , Xnp = ip , Xn = i > 0. Alors, P Xn+1 = j/Xn1 = i1 , . . . , Xnp = ip , Xn = i = p(i, j ).
( )

(3)

Nous ferons driver le thorme 2 de limportante rgle de multiplication des probabilits le long dun chemin.

2.2

Rgle de multiplication des probabilits le long dun chemin

0 et quels que soient les tats i0 , i1 , . . . , in1 , in , (4)

Cette rgle permet souvent dviter les conditionnements et leurs contraintes. Thorme 3 Pour tout entier n

P (X0 = i0 , . . . , Xn = in ) = L0 (i0 ) p(i0 , i1 ) p(i1 , i2 ) p(in1 , in ). Si de plus P (X0 = i0 ) > 0, P (X1 = i1 , . . . , Xn = in /X0 = i0 ) = p(i0 , i1 ) p(i1 , i2 ) p(in1 , in ). Plus gnralement, pour tous entiers m im1 , im , n

(5)

0 et quels que soient les tats in , in+1 , . . ., (6)

P (Xn = in , . . . , Xm = im ) = Ln (in ) p(in , in+1 ) p(in+1 , in+2 ) p(im1 , im ). Si de plus P (Xn = in ) > 0, P (Xn+1 = in+1 , . . . , Xm = im /Xn = in ) = p(in , in+1 ) p(in+1 , in+2 ) p(im1 , im ). Dmonstration : Si n = 1, lgalit P (X0 = i0 , X1 = i1 ) = L0 (i0 ) p(i0 , i1 )

(7)

est trivialement vraie si L0 (i0 ) = P(X0 = i0 ) = 0 puisqualors le deuxime membre est nul ainsi que le premier puisque (X0 = i0 , X1 = i1 ) (X0 = i0 ) P (X0 = i0 , X1 = i1 ) Sinon, on peut conditionner et utiliser la proprit (2) : P (X0 = i0 , X1 = i1 ) = P(X0 = i0 ) P (X1 = i1 /X0 = i0 ) = L0 (i0 ) p(i0 , i1 ) Supposons maintenant que pour un certain entier n dtats i0 , . . . , in , 1, on ait tabli que pour toute suite L0 (i0 ) P (X0 = i0 , X1 = i1 ) = 0

P (X0 = i0 , . . . , Xn = in ) = L0 (i0 ) p(i0 , i1 ) p(i1 , i2 ) p(in1 , in ) Soit une suite quelconque dtats i0 , i1 , . . . , in+1 . Si P (X0 = i0 , . . . , Xn = in ) = 0, on dmontre comme prcdemment que lgalit P (X0 = i0 , . . . , Xn+1 = in+1 ) = p(in , in+1 ) P (X0 = i0 , . . . , Xn = in ) (8)

est vrie. Sinon, en conditionnant par lvnement (X0 = i0 , . . . , Xn = in ), on retrouve de nouveau (8). On peut ensuite appliquer lhypothse de rcurrence et terminer cette rcurrence. (5) dcoule de la dnition de la probabilit conditionnelle ; (6) et (7) se dmontrent comme (4) et (5).

5 i2
p(i1 ,i2 )

2 i1
p(i0 ,i1 )

i0

;

in1
p(in1 ,in )

n1
k=0

p(ik , ik+1 )

 -i

(4) montre que la probabilit de tout vnement attach une chane de Markov est calculable partir de sa loi initiale L0 et de sa matrice de transition T . Il sut dadditionner les probabilits des chemins qui composent cet vnement, daprs ladditivit de la probabilit. (4) sapplique dans tous les cas, y compris sil sagit dune chane de Markov dont ltat initial nest pas alatoire (cas o L0 comprend un seul 1 et des 0 : cest le cas de la souris de lexemple (2) o L0 = [1, 0, 0, 0]). Si le 1 se trouve en ime position, on obtiendra : P (X1 = i1 , . . . , Xn = in ) = p(i, i1 ) p(i1 , i2 ) p(in1 , in ) Dmonstration du thorme 2 P Xn+1 = j/Xn1 = i1 , . . . , Xnp = ip , Xn = i
( ( ) )

=(1)
(2)

P Xn1 = i1 , . . . , Xnp = ip , Xn = i, Xn+1 = j P Xn1 = i1 , . . . , Xnp = ip , Xn = i

( ( )

P (X0 = j0 , . . . , Xn1 = jn1 , Xn = i, Xn+1 = j ) P Xn1 = i1 , . . . , Xnp = ip , Xn = i

)

(3)

P Xn1 = i1 , . . . , Xnp = ip , Xn = i

L0 (j0 ) p(j0 , j1 ) p(jn1 , i) p(i, j )

)

(4)

p(i, j )

P (X0 = j0 , . . . , Xn1 = jn1 , Xn = i)

( )

P Xn1 = i1 , . . . , Xnp = ip , Xn = i

=(5) p(i, j ) Justication du calcul : =(1) provient de la dnition de la probabilit conditionnelle. Dans =(2) , le numrateur de la fraction prcdente est remplac par une sommation sur tous les tats j0 , . . . , jn1 tels que j = i1 ,. . . , jnp = ip . Cette sommation provient de ladditivit de ( n1 ) la probabilit, lvnement Xn1 = i1 , . . . , Xnp = ip , Xn = i, Xn+1 = j ayant t partitionn selon les valeurs prises par ) alatoires de la famille (X0 , . . . , Xn1 ) qui nappar( les variables tiennent pas la famille Xn1 , . . . , Xnp . =(3) provient de la rgle de multiplication des probabilits le long dun chemin. 5

 =(4) rsulte de la rgle de multiplication. Enn, pour obtenir =(5) , on remarque que ( la somme dans =(4) est la somme ) des probabilits des lments dune partition de lvnement Xj1 = i1 , . . . , Xjp = ip , Xn = i . Le thorme 1 se dduit du thorme 2 dans le cas p = 0. Remarques sur la dnition des chanes de Marbov, vocabulaire On peut supposer que les variables alatoires X0 , X1 , X2 , . . . sont dnies partir dune suite dexpriences alatoires. On verra daprs les exemples que ces expriences ne sont habituellement ni identiques ni indpendantes. Ce nest pas toujours vrai, voir la sous-section 2.3. La trajectoire ou le parcours de la chane lors dune ralisation de la suite dexpriences est la suite (i0 , i1 , . . .) des tats visits, cest dire des valeurs prises par les variables alatoires X0 , X1 , . . . La proprit de Markov (1) est trs forte. Normalement, P (Xn+1 = j/X0 = i0 , . . . , Xn1 = in1 , Xn = i) devrait dpendre de n, i0 , . . . , in1 , i et j . En faisant lhypothse que cette quantit vaut p(i, j ), on impose quelle ne dpende que de i et de j , cest dire quelle dpende seulement de ltat de la chane au prsent et au futur immdiat. Par exemple, la probabilit que la chane aille en j linstant 3 sachant quelle est en i linstant 2 est la mme que la probabilit que la chane aille en j linstant 167 sachant quelle est en i linstant 166. Ce qui sest pass avant na pas dimportance. On exprime cette proprit est disant que la chane est homogne. Un peu de posie : on exprime habituellement le fait que P (Xn+1 = j/X0 = i0 , . . . , Xn1 = in1 , Xn = i) ne dpend pas de i0 , . . . , in1 en disant que le futur du processus conditionn par son pass et son prsent ne dpend que de son prsent. Exercice 2 Soit X une chane de Markov despace des tats E , de loi initiale L0 sur E et de matrice de transition T . On observe la chane partir dun instant p 0 donn, cest dire que lon considre la suite de variables alatoires Y = (Y0 , Y1 , Y2 , . . .) dnie par Y0 = Xp , Y1 = Xp+1 , Y2 = Xp+2 , . . . Dmontrer que Y est une chane de Markov despace des tats E , de loi initiale Lp et de matrice de transition T .

2.3

Chane de Markov et indpendance

Les lycens connaissent le cas dune variable alatoire X ne prenant quun nombre ni de valeurs, dnie partir dune exprience alatoire que lon rpte indniment, les rptitions tant indpendantes les unes des autres. On est amen considrer les variables alatoires X0 , X1 , . . . dnies comme X partir des expriences successives. La suite (Xn , n 0), suite de variables alatoires indpendantes suivant la mme loi, sera une chane de Markov trs particulire puisque lon aura, si

P (X0 = i0 , . . . , Xn1 = in1 , Xn = i) = P (X0 = i0 ) P (Xn1 = in1 ) P (Xn = i) > 0 : P(Xn+1 = j/X0 = i0 , . . . , Xn1 = in1 , Xn = i)= P (X0 = i0 ) P (Xn1 = in1 ) P (Xn = i) P (Xn+1 = j ) P (X0 = i0 ) P (Xn1 = in1 ) P (Xn = i) =P (Xn+1 = j ) =P (X1 = j ) (9) =P (X0 = j ) (10)

puisque les variables alatoires X0 , X1 , . . . sont indpendantes et quidistribues. On voit que i {1, 2, . . . , t}, (p(i, 1), p(i, 2), . . . , p(i, t)) = L0 = L1 = (11)

Cela signie que les lignes de la matrice de transition sont toutes gales la loi commune des variables alatoires X0 , X1 , . . . . Si X0 suit une loi dirente (les autres hypothses tant conserves), si la loi commune des variables alatoires X1 , X2 , . . . est note L = (L(1), . . . , L(t)), les galits ci-dessus restent vraies sauf (10) et (11) (il faut retirer L0 ). (Xn , n 0) est une chane de Markov dont lespace des tats est E , dont la loi initiale est la loi de X0 et dont la matrice de transition est
T =

L(1) L(2) . . . . . . L(1) L(2) . . . . . . ... ... ... ... ... ... ... ... ... ... ... ... L(1) L(2) . . . . . .

. . . L(t) . . . L(t) ... ... ... ... ... ... . . . L(t)

Voir aussi la rciproque de lexercice 1. La notion de chane de Markov est plus gnrale que la notion de suite de variables alatoires indpendantes et quidistribues. La thorie des chanes de Markov rsout des problmes qui chappe au cas indpendant quidistribu. Elle est une porte dentre la thorie des processus stochastiques. On verra quelle sappuie fortement sur le calcul matriciel.

3
3.1

Exemples de chanes de Markov

Lois instantanes dune chane de Markov

On appelle ainsi les lois L0 , L1 , . . . , Ln , . . . des variables alatoires X0 , X1 , . . . , Xn , . . . Ce sont des lois sur E . On les confond avec les matrices-lignes Ln = (Ln (1), Ln (2), . . . , Ln (t)).

3.2

Exemples

Exemple 2 : Souris sans mmoire Une souris se dplace dans une cage comportant 4 compartiments : C1 , C2 , C3 et C4 , disposs selon le dessin ci-dessous :

On suppose que la souris se trouve dans le compartiment C1 linstant initial et quelle change indniment de compartiment de la manire suivante : lorsquelle se trouve dans un comparti1 ment ayant k portes, elle choisit au hasard lune des portes (avec la probabilit ). Comment k peut-on modliser ce jeu ? Modlisation du dplacement de la souris On peut reprsenter le mouvement de la souris laide dun graphe :
E1
1 1/3

2Y r
1/3 1/2

1/2 1/3 1/2 1/2

24 E

Dans cet exemple, le graphe apporte peu. La matrice de transition T ci-dessous est aussi parlante. Il est naturel de modliser le parcours alatoire de la souris par une chane de Markov dont les tats sont 1, 2, 3 et 4 (pour C1 , C2 , C3 et C4 ), de loi initiale L0 = (1, 0, 0, 0) (12)

(parce que la souris se trouve dans la case C1 au dbut du jeu) et de matrice de transition
1/3 0 1/3 1/3 . T = 0 1 / 2 0 1 / 2

(13)

1/2 1/2

Cette modlisation est convaincante. Si linstant 0, la souris tait place au hasard dans la cage, on remplacerait (12) par L0 = (1/4, 1/4, 1/4, 1/4). Cette nouvelle chane de Markov ne serait pas radicalement dirente de la prcdente. Il y a des limites de bon sens aux modlisations markoviennes : par exemple, si lon imagine que la souris est la recherche dun morceau de fromage et quelle a de la mmoire, 8

on ne pourra plus proposer un modle qui impliquerait (1) parce que la souris ne retournerait pas dans un compartiment o elle est dj passe sans trouver de fromage. Intuitivement, ds que lon introduit de la mmoire dans un systme, la proprit markovienne disparat. Elle se conserve quand mme quand la mmoire est borne (par exemple limite n 1 et n 2 quand n dsigne le prsent). Il faut alors faire une thorie ad hoc. Exercice 3 (voir la solution page 16) Modliser le dplacement de la souris dans le cas suivant : quelquun a plac un morceau de quiche lorraine dont elle raole mais qui est empoisonn en C4 . Si elle entre dans cette case, elle en mange et meurt instantanment. Si la chane atteint ltat 4, elle y reste. On dit que 4 est un tat absorbant. Voici maintenant un exemple trs dgnr de chane de Markov : Exercice 4 Dcrire le comportement de la chane X qui est modlis par
. 0 0 1 T =

0 1 0 1 0 0

E = (1, 2, 3),

L0 = (1/3, 1/3, 1/3),

Exemple 3 Marche alatoire sur une pyramide (voir la suite lexemple 6) Le terme marche alatoire est assez vague. Lexemple 2 et lexercice 3 sont des marches alatoires, voir aussi les activits [7] et [11]. Typiquement, une particule se dplace sur un rseau. chaque nud de ce rseau, elle choisit au hasard un chemin parmi ceux qui se prsentent elle. Voici une marche alatoire sur un ttradre ABCD. On peut coder les sommets 1 pour A, 2 pour B , etc. Quand la particule arrive un sommet, elle ne peut y rester. Elle a le choix entre 3 artes (autrement dit, elle peut se diriger vers lun des 3 autres sommets). Elle en choisit une au hasard (avec la probabilit 1/3). T est la matrice de transition de cette marche alatoire. On traduit par un zro le fait que la particule ne peut rester en un sommet (cest dire quelle peut y rester avec la probabilit 0)
A

T =
B D

0 1/3 1/3 1/3 1/3 0 1/3 1/3 1/3 1/3 0 1/3 1/3 1/3 1/3 0

Exemple 4 Modle de diusion dEhrenfest (cf. [4], chapitre 20, pp. 274-276 ou [2], pp. 51-53). Ce modle a t conu pour expliquer certains rsultats exprimentaux qui semblaient paradoxaux (cf. [12]). lorigine, cest un modle dchange de chaleur entre deux corps. T. et P. Ehrenfest ont propos linterprtation suivante : dans une bote 2 compartiments se trouvent N particules. linstant initial, il y a i0 particules dans le premier, N i0 dans le second. On tire une particule de la bote au hasard et on la change de compartiment. On rpte cette manipulation chaque instant suivant. Ltat du systme est dcrit linstant n par Xn , variable alatoire du nombre de particules dans le premier compartiment cet instant (on pourra de mme dnir X0 si le nombre de particules dans le premier compartiment linstant initial 9

est lui-mme alatoire ; il faudra alors spcier la loi L0 de X0 sur E = (0, 1, . . . , N )). On se demande quel est ltat du systme linstant n, en clair : quelle est la loi de Xn ? Bien sr, ltat du systme linstant n +1 ne dpend que de son tat linstant n. On modlise par une chane de Markov. Lvolution du systme peut tre reprsente par un graphe : 0
1

/1

(j 1) o

j/N

1j/N

/ (j + 1)

(N 1) o

(parce que si linstant n, il y a j particules (1 j N 1) dans le premier compartiment, la probabilit de tirer dans la bote une particule de ce compartiment est j/N et qualors, linstant n + 1, il ne reste plus que j 1 particules dans le premier compartiment) ou, de manire quivalente, par la matrice de transition
T =

0 1 0 0 0 0 1/N 0 1 1/N 0 0 0 0 2/N 0 1 2/N 0 0 ... ... ... ... 0 0 0 0 0 0 0 0 0 0 0 0

0 0 0 ... 1 1/N 0

0 0 0 ... 0 1

1/N

0 0 0

(14)

4
4.1

Calcul des lois instantanes

Calcul matriciel de lois
1, Ln = Ln1 T = L0 T n . (15)

Thorme 4 Pour tout entier n

Dmonstration : Pour tout tat j , lvnement (Xn = j ) est videmment la runion des vnements deux deux disjoints (Xn1 = i, Xn = j ), i E . Ln (j ) est donc la somme de leurs probabilits, qui se rduit la somme note ci-dessous sur les tats i tels que P (Xn1 = i) > 0. Pour ces tats, on peut conditionner par (Xn1 = i) et crire, daprs le thorme 1, P (Xn1 = i, Xn = j ) = P (Xn1 = i) P (Xn = j/Xn1 = i) = P (Xn1 = i) p(i, j ) ce qui montre que, quel que soit ltat j : Ln (j ) = = =

iE

P (Xn1 = i, Xn = j ) P (Xn1 = i) p(i, j ) Ln1 (i) p(i, j )

iE

On voit alors que le j me lment de Ln est le j me lment du produit matriciel Ln1 T , ce qui prouve que Ln = Ln1 T En appliquant de nouveau cette galit, on obtient : Ln = Ln1 T = Ln2 T 2 = = L1 T n1 = L0 T n . 10

Le calcul des lois instantanes dune chane de Markov est donc ramen au calcul des puissances de la matrice de transition. On a ainsi ramen un problme de Calcul des probabilits un calcul matriciel qui pourra tre excut par un logiciel de calcul formel comme Xcas (cf. [6], p. 23). Remarquons que dans le courant de la dmonstration, on a notamment vu passer le rsultat suivant : Thorme 5 Pour tous entiers m et n tels que m > n Lm = Ln T mn . 0, (16)

Lgalit (16) permet, si lon connat la loi de Xn , den dduire la loi de Xm . Il y a un cas particulirement simple : Thorme 6 Si la chane de Markov part de ltat i, autrement dit si X0 = i (la variable alatoire X0 est constante et vaut i), pour tout entier n 1, la loi de Xn est la ime ligne de la matrice T n . Dans le cas gnral de la formule (16), on peut dire que Lm est le barycentre des lignes de T mn aectes des coecients Ln (1), . . . , Ln (t).

4.2

Calcul la main des lois L1 et L2

Exemple 5 On reprend lexemple (2) en supposant que la souris est place au hasard dans lun des 4 compartiments linstant 0, cest dire quon suppose que L0 = [1/4, 1/4, 1/4, 1/4]. Calculer L1 et L2 . On se limite aux lois L1 et L2 parce que cest long. La bonne solution est videmment dutiliser la formule (15). Calcul de L1 On peut saider dun graphe :
y< 1 yy y yy yy yy
1

/2

3 En utilisant la rgle de multiplication des probabilits le long dun chemin et ladditivit de la probabilit, on obtient la loi L1 que lon peut rsumer ainsi : 11

1/4 5 y lll 1 yy llll l y 1/3 yy llll yy l l y l y l /2R /3 1/4 3E RRRR 1/3 EE 33 R E RR 33 EE 1/3 RR 33 EEE RRRR 33 E RR) 33 1/4E 4 EE 33 EE 33 EE EE 33 E" /2 1/4 3 RRRRR 1/2 33 RRR 33 33 1/2 RR RRRR 33 RR) 33 4 33 33 33  /2 4 RRRRR 1/2 RRR 1/2 RR RRRR RR)

1 2 3 4 1/12 1/2 5/24 5/24

ou

1/12 ll lll l l l /2 R 1/2 EE RRR EERRRR EE EE 5/24 RR RRR EE RR) 5/24 3 EE EE EE EE EE "

l5 1 lll l l l

Calcul de L2 Compte-tenu de la rgle de multiplication des probabilits le long dun chemin, on peut partir de L1 :
<1 yy yy y y yy yy
1

/2

1/12 5 y lll 1 yy llll l y 1/3 yy llll yy l l y l y l /2R /3 1/2 3E RRRR 1/3 EE 33 R E R R 33 EE 1/3 RR 33 EEE RRRR 33 E RR) 33 5/24 4 EE 33 EE EE 33 EE 33 EE " /2 5/24 3 RRRRR 1/2 33 RRR 33 33 1/2 RR RRRR 33 RR) 33 4 33 33 33  /2 4 RRRRR 1/2 RRR 1/2 RR RRRR RR)

3
51 llll l l l l

ce qui donne les rsums suivants :

ll 1/6 lll l l l /2 R 7/24 EE RRR EERRRR EE EE 13/48RR RRR EE RR) 13/48 3 EE EE EE EE EE "

1 2 3 4 1/6 7/24 13/48 13/48

ou

4.3

Transitions lointaines

On notera p(n) (i, j ) llment gnrique de la matrice T n pour tout entier n 2 (pour n = 1, on rappelle que llment gnrique de T a t not plus simplement p(i, j )). On a vu que p(i, j ) 12

est, non une probabilit, mais une probabilit conditionnelle. Il en est de mme de p(n) (i, j ). n dsignant toujours le prsent, on va supposer que le futur m que nous allons considrer vrie m n + 2. Cest un futur lointain et non plus un futur immdiat (m = n + 1), cas envisag jusqu maintenant. Cest pourquoi nous parlons de transitions lointaines. On peut dire cela autrement : dans les conditionnements, ce nest plus le prsent qui va compter (sauf si np = n ci-dessous), mais le pass le plus proche du futur considr. Thorme 7 Pour tous entiers 0
(

n1 < n 2 < < n p , p

)

2 et tous tats i1 , i2 , . . . , ip , (17)

P Xn1 = i1 , Xn2 = i2 , . . . , Xnp = ip = Ln1 (i1 ) p(n2n1 ) (i1 , i2 ) p(npnp1 ) (ip1 , ip ). Dmonstration du thorme 8 : Elle repose sur (6). P Xn1 = i1 , Xn2 = i2 , . . . , Xnp = ip =(1) =(2)
(
jn1 ,...,jnp E jn1 =i1 ,...,jnp =ip

) )

P Xn1 = jn1 , . . . , Xnp 1 = jnp 1 , Xnp = jnp

Ln1 (jn1 ) p(jn1 , jn1 +1 ) p(jn1 +1 , jn1 +2 ) p(jnp 1 , jnp )

jn1 ,...,jnp E jn1 =i1 ,...,jnp =ip

=(3) Ln1 (i1 )

p(jn1 , jn1 +1 ) p(jn1 +1 , jn1 +2 ) p(jnp1 1 , jnp1 )

jn1 ,...,jnp1 E jn1 =i1 ,...,jnp1 =ip1

jnp1 ,...,jnp E jnp1 =ip1 , jnp =ip

p(jnp1 , jnp1 +1 ) p(jnp 1 , jnp )

=(4) Ln1 (i1 )

p(jn1 , jn1+1 ) p(jn1+1 , jn1+2 ) p(jnp11 , jnp1 ) p(npnp1 ) (ip1 , ip )

jn1 ,...,jnp1 E jn1 =i1 ,...,jnp1 =ip1

= ... =(5)Ln1 (i1 ) p(n2 n1 ) (i1 , i2 ) p(np np1 ) (ip1 , ip ) Justication du calcul :

(18)

=(1) : on partitionne en tenant compte de tous les instants de n1 np et on utilise ladditivit de la probabilit. On obtient une sommation sur np n1 + 1 indices dont p sont xes. =(2) provient de (6). =(3) provient dune mise en facteur. Ne pas oublier, dans tout ce calcul, que les tats jn1 , jn2 , . . . , jnp1 , jnp ne varient pas et sont gaux respectivement i1 , i2 , . . . , ip1 et ip . =(4) : on reconnat, dans la deuxime somme de =(3) llment de la ip1 me ligne et de la ip me colonne de la matrice T np np1 . On en dduit facilement les corollaires suivants : Thorme 8 Quels que soient (lentier p 1, les instants ) 0 tats i1 , i2 , . . . , ip , j tels que P Xn1 = i1 , . . . , Xnp = ip > 0
( )

n1 < n2 < < np < m et les

P Xm = j/Xn1 = i1 , . . . , Xnp = ip = p(mnp ) (ip , j ) Pour p = 1, on obtient : 13

(19)

Thorme 9 Pour tous entiers m, n 0 tels que m n + 2 et tous tats i et j tels que P (Xn = i) > 0, P (Xm = j/Xn = i) = p(mn) (i, j ). (20) Le cas m = n + 1 avait fait lobjet du thorme 1. Le thorme 9 nous donne la signication probabiliste des coecients des puissances de la matrice de transition T .

Quels problmes rsolvent les chanes de Markov ?

Les chanes de Markov permettent de rsoudre de nombreux problmes qui se posent naturellement. Le calcul des lois instantanes est lun de ces problmes, trait dans les sous-sections 4.1 et 4.2.

5.1

Lois-limites

Dnition 3 Soit X une chane de Markov. On dit quelle a une loi-limite L identie L = [L (1), L (2), . . . , L (t)] si Ln L
n+

(21)

autrement dit si pour i = 1, . . . , t, Ln (i) L (i)

n+

(22)

Remarques : On voit que la convergence dune suite de matrices utilise dans cette dnition est la convergence composante par composante. Sil y a une loi-limite, quand n est assez grand, on pourra dans la pratique confondre L et Ln . Si L existe, daprs (16), plus prcisment daprs Ln+1 = Ln T , elle vrie lgalit L = L T (23)

(par passage la limite), ce qui est un systme de t quations linaires t inconnues. Si L0 = L , daprs (15), L0 = L1 = . . . Cela signie que la chane de Markov est une suite de variables alatoires quidistribues. Sauf cas particulier, elles ne seront pas indpendantes. Exemple 6 (Suite de lexemple 3) On dmontre dans [2], p. 19, que, quelle que soit la loi initiale, les lois instantanes convergent vers la loi L = [1/4, 1/4, 1/4, 1/4]. Il est intressant de noter que cette loi-limite ne dpend pas de la loi initiale (contrairement aux lois instantanes). Si la particule est place au hasard sur un sommet du ttradre linstant 0, les variables alatoires Xn , n 0, suivront toutes la loi uniforme sur E .

5.2

Temps darrt

Soit X = (X0 , X1 , . . .) une chane de Markov (sous-entendu despace des tats E , de loi initiale L0 et de matrice de transition T ). On peut en gnral lui associer de nombreux temps darrt. Un temps darrt esu une variable alatoire dont les valeurs sont des instants : 0, 1, 2, . . . et qui ne prennent la valeur n quen fonction du comportement de la chane jusqu linstant 14

n. La dnition exacte des temps darrt demande des connaissances prcises de mesurabilit. Nous en donnons seulement des exemples ci-dessous. Temps de retour ltat initial : Cest la variable alatoire R dnie par R = min (n, n 1, Xn = X0 ) (24)

autrement dit, R est le premier instant de retour ltat initial (sil existe). R est dnie sur lvnement n 1 (Xn = X0 ). Cet vnement peut tre de probabilit < 1, ventuellement vide. Temps datteinte : Soit E0 un sous-ensemble de E ni vide ni gal E . Le temps datteinte de E est la variable alatoire A dnie par A = min (n, n A est dnie sur lvnement lement tre vide.

n 0 (Xn

0, Xn E )

(25)

E ) dont la probabilit peut tre < 1. Il peut ventuel-

E0 peut tre une classe absorbante (ventuellement rduite un tat) : quand la particule atteint E , elle ne peut plus en sortir. En voici un exemple : Exemple 7 Soit X une chane de Markov de matrice de transition T reprsente par le graphe suivant : 5X

1/5

4/5 1/12

@2 N

1/2 1/2 1/3

 y

1/12

3/4

1/2

1/3 2/3

)  x 3X
1/4

E0 = (1, 2, 3) est une classe absorbante : si la particule (ou la souris ou . . . ) sy trouve ou y entre, elle nen sortira plus.

15

Ce graphe apporte la mme information que la matrice de transition T de la chane :

T =

0 1/2 0 0 0

1/3 0 3/4 1/2 1/5

2/3 0 0 1/2 0 0 1/4 0 0 1/3 1/12 1/12 0 4/5 0

(26)

La prsence dune classe absorbante se traduit ici par un bloc de 6 zros en haut droite. Bien sr, si les tats avaient t numrots autrement, ce bloc pourrait tre masqu. Ce bloc restera tel quel dans T 2 , T 3 , . . . car on ne peut pas sortir de E0 en 2 coups, en 3 coups, . . . Dans lexercice 3, ltat 4 est un tat absorbant (mort de la souris) et le temps datteinte de E0 est simplement sa dure de vie. Remarque sur la simulation de temps darrt : Avant de simuler un temps darrt, dmontrer quil est dni avec probabilit 1 ; sinon, tre prt utiliser la touche dinterruption du calcul ! Voici un autre temps darrt : Exemple 8 (Suite de lexemple 3) On peut appeler V la variable alatoire gale au premier instant o la particule a visit tous les sommets de la pyramide. Dmontrer quelle est dnie avec probabilit 1, trouver sa loi, ses moyenne et variance, etc.

Solution des exercices

Solution de lexercice 3 On modiera comme suit le graphe et la matrice de transition de lexemple 2 : 1 H

1

2V
1/3 1/2

1/3 1/3

34 H
1/2

1/3 0 1/3 1/3 . T = 0 1/2 0 1/2

(27)

Rfrences
[1] B.O. spcial n 8 du 13 octobre 2011. Programme de lenseignement spcique et de spcialit de mathmatiques Classe terminale de la srie scientique http://media.education.gouv.fr/file/special_8_men/98/4/mathematiques_S_ 195984.pdf [2] Ressources pour la classe terminale gnrale et technologique Mathmatiques Srie S Enseignement de spcialit http://media.eduscol.education.fr/file/Mathematiques/62/6/ressource_ specialite_v5_210626.pdf [3] William Feller An Introduction to Probability Theory and its Applications, Volume 1, 3 rd Edition, Wiley, New York (1968), p.121 et pp.377-378. [4] Dominique Foata et Aim Fuchs Calcul des Probabilits, 2 me dition, Dunod, Paris (1998), pp.127-128 : chanes de Markov homognes. 16

[5] Olivier Garet et Aline Kurtzmannn De lintgration aux probabilits, Ellipse, Paris (2011). [6] R. De Graeve, B. Parisse, B.Ycart Tutoriel Xcas http://www-fourier.ujf-grenoble.fr/~parisse/giac/tutoriel.html [7] Pierre Laptre La marche de livrogne, activit, Premire Algorithmique http://gradus-ad-mathematicam.fr/Premiere_Algorithmique3.htm [8] Pierre Laptre & Raymond Moch Marche alatoire dune souris, activit TS Sp Maths. http://gradus-ad-mathematicam.fr/TSSpecialiteMaths6.htm La marche alatoire de cette souris se modlise comme une chane de Markov 4 tats. laide de Xcas , on calcule la loi Ln de ltat de la chane linstant n, on montre quil y a une loi limite et on la calcule. [9] Pierre Laptre & Raymond Moch Simulation de la marche alatoire dune souris, activit TS Proba/Stat. http://gradus-ad-mathematicam.fr/TSProbaStat3.htm [10] Raymond Moch. La puce, marche alatoire, activit Seconde http://gradus-ad-mathematicam.fr/Seconde_SPA1.htm [11] Raymond Moch. Marche alatoire sur un ttradre, activit TS Spcialit Maths http://gradus-ad-mathematicam.fr/TSSpecialite4.htm [12] Wikipedia Modle des urnes dEhrenfest http://fr.wikipedia.org/wiki/Modle_des_urnes_d%27Ehrenfest [13] Wikipedia Andre Markov http://fr.wikipedia.org/wiki/Andre_Markov_(mathmaticien) Le logo de lexpos provient de cet article de Wikipedia.

17