2 Chaı̂ne de Markov à temps discret

Un chat et une souris se promènent aléatoirement vers l’une des pièces voi-
sines (probabilités égales). Le chat ne peut aller dans la pièce 5 (contenant le
gruyère). La configuration initiale est indéquée en figure 2. Lorsque le chat et
la souris sont dans la même pièce, le chat dévore la souris. Si la souris trouve le
fromage, elle le mange et rentre chez elle. Quelle chance de survie donneriez-vous
à la souris ? Indications : A chaque pas, le chat et la souris changent de pièce.
Un état sera défini par la position du chat et de la souris. Par exemple, l’état au
pas 0 est : {2, 3}. Les état possibles sont au nombre de 6 dont deux ’définitifs’.
La chaı̂ne de Markov est en figure 2.

1/3
2 Souris mange
6 fromage
1,4
1/3
1/4 1/4
1/6 1/6
1 4 1
1 2 2,3 3,2
chat 1/4 1/4
1/2
1/4
1/4
1/2 3
5
3 4 5 4,1
souris fromage Chat mange 1/2
1
souris

Fig. 2 – Plan de la maison et chaine de Markov

3 Chaı̂ne de Markov à temps continu

Pendant un festival, des personnes vont au distributeur de billets selon un
processus de poisson de taux λ = 1personne/minute. Ce distributeur met un
temps distribué exponentiellement de moyenne 1 minute. Les clients entrant
dans le guichet sont impatients et partent tout de suite sans prendre de billet
avec une probabilité Pdepart (n) = n3 où n est le nombre de personnes devant le
distributeur.

– Combien de personnes peuvent se trouver devant le distributeur au maxi-

mum?
– Décrire par une chaı̂ne de Markov l’évolution du nombre de personnes
devant ce distributeur.

– Ecrire les équations différentielles récurrentes régissant les pn (t), le proba-

bilités d’avoir n clients devant le distributeur.
– Calculer, lorsque le processus est stationnaire les probabilités d’équilibre.
– En déduire le nombre moyen de clients devant le distributeur, le débit
moyen des clients qui repartent avec des billets (et celui de ceux qui re-
partent sans) et le temps de séjour moyen devant le distributeur.

2
est :  1 1 1 
0 4 4 0 2 0
 1 0 0 1 1 1 
 6 6 3 3 
 1 0 0 1 1
0 
Q= 4 4 2
 
 0 1 1 1
0 0 

 4 4 2 
 0 0 0 0 1 0 
0 0 0 0 0 1
La chance de survie de la souris consiste à calculer la propabilité b16 , la
probabilité d’être absorbé par l’état 6 en partant de l’état 1 ({2,3}). Cette
probabilité se calcule en résolvant le système :

1
b16 = 0 + (b26 + b36 )
4
1 1
b26 = + (b16 + b46 )
3 6
1
b36 = 0 + (b16 + b46 )
4
1
b46 = 0 + (b26 + b36 )
4
2
Il y a 2 chances sur 19 que la souris survive. (b16 = 19 ).

3 Chaı̂ne de Markov à temps continu

Pendant un festival, des personnes vont au distributeur de billets selon
un processus de poisson de taux λ = 1personne/minute. Ce distributeur
met un temps distribué exponentiellement de moyenne 1 minute. Les clients
entrant dans le guichet sont impatients et partent tout de suite sans prendre
de billet avec une probabilité Pdepart (n) = n3 où n est le nombre de personnes
devant le distributeur.
– Il ne peut y avoir plus de 3 personnes devant le distributeur car dans
ces conditions, la probabilité de partir tout de suite est de 1.
– La chaı̂ne de Markov qui décrit l’évolution du nombre de personnes
devant ce distributeur est en figure 2.
– Les équations différentielles récurrentes régissant les pn (t) sont :
dp0 (t)
= µ.p1 (t) − λ.p0 (t)
dt
dp1 (t) 2
= µ.p2 (t) + λ.p0 (t) − ( .λ + µ).p1 (t)
dt 3
dp2 (t) 2 1
= µ.p3 (t) + λ.p1 (t) − ( .λ + µ).p2 (t)
dt 3 3
dp3 (t) 1
= .λ.p2 (t) − µ.p3 (t)
dt 3