Modelli stocastici a valori discreti

Note del corso di CP per la L.M. in Informatica

A.Calzolari
1
Indice
1 Catene di Markov a tempo discreto 4
1.1 Richiami sullindipendenza stocastica
per eventi e variabili aleatorie . . . . . . . . . . . . . . . . . . 4
1.2 Denizione di catena di Markov . . . . . . . . . . . . . . . . . 6
1.3 Esempio di due successioni di variabili aleatorie
relative ad un unico esperimento di cui una Markov e laltra no 6
1.4 Passeggiata aleatoria sugli interi . . . . . . . . . . . . . . . . 8
1.5 Catene di Markov per ricorrenza . . . . . . . . . . . . . . . . 8
1.6 Legge al tempo 0 e legge al tempo 1 . . . . . . . . . . . . . . 10
1.7 Matrice di transizione in pi` u passi . . . . . . . . . . . . . . . 11
1.8 Leggi ad un tempo e leggi congiunte . . . . . . . . . . . . . . 13
1.9 Matrice di transizione in due passi
per la catena della rovina del giocatore . . . . . . . . . . . . . 14
1.10 La catena di nascita e morte e lurna di Ehrenfest . . . . . . . 15
1.11 Un modello per una la dattesa . . . . . . . . . . . . . . . . 16
1.12 Costruzione di una catena
data la matrice di transizione e la legge iniziale . . . . . . . . 18
1.13 Rappresentazione graca di una catena di Markov . . . . . . 20
1.14 Stati comunicanti . . . . . . . . . . . . . . . . . . . . . . . . . 22
1.15 Classi chiuse e classi irriducibili . . . . . . . . . . . . . . . . . 23
1.16 Denizione di transienza e persistenza
in termini del tempo di primo ritorno . . . . . . . . . . . . . 24
1.17 Transienza e persistenza in termini del numero dei ritorni . . 25
1.18 Legge e valor medio del numero dei ritorni in uno stato . . . 27
1.19 Transienza e persistenza di uno stato
in termini del numero dei passaggi per esso
partendo da uno stato qualsiasi . . . . . . . . . . . . . . . . . 29
1.20 Una condizione suciente per la transienza . . . . . . . . . . 32
1.21 Una condizione suciente per la persistenza . . . . . . . . . . 33
1.22 Persistenza e transienza in classi nite . . . . . . . . . . . . . 34
1.23 Teorema di decomposizione dello spazio degli stati . . . . . . 35
1.24 Sistema di equazioni per le probabilit`a di assorbimento . . . . 36
1.25 Unicit`a della soluzione del sistema di equazioni
per le probabilit`a di assorbimento nel caso stati niti . . . . . 38
1.26 Probabilit`a di estinzione
per la catena di nascita e morte con estremi assorbenti . . . . 40
1.27 Persistenza o transienza per la catena di nascita e morte
irriducibile . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
1.28 Tempi medi di assorbimento nella classe degli stati persistenti 43
1.29 La catena a due stati:
comportamento asintotico delle leggi al tempo n . . . . . . . 50
1.30 Denizione di misura invariante . . . . . . . . . . . . . . . . . 52
2
1.31 Esempi nel caso nito . . . . . . . . . . . . . . . . . . . . . . 52
1.32 Esistenza e unicit`a della misura invariante . . . . . . . . . . . 54
1.33 Catene ergodiche . . . . . . . . . . . . . . . . . . . . . . . . . 55
1.34 Catene regolari . . . . . . . . . . . . . . . . . . . . . . . . . . 56
1.35 La misura invariante per lurna di Ehrenfest . . . . . . . . . . 62
1.36 Non esistenza della misura invariante
per la passeggiata aleatoria simmetrica in Z . . . . . . . . . . 64
1.37 Misura invariante per le catene di nascita e morte . . . . . . . 64
1.38 Esempi di catene periodiche . . . . . . . . . . . . . . . . . . . 69
1.39 Periodo di una catena irriducibile . . . . . . . . . . . . . . . . 71
1.40 Reversibilit`a . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73
1.41 Algoritmo di Metropolis . . . . . . . . . . . . . . . . . . . . . 74
1.42 Schema di dimostrazione
del teorema di esistenza della misura invariante
per catene irriducibili persistenti positive . . . . . . . . . . . . 77
1.43 Approssimazione della misura invariante
con la distribuzione empirica . . . . . . . . . . . . . . . . . . 78
1.44 Esercizi di riepilogo . . . . . . . . . . . . . . . . . . . . . . . . 80
2 Processo di Poisson 90
2.1 Denizione . . . . . . . . . . . . . . . . . . . . . . . . . . . . 90
2.2 Perdita di memoria . . . . . . . . . . . . . . . . . . . . . . . . 92
2.3 Merging e splitting . . . . . . . . . . . . . . . . . . . . . . . . 97
2.4 Processo di Poisson non stazionario . . . . . . . . . . . . . . . 101
2.5 Distribuzione dei tempi di salto in [0, T] condizionata a N(T)=n103
3 Processi di rinnovo 106
4 Catene di Markov a tempo continuo 110
4.1 Denizione . . . . . . . . . . . . . . . . . . . . . . . . . . . . 110
4.2 Funzione di transizione e tassi di salto . . . . . . . . . . . . . 113
4.3 Catene di nascita e morte . . . . . . . . . . . . . . . . . . . . 117
4.4 Code markoviane . . . . . . . . . . . . . . . . . . . . . . . . . 121
4.5 Misura invariante . . . . . . . . . . . . . . . . . . . . . . . . . 123
3
1 Catene di Markov a tempo discreto
1.1 Richiami sullindipendenza stocastica
per eventi e variabili aleatorie
Dato uno spazio di probabilit`a (, F, P), due eventi A e B in F sono
indipendenti se e solo se
P(A B) = P(A)P(B).
Allora una condizione suciente per lindipendenza `e che almeno uno dei
due eventi abbia probabilit`a nulla; la condizione diventa anche necessaria se
gli eventi sono incompatibili, ovvero A B = .
Se P(B) = 0, si denisce la probabilit`a condizionata di A dato B
P(A|B) =
P(A B)
P(B)
e A e B sono indipendenti se solo se P(A|B) = P(A).
Sia {A
i
, i = 1, . . . , n} una famiglia di eventi: essi si dicono indipendenti
se per ogni k n e per ogni scelta di indici {i
1
, . . . , i
k
}
P
_
k

j=1
A
i
j
_
=
k

j=1
P(A
i
j
).
Lindipendenza implica per ogni k n e per ogni scelta di indici i
1
, . . . , i
k
P(A
i
k
| A
i
k1
. . . A
i
1
) = P(A
i
k
),
quando la probabilit`a condizionata ha senso. Una famiglia numerabile di
eventi si dice costituita da eventi indipendenti se ogni sua sottofamiglia
nita lo `e.
Vale la seguente formula (formula del prodotto): se `e n 2
P(A
1
A
2
. . . A
n
) =
P(A
n
| A
n1
A
n2
. . . A
1
)P(A
n1
| A
n2
. . . A
1
) . . . P(A
2
| A
1
)P(A
1
)
(se le probabilit`a condizionate hanno senso). Si user`a la seguente notazione:
P(A B) = P(A, B)
cos` p.es.
P(A
1
, A
2
, A
3
) = P(A
3
| A
2
, A
1
)P(A
2
| A
1
)P(A
1
).
4
Si dimostra la formula del prodotto per induzione: per n = 2 `e immediata
dalla denizione di probabilit`a condizionata; assunta vera per n, vale per
n+1, infatti applicando la formula del prodotto ai due eventi A
1
A
2
. . .A
n
e A
n+1
P(A
1
, A
2
, . . . , A
n
, A
n+1
) = P(A
n+1
| A
n
, . . . , A
1
)P(A
n
, . . . , A
1
)
e si conclude applicando lipotesi induttiva.
X
1
, . . . , X
m
variabili aleatorie reali denite sullo stesso spazio di proba-
bilit`a (, F, P) sono indipendenti:
nel caso discreto (cio`e quando le v.a. assumono una quantit`a al pi` u numer-
abile di valori) se e solo se comunque scelti i valori reali x
1
, . . . , x
m
,
P(X
1
= x
1
, . . . , X
m
= x
m
) =
m

j=1
P(X
j
= x
j
);
nel caso continuo (cio`e quando la funzione di distribuzione `e una funzione
continua che si ottiene integrando una funzione densit`a) se e solo se co-
munque scelti i valori reali x
1
, . . . , x
m
P(X
1
x
1
, . . . , X
m
x
m
) =
m

j=1
P(X
j
x
j
).
Si pu`o facilmente dimostrare che questo equivale a dire che sono indipendenti
nel caso discreto gli eventi della forma {X
i
= x
i
} e nel caso continuo gli
eventi della forma {X
i
x
i
}, al variare comunque di i e x
i
. Cos`, p.es., nel
caso discreto lindipendenza implica, per ogni k m e per ogni scelta di
indici {i
1
, . . . , i
k
} e di valori {x
i
1
, . . . , x
i
k
},
P(X
i
k
= x
i
k
| X
i
k1
= x
i
k1
, . . . , X
i
1
= x
i
1
) = P(X
i
k
= x
i
k
).
Indipendenza di famiglie innite di variabili: `e quando qualsiasi sottofamiglia
nita verica lindipendenza.
Variabili aleatorie indipendenti e tutte con la stessa legge di probabilit`a
si dicono indipendenti e identicamente distribuite e questo si abbrevia con
i.i.d.
Si pu`o dimostrare ([1]) che:
Teorema Se le variabili aleatorie reali X
1
, . . . , X
m
, Y
1
, . . . , Y
k
sono in-
dipendenti, allora sono indipendenti le variabili aleatorie (X
1
, . . . , X
m
) e
(Y
1
, . . . , Y
k
) denite tramite le funzioni : R
m
R
l
e : R
k
R
h
.
5
1.2 Denizione di catena di Markov
Sia S un insieme nito o numerabile. Una famiglia (X
n
)
n
di variabili aleato-
rie a valori in S denite tutte sullo stesso spazio di probabilit`a `e una catena
di Markov se qualsiasi sia n (quando le probabilit`a condizionate hanno senso)
P(X
n+1
= j | X
n
= i, X
n1
= i
n1
, . . . , X
0
=i
0
)
= P(X
n+1
= j | X
n
= i).
Interpretazione: la conoscenza del valore di X
n
pu`o dare informazioni sul val-
ore di X
n+1
, ma la conoscenza dei valori di (X
n1
, . . . , X
0
) non d`a ulteriori
informazioni.
Gli elementi di S sono gli stati possibili della catena e si pu`o sempre
assumere S Z. Si pone
p
ij
(n) = P(X
n+1
= j | X
n
= i).
Il parametro n `e interpretato come tempo e il numero p
ij
(n) `e detto proba-
bilit`a di transizione dallo stato i al tempo n allo stato j al tempo successivo,
n + 1.
Si deniscono catene di Markov omogenee quelle in cui qualsiasi sia n e
per ogni i, j
p
ij
(n) = p
ij
.
La matrice (eventualmente innita) P = (p
ij
)
(i,j)
`e detta matrice delle prob-
abilit`a di transizione della catena (o pi` u brevemente matrice di transizione)
e i suoi elementi soddisfano
p
ij
0
e qualsiasi sia i

j
p
ij
= 1.
Una matrice i cui elementi soddisfano le precedenti propriet`a si dice matrice
stocastica.
1.3 Esempio di due successioni di variabili aleatorie
relative ad un unico esperimento di cui una Markov e
laltra no
Si estrae una pallina da un bussolotto contenente N palline, di cui N
B
sono
bianche e N
R
sono rosse; lestrazione `e casuale con reimmissione della pallina
estratta e di c palline del colore estratto e d del colore non estratto.
a) (X
n
)
n1
, con X
n
=risultato della n-ma estrazione non `e in generale
una catena di Markov. Qui S = {B, R}. Si dimostra p.es. che se c = d
6
P(X
3
= B | X
2
= R) = P(X
3
= B | X
2
= R, X
1
= R).
Si ha
P(X
3
= B | X
2
= R, X
1
= R) =
N
B
+ 2d
N + 2(c +d)
,
e
P(X
3
= B | X
2
= R)
=
P(X
3
= B, X
2
= R, X
1
= R) + P(X
3
= B, X
2
= R, X
1
= B)
P(X
2
= R)
=
1
P(X
2
= R)
_
N
B
+ 2d
N + 2(c +d)
N
R
+c
N +c +d
N
R
N
+
N
B
+ (c +d)
N + 2(c +d)
N
R
+d
N +c +d
N
B
N
_
,
dove per calcolare ciascuno dei due addendi del numeratore si `e utilizzata la
formula del prodotto, p.es.
P(X
3
= B, X
2
= R, X
1
= R) =
P(X
3
= B | X
2
= R, X
1
= R) P(X
2
= R | X
1
= R) P(X
1
= R).
Poiche P(X
2
= R) coincide con
P(X
2
= R | X
1
= R)P(X
1
= R) + P(X
2
= R | X
1
= B)P(X
1
= B)
=
N
R
+c
N +c +d
N
R
N
+
N
R
+d
N +c +d
N
B
N
,
semplicando si ottiene
P(X
3
= B | X
2
= R)
=
(N
B
+ 2d)(N
R
+c)N
R
+
_
N
B
+ (c +d)
_
(N
R
+d)N
B
_
N + 2(c +d)
__
(N
R
+c)N
R
+ (N
R
+d)N
B
_ .
Dalluguaglianza P(X
3
= B | X
2
= R, X
1
= R) = P(X
3
= B | X
2
= R) con
semplici passaggi si ottiene
(N
B
+2d)
_
1
(N
R
+c)N
R
(N
R
+c)N
R
+ (N
R
+d)N
B
_
=
_
N
B
+ (c +d)
_
(N
R
+d)N
B
(N
R
+c)N
R
+ (N
R
+d)N
B
.
Risolvendo si trova che luguaglianza sussiste solo se c = d. Se fosse per
esempio c > d, allora si troverebbe, coerentemente con lintuizione, P(X
3
=
B | X
2
= R, X
1
= R) < P(X
3
= B | X
2
= R).
b) (X
n
)
n1
, con X
n
=numero di palline bianche nel bussolotto dopo la
n-ma estrazione `e una catena di Markov non omogenea.
Qui S = N ed `e immediato dalla denizione che
P(X
n+1
= j | X
n
= i, X
n1
= i
n1
, . . . , X
1
= i
1
) = P(X
n+1
= j | X
n
= i)
e in particolare, qualsiasi sia n, la probabilit`a di transizione p
ij
(n) `e nulla se
j = i +c, i +d, vale
i
N+n(c+d)
quando j = i +c e vale 1
i
N+n(c+d)
quando
j = i +d.
7
1.4 Passeggiata aleatoria sugli interi
Siano
1
,
2
, . . . ,
n
, . . . variabili aleatorie a valori interi sullo stesso spazio di
probabilit`a e i.i.d. di densit`a f() (e quindi f() una densit`a discreta su Z).
Sia X
0
una variabile aleatoria sullo stesso spazio di probabilit`a e a valori in
Z indipendente dalle altre (p.es. X
0
una costante in Z). Se si denisce
X
n+1
= X
0
+
1
+
2
+. . . +
n+1
, n 0
allora (X
n
)
n0
`e una catena di Markov omogenea detta passeggiata aleatoria
in Z.
Questo `e il modello per la posizione di una particella che si muove su Z
secondo la regola: inizialmente `e in Z distribuita secondo la legge di X
0
e
poi se `e in i salta in j con probabilit`a f(j i).
Infatti poiche X
n+1
= X
n
+
n+1
P(X
n+1
= j | X
n
= i) =
P(X
n
+
n+1
= j, X
n
= i)
P(X
n
= i)
= P(
n+1
= j i | X
n
= i)
= P(
n+1
= j i | X
0
+
1
+
2
+. . . +
n
= i)
= P(
n+1
= j i)
= f(j i),
dove nella penultima uguaglianza si utilizza il teorema del paragrafo 1 ap-
plicato alle variabili
n+1
e (X
0
,
1
,
2
, . . . ,
n
) dunque con m = 1, l = 1, k =
n + 1, h = 1, (x) = x, (y
1
, . . . , y
k
) = y
1
+. . . +y
k
.
Analogamente si pu`o calcolare
P(X
n+1
= j | X
n
= i, X
n1
= i
n1
, . . . , X
0
= i
0
) = f(j i),
dimostrando cos` che (X
n
)
n0
`e una catena di Markov con probabilit`a di
transizione p
ij
= f(j i). Un caso semplice `e il seguente: f(1) = p, f(1) =
q, f(0) = r con r, p, q 0 e r +p +q = 1 e quindi p
ij
= p, r, q o 0 a seconda
che sia j = i + 1, i, i 1 o altro.
1.5 Catene di Markov per ricorrenza
Teorema Siano
1
,
2
, . . . ,
n
, . . . variabili aleatorie i.i.d. a valori in un sot-
toinsieme U dei reali e X
0
variabile aleatoria a valori in S sottoinsieme
discreto dei reali, denita sullo stesso spazio di probabilit`a e indipendente
dalle altre. Sia h : S U S. Posto per n 0
X
n+1
= h(X
n
,
n+1
),
(X
n
)
n0
`e una catena di Markov omogenea a valori in S.
8
Dimostrazione Per ricorrenza esiste g
n+1
: S U . . . U S tale che
X
n+1
= g
n+1
(X
0
,
1
, . . .
n+1
),
dove
_
g
1
(x, y
1
) = h(x, y
1
)
g
n+1
(x, y
1
, . . . , y
n+1
) = h
_
g
n
(x, y
1
, . . . , y
n
), y
n+1
_
.
Segue che
P(X
n+1
= j | X
n
= i) =
P(h(X
n
,
n+1
) = j, X
n
= i)
P(X
n
= i)
= P
_
h(i,
n+1
) = j | g
n
(X
0
,
1
, . . . ,
n
) = i
_
= P
_
h(i,
n+1
) = j
_
= P
_
h(i,
1
) = j
_
,
dove la penultima uguaglianza segue dal teorema del paragrafo 1 applicato
alle variabili
n+1
e (X
0
,
1
, . . . ,
n
) dunque con m = 1, l = 1, k = n+1, h =
1, (x) = h(i, x) e (y
1
, . . . , y
k
) = g
n
(y
1
, . . . , y
k
) e lultima dal fatto che le
variabili
1
e
n+1
hanno la stessa legge.
Allo stesso modo vale
P(X
n+1
= j | X
n
= i, X
n1
= i
n1
, . . . , X
0
= i
0
)
= P
_
h(i,
n+1
) = j | g
n
(X
0
,
1
, . . . ,
n
) = i, . . . , g
1
(X
0
,
1
) = i, X
0
= i
0
_
= P
_
h(i,
1
) = j
_
per il teorema del paragrafo 1 applicato in modo opportuno alle variabili

n+1
e (X
0
,
1
, . . . ,
n
). Si `e cos` dimostrato che
P(X
n+1
= j | X
n
= i) = P(X
n+1
= j | X
n
= i, X
n1
= i
n1
, . . . , X
0
= i
0
)
= P
_
h(i,
1
) = j
_
,
ovvero che il processo `e una catena di Markov omogenea con probabilit`a di
transizione p
ij
= P
_
h(i,
1
) = j
_
. La passeggiata aleatoria sugli interi `e un
esempio di catena per ricorrenza con S = U = Z e h(x, y) = x +y e quindi,
come gi`a mostrato, p
ij
= P(i +
1
= j) = P(
1
= j i) = f(j i).
Esercizio 1
Dimostrare che il numero dei successi su n prove bernoulliane `e una catena.
Soluzione
Indicata con S
n
la v.a. numero dei successi su n prove bernoulliane, n 1,
9
vale S
n
=
1
+
2
+ . . . +
n
con
1
,
2
, . . . ,
n
, . . . variabili aleatorie i.i.d.
denite sullo spazio di Bernoulli cos`
i
() =
i
= 1 o 0 con probabilit`a
1 o 1 p.
Dunque, posto S
0
0, la successione di variabili aleatorie (S
n
)
n0
`e una
catena di Markov per ricorrenza con S = N, U = {0, 1} e h(x, y) = x + y.
Le probabilit`a di transizione sono dunque p
ij
= p, 1 p o 0 rispettivamente
per j = i + 1, i o altro e quindi la matrice di transizione con innite righe e
innite colonne `e
P =
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
1 p p 0 0 0 . . . 0 0 0 0 . . .
0 1 p p 0 0 . . . 0 0 0 0 . . .
0 0 1 p p 0 . . . 0 0 0 0 . . .
. . . . . .
. . . . . .
. . . . . .
. . . . . .
. . . . . .
. . . . . .
. . . . . .
0 . . . 0 1 p p 0 . . .
. . . . . .
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
(S
n
)
n0
`e un caso particolare di passeggiata aleatoria su Z: il valore
iniziale S
0
`e costante pari a 0, la densit`a di salto f() `e la densit`a di Bernoulli
di parametro p ovvero f(1) = p e f(0) = 1 p.
1.6 Legge al tempo 0 e legge al tempo 1
Introdotta la notazione

0
(i) = P(X
0
= i), i S,

0
`e la densit`a di probabilit`a di X
0
che induce una misura di probabilit`a sui
sottoinsiemi di S, ovvero la legge di X
0
, detta legge iniziale della catena o
legge al tempo 0. Pu`o esistere i
0
S tale che
0
(i
0
) = 1 e quindi
0
(i) = 0
per qualsiasi i = i
0
; in tal caso la legge iniziale assegna valore 1 ai sottoin-
siemi che contengono i
0
e valore 0 agli altri e si chiama delta di Dirac in
i
0
.
Per la densit`a al tempo 1 denita da

1
(j) = P(X
1
= j), j S,
si pu`o ricavare la formula

1
(j) =

iS
p
ij

0
(i).
10
Infatti per la formula delle probabilit`a totali

1
(j) = P(X
1
= j) =

iS
P(X
1
= j | X
0
= i)P(X
0
= i).
Si pu`o scrivere con notazione matriciale

1
=
0
P
dove qui e in seguito si intende esteso il concetto di moltiplicazione di due
matrici anche a matrici con un numero innito di righe e/o colonne e i vettori
sono pensati come vettori riga, p.es.

0
=
_

0
(1)
0
(2) . . .
0
(card(S)
_
.
La densit`a al tempo 1 induce una misura di probabilit`a sui sottoinsiemi
di S detta legge al tempo 1, che `e la legge della variabile X
1
.
1.7 Matrice di transizione in pi` u passi
`
E facile dimostrare che se (X
n
)
n0
`e una catena di Markov omogenea vale
anche per ogni n 0, r > 1
P(X
n+r
= j | X
n
= i, X
n1
= i
n1
, . . . , X
0
= i
0
) = P(X
n+r
= j | X
n
= i).
Nel caso r = 2:
P(X
n+2
= j | X
n
= i, . . . , X
0
= i
0
) coincide con

kS
P(X
n+2
= j, X
n+1
= k, X
n
= i, . . . , X
0
= i
0
)
P(X
n
= i, . . . , X
0
= i
0
)
e, moltiplicando e dividendo il termine generale della serie per
P(X
n+1
= k, X
n
= i, . . . , X
0
= i
0
),
si ottiene

kS
P(X
n+2
= j | X
n+1
= k,X
n
= i, . . . , X
0
= i
0
)
P(X
n+1
= k | X
n
= i, . . . , X
0
= i
0
)
che per la propriet`a di Markov coincide con

kS
p
ik
p
kj
.
Lespressione precedente `e lelemento di posto i, j del prodotto righe per
colonne di P per se stessa, cio`e di P
2
= P P.
11
In modo analogo si calcola
P(X
n+2
= j | X
n
= i),
ottenendo lo stesso risultato. Si indica con p
(2)
ij
lelemento generico di P
2
,
cio`e (P
2
)
ij
: dunque esso rappresenta la probabilit`a di passare dallo stato i
allo stato j in 2 passi.
Si consideri ora il caso generale: si dimostra per induzione che
P(X
n+r
= j | X
n
= i) = P(X
n+r
= j | X
n
= i, . . . , X
0
= i
0
) = (P
r
)
ij
,
assumendolo vero per r 1 e utilizzando lipotesi di Markov (corrispondente
al caso r = 1). Qui con ovvia notazione P
r
`e il prodotto di P per se stessa
r volte.
Si ha che P(X
n+r
= j | X
n
= i, . . . , X
0
= i
0
) coincide con

kS
P(X
n+r
= j, X
n+r1
= k, X
n
= i, . . . , X
0
= i
0
)
P(X
n
= i, . . . , X
0
= i
0
)
e quindi moltiplicando e dividendo il termine generale della serie per
P(X
n+r1
= k, X
n
= i, . . . , X
0
= i
0
),
coincide con

kS
P(X
n+r
= j | X
n+r1
= k,X
n
= i, . . . , X
0
= i
0
)
P(X
n+r1
= k | X
n
= i, . . . , X
0
= i
0
)
cio`e con

kS
p
kj
P(X
n+r1
= k | X
n
= i, . . . , X
0
= i
0
).
Per lipotesi induttiva lespressione precedente coincide con

kS
p
kj
(P
r1
)
ik
= (P
r
)
ij
.
Dunque P
r
, la potenza rma di P, `e la matrice di transizione in r passi e
il suo generico elemento (P
r
)
ij
si denota con p
(r)
ij
.
`
E facile vericare che si
tratta di una matrice stocastica, cio`e
0 p
(r)
ij
1

jS
p
(r)
ij
= 1.
12
La seconda propriet`a segue osservando che

jS
p
(r)
ij
=

jS
P(X
r
= j | X
0
= i) =
P
_

jS
{X
r
= j} | X
0
= i
_
= P(X
r
S | X
0
= i) = 1.
1.8 Leggi ad un tempo e leggi congiunte
Se (X
n
)
n0
`e una catena allora per ogni n 0 la densit`a di X
n
si denota
con
n
, cio`e

n
(i) = P(X
n
= i), i S
e la legge di X
n
si dice legge al tempo n.
La densit`a al tempo n 1 si calcola in termini della densit`a iniziale e
della matrice di transizione in n passi:

n
(i) =

i
0
S
P(X
n
= i | X
0
= i
0
)P(X
0
= i
0
)
=

i
0
S
p
(n)
i
0
i

0
(i
0
),
dove al primo passaggio si `e usata la formula delle probabilit`a totali.
Fissati m > 1 e n
1
< n
2
< . . . < n
m
, la legge del vettore aleatorio
(X
n
1
, . . . , X
n
m
) `e la legge congiunta ai tempi n
1
, . . . , n
m
e la sua densit`a
denita da
P(X
n
1
= i
1
, . . . , X
n
m
= i
m
), i
1
, i
2
, . . . , i
m
S S . . . S
`e detta densit`a congiunta ai tempi n
1
, . . . , n
m
.
Si calcola la densit`a congiunta ai tempi n
1
, . . . , n
m
utilizzando la formula
del prodotto del paragrafo 1 applicata agli eventi
{X
n
1
= i
1
}, . . . , {X
n
m
= i
m
}
e la propriet`a di Markov:
P(X
n
1
= i
1
, . . . , X
n
m
= i
m
)
= P(X
n
m
= i
m
| X
n
m1
= i
m1
) . . . P(X
n
2
= i
2
| X
n
1
= i
1
)P(X
n
1
= i
1
)
= p
(n
m
n
m1
)
i
m1
i
m
. . . p
(n
2
n
1
)
i
1
i
2

n
1
(i
1
)
Dunque concludendo si pu`o aermare che, conoscendo la legge iniziale e
la matrice di transizione, si calcolano le leggi ad un tempo e tutte le leggi
congiunte.
13
1.9 Matrice di transizione in due passi
per la catena della rovina del giocatore
Due giocatori A e B di capitali a e b rispettivamente, scommettono ogni
volta 1 euro e ogni volta A vince con probabilit`a p e quindi B vince con
probabilit`a q = 1 p. Il gioco termina se uno dei due esaurisce il capitale.
Se X
n
`e il capitale di A dopo la n-ma scommessa, posto d = a + b, si pu`o
scrivere
X
n+1
=
_
X
n
+
n+1
_
I
{1,...,d1}
(X
n
) +X
n
I
{0,d}
(X
n
), n 0
dove I
A
(x) = 1 se x A e 0 altrimenti e le
n
, n 1 sono variabili
aleatorie tra loro indipendenti che valgono 1 con probabilit`a p e 1 con
probabilit`a q = 1 p .
Posto X
0
a, (X
n
)
n0
`e una catena di Markov per ricorrenza con:
0
la delta di Dirac in a, S = {0, 1, . . . , d}, U = {1, 1} e
h(x, y) = (x +y)I
{1,...,d1}
(x) +xI
{0,d}
(y).
La matrice di transizione `e una matrice di ordine d+1 e ha la forma
P =
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
1 0 0 0 0 . . . 0 0 0 0
q 0 p 0 0 . . . 0 0 0 0
0 q 0 p 0 . . . 0 0 0 0
. . .
. . .
. . .
. . .
. . .
. . .
. . . q 0 p
0 . . . 0 0 0 1
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
Se assumiamo d = 4, la matrice P `e di ordine 5 e coincide con
P =
_
_
_
_
_
_
1 0 0 0 0
q 0 p 0 0
0 q 0 p 0
0 0 q 0 p
0 0 0 0 1
_
_
_
_
_
_
e il suo quadrato `e
P
2
=
_
_
_
_
_
_
1 0 0 0 0
q qp 0 p
2
0
q
2
0 2qp 0 p
2
0 q
2
0 qp p
0 0 0 0 1
_
_
_
_
_
_
.
14
Si osservi che per ogni i
4

j=0
p
(2)
ij
= 1
come deve essere.
Cos` se, per esempio X
0
= a = 2, essendo
0
(2) = 1 e
0
(i) = 0 per ogni
i = 2, vale
P(X
2
= 0) =

iS
p
(2)
i0

0
(i) = p
(2)
20
= q
2
,
come ci si aspetta dovendo P(X
2
= 0) coincidere con la probabilit`a di due
perdite consecutive.
1.10 La catena di nascita e morte e lurna di Ehrenfest
Una catena su S = {0, 1, . . . , d} con matrice di transizione
P =
_
_
_
_
_
_
_
_
r
0
p
0
0 . . . 0 . . . 0
q
1
r
1
p
1
0 0 . . . 0
0 q
2
r
2
p
2
0 . . . 0

0 0 . . . 0 q
d1
r
d1
p
d1
0 0 . . . 0 0 q
d
r
d
_
_
_
_
_
_
_
_
dove 0 q
i
, r
i
, p
i
1 e q
i
+r
i
+p
i
= 1, `e chiamata catena di nascita e morte.
Il nome deriva dal fatto che questa catena pu`o essere pensata come modello
per la consistenza numerica di una popolazione su una scala temporale in
cui ad ogni unit`a di tempo pu`o accadere che un solo individuo generi un
nuovo individuo o muoia, dunque le possibili transizioni dallo stato i sono
solo in i + 1, i, i 1 e
p
i (i+1)
= p
i
p
i i
= r
i
p
i (i1)
= q
i
e p
i j
= 0 j = i+, i, i 1. Allora p
i
e q
i
prendono rispettivamente il nome
di probabilit`a di nascita e probabilit`a di morte (quando la consistenza della
popolazione `e i).
La rovina del giocatore `e una particolare catena di nascita e morte con
parametri
r
0
= 1 = r
d
p
i
= p r
i
= 0 q
i
= q, i = 1, . . . , d 1.
15
Unaltra catena di nascita e morte `e quella di Ehrenfest, la cui matrice
di transizione `e
P =
_
_
_
_
_
_
_
_
0 1 0 . . . 0 . . . 0
1
d
0
d1
d
0 0 . . . 0
0
2
d
0
d2
d
0 . . . 0

0 0 . . . 0
d1
d
0
1
d
0 0 . . . 0 0 1 0.
_
_
_
_
_
_
_
_
`
E modello per lo scambio di molecole tra due corpi isolati ovvero `e modello
per la seguente situazione: d palline numerate sono contenute in due urne,
un intero tra 1 e d `e estratto ripetutamente a caso e la pallina corrispondente
`e spostata di urna. Fissata unurna, X
0
`e il numero di palline inizialmente
nellurna e X
n
, n 1 `e il numero di palline nella stessa urna dopo la n-ma
estrazione.
1.11 Un modello per una la dattesa
Si considera la catena per ricorrenza seguente
_
X
0
= 0
X
n+1
= max
_
0, X
n
1
_
+
n+1
, n 0
dove
1
,
2
, . . . ,
n
, . . . sono i.i.d. a valori in N di densit`a assegnata f().
Si pu`o anche scrivere per n 0
X
n+1
= I
[1,+)
(X
n
)
_
X
n
1 +
n+1
_
+I
{0}
(X
n
)
n+1
Chiaramente S = N e
p
0j
= f(j)
mentre per ogni i 1, usando la denizione di probabilit`a condizionata e
lindipendenza di
n+1
da X
n
, si ottiene
p
ij
= P(X
n
1 +
n+1
= j | X
n
= i) = P(
n+1
= j i + 1) = f(j i + 1).
Questo `e un modello per una la dattesa ad uno sportello che in ogni unit`a
di tempo serve un cliente e riceve un numero aleatorio di clienti ogni volta di
stessa legge indipendentemente dal passato. Per n 1 la variabile aleato-
ria X
n
rappresenta il numero dei clienti in la alla ne della n-ma unit`a
temporale.
16
Esercizio 2
a) Scrivere la matrice di transizione per la catena su S = {0, 1, 2} denita
da
X
n+1
= X
n
+
n+1
(modulo 3)
dove
1
,
2
, . . . ,
n
. . . sono variabili i.i.d. a valori in S con densit`a f() e
indipendenti da X
0
, variabile sullo stesso spazio di probabilit`a e a valori in
S.
Per esempio se X
0
() = 1,
1
() = 1,
2
() = 2,
3
() = 1, . . . sar`a
X
0
() = 1, X
1
() = 2, X
2
() = 1, X
3
() = 2, . . ..
b) Calcolare
1
(2) = P(X
1
= 2), nel caso f(0) = 0.5, f(1) = 0.1, f(2) =
0.4 e
0
(0) = 0.5,
0
(1) = 0.5,
0
(2) = 0.
Soluzione
a) La matrice di transizione `e di ordine 3 e ha la forma seguente
P =
_
_
f(0) f(1) f(2)
f(2) f(0) f(1)
f(1) f(2) f(0)
_
_
.
Notare che non solo per ogni i {0, 1, 2}

jS
p
ij
=
2

l=0
f(l) = 1,
ma anche per ogni j {0, 1, 2}

iS
p
ij
=
2

l=0
f(l) = 1.
Una matrice stocastica tale che gli elementi di ciascuna colonna hanno
somma pari a 1 si dice doppiamente stocastica.
b) Con i dati assegnati la matrice di transizione `e
P =
_
_
0.5 0.1 0.4
0.4 0.5 0.1
0.1 0.4 0.5
_
_
e

1
(2) = P(X
1
= 2) =
2

i=0
p
i2

0
(i) = 0.5 p
02
+ 0.5 p
12
= 0.25
17
1.12 Costruzione di una catena
data la matrice di transizione e la legge iniziale
`
E immediato vericare che una v.a. X a valori in N \ {0} con densit`a
assegnata (p
1
, p
2
, . . . , p
N
) si costruisce cos`: se `e una v.a. uniforme in
[0, 1], posto
a(1) = 0, a(j) =
j1

k=1
p
k
, j > 1
b(1) = p
1
, b(j) =
j

k=1
p
k
, j > 1
si denisce
X :=

j1
j I
[a(j),b(j))
().
Siano assegnate una densit`a di probabilit`a
0
e una matrice di tran-
sizione P su N\ {0}. Siano (
n
)
n1
variabili aleatorie i.i.d. uniformi in [0, 1]
indipendenti da unaltra variabile aleatoria X
0
denita sullo stesso spazio di
probabilit`a e con densit`a
0
. Posto
a(i, 1) = 0, a(i, j) =
j1

k=1
p
i k
, j > 1
b(i, 1) = p
i 1
, b(i, j) =
j

k=1
p
i k
, j > 1
h(i, y) =

j1
j I
[a(i,j),b(i,j))
(y),
si denisca
X
n+1
:= h(X
n
,
n+1
), n 0.
Allora (X
n
)
n0
`e una catena di Markov per ricorrenza a valori in N\{0} con
legge iniziale
0
e matrice di transizione quella assegnata. Infatti ricordando
che per le catene per ricorrenza
P(X
n+1
= j | X
n
= i) = P(h(i,
1
) = j),
in questo caso dallespressione di h segue che
P(X
n+1
= j | X
n
= i) = P
_

1
[a(i, j), b(i, j))
_
= p
i j
,
18
dove lultima uguaglianza segue dal fatto che
1
ha legge uniforme nellin-
tervallo [0, 1] e lampiezza dellintervallo [a(i, j), b(i, j)) `e p
i j
.
Questa costruzione suggerisce come simulare una catena di Markov con
spazio degli stati nito {1, 2, . . . , N} e con legge iniziale e matrice di tran-
sizione assegnata. Per simulazione di una catena di Markov (X
n
)
n0
-
no al tempo n si intende la determinazione di una sequenza di n valori
(i
1
, i
2
, . . . , i
n
) {1, 2, . . . , N} che costituiscano una realizzazione del vettore
aleatorio (X
1
, X
2
, . . . , X
n
), ovvero tali che si abbia per un qualche
(X
1
(), X
2
(), . . . , X
n
()) = (i
1
, i
2
, . . . , i
n
).
Si assuma inizialmente per semplicit`a che la legge iniziale sia una delta
di Dirac e quindi che sia X
0
= i
0
, dove i
0
`e un numero in {1, 2, . . . , N}. I pi` u
noti linguaggi di programmazione hanno in libreria una procedura che genera
una variabile aleatoria uniforme in [0, 1] e richiamando n volte la stessa
procedura si realizza un vettore n-dimensionale le cui componenti sono i.i.d.
uniformi in [0, 1], ovvero un vettore come (
1
,
2
, . . . ,
n
): in altre parole si
genera una sequenza di n numeri che coincidono con (
1
(),
2
(), . . . ,
n
())
per un qualche . Al primo passo della simulazione si genera X
1
come
variabile aleatoria di densit`a assegnata pari a (p
i
0
1
, p
i
0
2
, . . . , p
i
0
N
), cio`e il
numero i
1
:
i
1
= X
1
() =
N

j=1
j I
[a(i
0
,j),b(i
0
,j))
(
1
());
al secondo passo si genera X
2
come variabile aleatoria di densit`a assegnata
pari a (p
i
1
1
, p
i
1
2
, . . . , p
i
1
N
), cio`e il numero i
2
i
2
= X
2
() =
N

j=1
j I
[a(i
1
,j),b(i
1
,j))
(
2
());
e si ripete il procedimento no a generare X
n
come variabile aleatoria di
densit`a (p
i
n1
1
, p
i
n1
2
, . . . , p
i
n1
N
), cio`e il numero i
n
i
n
= X
n
() =
N

j=1
j I
[a(i
n1
,j),b(i
n1
,j))
(
n
()).
Nel caso in cui X
0
non sia deterministico, c`e in pi` u il passo iniziale della
generazione di X
0
. In tal caso occorre richiamare una volta di pi` u la pro-
cedura di simulazione di ununiforme in [0, 1] per generare
0
indipendente
da (
1
,
2
, . . . ,
n
) e con
0
generare X
0
come variabile aleatoria di densit`a
(
0
(1),
0
(2), . . . ,
0
(N)), cio`e il numero i
0
.
19
Esercizio 3
Per la catena dellEsercizio 2 calcolare la densit`a congiunta ai tempi 1 e 2
nel punto 2. Calcolare poi la probabilit`a che la catena si trovi nello stato 2
dopo 2 passi.
Soluzione
a) Ricordando che
P =
_
_
0.5 0.1 0.4
0.4 0.5 0.1
0.1 0.4 0.5
_
_
e
0
(0) =
0
(1) = 0.5 e che nellEsercizio 2 si `e ottenuto
1
(2) = 0.25, si ha
per la formula del prodotto
P(X
2
= 0, X
1
= 2) = P(X
2
= 0 | X
1
= 2)P(X
1
= 2) = p
20

1
(2) = 0.025.
Invece

2
(2) = P(X
2
= 2) =
2

i=0
p
(2)
i2

0
(i) = p
(2)
02
(0.5) +p
(2)
12
(0.5).
Si devono calcolare dunque gli elementi di posto prima riga, terza colonna
e seconda riga, terza colonna del quadrato di P.
Si trova
P
2
=
_
_
0.41
0.26

_
_
e quindi

2
(2) = (0.5)(0.41 + 0.26) = 0.335.
1.13 Rappresentazione graca di una catena di Markov
Il graco di una catena di Markov si ottiene segnando un punto per ogni stato
della catena, una freccia orientata da un punto ad un altro se la probabilit`a
di transizione in un passo `e positiva e il valore della probabilit`a di transizione
accanto alla freccia. Cos` per esempio
La rappresentazione graca consente di calcolare rapidamente le probabilit`a
di transizione in pi` u passi. Per esempio se la matrice di transizione `e
P =
_
_
0 0.5 0.5
0.4 0.1 0.5
0.2 0.8 0
_
_
20
Figura 1: rovina del giocatore
Figura 2: random walk modulo 3 con f(i) > 0, i = 0, 1, f(0) +f(1) = 1
e quindi il graco `e
per calcolare p
(2)
12
= P(X
3
= 2|X
1
= 1) =

3
k=1
p
1k
p
k2
basta calcolare i cam-
mini lunghi 2 passi che dal punto 1 portano al punto 2; ciascun cammino ha
probabilit`a pari al prodotto dei valori scritti sulle frecce e occorre sommare
tutte queste probabilit`a. Dunque
p
(2)
12
= (0.5)(0.1) + (0.5)(0.8) = 0.45,
mentre
p
(2)
23
= (0.1)(0.5) + (0.4)(0.5) = 0.25.
In modo analogo si procede per esempio nel calcolo di
p
(3)
11
=
3

l=1
p
1l
p
(2)
l1
=
3

l=1
p
1l
3

k=1
p
lk
p
k1
=
3

l,k=1
p
1l
p
lk
p
k1
,
ovvero si sommano le probabilit`a di tutti i cammini lunghi 3 passi che da 1
riportano in 1 e che hanno ciascuno probabilit`a pari al prodotto dei valori
scritti sulle frecce
p
(3)
11
= (0.5)(0.1)(0.4) + (0.5)(0.8)(0.4) + (0.5)(0.5)(0.2) = 0.23.
21
Figura 3: coda con f(i) > 0, i = 0, 1, 2, f(0) +f(1) +f(2) = 1
1.14 Stati comunicanti
Si dice che uno stato i comunica con lo stato j se c`e un cammino nito sul
graco che porta da i a j e si scrive i j.
`
E immediato che questo equivale
a chiedere che esista n 1 tale che
p
(n)
ij
> 0.
(ricorda che p
(1)
ij
= p
ij
).
Due stati i e j si dicono comunicanti se esiste n 1 tale che p
(n)
ij
> 0
e esiste m 1 tale che p
(m)
ij
> 0, ovvero se i j e j i, ovvero se esiste
un cammino nito che porta dalluno allaltro e viceversa (i due cammini
potrebbero avere lunghezze diverse). Si scrive i j.
Per esempio nella catena di nascita e morte con q
i
> 0 e p
i
> 0 tutti
gli stati sono comunicanti. Mentre nella catena della rovina del giocatore
tutti gli stati in {1, . . . , d 1} sono comunicanti, inoltre qualsiasi sia i
{1, . . . , d 1} si ha che i 0 e i d, mentre 0 e d comunicano solo con se
stessi.
22
1.15 Classi chiuse e classi irriducibili
Un sottoinsieme C di S si dice una classe chiusa di stati se qualsiasi sia i C
si ha

jC
p
ij
= 1.
Questa condizione implica che indicato con C
c
il complementare di C
nessuno stato di C comunica con uno stato di C
c
:
si ha subito dalla denizione che se i C e j C
c
allora p
ij
= 0; inoltre
p
(2)
ij
=

hS
p
ih
p
hj
=

hC
p
ih
p
hj
= 0
poiche per la seconda uguaglianza si usa il fatto che per denizione di classe
chiusa se i C si ha p
ih
= 0 qualsiasi sia h C
c
e per la terza il fatto che,
se j C
c
, ancora per denizione di classe chiusa p
hj
= 0 qualsiasi sia h C;
allo stesso modo per induzione si prova che p
(n)
ij
= 0 per ogni n > 2. Infatti
p
(n)
ij
=

hS
p
ih
p
(n1)
hj
=

hC
p
ih
p
(n1)
hj
= 0,
dove nellultima uguaglianza si usa lipotesi induttiva Il viceversa `e imme-
diato ovvero: se nessuno stato di C comunica con uno stato in C
c
, essendo
p
ij
= 0 qualsiasi siano i C e j C
c
, allora ssato i C si ha

jC
p
ij
= 1,
cio`e C `e chiusa.
Se C = {i} `e chiusa allora lo stato i si dice assorbente. Per esempio nella
catena della rovina del giocatore 0 e d sono stati assorbenti.
Una classe chiusa si dice irriducibile se tutti i suoi stati sono comunicanti.
Se S `e lunica classe chiusa irriducibile, allora la catena si dice irriducibile.
Nella catena rappresentata dal graco seguente
23
1, 2, 3 sono stati comunicanti, {4, 5, 6, 7} `e una classe chiusa non irriducibile,
{4, 5} `e una classe irriducibile, 7 `e uno stato assorbente.
1.16 Denizione di transienza e persistenza
in termini del tempo di primo ritorno
Si ricordi che p
(n)
ij
indica la probabilit`a di passare da i a j in n passi. Si
introduce il simbolo

(n)
ij
per indicare la probabilit`a di arrivare in j partendo da i per la prima volta
dopo n passi, ovvero

(n)
ij
= P(X
n
1
+n
= j, X
n
1
+n1
= j, . . . , X
n
1
+1
= j | X
n
1
= i)
qualsiasi sia n
1
(`e facile vericare che per la propriet`a di Markov la proba-
bilit`a precedente `e indipendente da n
1
).
Naturalmente
(1)
ij
= p
(1)
ij
= p
ij
, mentre qualsiasi sia n 2 vale
(n)
ij

p
(n)
ij
. Per esempio nel caso della catena con matrice di transizione
P =
_
_
0 0.5 0.5
0.4 0.1 0.5
0.2 0.8 0
_
_
facilmente si calcola

(2)
12
= (0.5)(0.8) = 0.4 p
(2)
12
= (0.5)(0.8) + (0.5)(0.1) = 0.45.
La disuguaglianza discende dal considerare che vale la relazione seguente
p
(n)
ij
=
n1

s=1

(s)
ij
p
(ns)
jj
+
(n)
ij
.
Si introduce il simbolo

ij
=

n1

(n)
ij
per indicare quindi la probabilit`a di arrivare in j in un numero nito di
passi essendo partiti da i. Immediatamente seguono
ij

(n)
ij
, qualsiasi sia
n 1 e quindi in particolare
ij

(1)
ij
= p
ij
. Se si indica con
j
la variabile
aleatoria tempo di primo passaggio per j, ovvero

j
() :=
_
min{n 1 t.c. X
n
() = j}, se il minimo esiste
+, altrimenti
24
allora

(n)
ij
= P(
j
= n | X
0
= i) e
ij
= P(
j
< | X
0
= i).
Naturalmente

ij
> 0 i j.
Si dimostra la condizione necessaria: infatti
ij
> 0 implica che esiste n 1
tale che
(n)
ij
> 0 e questo a sua volta implica p
(n)
ij
> 0, essendo
(n)
ij
p
(n)
ij
.
Si dimostra la condizione suciente: infatti i j implica che esiste
n 1 tale che p
(n)
ij
> 0 e poiche p
(n)
ij
=

n1
s=1

(s)
ij
p
(ns)
jj
+
(n)
ij
, segue che
esiste 1 s n tale che
(s)
ij
> 0 e quindi
ij
> 0.
Si denisce uno stato i persistente (o anche ricorrente) se

ii
= 1
e transiente se

ii
< 1,
ovvero a parole uno stato `e persistente se il tempo di primo ritorno in i
partendo da i `e nito con probabilit`a 1; `e transiente se la stessa variabile `e
nita con probabilit`a minore di 1 e quindi con probabilit`a positiva partendo
da i la catena non vi fa pi` u ritorno.
Banalmente ogni stato assorbente `e persistente essendo

ii
p
ii
= P(X
1
= i | X
0
= i) = P(
i
= 1 | X
0
= i) = 1.
1.17 Transienza e persistenza in termini del numero dei ri-
torni
A giusticazione della terminologia introdotta nel precedente paragrafo si
dimostra il prossimo teorema.
Dora in avanti si user`a la notazione
P( | X
0
= i) = P
i
().
Teorema

ii
< 1 P
i
(X
n
= i inf.nte spesso) = 0

ii
= 1 P
i
(X
n
= i inf.nte spesso) = 1
25
La dimostrazione utilizza il seguente lemma di probabilit`a elementare.
Lemma Se (B
k
)
k1
, B
k
F, `e una successione crescente di eventi
(, F, P), ovvero se qualsiasi sia k 1 vale B
k
B
k+1
, allora P(
k1
B
k
) =
lim
k
P(B
k
). Se (A
k
)
k1
`e una successione decrescente di eventi (, F, P),
ovvero se A
k
A
k+1
, allora P(
k1
A
k
) = lim
k
P(A
k
).
Dimostrazione del lemma Infatti
P
_

k1
B
k
_
= P
_

k1
{B
k
\ B
k1
}
_
=

k=1
(P(B
k
) P(B
k1
))
= lim
n
n

k=1
_
P(B
k
) P(B
k1
)
_
= lim
n
P(B
n
).
avendo posto B
0
= . Inne
P(
k1
A
k
) = 1 P(
k1
A
c
k
) = 1 lim
n
P(A
c
n
) = lim
n
P(A
n
)
essendo la successione degli eventi complementari (A
c
k
)
k1
successione cres-
cente di eventi.
Dimostrazione del teorema Levento {X
n
inf.nte spesso} si pu`o riscri-
vere come intersezione di una successione decrescente di eventi. Pi` u precisa-
mente
{X
n
= i inf.nte spesso } =
k1
A
k
con
A
k
=

{X
n
1
= i, X
n
2
= i, . . . , X
n
k
= i, X
s
= i, s = n
1
, n
2
, . . . , n
k
, s < n
k
}
dove lunione disgiunta `e estesa a n
1
< n
2
< . . . < n
k
, cio`e A
k
`e levento
denito a parole dal fatto che la catena visita almeno k volte lo stato i.
Dal lemma segue che
P
i
(X
n
= i inf.nte spesso) = lim
k
P
i
(A
k
).
Inoltre P
i
(A
k
) si pu`o calcolare cos`:

n
1
<n
2
<...<n
k1
P
i
(X
n
1
= i, X
n
2
= i, . . . , X
n
k
= i, X
s
= i, s = n
1
, n
2
, . . . , n
k
, s < n
k
)
26
e lultima somma coincide con

n
1
<n
2
<...<n
k

(n
1
)
ii

(n
2
n
1
)
ii
. . .
(n
k1
n
k2
)
ii

(n
k
n
k1
)
ii
=

n
1
<n
2
<...<n
k1

(n
1
)
ii

(n
2
n
1
)
ii
. . .
(n
k1
n
k2
)
ii

n
k1
<n
k

(n
k
n
k1
)
ii
e, poiche, ssati n
1
< n
2
< . . . < n
k1
, al variare di n
k
la dierenza n
k
n
k1
varia in N \ {0}, allora lespressione precedente `e uguale a

n
1
<n
2
<...<n
k1

(n
1
)
ii

(n
2
n
1
)
ii
. . .
(n
k1
n
k2
)
ii

h=1

(h)
ii
=
=
ii

n
1
<n
2
<...<n
k1

(n
1
)
ii

(n
2
n
1
)
ii
. . .
(n
k2
n
k3
)
ii

(n
k1
n
k2
)
ii
.
Fissando n
1
< n
2
< . . . < n
k2
e sommando su n
k1
si ottiene

2
ii

n
1
<n
2
<...<n
k2

(n
1
)
ii

(n
2
n
1
)
ii
. . .
(n
k3
n
k4
)
ii

(n
k2
n
k3
)
ii
e iterando k volte lo stesso procedimento si verica
P
i
(A
k
) =
k
ii
.
La dimostrazione si conclude utilizzando il lemma precedente e ricordan-
do che quando 0 a < 1 allora lim
k
a
k
= 0 e quando a = 1 allora
lim
k
a
k
= 1.
1.18 Legge e valor medio del numero dei ritorni in uno stato
In quel che segue si utilizzer`a la variabile aleatoria N
n
(i) che conta il numero
delle visite fatte dalla catena allo stato i in n passi. Si ha
N
n
(i) =
n

k=1
I
{i}
(X
k
),
ricordando che I
{i}
(x) `e la funzione indicatrice dellinsieme {i} che vale 1 se
x {i}, cio`e x = i, e 0 altrimenti.
La variabile aleatoria denita da
N

(i) = lim
n
N
n
(i) =

k=1
I
{i}
(X
k
)
27
conta il numero totale delle visite della catena allo stato i (attenzione: il
limite si intende cos`: N

(i)() = lim
n
N
n
(i)() per ogni ). Os-
serviamo che, come la variabile aleatoria tempo di primo passaggio
i
, anche
N

(i) `e una variabile estesa, cio`e a valori in N {+}.

Si osserva che vale luguaglianza tra eventi
{X
n
= i inf.nte spesso} = {N

(i) = +}
e che quindi si pu`o enunciare il teorema precedente cos`

ii
< 1 P
i
(N

(i) = +) = 0

ii
= 1 P
i
(N

(i) = +) = 1.
La densit`a della variabile numero dei ritorni nello stato, ovvero del nu-
mero dei passaggi della catena per i quando la sua legge iniziale `e la delta
di Dirac in i, `e dunque determinata nel caso di stati persistenti. Nel caso di
stati transienti vale il seguente lemma.
Lemma
i transiente = P
i
(N

(i) = k) =
_

_
1
ii
, k = 0
0, k = +

k
ii
(1
ii
), altrimenti
Dimostrazione Il caso k = +`e contenuto, come gi`a osservato, nel teorema
precedente. Il caso k = 0 deriva dalla denizione di
ii
. Per il resto si osserva
che
P
i
(N

(i) k) =
k
ii
;
infatti {N

(i) k} coincide con levento A

k
della dimostrazione del teorema
precedente. Quindi
P
i
(N

(i) = k) = P
i
(N

(i) k) P
i
(N

(i) k + 1) =
k
ii
(1
ii
),
che conclude la dimostrazione.
Si vuole calcolare ora il valore medio della variabile di cui si `e appena
trovata la densit`a condizionata allevento {X
0
= i}; per ricordare che la
catena parte da i si scrive i sotto il simbolo di media. Chiaramente nel
caso persistente, per denizione di valor medio di variabile aleatoria estesa,
E
i
_
N

(i)

= +. Nel caso transiente invece E

i
_
N

(i)

< +, infatti
utilizzando la densit`a di N

(i) del lemma precedente si trova

E
i
_
N

(i)

k=1
k
k
ii
(1
ii
) =

ii
1
ii
< +
28
poiche

k=1
k
k
ii
(1
ii
) `e media della geometrica trasformata di parametro
1
ii
(legge del numero dei fallimenti prima del successo in uno schema di
Bernoulli di parametro 1
ii
).
Si osserva ora che
E
i
_
N

(i)] = E
i
_
lim
n
N
n
(i)

= lim
n
E
i
_
N
n
(i)

,
poiche qui `e lecito scambiare il limite con il valore medio (di ci`o si tralascia
la dimostrazione). Inoltre utilizzando la linearit`a della media, si ha
E
i
_
N
n
(i)

=
n

k=1
E
i
_
I
{i}
(X
k
)

.
e, essendo I
{i}
(X
k
) B(p) con p = P
i
(X
k
= i) = p
(k)
ii
,
E
i
_
N
n
(i)

=
n

k=1
p
(k)
ii
poiche il valor medio di una binomiale coincide con il suo parametro. Si `e
cos` mostrato che E
i
_
N

(i)

k=1
p
(k)
ii
. Si pu`o allora enunciare il teorema
seguente.
Teorema
i transiente E
i
_
N

(i)

k=1
p
(k)
ii
< +
La parte necessaria del teorema `e immediata e la parte suciente segue
dal fatto che se i `e persistente allora il numero medio dei ritorni `e innito.
Naturalmente il teorema si pu`o anche enunciare cos`:
i persistente

k=1
p
(k)
ii
= +.
1.19 Transienza e persistenza di uno stato
in termini del numero dei passaggi per esso
partendo da uno stato qualsiasi
La densit`a del numero dei passaggi per i condizionata allevento {X
0
= j}
con j = i si calcola utilizzando luguaglianza
P
j
(N

(i) k) =
ji

k1
ii
,
29
che si ricava similmente a P
i
(N

(i) k) = P
i
(A
k
) =
k
ii
. Se `e i persistente
e j = i si trova
P
j
(N

(i) = k) =
_

_
1
ji
, k = 0

ji

k1
ii

ji

k
ii
=
ji

k1
ii
(1
ii
) = 0, k 1

ji
, k = +
mentre se i `e transiente
P
j
(N

(i) = k) =
_

_
1
ji
, k = 0

ji

k1
ii
(1
ii
), k 1
0, k = +.
In entrambi i casi la densit`a in k = + si deriva considerando che deve
essere

k=0
P
j
(N

(i) = k) + P
j
(N

(i) = +) = 1.
Si noti che nel caso j = i si ritrova la densit`a del numero dei ritorni nello
stato i gi`a precedentemente calcolata.
Dalla densit`a appena calcolata si ricava il valore medio del numero dei
passaggi per i condizionata allevento {X
0
= j}, ottenendo:
i persistente o transiente e j i = E
j
_
N

(i)

= 0
i persistente e j i = E
j
_
N

(i)

= +
i transiente e j i = E
j
_
N

(i)

=

ji
1
ii
< +
dove in particolare lultima implicazione segue dalluguaglianza

k1
k
k1
ii
(1
ii
) =
1
1
ii
.
Tenendo presente anche i risultati del precedente paragrafo, si pu`o rias-
sumere cos`:
se i `e persistente quando la catena parte da i vi ritorna innite volte con
probabilit`a 1, mentre se parte da uno stato diverso da i `e possibile che essa
non passi mai per i, ma se raggiunge i una volta allora vi passa in media
innite volte; se i `e transiente, qualsiasi sia il punto di partenza della catena,
il numero di visite a i con probabilit`a 1 `e nito (eventualmente nullo) e anche
il numero medio di visite a i `e nito (eventualmente nullo).
Inne in modo simile al paragrafo precedente si dimostra
E
j
_
N

(i)

k=1
p
(k)
ji
30
e quindi da quanto esposto si deriva il teorema seguente.
Teorema Qualsiasi sia j S
i transiente =

k=1
p
(k)
ji
< +.
Utilizzando poi il fatto che il termine generico di serie convergente `e in-
nitesimo, si ottiene immediatamente il seguente corollario.
Corollario Qualsiasi sia j S
i transiente = lim
k
p
(k)
ji
= 0 .
Esercizio 4
Dimostrare che vale lequazione detta di Chapman-Kolmogorov
p
(n+m)
ij
=

hS
p
(n)
ih
p
(m)
hj
e dedurne che, se i comunica con l e l comunica con j, allora i comunica con
j.
Soluzione
p
(n+m)
ij
=

hS
P(X
n+m
= j, X
n
= h | X
0
= i)
=

hS
P(X
n+m
= j, X
n
= h, X
0
= i)
P(X
0
= i)
.
Allora applicando la formula del prodotto, semplicando e usando la pro-
priet`a di Markov, si ottiene
p
(n+m)
ij
=

hS
P(X
n+m
= j | X
n
= h)P(X
n
= h | X
0
= i).
Inne ricordando
P(X
n+m
= j | X
n
= h) = p
(m)
hj
, P(X
n
= h | X
0
= i) = p
(n)
ih
,
si ottiene lequazione di Chapman-Kolmogorov.
Inoltre se i l esiste n > 0 tale che p
(n)
il
> 0 e se l j esiste m > 0
tale che p
(m)
lj
> 0 e poiche per Chapman-Kolmogorov
p
(n+m)
ij
=

hS
p
(n)
ih
p
(m)
hj
p
(n)
il
p
(m)
lj
> 0,
si trova p
(n+m)
ij
> 0 e quindi anche i j.
31
1.20 Una condizione suciente per la transienza
Un criterio utile per vericare il carattere transiente di uno stato `e
j i, i j =j transiente.
Per la dimostrazione si procede cos`. Posto m = min{n 1 : p
(n)
ji
> 0},
esistono i
1
, i
2
, . . . , i
m1
S e diversi da i e da j tali che P
j
(A) > 0 se A `e
levento denito da
A = {X
1
= i
1
, . . . , X
m1
= i
m1
, X
m
= i};
dunque P
j
(A
c
) = 1 P
j
(A) < 1. Allora se si dimostra che
P
j
({
j
< } A) = 0,
si ha come conseguenza che
jj
`e minore di 1; infatti

jj
= P
j
(
j
< ) = P
j
({
j
< }A)+P
j
({
j
< }A
c
) = P
j
({
j
< }A
c
)
e essendo {
j
< } A
c
A
c
vale P
j
({
j
< } A
c
) P
j
(A
c
).
Per dimostrare che P
j
({
j
< } A) = 0, si scrive
P
j
({
j
< } A) =

k=m+1
P
j
({
j
= k} A)
=

k=m+1
P
j
(
j
= k | A)P
j
(A).
Poiche per la propriet`a di Markov P
j
(
j
= k | A) =
(km)
ij
e poiche
(km)
ij

p
(km)
ij
, con il cambio di variabile n = k m, si ottiene
P
j
({
j
< } A)

n=1
p
(n)
ij
P
j
(A)
Si conclude osservando che per ipotesi, qualsiasi sia n 1, si ha p
(n)
ij
= 0.
Si fa notare che quando S ha cardinalit`a nita limplicazione appena
dimostrata vale anche nel verso contrario (si veda il paragrafo 22), ma questo
non `e vero se S `e innito (per un controesempio si veda il paragrafo 27).
32
1.21 Una condizione suciente per la persistenza
Un criterio utile per vericare il carattere persistente di uno stato `e
i persistente e i j =
ji
= 1 e j persistente.
Per la dimostrazione si procede cos`. Si comincia con il mostrare che
ji
= 1.
Sia n
0
= min{n 1 t.c. p
(n)
ij
> 0}, allora esistono i
1
, i
2
, . . . , i
n
0
1
= j, i tali
che posto
B = {X
1
= i
1
, . . . , X
n
0
1
= i
n
0
1
, X
n
0
= j}
vale P
i
(B) > 0. Poiche i `e persistente vale
P
i
_
B {X
n
= i , qualsiasi sia n n
0
+ 1}
_
= 0;
inoltre per la propriet`a di Markov `e anche vero che
P
i
(B {X
n
= i , n n
0
+ 1}) = P
i
(B) P
j
(
i
= +) = P
i
(B)(1
ji
);
dalle due aermazioni segue
ji
= 1.
Si fa poi vedere che vale la condizione

k=1
p
(k)
jj
= + suciente per la
persistenza di j. Sia n
1
1 tale che p
(n
1
)
ji
> 0 (n esiste poiche, essendo

ji
= 1 `e vero che j i).

k=1
p
(k)
jj

k=n
0
+1+n
1
p
(k)
jj
=

h=1
p
(h+n
0
+n
1
)
jj
.
Utilizzando lequazione di Chapman-Kolmogorov, con semplici minorazioni
si ottiene

k=1
p
(k)
jj

h=1

lS
p
(n
1
)
jl
p
(h)
ll
p
(n
0
)
lj

h=1
p
(n
1
)
ji
p
(h)
ii
p
(n
0
)
ij
= p
(n
1
)
ji
p
(n
0
)
ij

k=1
p
(h)
ii
.
Poiche, essendo per ipotesi i persistente, si ha che

k=1
p
(h)
ii
= +, per
confronto si deduce che anche

k=1
p
(h)
jj
= +.
Come corollario di questo criterio si ottiene:
Corollario Sia C S un classe irriducibile, allora tutti gli stati sono
persistenti o tutti transienti.
33
Si fa notare che, sia per S nito che innito, limplicazione appena di-
mostrata vale anche nel verso contrario. Infatti:
ji
= 1 implica banalmente
j i e quindi per limplicazione diretta se j `e persistente
ij
= 1 (dunque
i j) e i `e persistente.
1.22 Persistenza e transienza in classi nite
Si dimostra che se C S `e una classe chiusa e nita allora in C esiste
almeno uno stato persistente. Si procede per assurdo. Infatti se tutti gli
stati in C fossero transienti, ssato uno di essi, j, si avrebbe (da un risultato
precedentemente dimostrato), per ogni i in C, lim
k
p
(k)
ji
= 0 e quindi

iC
lim
k
p
(k)
ji
= 0.
Daltro canto

iC
lim
k
p
(k)
ji
= lim
k

iC
p
(k)
ji
= lim
k
P
j
(X
k
C) = 1,
infatti limite e somma si scambiano poiche la somma `e su un numero nito
di termini e lultima uguaglianza segue dal fatto che C `e una classe chiusa.
Due sono le conseguenze importanti.
La prima `e che tutti gli stati di una classe irriducibile nita sono persistenti
(segue mettendo insieme quanto appena detto e il corollario del paragrafo
precedente) e quindi se una catena ha spazio degli stati nito ed `e irriducibile
allora tutti gli stati sono persistenti (segue dal precedente poiche tutto lo
spazio degli stati `e una particolare classe chiusa).
La seconda conseguenza `e che nel caso S nito la condizione suciente
per la transienza `e anche necessaria: infatti, se per ogni j con i j vale
anche j i, allora i `e elemento di una classe irriducibile nita e quindi `e
persistente. Si ricorda che, come gi`a accennato, nel caso S innito invece
la condizione non `e necessaria: esistono classi irriducibili innite di stati
transienti (si veda il paragrafo 27).
Da quanto detto segue che quando S `e nito per analizzare il carattere
degli stati si pu`o procedere cos`: si individuano subito tutti gli stati transi-
enti, che sono tutti e soli quelli che comunicano con almeno uno stato che
non li ricambia, e poi intorno a ciascuno dei rimanenti si costruisce la classe
irriducibile (nita) di stati persistenti che lo contiene.
Per esempio, si consideri la catena con matrice di transizione
P =
_
_
_
_
_
_
_
_
1 0 0 0 0 0
1
4
1
2
1
4
0 0 0
0
1
5
2
5
1
5
0
1
5
0 0 0
1
6
1
3
1
2
0 0 0
1
2
0
1
2
0 0 0
1
2
0
1
2
_
_
_
_
_
_
_
_
.
34
Gli stati 3 e 2 comunicano con 1, ma 1 non comunica ne con 2 ne con 3 e
quindi gli stati 2 e 3 sono transienti; C
1
= {4, 5, 6} `e classe irriducibile di
stati persistenti; C
2
= {1} `e classe irriducibile formata da un unico stato
assorbente.
1.23 Teorema di decomposizione dello spazio degli stati
Lo spazio degli stati ammette una decomposizione di questo tipo
S = T C
1
C
2
. . .
dove T `e linsieme degli stati transienti e C
n
, n = 1, 2, . . . sono classi disgiunte
irriducibili persistenti. Per dimostrarlo si considera i
1
S \T e si costruisce
C
1
come la classe che contiene tutti gli stati con cui comunica i
1
che, grazie
al criterio suciente per la persistenza, sono tutti persistenti. C
1
`e non
vuota poiche contiene i
1
. C
1
`e chiusa poiche se j C
1
allora, per il criterio
suciente per la persistenza, j `e persistente e i
1
j e inoltre se j h per
lo stesso criterio j h e per la propriet`a transitiva i
1
h. C
1
`e irriducibile
poiche se j e l sono in C
1
allora i
1
j e i
1
l e usando la propriet`a
transitiva j l.
Scelto uno stato i
2
che non appartiene a C
1
ne a T , si costruisce C
2
nello
stesso modo e cos` via.
`
E facile vericare poi che le classi C
n
, n = 1, 2 . . . sono
disgiunte: infatti se per esempio fosse h C
1
C
2
, allora ogni elemento di
C
1
, i, sarebbe tale che h i, ma allora, poiche C
2
`e chiuso e h C
2
, sarebbe
anche i C
2
e quindi C
1
C
2
.In modo analogo si prova il viceversa.Segue
che C
1
= C
2
.
Dunque: quando la catena parte da uno stato di un qualsiasi C
n
rimane
per sempre in C
n
visitando innitamente spesso ogni stato di C
n
(con prob-
abilit`a 1); quando la catena parte da uno stato di T e T `e numerabile, pu`o
rimanere per sempre in T o entrare in qualche C
n
e rimanere poi l` per sem-
pre visitando ogni suo stato innitamente spesso; se T ha cardinalit`a nita,
invece, qualsiasi sia la legge iniziale, la catena esce prima o poi da T e non
vi rientra pi` u. Pi` u precisamente, posto
N

(T ) =

iT
N

(i),
N

(T ) `e la variabile aleatoria che conta il numero dei passaggi per T e si

dimostra che
P(N

(T ) = +) = 0.
Infatti, qualsiasi sia la legge iniziale, per la propriet`a di Markov
P(N

(T ) = +) =

jS
P
j
(N

(T ) = +)
0
(j)
35
e quindi `e suciente far vedere che, per ogni j S , P
j
(N

(T ) = +) = 0.
Poiche T ha cardinalit`a nita,
N

(T ) = + = esiste i T t.c. N

(i) = +
cio`e
{N

(T ) = +} =

iT
{N

(i) = +}
e quindi
P
j
(N

(T ) = +)

iT
P
j
(N

(i) = +) = 0,
dove la disuguaglianza segue dal fatto che in generale la probabilit`a di unu-
nione di eventi `e minore o uguale alla somma delle probabilit`a dei singoli
eventi e lultima uguaglianza segue dal fatto che P
j
(N

(i) = +) = 0, per
ogni j S e per ogni i T .
Esercizio 5
Studiare il carattere degli stati della matrice di transizione seguente
P =
_
_
_
_
_
_
_
_
0
1
2
1
2
0 0 0
0
2
3
0 0 0
1
3
0 0
1
2
0
1
2
0
0 0
1
2
1
4
0
1
4
0
4
5
0 0 0
1
5
0 0 0 0
1
2
1
2
_
_
_
_
_
_
_
_
Soluzione
Gli stati 1, 3, 4 sono transienti: infatti 1 3 ma 3 1, 3 5 ma 5 3,
4 3 ma 3 4. Facilmente si verica poi che {2, 5, 6} `e classe irriducibile,
nita e quindi persistente.
1.24 Sistema di equazioni per le probabilit`a di assorbimento
Sia C una classe chiusa di S (si ricordi che C pu`o contenere anche stati
transienti). Indicata con
C
la variabile aleatoria che indica il tempo di
ingresso della catena in C, ovvero

C
() =
_
min{n 1 t.c. X
n
() C}, se il minimo esiste
+, altrimenti
si denisca

C
i
= P
i
(
C
< +), i S,
36
allora
C
i
`e la probabilit`a che partendo da i la catena arrivi in un tempo
aleatorio nito in C. Dopo questo istante la catena non potr`a pi` u lasciare C
essendo la classe chiusa e per questo
C
i
si chiama probabilit`a di assorbimento
in C partendo da i.
Allora `e ovvio che
i C =
C
i
= 1
e
i C

chiusa, C

C = =
C
i
= 0.
Si fa vedere che le quantit`a
C
i
, i T \ C soddisfano un sistema di equazioni
lineari in tante incognite e tante equazioni quanto `e la cardinalit`a di T \ C.
Fissato i T \ C

C
i
=

n=1
P
i
(
C
= n),
inoltre
P
i
(
C
= n) =

hC, h
j
T \C, j=1,...,n1
p
ih
1
p
h
1
h
2
. . . p
h
n1
h
e
P
i
(
C
= n + 1) =

hC, h
j
T \C, j=1,...,n
p
ih
1
p
h
1
h
2
. . . p
h
n
h
=

h
1
T \C
p
ih
1
P
h
1
(
C
= n).
Ora, poiche

C
i
= P
i
(
C
= 1) +

n=2
P
i
(
C
= n),
con il cambio di variabile n = m+ 1

C
i
= P
i
(
C
= 1) +

m=1
P
i
(
C
= m+ 1)
e sostituendo a P
i
(
C
= m + 1) lespressione

h
1
T \C
p
ih
1
P
h
1
(
C
= m) e a
P
i
(
C
= 1) il suo valore

jC
p
ij
, si ottiene qualsiasi sia i T \ C

C
i
=

jC
p
ij
+

m=1

h
1
T \C
p
ih
1
P
h
1
(
C
= m)
e scambiando lordine delle sommatorie (cosa possibile poiche i termini sono
non negativi)

C
i
=

jC
p
ij
+

h
1
T \C
p
ih
1

C
h
1
.
37
Si vedr`a nel prossimo paragrafo che se T ha cardinalit`a nita il sistema
x
i
=

jC
p
ij
+

h
1
T \C
p
ih
1
x
h
1
.
ha soluzione unica, che quindi coincide con le probabilit`a di assorbimento.
Si osservi che, grazie al criterio suciente per la persistenza, la classe
S \ T di tutti gli stati persistenti di una catena (nita e non) `e una classe
chiusa. In tal caso il sistema soddisfatto dalle probabilit`a di assorbimento
diventa
x
i
=

jS\T
p
ij
+

jT
p
ij
x
j
, i T .
`
E immediato vericare che x
i
= 1 qualsiasi sia i T `e una soluzione del
sistema, che quindi nel caso nito coincide con la probabilit`a di assorbimento
nella classe degli stati persistenti. Cos` nel caso T nito, qualsiasi sia la legge
iniziale
P(
S\T
< +) =

jS

S\T
j

0
(j) =

jS

0
(j) = 1.
Lo stesso risultato si pu`o anche mostrare mettendo insieme il fatto che
P(
S\T
< +) = P(N

(T ) < +),
e che nel caso T nito come si `e gi`a visto P(N

(T ) < +) = 1.
1.25 Unicit`a della soluzione del sistema di equazioni
per le probabilit`a di assorbimento nel caso stati niti
Sia x
i
, i T \ C una soluzione del sistema
x
i
=

hC
p
ih
+

hT \C
p
ih
x
h
;
si dimostra che x
i
coincide con
i
= P
i
(
C
< +). Per questo si sostituisce
nellequazione precedente il valore di x
h
dato dallequazione stessa
x
i
=

hC
p
ih
+

hT \C
p
ih

jC
p
hj
+

hT \C
p
ih

jT \C
p
hj
x
j
=

hC
p
ih
+

hT \C

jC
p
ih
p
hj
+

jT \C

hS
p
ih
p
hj
x
j
,
dove nella riscrittura del terzo termine si `e usato il fatto che se j T \ C e
h C allora p
hj
= 0.
38
Si osserva che, poiche i primi due addendi insieme danno la probabilit`a
di passare da i in C in al pi` u due passi,
x
i
= P
i
(
C
2) +

jT \C
p
(2)
ij
x
j
.
Con analogo procedimento dallequazione precedente si ottiene
x
i
= P
i
(
C
3) +

jT \C
p
(3)
ij
x
j
,
e iterando n 1 volte
x
i
= P
i
(
C
n) +

jT \C
p
(n)
ij
x
j
.
Passando al limite per n nel secondo membro e utilizzando il fatto che
T , e quindi T \ C, `e nito e pertanto si possono scambiare somma e limite,
si ottiene
x
i
= lim
n
P
i
(
C
n) +

jT \C
lim
n
p
(n)
ij
x
j
.
Ora {
C
n} `e una successione crescente di eventi, ovvero
{
C
n} {
C
n + 1},
e inoltre

n=1
{
C
n} = {
C
< +},
cos`, applicando il lemma di continuit`a della probabilit`a per successioni
crescenti di eventi del paragrafo 17,
lim
n
P
i
(
C
n) = P
i
(
C
< +).
Inoltre si `e dimostrato nel paragrafo 19 che qualsiasi sia i S per j transiente
lim
n
p
(n)
ij
= 0 e quindi in denitiva si ottiene come si voleva
x
i
= P
i
(
C
< +).
39
1.26 Probabilit`a di estinzione
per la catena di nascita e morte con estremi assorbenti
In questa sezione si calcola la probabilit`a di assorbimento in {0} per una
catena di nascita e morte con 0 e m assorbenti, ovvero r
0
= 1 (quindi
p
0
= 0) e r
m
= 1 (e quindi q
m
= 0), e con p
i
> 0 e q
i
> 0, e quindi
tutti gli stati intermedi comunicanti e transienti. Ponendo per semplicit`a di
notazione
C
i
=
{0}
i
=
i
, il sistema si scrive

i
= q
i

i1
+p
i

i+1
+r
i

i
,
i {1, . . . , m1}, dove
0
= 1 e
m
= 0. Sostituendo a r
i
il valore 1p
i
q
i
,
dopo facili passaggi algebrici, si trova per i {1, . . . , m1}

i+1
=
q
i
p
i
(
i1

i
)
(attenzione: si usa p
i
> 0). Si calcola in modo ricorsivo per i {1, . . . , m1}

i+1
=
q
i
q
i1
. . . q
1
p
i
p
i1
. . . p
1
(1
1
) =
i
(1
1
)
avendo posto

i
=
q
i
q
i1
. . . q
1
p
i
p
i1
. . . p
1
.
Si noti che posto
0
= 1 luguaglianza

i+1
=
i
(1
1
)
vale anche per i = 0, dunque vale per i {0, . . . , m1}. Allora sommando
da 0 a m1 ambo i membri delluguaglianza precedente, si ricava

m
=
m1

i=0

i
(1
1
)
da cui, ricordando che
0
= 1 e
m
= 0, si ottiene
1
1
=
1

m1
i=0

i
(attenzione: si usa q
i
> 0). Sommando ora da j a m 1 ambo i membri
delluguaglianza gi`a utilizzata e ricordando che
m
= 0, si ricava

j

m
=
j
=

m1
i=j

i

m1
i=0

i
.
Si assuma p
i
= p e q
i
= q, allora r
i
= r e si ottiene
i
=
_
q
p
_
i
e quindi

j
=
_
q
p
_
j
+
_
q
p
_
j+1
+. . . +
_
q
p
_
m1
1 +
_
q
p
_
+. . . +
_
q
p
_
m1
40
e se q = p = 1/2 o anche solo q = p, r = 0

j
=
mj
m
.
Cos` nella rovina del giocatore la probabilit`a che A perda `e

a
=
b
a +b
.
1.27 Persistenza o transienza per la catena di nascita e morte
irriducibile
Per analizzare il carattere degli stati della catena di nascita e morte a valori
in S = N e con p
i
> 0 e q
i
> 0 per ogni i S, si osserva che: poiche essa `e
irriducibile gli stati hanno tutti lo stesso carattere, in particolare il carattere
dello stato 0 e inoltre

00
= p
00
+p
01

10
= r
0
+p
0
P
1
(
0
< +).
Pertanto la catena `e persistente se e solo se
1 = r
0
+p
0
P
1
(
0
< +)
e quindi, ricordando che r
0
+p
0
= 1, se e solo se
P
1
(
0
< +) = 1.
Per calcolare P
1
(
0
< +) si osserva che
{
0
< +, X
0
= 1} =

m=1
{
0
<
m
, X
0
= 1}.
Infatti
0
() < +implica che esiste M, dipendente da , tale che
0
() <
M; inoltre, poiche, per tale che X
0
() = 1, si ha
m
() + 1
m+1
(),
allora, per tale che X
0
() = 1,
m
() diverge a + crescendo, e quindi
esiste m, dipendente da , tale che
0
() < M <
m
(). Pertanto
{
0
< +, X
0
= 1}

m=1
{
0
<
m
, X
0
= 1}.
Linclusione inversa `e immediata.
Dunque, applicando il lemma di continuit`a della probabilit`a per succes-
sioni crescenti di eventi del paragrafo 17
P
1
(
0
< +) = lim
m
P
1
(
0
<
m
).
41
Ma P
1
(
0
<
m
) `e pari alla probabilit`a di assorbimento in 0 partendo da
1 per la catena di nascita e morte su {0, . . . , m} con le stesse p
i
, r
i
, q
i
per
i = 1, . . . , m1 ma con 0 e m assorbenti.
Pertanto, ricordando lespressione di
j
per j = 1 calcolata nel paragrafo
precedente, si ha
P
1
(
0
< +) = lim
m

m1
i=1

i

m1
i=0

i
= lim
m
_
1
1

m1
i=0

i
_
.
Concludendo, la catena `e persistente se e solo se

i=0

i
= +.
Se q
i
= q, p
i
= p

i=0

i
=

i=0
_
q
p
_
i
= +
se e solo se
q
p
1 ovvero se e solo se q p.
Esempio: p
i
=
i+2
2i+2
e q
i
=
i
2i+2
; allora
q
i
p
i
=
i
i+2
e

i
=
1 2 3 . . . (i 2)(i 1)i
3 4 5 . . . i (i + 1)(i + 2)
=
2
(i + 1)(i + 2)
e poiche

i
ha lo stesso comportamento di

1
i
2
< +, la catena `e
transiente.
Esercizio 6
Tre libri sono messi uno sopra laltro a formare una pila. In ogni istante
se ne sceglie uno a caso e si mette in cima alla pila lasciando invariata la
posizione degli altri due. Assumendo che i libri siano contraddistinti con le
lettere A,B,C: descrivere con una catena di Markov il sistema il cui stato `e
costituito in ogni istante dalla disposizione dei libri nella pila.
Soluzione
Ci sono tanti stati quante sono le permutazioni della terna(A,B,C), ovvero
3! = 6. Inoltre da ogni stato le transizioni possibili equiprobabili sono 3.
Cos` se per esempio ordiniamo i possibili stati in questo modo:
{(ABC) , (BAC) , (C AB) , (AC B) , (BC A) , (C B A)}
la matrice di transizione `e la seguente
P =
_
_
_
_
_
_
_
_
1
3
1
3
1
3
0 0 0
1
3
1
3
0 0 0
1
3
0 0
1
3
1
3
1
3
0
0
1
3
1
3
1
3
0 0
1
3
0 0 0
1
3
1
3
0 0 0
1
3
1
3
1
3
_
_
_
_
_
_
_
_
42
La catena `e irriducibile poiche tutti gli stati sono comunicanti e, essendo lo
spazio di stato nito, tutti gli stati sono persistenti.
1.28 Tempi medi di assorbimento nella classe degli stati per-
sistenti
In questa sezione si determina il sistema di equazioni al quale devono soddis-
fare i valori medi dei tempi di assorbimento nella classe chiusa C di tutti gli
stati persistenti, quando linsieme degli stati transienti `e nito. In tal caso
qualsiasi sia i T vale
C
i
= P
i
(
C
< +) = 1 e qui si vogliono determinare
le equazioni per E
i
[
C
], valor medio di
C
condizionato a (X
0
= i).
Sia i T allora
E
i
[
C
] = 1 P
i
(
C
= 1) +

n=2
nP
i
(
C
= n)
= P
i
(
C
= 1) +

l=1
(1 +l) P
i
(
C
= 1 +l)
e essendo P
i
(
C
= 1 +l) =

hT
p
ih
P
h
(
C
= l),
E
i
[
C
] = P
i
(
C
= 1) +

l=1
P
i
(
C
= 1 +l) +

l=1
l

hT
p
ih
P
h
(
C
= l)
=

n=1
P
i
(
C
= n) +

l=1
l

hT
p
ih
P
h
(
C
= l).
Dunque, potendo scambiare lordine delle somme nel secondo addendo, se `e
i T si ha
E
i
[
C
] = P
i
(
C
< +) +

hT
p
ih

l=1
l P
h
(
C
= l)
= 1 +

hT
p
ih
E
h
[
C
],
dove nellultimo passaggio si `e usato P
i
(
C
< +) =
C
i
= 1.
Si pu`o dimostrare che il sistema
x
i
= 1 +

hT
p
ih
x
h
, i T ,
quando T ha cardinalit`a nita, in particolare se lo spazio degli stati del-
la catena `e nito, ammette ununica soluzione e dunque risolvendolo si
ottengono proprio i valori medi desiderati.
43
Nel caso della rovina del giocatore con p = q per C = {0, m} e T = {1, . . . m1}
si calcola
E
i
[
C
] = i(a +b i)
e quindi, se il capitale iniziale di A `e a, in media anche il gioco nisca si
aspetta un tempo pari ad ab.
Continuazione dellEsercizio 6
Quanto tempo in media occorre se la catena `e inizialmente nello stato
(A,B,C) (dallalto verso il basso) anche il primo libro dallalto sia quello
contraddistinto dalla lettera C?
Soluzione
Per rispondere si calcola il tempo medio di assorbimento partendo dallo stato
1 nella classe chiusa C = {3, 6} per la catena modicata rendendo assorbenti
gli stati 3 e 6. Il graco della nuova catena `e
Il sistema da risolvere per calcolare E
1
[
C
] `e:
_

_
x
1
= 1 +
1
3
x
1
+
1
3
x
2
x
2
= 1 +
1
3
x
2
+
1
3
x
1
x
4
= 1 +
1
3
x
4
+
1
3
x
2
x
5
= 1 +
1
3
x
5
+
1
3
x
1
le cui soluzioni sono x
1
= x
2
= x
4
= x
5
= 3. Pertanto E
1
[
C
] = 3.
44
Esercizio 7
a) Calcolare le probabilit`a di assorbimento nello stato 0 per la catena con
matrice di transizione
P =
_
_
_
_
1 0 0 0
1
3
0
1
3
1
3
0
1
4
1
4
1
2
0 0 0 1
_
_
_
_
.
b) Calcolare la probabilit`a che la catena sia assorbita nello stato 0 se la
densit`a iniziale `e quella uniforme.
c) Calcolare i tempi medi di assorbimento in {0, 3}.
Soluzione
a) Le probabilit`a di assorbimento nello stato 0 risolvono
_
x
1
=
1
3
+
1
3
x
2
x
2
=
1
4
x
1
+
1
4
x
2
da cui si calcola facilmente
{0}
1
= x
1
=
3
8
e
{0}
2
= x
2
=
1
8
.
b) Se poi la legge iniziale `e uniforme, allora
P(
0
< +) =
3

i=0

{0}
i
1
4
= 1
1
4
+
3
8

1
4
+
1
8

1
4
=
3
8
.
c) I tempi medi di assorbimento in C = {0, 3} risolvono
_
x
1
= 1 +
1
3
x
2
x
2
= 1 +
1
4
x
1
+
1
4
x
2
e quindi si calcola E
1
[
C
] =
13
8
, E
2
[
C
] =
15
8
.
45
Esercizio 8
Sia (X
n
)
n0
la catena che descrive la seguente passeggiata aleatoria sui
vertici di un triangolo, numerati con 1,2,3 procedendo in senso antiorario: ci
si muove in senso antiorario con probabilit`a p e orario con probabilit`a 1 p
e la densit`a iniziale `e
0
= (
1
5
0
4
5
). Calcolare il valore medio del tempo di
primo arrivo nello stato 2.
Soluzione
Vale la formula
E[
2
] =
3

i=1

0
(i)E
i
[
2
].
Infatti poiche
P(
2
= n) =
3

i=1

0
(i)P
i
(
2
= n)
si ha
E[
2
] =

n=1
nP(
2
= n) =

n=1
n
3

i=1

0
(i)P
i
(
2
= n)
e scambiando lordine delle sommatorie
E[
2
] =

n=1
nP(
2
= n) =
3

i=1

0
(i)

n=1
nP
i
(
2
= n).
Si osserva che la stessa formula si sarebbe potuta ottenere anche nel modo
che segue. La variabile aleatoria,
2
, tempo di primo arrivo nello stato 2, si
pu`o scrivere cos`

2
=
2
I
{1}
(X
0
) +
2
I
{2}
(X
0
) +
2
I
{3}
(X
0
)
e quindi per la linearit`a della media
E[
2
] =
3

i=1
E
_

2
I
{i}
(X
0
)

.
La densit`a della variabile
2
I
{i}
(X
0
) in k 1 si calcola cos`:
P(
2
I
{i}
(X
0
) = k) = P(
2
= k, X
0
= i) = P(
2
= k|X
0
= i)P(X
0
= i).
Pertanto P(
2
I
{i}
(X
0
) = k) = P
i
(
2
= k)
0
(i) se k 1 e
E[
2
I
{i}
(X
0
)] =

k=1
k P
i
(
2
= k)
0
(i) =
0
(i)

k=1
k P
i
(
2
= k) =
0
(i)E
i
[
2
].
46
Sostituendo dunque nella formula E[
2
] =

3
i=1

0
(i)E
i
[
2
] i valori della
densit`a iniziale si ottiene
E[
2
] =
1
5
E
1
[
2
] +
4
5
E
3
[
2
].
Un modo per calcolare le medie E
1
[
2
], E
3
[
2
] `e quello di pensare che esse
sono le stesse per la catena in cui rendiamo assorbente lo stato 2, ovvero per
la catena
Questa catena ha il vantaggio di avere gli stati 1 e 3 transienti e 2 unica
classe persistente. Cos` si pu`o impostare il sistema
_
x
1
= 1 +p
13
x
3
= 1 + (1 p)x
3
x
3
= 1 +p
31
x
1
= 1 +p x
1
la cui soluzione (x
1
, x
3
) fornisce E
1
[
2
] e E
3
[
2
]. Si trova
E
1
[
2
] =
2 p
1 p +p
2
, E
3
[
2
] =
1 +p
1 p +p
2
Si noti che se p = 1 p, ovvero nel caso simmetrico, come ci si pu`o as-
pettare, E
1
[
2
] = E
3
[
2
] e in particolare entrambi i valori sono uguali a 2. In
conclusione
E[
2
] =
1
5
2 p
1 p +p
2
+
4
5
1 +p
1 p +p
2
=
6 + 3p
5(1 p +p
2
)
.
47
Esercizio 9
Quattro fratelli di et`a dierente giocano a tirarsi la palla: ciascuno la lancia
con uguale probabilit`a a quelli pi` u piccoli di lui, ma il pi` u piccolo di tutti
non la lancia aatto e ferma il gioco.
a) Descrivere con una catena di Markov il gioco. Quanto tempo in media
dura il gioco se ad iniziarlo `e il maggiore?
b) Arriva un amico e il gioco cambia cos`: ciascuno lancia la palla a caso al
gruppo composto dai fratelli pi` u piccoli e dallamico, tranne il fratello
minore e lamico che non lanciano la palla a nessuno e fermano il gioco.
Se ad iniziare `e il maggiore, con che probabilit`a il gioco nisce con la
palla nelle mani del minore? In media quanto tempo dura questo
secondo gioco?
Soluzione
a) Numerati con {1, 2, 3, 4} i fratelli dal pi` u grande al pi` u piccolo, la
catena ha la matrice di transizione seguente
P =
_
_
_
_
0
1
3
1
3
1
3
0 0
1
2
1
2
0 0 0 1
0 0 0 1
_
_
_
_
il suo graco `e
e lo spazio degli stati `e costituito dagli stati transienti T = {1, 2, 3} e
dallo stato assorbente 4, poiche i 4 e 4 i qualsiasi sia i = 1, 2, 3
e 4 comunica solo con se stesso. Allora la classe C di tutti gli stati
48
persistenti coincide con {4} e il sistema di equazioni risolto dai tempi
medi di assorbimento in C `e
_

_
x
1
= 1 +
1
3
x
2
+
1
3
x
3
x
2
= 1 +
1
2
x
3
x
3
= 1
La soluzione `e x
1
=
11
6
, x
2
=
3
2
, x
3
= 1 e dunque la risposta `e
11
6
. Si
sarebbe anche potuto calcolare facilmente in questo caso la densit`a del
tempo di assorbimento
C
trovando
P
1
(
C
= 1) =
1
3
, P
1
(
C
= 2) =
1
3
+
1
6
=
1
2
, P
1
(
C
= 3) =
1
6
.
Il tempo medio si calcolava allora cos`
E
1
[
C
] = 1
1
3
+ 2
1
2
+ 3
1
6
=
11
6
b) Lo spazio degli stati diventa {1, 2, 3, 4, 5} dove come prima i fratelli
sono numerati dal pi` u grande al pi` u piccolo e lultimo stato indica
lamico; la matrice di transizione si modica cos`
P =
_
_
_
_
_
_
0
1
4
1
4
1
4
1
4
0 0
1
3
1
3
1
3
0 0 0
1
2
1
2
0 0 0 1 0
0 0 0 0 1
_
_
_
_
_
_
il suo graco `e
e lo spazio degli stati `e costituito dagli stati transienti T = {1, 2, 3} e
dagli stati assorbenti 4 e 5, poiche i 4 e 4 i qualsiasi sia i = 1, 2, 3
e 4 e 5 comunicano solo con se stessi. C
1
= {4} e C
2
= {5} sono dunque
ora le uniche due classi irriducibili persistenti. In questo caso la classe
C di tutti gli stati persistenti coincide con C
1
C
2
= {4, 5}.
49
Le probabilit`a di assorbimento nella classe C
1
= {4} sono la soluzione
del sistema
_

_
x
1
=
1
4
+
1
4
x
2
+
1
4
x
3
x
2
=
1
3
+
1
3
x
3
x
3
=
1
2
e quindi x
1
= x
2
= x
3
=
1
2
, come era da aspettarsi per ragioni di
simmetria. Dunque se ad iniziare `e il maggiore, con probabilit`a
1
2
il
gioco nisce con la palla nelle mani del minore.
Il sistema di equazioni risolto dai tempi medi di assorbimento in C `e
_

_
x
1
= 1 +
1
4
x
2
+
1
4
x
3
x
2
= 1 +
1
3
x
3
x
3
= 1
la cui soluzione `e x
1
=
19
12
, x
2
=
4
3
, x
3
= 1 e dunque la risposta `e
19
12
.
Del resto
P
1
(
C
= 1) =
1
2
, P
1
(
C
= 2) =
1
4
+
1
4

2
3
=
5
12
, P
1
(
C
= 3) =
1
12
,
e quindi
E
1
[
C
] = 1
1
2
+ 2
5
12
+ 3
1
12
=
19
12
.
1.29 La catena a due stati:
comportamento asintotico delle leggi al tempo n
Si consideri la catena con S = {0, 1} e
P =
_
1 p p
q 1 q
_
con q, p [0, 1] e si calcoli la densit`a al tempo n,
n
. Chiaramente baster`a
calcolare per esempio
n
(0) = P(X
n
= 0). Si ha

n
(0) = P(X
n
= 0 | X
n1
= 0)
n1
(0) + P(X
n
= 0 | X
n1
= 1)
n1
(1)
= (1 p)
n1
(0) +q
n1
(1)
= (1 p)
n1
(0) +q(1
n1
(0))
= (1 p q)
n1
(0) +q,
50
e ricorsivamente

n
(0) = (1 p q)
n

0
(0) +q
n1

j=0
(1 p q)
j
.
Pertanto, essendo
n1

j=0
(1 p q)
j
=
1 (1 p q)
n
p +q
,
si ottiene

n
(0) =
q
p +q
+ (1 p q)
n
_

0
(0)
q
p +q
_

n
(1) =
p
p +q
+ (1 p q)
n
_

0
(1)
p
p +q
_
.
Si osserva che, qualsiasi sia la densit`a iniziale
0
, se p +q = 1 si ottiene,
per ogni n 1,
n
(0) = q e
n
(1) = p. Se invece si assume |1 p q| < 1,
si ha lim
n
(1 p q)
n
= 0, qualsiasi sia la densit`a iniziale
0
, e quindi
lim
n

n
(0) =
q
p +q
e
lim
n

n
(1) =
p
p +q
.
Dunque in entrambi i casi si pu`o dire che, qualsiasi sia la densit`a iniziale

0
, la legge di questa catena al crescere del tempo si stabilizza. Ci si pu`o
chiedere se questo comportamento sia eccezionale. Per ora si noti che posto

0
(0) =
q
p+q
e quindi
0
(1) =
p
p+q
si ha per ogni n 1,
n
(0) =
q
p+q
e quindi

n
(1) =
p
p+q
, ovvero, se la legge iniziale coincide con la legge limite, la stessa
legge `e la legge della catena in ogni tempo.
Si osserva che il conto precedente vale anche nel caso in cui uno dei due
parametri `e in (0, 1) e laltro assume uno dei valori estremi dellintervallo.
Inoltre la stessa convergenza delle densit`a ha luogo anche nel caso in cui uno
dei due parametri `e nullo e laltro `e 1; anzi in tal caso si calcola facilmente
che, qualsiasi sia la densit`a iniziale
0
, vale
n
(0) =
q
p+q
e
n
(1) =
p
p+q
per
ogni n 1.
Invece se entrambi i parametri sono nulli oppure se entrambi sono pari ad 1
allora non c`e convergenza della successione delle densit`a; infatti, se entrambi
i parametri sono nulli, la matrice di transizione `e la matrice identit`a e,
qualsiasi sia la densit`a iniziale
0
, la successione (
n
, n 0) `e costante
uguale a
0
; se i due parametri sono entrambi uguali ad 1 allora, qualsiasi
sia la densit`a iniziale
0
, per n pari
n
coincide con
0
, mentre per n dispari

n
coincide con (
0
(0)
0
(1)).
51
1.30 Denizione di misura invariante
Si denisce misura di probabilit`a invariante o stazionaria per una matrice
di transizione P unapplicazione v : S [0, 1] tale che
i)

iS
v
i
= 1
ii) se (X
n
)
n0
`e la catena associata a P con densit`a iniziale
0
= v, allora
qualsiasi sia n 1

n
= v P
n
= v.
Condizione necessaria e suciente anche v : S [0, 1] sia una misura
di probabilit`a invariante `e che
a)

iS
v
i
= 1
b) v P = v.
La condizione necessaria `e immediata. La condizione suciente segue
osservando che a) e i) coincidono e b) implica ii): infatti se b) `e vera, allora,
poiche

n
=
n1
P,
assumendo lipotesi induttiva
n1
= v si ha

n
= v P = v.
1.31 Esempi nel caso nito
Data P nita e bistocastica, cio`e tale che per ogni i S
n

j=1
p
ji
= 1
(n= cardinalit`a di S) si dimostra che esiste una costante k tale che v
i
= k per
ogni i S `e una misura di probabilit`a invariante. Anche v sia invariante
la costante k deve vericare
a)

n
i=1
k = 1
b)

n
j=1
k p
ji
= k per ogni i S.
La condizione b) `e chiaramente vera essendo

n
j=1
k p
ji
= k

n
j=1
p
ji
e P
bistocastica. La condizione a) fornisce k =
1
n
.
Dunque una misura invariante per P bistocastica `e la misura uniforme.
`
E lunica?
52
Come secondo esempio si considera la catena che descrive una passeg-
giata aleatoria sui vertici di un grafo: la catena ha tanti stati quanti sono i
vertici e la probabilit`a di transizione da uno stato (vertice) `e uniforme sugli
stati adiacenti (vertici connessi al primo da un arco).
Dato per esempio il grafo
il graco della catena associata `e il seguente
Se k
i
`e il numero dei vertici adiacenti a i S e
k =

iS
k
i
,
allora v tale che
v
i
=
k
i
k
`e una misura invariante per la catena. Infatti

jS
k
j
k
p
ji
=

j adiacenti a i
k
j
k
1
k
j
=
k
i
k
,
lultima uguaglianza usa il fatto che solo k
i
sono gli stati per i quali p
ji
= 0.
`
E lunica misura invariante?
Per la catena di nascita e morte su {0, 1, . . . , m} con gli stati 0 e m
assorbenti e q
i
> 0, p
i
> 0 se i = 1, . . . , m1, `e chiaro che v
(1)
= (1 0 . . . 0)
`e invariante, poiche v
(1)
P = v
(1)
e

m
i=0
v
(1)
i
= 1. Analogamente v
(2)
=
(0 0 . . . 1) `e invariante.
53
Sia ora il vettore w denito cos`
w
i
= v
(1)
i
+ (1 )v
(2)
i
per una qualche costante (0, 1). Allora w `e invariante poiche w
i
0 per
ogni i = 0, . . . , m e inoltre
a)
m

i=0
w
i
=
m

i=0
v
(1)
i
+ (1 )
m

i=0
v
(2)
i
= + (1 ) = 1.
b)
wP = v
(1)
P + (1 ) v
(2)
P = v
(1)
+ (1 )v
(2)
= w.
La famiglia precedente denisce uninnit`a di misure invarianti e dal prossi-
mo risultato segue che ogni misura invariante appartiene alla famiglia.
Proposizione Se i e transiente e v e invariante vale v
i
= 0.
Dimostrazione Se v `e invariante, per ogni i S
v
i
=
n
(i) =

jS
v
j
p
(n)
ji
e passando al limite in n in entrambi i membri si ottiene per ogni i S
v
i
= lim
n

jS
v
j
p
(n)
ji
=

jS
v
j
lim
n
p
(n)
ji
= 0
Lo scambio tra somma e limite `e immediato se S `e nito ed `e lecito in
generale poiche si pu`o utilizzare il seguente risultato sulle serie ([1]): le con-
dizioni lim
n
a
nj
= 0, |a
nj
| A per ogni n, j,

j=1
|b
j
| < + implicano
lim
n

j=1
|a
nj
b
j
| = 0. Nel caso in esame: a
nj
= p
(n)
ji
1, b
j
= v
j
e

j=1
b
j
= 1.
1.32 Esistenza e unicit`a della misura invariante
Si sono trovate una o pi` u misure invarianti per tre diversi esempi di catene.
Ma in generale esiste sempre almeno una misura invariante? Se esiste quando
`e unica?
Teorema(Markov Kakutani ) ([1]) Una matrice di transizione su uno
spazio nito ammette sempre almeno una misura invariante.
Si `e gi`a dimostrato nel caso della catena di nascita e morte che ogni
combinazione convessa di due misure invarianti `e invariante e si vede subito
che la dimostrazione non dipende ne dalla catena ne dalla forma di v
(1)
e v
(2)
54
e quindi il risultato vale in generale. Pertanto se esiste pi` u di una misura
invariante allora ne esistono innite.
Su S eventualmente innito sia P irriducibile. Gi`a si `e detto che la
caratterizzazione degli stati `e globale, cio`e o sono tutti persistenti o sono
tutti transienti, di conseguenza la catena si dice persistente o transiente. Si
ricorda che i `e persistente se e solo se P
i
(
i
< +) = 1, ma se una variabile
aleatoria `e nita con probabilit`a 1 questo non implica necessariamente che
il suo valore medio sia nito. Nel caso persistente si distinguono cos` due
sottocasi:
catena persistente positiva: per ogni i S, E
i
[
i
] < +,
catena persistente nulla: per ogni i S, E
i
[
i
] = +.
Anche il carattere della persistenza nel caso irriducibile `e globale (vedi [3]).
Teorema Ogni catena irriducibile persistente positiva ammette ununica
misura invariante data da
v
i
=
1
E
i
[
i
]
, i S.
Le catene irriducibili transienti o persistenti nulle non ammettono misura
invariante.
Si rimanda per unidea della dimostrazione alla ne di queste note e per
maggior dettaglio a [3].
Nel caso irriducibile dunque per determinare lesistenza della misura in-
variante occorre poter stabilire se la media dei tempi di ritorno negli stati `e
nita e, per il carattere globale della nozioni di persistenza nulla e positiva
e transienza, `e suciente vericarlo per un solo stato.
`
E intuitivo (ma richiederebbe una dimostrazione che qui si omette) il
fatto che tutte le catene irriducibili nite sono persistenti positive e quindi
hanno ununica misura invariante. Se si calcola la misura invariante allora
automaticamente si calcolano anche i tempi medi di ritorno negli stati.
1.33 Catene ergodiche
Una matrice di transizione P si dice ergodica se ssato j qualsiasi sia i S
lim
n
p
(n)
ij
= v
j
per qualche v : S [0, 1] tale che

j
v
j
= 1. Si pu`o dimostrare che
dallergodicit`a discende
i) ssato j, qualsiasi sia la misura iniziale della catena, lim
n

n
(j) =
v
j
ii) v `e una misura invariante
55
iii) v `e lunica misura invariante.
La dimostrazione si fa vedere ora nel caso nito, quando limiti e somme
si scambiano senza problema:
i)
lim
n

n
(j) = lim
n

0
(i) p
(n)
ij
=

0
(i) lim
n
p
(n)
ij
=

0
(i)v
j
= v
j

0
(i) = v
j
_
La dimostrazione di questo punto nel caso innito richiede il risultato di
scambio di limite e serie enunciato precedentemente:
lim
n
|

0
(i)(p
(n)
ij
v
j
)| lim
n

0
(i)|p
(n)
ij
v
j
| =

0
(i) lim
n
|p
(n)
ij
v
j
| = 0
e |p
(n)
ij
v
j
| 2 per ogni n, i.
_
ii) per ogni i S si ha (v P)
i
= v
i
poiche

j
v
j
p
ji
=

j
lim
n
p
(n)
kj
p
ji
= lim
n

j
p
(n)
kj
p
ji
= lim
n
p
(n+1)
ki
= v
i
(k `e arbitrario ssato)
iii) Se w fosse unaltra misura invariante, scelta
0
= w si avrebbe

n
(i) = w
i
per ogni i, n e quindi, dovendo anche essere per il punto prece-
dente lim
n

n
(i) = v
i
, seguirebbe, per lunicit`a del limite, w
i
= v
i
per
ogni i.
1.34 Catene regolari
Nel caso delle catene irriducibili con spazio degli stati nito esiste una con-
dizione necessaria e suciente per lergodicit`a: la regolarit`a.
Una matrice di transizione su uno spazio di stati nito si dice regolare se
esiste n 1 tale che p
(n)
ij
> 0 per ogni i, j.
Una condizione suciente per la regolarit`a `e che P sia irriducibile e esista
h S tale che p
hh
> 0. Infatti se m = max{n(i, j), i, j S t.c. p
(n(i,j))
ij
> 0}
(n(i, j) esiste per lirriducibilit`a), allora p
(2m)
ij
> 0 per ogni i, j poiche
p
(2m)
ij
p
(n(i,h))
ih
p
hh
. . . p
hh
p
(n(h,j))
hj
> 0,
dove il prodotto di p
hh
per se stesso `e ripetuto 2mn(i, h) n(h, j) volte.
56
Si noti bene che la regolarit`a `e condizione necessaria per lergodicit`a
solo nel caso in cui la catena sia irriducibile. Come controesempio si tenga
presente la catena a due stati con uno dei due parametri nullo e laltro pari
ad 1 (vedi sezione 29).
Esercizio 10
Sia X
n
la catena su S = {1, 2, 3} tale che: se lanciando una moneta si ottiene
testa allora X
0
= 1, altrimenti X
0
= 2 o X
0
= 3 con uguale probabilit`a; nei
tempi successivi se la catena `e in 1 vi rimane, se `e in 3 passa in 2, se `e in 2
passa in 3 con probabilit`a
2
3
o rimane in 2.
a) Calcolare le eventuali misure invarianti.
b) Calcolare lim
n
p
(n)
ij
per ogni i, j.
c) Calcolare lim
n

n
(i) per ogni i.
Soluzione
La catena ha matrice di transizione
P =
_
_
1 0 0
0
1
3
2
3
0 1 0
_
_
e misura iniziale
0
= (
1
2
1
4
1
4
) e il suo graco `e
a) Pertanto S = C
1
C
2
= {1} {2, 3}, ovvero 1 `e stato assorbente e
{2, 3} `e classe persistente positiva. Esistono pertanto innite misure
invarianti che sono tutte le combinazioni convesse di v
(1)
= (1 0 0) e
v
(2)
= (0
3
5
2
5
). I vettori 1 e (
3
5
2
5
) sono infatti le misure invarianti della
catena ristretta rispettivamente alle classi {1} e {2, 3}.
57
b)
`
E evidente che qualsiasi sia n la matrice di transizione in n passi avr`a
la forma
P
(n)
=
_
_
_
1 0 0
0 p
(n)
22
p
(n)
23
0 p
(n)
32
p
(n)
33
,
_
_
_
da cui subito si ricava che
lim
n
p
(n)
11
= 1, lim
n
p
(n)
12
= 0, lim
n
p
(n)
13
= 0,
lim
n
p
(n)
21
= 0, lim
n
p
(n)
31
= 0 .
Per quanto riguarda gli altri elementi, poiche la matrice di transizione
ristretta agli stati 2 e 3 `e regolare (in quanto irriducibile con p
22
> 0)
allora `e ergodica e si ha per i = 2, 3
lim
n
p
(n)
i2
= v
(2)
2
=
3
5
, lim
n
p
(n)
i3
= v
(2)
3
=
2
5
c) Inne poiche

n
(1) =
3

i=1

0
(i) p
(n)
i1
=
1
2
p
(n)
11
+
1
4
p
(n)
21
+
1
4
p
(n)
31
=
1
2

n
(2) =
3

i=1

0
(i) p
(n)
i2
=
1
4
p
(n)
22
+
1
4
p
(n)
32

n
(3) =
3

i=1

0
(i) p
(n)
i3
=
1
4
p
(n)
23
+
1
4
p
(n)
33
,
allora
lim
n

n
(1) =
1
2
lim
n

n
(2) =
1
4
(
3
5
+
3
5
) =
3
10
lim
n

n
(3) =
1
4
(
2
5
+
2
5
) =
1
5
.
Esercizio 11
Sia data la matrice di transizione
P =
_
_
0.4 0.4 0.2
0.3 0.4 0.3
0.2 0.4 0.4
_
_
.
58
Calcolare lunica misura invariante.
Soluzione
La matrice `e irriducibile nita e quindi persistente positiva e con ununica
misura invariante soluzione del sistema
_

_
x
1
+x
2
+x
3
= 1
0.4 x
1
+ 0.3 x
2
+ 0.2 x
3
= x
1
0.4 x
1
+ 0.4 x
2
+ 0.4 x
3
= x
2
0.2 x
1
+ 0.3 x
2
+ 0.4 x
3
= x
3
x
i
0
equivalente a
_

_
x
1
+x
2
+x
3
= 1
6 x
1
+ 3 x
2
+ 2 x
3
= 0
4 x
1
6 x
2
+ 4 x
3
= 0
2 x
1
+ 3 x
2
6 x
3
= 0
x
i
0.
Moltiplicando la seconda equazione per 2 e sottraendole la terza e al tempo
stesso moltiplicando la quarta per 2 e sottraendole la terza si ottiene il
sistema equivalente
_

_
x
1
+x
2
+x
3
= 1
8 x
1
+ 12 x
2
= 0
12 x
2
16 x
3
= 0
x
i
0
dal quale facilmente si ricava x
1
=
3
4
x
2
, x
3
=
3
4
x
2
e inne x
2
=
2
5
.
Esercizio 12
Assegnata la matrice di transizione
P =
_
_
0
1
4
3
4
0
1
2
1
2
0 0 1
_
_
a) calcolare la misura invariante se esiste
b) la media del tempo di primo ritorno in 1
c) la media dei tempi di assorbimento in 3.
Soluzione
a) La decomposizione dello spazio degli stati `e
S = {1, 2, 3} = T C = {1, 2} {3}
ovvero: 1 e 2 sono stati transienti poiche comunicano con 3 che non comu-
nica ne con 1 ne con 2; 3 `e uno stato assorbente. Pertanto lunica misura
invariante `e v = (0 0 1), unica soluzione non negativa del sistema
_

x
i
= 1
xP = x
x
1
= 0
x
2
= 0
59
(si ricordi: le misure invarianti valgono 0 sugli stati transienti)
b) Poiche 1 `e transiente, si ha

11
= P
1
(
1
< +) < 1
ovvero
P
1
(
1
= +) > 0
e quindi E
1
[
1
] = +.
c) Per calcolare i tempi di assorbimento in 3 si pu`o risolvere il sistema
E
i
[
3
] = 1 +

jT
p
ij
E
j
[
3
], i = 1, 2
che coincide con
_
E
1
[
3
] = 1 +
1
4
E
2
[
3
]
E
2
[
3
] = 1 +
1
2
E
2
[
3
]
che d`a E
2
[
3
] = 2 e E
1
[
3
] = 3/2.
Altrimenti si pu`o determinare la densit`a di
3
, ovvero P
i
(
3
= k) per
k 1 corrispondente alla legge iniziale delta di Dirac in i, e calcolare poi
E
i
[
3
] =

k=1
kP
i
(
3
= k), i = 1, 2.
Per esempio, dal graco della catena subito si calcola
P
1
(
3
= 1) =
3
4
, P
1
(
3
= k) =
1
2
k+1
, k 2
e quindi
E
1
[
3
] =
3
4
+

k=2
k
1
2
k+1
=
3
4
+
1
2
_
E[Z]
1
2
_
=
3
2
.
con Z variabile aleatoria geometrica di parametro
1
2
e quindi E[Z] = 2.
Analogamente
P
2
(
3
= 1) =
1
2
, P
2
(
3
= k) =
1
2
k
, k > 1
e quindi
E
2
[
3
] = E[Z] = 2.
Naturalmente E
3
[
3
] = 1.
60
Esercizio 13
Assegnata la matrice
P =
_
_
_
_
_
_
3
4
0 0
1
4
0
1
4
1
4
1
4
1
4
0
0 0 0 0 1
1
2
0 0
1
2
0
0 0
1
4
0
3
4
_
_
_
_
_
_
a) trovare tutte le misure invarianti
b) calcolare la probabilit`a di raggiungere linsieme {1, 4} partendo dallo
stato 2. Quanto vale allora la probabilit`a di raggiungere linsieme
{3, 5}?
Soluzione
a) In questo caso
S = {1, 2, 3, 4, 5} = T C
1
C
2
= {2} {1, 4} {3, 5},
ovvero vi sono due classi irriducibili persistenti positive. Risolvendo il
sistema
_

_
x
1
+x
2
+x
3
+x
4
+x
5
= 1
x
1
=
3
4
x
1
+
1
2
x
4
x
2
= 0
x
3
=
1
4
x
5
x
4
=
1
4
x
1
+
1
2
x
4
x
5
= x
3
+
3
4
x
5
.
si trova x = (2x
4
0 x
3
x
4
4x
3
) con 3x
4
+ 5x
3
= 1 dove x
3
e x
4
sono
lasciate come parametri. Dunque le misure invarianti sono tutti i vettori
della forma (2 0 4) al variare di e in R
+
tali che 3 +5 = 1. Si
osserva che la prima e la quarta componente della generica misura invariante
(2 0 4) risolvono un sistema separato dal sistema risolto dalla terza
e dalla quinta e precisamente il sistema risolto dalla misura invariante della
dinamica su C
1
e la la terza e la quinta componente risolvono il sistema
risolto dalla misura invariante della dinamica su C
2
. Segue che per = 0
si ottiene v
(1)
= (
2
3
0 0
1
3
0) e che (v
(1)
1
v
(1)
4
) `e la misura invariante della
dinamica su C
1
e per = 0 si ottiene v
(2)
= (0 0
1
5
0
4
5
) e che (v
(2)
3
v
(2)
5
)
`e la misura invariante della dinamica su C
2
. Inoltre, poiche dividendo la
soluzione di un sistema omogeneo per la somma delle sue componenti si
ottiene una soluzione le cui componenti hanno come somma 1, esiste una
costante > 0 tale che (2 ) = (v
(1)
1
v
(1)
4
) e quindi (2 0 0 0) = v
(1)
.
Per lo stesso motivo esiste una costante > 0 tale che (0 0 0 4) =
61
v
(2)
. Cos` poiche (2 0 4) = (2 0 0 0) + (0 0 0 4) allora
e sono tali che (v
(1)
1
+ v
(1)
4
) + (v
(2)
3
+ v
(2)
5
)=1, ovvero, ricordando che
v
(1)
1
+v
(1)
4
= 1 = v
(2)
3
+v
(2)
5
, sono tali che = 1 . Si `e mostrato che ogni
misura invariante si esprime come combinazione convessa di v
(1)
e v
(2)
, cio`e
v = v
(1)
+ (1 )v
(2)
con [0, 1].
Con dimostrazione analoga si prova laermazione generale per cui: le misure
invarianti di una catena a valori in uno spazio nito sono tutte e sole quelle
che si ottengono per combinazione convessa a partire dalle misure invarianti
della dinamica ristretta alle classi persistenti.
b) Si devono calcolare le probabilit`a di assorbimento
C
1
2
e
C
2
2
. Per
calcolare
C
1
2
si risolve
x =
1
4
+
1
4
+
1
4
x
e si ottiene
C
1
2
=
2
3
. Dal fatto che

C
2
2
= P
2
(
C
2
< +) = P
2
(
C
2
<
C
1
) = 1 P
2
(
C
1
<
C
2
) = 1
C
1
2
,
segue
C
2
2
=
1
3
.
1.35 La misura invariante per lurna di Ehrenfest
Si ricordano le probabilit`a di transizione dellurna di Ehrenfest con d biglie:
p
0j
= I
{1}
(j), p
dj
= I
{d1}
(j),
p
ij
= I
{i+1}
(j)
d i
d
+I
{i1}
(j)
i
d
, 1 i d 1.
La catena `e una catena di nascita e morte irriducibile nita e quindi persis-
tente positiva. Esiste dunque ununica misura invariante che `e la soluzione
di
_

_
x
0
+x
1
+. . . +x
d
= 1
x
0
=
x
1
d
x
i
= x
i1
d(i1)
d
+x
i+1
i+1
d
, 1 i d 1
x
d
=
x
d1
d
x
i
0.
Scelto x
0
come parametro, si verica subito che il sistema `e equivalente al
sistema
_

_
x
0
+x
1
+. . . +x
d
= 1
x
1
= d x
0
x
i
=
d (d1) ... (di+1)
i!
x
0
=
_
d
i
_
x
0
, 1 i d
x
i
0.
62
Per dimostrarlo si osservi che dalla seconda equazione segue che
x
1
= d x
0
e sostituendo nella terza per i = 1 il valore di x
1
in termini di x
0
si ottiene
x
2
=
d(d 1)
2
x
0
=
_
d
2
_
x
0
.
Iterando il procedimento dalla terza equazione si ricavano tutti i valori in
funzione di x
0
. Infatti lequazione si riscrive anche cos`
x
i+1
=
d
i + 1
x
i

d i + 1
i + 1
x
i1
,
e se si assume che valga
x
i1
=
_
d
i 1
_
x
0
=
d (d 1) . . . (d i + 2)
(i 1)!
x
0
e
x
i
=
_
d
i
_
x
0
=
d (d 1) . . . (d i + 1)
i!
x
0
,
si ottiene
x
i+1
=
d
i + 1
d (d 1) . . . (d i + 1)
i!
x
0

d i + 1
i + 1
d (d 1) . . . (d i + 2)
(i 1)!
x
0
=
d(d i) (d 1) . . . (d i + 1)
(i + 1)!
x
0
=
_
d
i + 1
_
x
0
Per ricavare il valore di x
0
si sostituiscono le espressioni ottenute nella prima
equazione ottenendo
d

i=0
_
d
i
_
x
0
= 1
e dalla formula del binomio di Newton si ricava x
0
=
1
2
d
. Concludendo la
misura invariante `e v con
v
i
=
1
2
d
_
d
i
_
i = 0, . . . , d
ovvero la densit`a della binomiale di parametri n = d, p =
1
2
.
63
1.36 Non esistenza della misura invariante
per la passeggiata aleatoria simmetrica in Z
Si pu`o dimostrare che la passeggiata aleatoria su Z in cui sono possibili solo
le transizioni sugli stati adiacenti (p
ij
= I
{i1}
(j) q+I
{i+1}
(j) p) `e persistente
se e solo se `e simmetrica, cio`e con stessa probabilit`a di un passo avanti e uno
indietro. Qui si dimostra che la passeggiata aleatoria simmetrica su Z non
ammette misura invariante e dunque si conclude che `e catena persistente
nulla.
Nel caso simmetrico p
ij
= I
{i1}
(j)
1
2
+I
{i+1}
(j)
1
2
e il sistema di equazioni
per la misura invariante si riscrive
_

iZ
x
i
= 1, x
i
0
x
i
=
x
i1
2
+
x
i+1
2
, i Z.
Dallequazione generale si ricava x
i+1
= 2x
i
x
i1
e quindi x
i+1
x
i
=
x
i
x
i1
, i Z, e quindi x
i+1
x
i
= x
1
x
0
.
Pertanto per ogni i 1
x
i
x
0
=
i1

j=0
(x
j+1
x
j
) = i(x
1
x
0
)
e quindi
x
i
= i(x
1
x
0
) +x
0
.
Segue che, poiche

iZ
x
i
= 1 < +, non pu`o essere x
1
x
0
> 0 altrimenti
lim
i+
x
i
= + (mentre il termine generico di una serie convergente
`e innitesimo); ne pu`o essere x
1
x
0
< 0 altrimenti lim
i
x
i
= ,
mentre x
i
0. Dunque x
1
x
0
= 0, cio`e x
i
= x
0
per ogni i 1. Inoltre
dovendo essere

iZ
x
i
< + e quindi

i1
x
i
< +, potr`a solo essere
x
i
= x
0
= 0 per ogni i 1. Inoltre per ragioni di simmetria vale anche per
ogni i 1
x
i
=
_
|i| + 1
_
(x
0
x
1
) +x
1
e quindi x
i
= 0 per ogni i 1. Dunque il sistema non ammette soluzione
poiche quella identicamente nulla non verica

iZ
x
i
= 1.
1.37 Misura invariante per le catene di nascita e morte
Lenunciato che si vuole dimostrare `e il seguente: una catena di nascita e
morte innita persistente ammette una misura invariante se e solo se, posto

0
= 1
i
=
p
0
p
1
. . . p
i1
q
1
q
2
. . . q
i
, i 1,
64
si ha

i=0

i
< +
e la misura invariante si calcola cos` per ogni i 0
v
i
=

i

i=0

i
.
Il sistema per il calcolo della misura invariante `e
_

_
x
0
= x
0
r
0
+x
1
q
1
x
i
= x
i1
p
i1
+x
i
r
i
+x
i+1
q
i+1
, i 1

+
i=0
x
i
= 1
x
i
0
e sostituendo a r
i
il valore 1 p
i
q
i
si ottiene
_

_
x
1
q
1
x
0
p
0
= 0
x
i+1
q
i+1
x
i
p
i
= x
i
q
i
x
i1
p
i1
, i 1

+
i=0
x
i
= 1
x
i
0
e quindi
_

_
x
i
q
i
x
i1
p
i1
= 0, i 1

+
i=0
x
i
= 1
x
i
0
da cui
_

_
x
i
=
p
i1
q
i
x
i1
=
p
i1
q
i
p
i2
q
i1
x
i2
= . . . =
i
x
0
, i 1

+
i=0
x
i
= 1
x
i
0.
Dalla seconda equazione si ottiene il valore di x
0
:
x
0
=
1

i=0

i
.
e dunque contemporaneamente la condizione necessaria e suciente e le-
spressione della misura invariante.
Se la catena `e irriducibile ma lo spazio `e nito S = {0, 1, . . . , m} allora
essendo persistente positiva ammette ununica misura invariante che risolve
_

_
x
0
= x
0
r
0
+x
1
q
1
x
i
= x
i1
p
i1
+x
i
r
i
+x
i+1
q
i+1
, 1 i m1
x
m
= x
m1
p
m1
+x
m
q
m

+
i=0
x
i
= 1
x
i
0
65
e quindi
v
i
=

i

m
i=0

i
.
Esercizio 14
Si indichi con (X
n
)
n
la catena di Markov che descrive una coda in cui le
variabili aleatorie numero dei clienti in arrivo e in partenza in ogni unit`a
temporale sono indipendenti di legge Bernoulli rispettivamente di parametri
=
1
4
e =
1
2
.
a) Calcolare le probabilit`a di transizione della catena.
b) La catena `e irriducibile ?
`
E persistente? Ammette una misura invari-
ante unica?
c) Dare le condizioni su e generici che consentono di rispondere
aermativamente alle precedenti domande.
Soluzione
a) Indicati con A e B rispettivamente gli eventi {arriva un cliente} e {parte
un cliente}, per ipotesi A e B sono eventi indipendenti e da ogni sta-
to i diverso da 0 si transita in i + 1 con la probabilit`a di A B
c
che `e
P
i
(A) P
i
(B
c
) = (1 ) =
1
8
e in i 1 con la probabilit`a di A
c
B che `e
P
i
(A
c
) P
i
(B) = (1 ) =
3
8
e inne si rimane in i con la probabilit`a di
AB

A
c
B
c
che `e +(1)(1) =
1
2
. Inne da 0 si transita in 1 con
probabilit`a =
1
4
e si resta in 0 con probabilit`a 1 =
3
4
. Riassumendo
r
0
=
3
4
, p
0
=
1
4
, e, per ogni i 1, q
i
= q =
3
8
, p
i
= p =
1
8
, r
i
= r =
1
2
.
b) La catena `e irriducibile poiche per ogni i 1 si ha p
i
> 0 e q
i
> 0. La
catena `e persistente poiche sappiamo che, se le probabilit`a di nascita e morte
non dipendono dallo stato, condizione suciente `e che q
i
p
i
, i 1. La
catena ammette ununica misura invariante poiche la condizione necessaria
e suciente in generale `e

i=0

i
< + e, se si ha come in questo caso
p
i
= p, q
i
= q, i 1, allora per i 1 vale
i
=
p
0
p
_
p
q
_
i
e quindi la serie `e
convergente se e solo se
p
q
< 1 cio`e p < q, come in questo caso. La misura
invariante in generale `e
v
i
=

i

i=0

i
e qui per i 1,

i
=
1
4
3
8
_
1
3
_
i1
=
2
3
_
1
3
_
i1
e quindi

i=0

i
= 1 +
2
3

i=1
_
1
3
_
i1
= 1 +
2
3
3
2
= 2
66
e in conclusione
v
0
=
1
2
, v
i
=
_
1
3
_
i
, i 1.
[c)] Se e sono in (0, 1) allora p
i
> 0 e q
i
> 0, per ogni i 1, e la catena `e
irriducibile. La condizione per la persistenza `e p = (1) (1) = q
ovvero ovvero probabilit`a di arrivo minore o uguale alla probabilit`a
di partenza. La condizione per lesistenza della misura invariante `e p =
(1) < (1) = q, ovvero < , ovvero probabilit`a di arrivo minore
della probabilit`a di partenza. Se `e = 0, allora si vede subito che la catena
non `e irriducibile (infatti nessuno stato comunica con i successivi), tutti gli
stati positivi sono transienti (per ogni i 1, i comunica con 0 ma 0 non
comunica con i) e lo stato 0 `e assorbente. Esiste ununica misura invariante
che `e la delta di Dirac in i = 0. Se `e = 0 la catena non `e irriducibile
(nessuno stato comunica con i precedenti), gli stati sono tutti transienti e
naturalmente non esiste misura invariante.
Esercizio 15
Trovare la misura di probabilit`a invariante per la catena con graco
Soluzione
In questo caso
S = {1, 2, 3, 4} = T C = {3} {1, 2, 4}
e pertanto la misura invariante sar`a della forma
v = (v
1
v
2
0 v
4
)
dove (v
1
v
2
v
4
) `e la misura invariante per la matrice di transizione irriducibile
P =
_
_
3
4
1
4
0
1
4
1
2
1
4
0
3
4
1
4
_
_
67
ottenuta da quella originaria cancellando la terza riga e la terza colonna.
Occorre risolvere dunque
_

_
x
1
+x
2
+x
3
= 1
x
1
=
3
4
x
1
+
1
4
x
2
x
2
=
1
4
x
1
+
1
2
x
2
+
3
4
x
3
x
3
=
1
4
x
2
+
1
4
x
3
x
i
0.
Si trova x = (
3
7
3
7
1
7
) e dunque v = (
3
7
3
7
0
1
7
) `e lunica misura invariante per
la catena originaria.
Esercizio 16
Assegnata la matrice
P =
_
_
0
1
4
3
4
0
1
2
1
2
1 0 0
_
_
a) calcolare la misura invariante se esiste
b) la media del tempo di primo ritorno in 1
Soluzione
a) La catena `e irriducibile e quindi, poiche nita, anche persistente positiva.
Esiste dunque ununica misura invariante che si ottiene risolvendo
_

_
x
1
+x
2
+x
3
= 1
x
1
= x
3
x
2
=
1
4
x
1
+
1
2
x
2
x
3
=
3
4
x
1
+
1
2
x
2
x
i
0
equivalente a
_

_
x
1
+x
2
+x
3
= 1
x
1
= 2x
2
= x
3
x
i
0
da cui x = (
2
5
1
5
2
5
) `e la misura invariante.
b) Dal teorema sulle catene irriducibili si sa che la media del tempo di
primo ritorno in uno stato `e il reciproco del valore della misura invariante
nello stato e quindi
E
1
[
1
] =
5
2
=
1
v
1
.
68
Esercizio 17
Calcolare la misura invariante per lurna di Ehrenfest con d = 3 modicata
nel modo seguente: la biglia corrispondente al numero estratto viene inserita
in una delle due urne scelta a caso e la catena conta le biglie in unurna
ssata.
Soluzione
La matrice di transizione della catena di Ehrenfest modicata con d = 3 `e
P =
_
_
_
_
1
2
1
2
0 0
1
6
1
2
1
3
0
0
1
3
1
2
1
6
0 0
1
2
1
2
.
_
_
_
_
Infatti, indicati con A e B rispettivamente gli eventi {il numero estratto cor-
risponde ad una biglia dellurna ssata} e {lurna estratta `e quella ssata},
per ipotesi A e B sono eventi indipendenti condizionatamente al numero di
biglie nellurna ssata e per esempio da ogni stato i diverso da 0 e d si tran-
sita in i 1 con la probabilit`a di AB
c
che `e P
i
(A) P
i
(B
c
) =
i
d
1
2
e in i +1
con la probabilit`a di A
c
B che `e P
i
(A
c
) P
i
(B) =
di
d
1
2
e inne si rimane in
i con la probabilit`a di AB

A
c
B
c
che `e
1
2
. In modo analogo si calcolano
le probabilit`a di transizione da 0 e da d. Si tratta di una catena di nascita
e morte irriducibile e persistente positiva ed `e facile calcolare risolvendo il
sistema di equazioni corrispondente che lunica misura invariante `e
v =
_
1
8
3
8
3
8
1
8
_
.
Per lo stesso calcolo si possono anche utilizzare le formule generali per la
misura invariante di una catena di nascita e morte nita.
1.38 Esempi di catene periodiche
Si assuma che la catena di Ehrenfest si trovi nello stato i {0, 1, . . . , d},
allora certamente al tempo successivo si trover`a in uno stato diverso, ma
potr`a tornare in i in un tempo che dista dallattuale un numero pari; sar`a
impossibile per la catena, invece, essere in i in tempi che sono a distan-
za dispari dal tempo attuale. Ovvero usando le probabilit`a di transizione
qualsiasi sia i
p
(2n)
ii
> 0, n 1 p
(2n+1)
ii
= 0, n 0.
La stessa cosa accade per una qualsiasi catena di nascita e morte nita
irriducibile a barriere riettenti (r
0
= 0, p
0
= 1, r
d
= 0, q
d
= 1) e con r
i
= 0
qualsiasi sia i = 1, . . . , d 1.
69
La stessa propriet`a `e vericata dalla matrice di transizione della catena
associata al grafo
ovvero la potenza P
n
per n pari ha tutti gli elementi sulla diagonale positivi
e per n dispari ha tutti gli elementi sulla diagonale nulli. Si individua subito
anche unaltra particolarit`a:
P
2n+1
=
_
_
_
_
0 + 0 +
+ 0 + 0
0 + 0 +
+ 0 + 0
_
_
_
_
P
2n
=
_
_
_
_
+ 0 + 0
0 + 0 +
+ 0 + 0
0 + 0 +
_
_
_
_
dove il segno + indica che lelemento corrispondente `e positivo. Dunque
se parto da uno stato dispari allora mi trovo in ogni tempo dispari in uno
stato pari e in ogni tempo pari in uno stato dispari.
`
E dunque chiaro che
pur essendo questa catena irriducibile e quindi, essendo nita, persistente
positiva e esistendo ununica misura invariante v, non potr`a certo essere
qualsiasi sia j
lim
n
p
(n)
ij
= v
j
.
Infatti ssati i e j se il limite esistesse non potrebbe che essere
lim
n
p
(n)
ij
= 0.
Si consideri ora la catena con graco
`
E facile accorgersi che anche in questo caso c`e una regolarit`a in P. In questo
caso qualsiasi sia i
p
(3n)
ii
> 0, n 1 p
(h)
ii
= 0, h = 3n, n 1.
70
Cos` come prima lo spazio degli stati veniva diviso in due classi, i pari e i
dispari, che erano, da qualunque stato si partisse ciclicamente rivisitati (pe-
riodo 2), anche ora lo spazio viene suddiviso in classi rivisitate ciclicamente
e precisamente {1}, {2}, {0, 3}: comunque si parta dopo 3 passi ci si ritrova
nella classe di appartenenza dello stato iniziale.
1.39 Periodo di una catena irriducibile
Nel caso delle catene irriducibili persistenti positive, sia S nito o innito,
lergodicit`a `e equivalente allaperiodicit`a.
Si denisce periodo di uno stato persistente i in una catena generica (non a
priori irriducibile) il numero t
i
denito come
MCD{n : p
(n)
ii
> 0}
(MCD=massimo comun divisore). Vale il seguente teorema.
Teorema In una catena irriducibile il periodo `e lo stesso per ogni stato
(e si chiama periodo della catena).
Dimostrazione Si dimostra che ssato i S per qualsiasi k = i, t
i
e t
k
sono divisori luno dellaltro e da questo seguir`a la tesi. Poiche la catena `e
irriducibile esistono m 1 e n 1 tali che p
(m)
ik
> 0 e p
(n)
ki
> 0. Dunque
p
(m+n)
ii
> 0
e dunque t
i
`e divisore di m+n e inoltre, qualsiasi sia r 1 tale che p
(r)
kk
> 0,
essendo p
(m+n+r)
ii
p
(m)
ik
p
(r)
kk
p
(n)
ki
vale
p
(m+n+r)
ii
> 0
e dunque t
i
`e divisore di m + n + r e in conclusione t
i
`e divisore di r
e poiche r `e qualsiasi (tra le lunghezze dei cammini che portano da k in
k), per denizione di MCD, t
i
t
k
. La dimostrazione `e conclusa poiche
largomento `e simmetrico in t
i
e t
k
.
71
Si denisce aperiodica una catena di periodo 1.
Naturalmente una condizione suciente per laperiodicit`a `e che esista uno
stato h tale che p
hh
> 0.
Si osservi che laperiodicit`a quando la catena `e irriducibile ma non `e persis-
tente positiva non `e suciente per avere lergodicit`a : basta ricordare il caso
di una catena di nascita e morte con probabilit`a non nulla di tornare con un
passo in uno stato ma senza misura invariante ovvero con

i=0

i
= +.
Come esempio si consideri il caso r
0
> 0 e p
i
= p q = q
i
qualsiasi sia
i 1.
Esercizio 18
Sia (X
n
)
n
una catena di nascita e morte su N con
p
i
=
1
3
, i 0 q
i
=
2
3
, i 1.
i) La catena `e transiente o persistente?
ii) Esiste una misura invariante? In caso aermativo calcolarla.
iii) La catena `e ergodica?
Soluzione
i) La catena `e irriducibile essendo p
i
> 0 e q
i
> 0, per ogni i 1. Si
ricorda che la condizione di persistenza per una catena di nascita e
morte su N irriducibile `e

i=0

i
= +,
dove

0
= 1,
i
=
q
i
q
i1
. . . q
1
p
i
p
i1
. . . p
1
, i 1.
Qui

0
= 1,
i
=
_
2
3
_
i
_
1
3
_
i
= 2
i
i 1
e quindi la serie `e divergente e la catena persistente.
ii) La misura invariante esiste se e solo se

i=0

i
< +,
72
dove

0
= 1,
i
=
p
0
p
1
. . . p
i1
q
1
q
2
. . . q
i
, i 1.
Qui

0
= 1,
i
=
_
1
3
_
i
_
2
3
_
i
=
1
2
i
, i 1.
e quindi la serie `e convergente come serie geometrica di ragione minore
di 1. Dunque esiste la misura invariante ed `e
v
0
=
1
2
, v
i
=
_
1
2
_
i
2
=
1
2
i+1
, i 1.
iii) La catena `e ergodica perche `e aperiodica: questo si deduce per esempio
osservando che p
00
> 0.
1.40 Reversibilit`a
La propriet`a di Markov si conserva rovesciando il tempo, infatti utilizzando
la denizione di probabilit`a condizionata e la formula del prodotto si ottiene
P(X
n
= i | X
n+1
= j, X
n+2
= j
2
, . . . , X
n+k
= j
k
)
=
P(X
n+2
= j
2
, . . . , X
n+k
= j
k
| X
n+1
= j, X
n
= i)P(X
n+1
= j | X
n
= i)P(X
n
= i)
P(X
n+2
= j
2
, . . . , X
n+k
= j
k
| X
n+1
= j)P(X
n+1
= j)
=
P(X
n+1
= j | X
n
= i)P(X
n
= i)
P(X
n+1
= j)
=

n
(i) p
ij

n+1
(j)
e allo stesso risultato si perviene calcolando
P(X
n
= i | X
n+1
= j).
Una catena di Markov si dice reversibile quando si verica che
P(X
n
= i | X
n+1
= j) = P(X
n+1
= i | X
n
= j)
cio`e quando le probabilit`a di transizione (in un passo) allindietro coincidono
con le probabilit`a di transizione in avanti, ovvero quando il comportamento
statistico della catena rimane lo stesso rovesciando il tempo (si ricordi che
le leggi congiunte sono determinate dalle probabilit`a di transizione e dalla
legge iniziale).
Si dice che una misura di probabilit`a v soddisfa lequazione del bilancio
dettagliato per una matrice di transizione P se qualsiasi siano i e j
v
i
p
ij
= v
j
p
ji
.
73
Se v soddisfa lequazione precedente allora `e invariante per P. Infatti
qualsiasi sia i

lS
v
l
p
li
=

lS
v
i
p
il
= v
i

lS
p
il
= v
i
.
Inoltre la catena con matrice di transizione P e legge iniziale v risulta
reversibile; infatti per linvarianza
n
(i) = v
i
e
n+1
(j) = v
j
da cui
P(X
n
= i | X
n+1
= j) =

n
(i) p
ij

n+1
(j)
=
v
i
p
ij
v
j
=
v
j
p
ji
v
j
= p
ji
.
Esempi di catene reversibili sono lurna di Ehrenfest, la catena di un grafo e
qualsiasi catena di nascita e morte persistente positiva in regime di stazionar-
iet`a, ovvero inizializzata con la relativa misura invariante. Infatti si pu`o facil-
mente vericare lequazione del bilancio dettagliato in ciascun caso: per lur-
na di Ehrenfest dobbiamo vericare v
i
p
i(i+1)
= v
i+1
p
(i+1)i
con v
i
=
_
d
i
_
1
2
d
e p
i(i+1)
=
di
d
e p
(i+1)i
=
i+1
d
; per la catena di un grafo dobbiamo vericare
v
i
p
ij
= v
j
p
ji
con v
i
=
k
i
k
e p
ij
= 0 se e solo se p
ji
= 0 ; per la catena di nasci-
ta e morte persistente positiva dobbiamo vericare v
i
p
i(i+1)
= v
i+1
p
(i+1)i
con v
i
=

i

i=0

i
,
i
=
p
0
p
1
...,p
i1
q
1
q
2
...,q
i
i 1,
0
= 1 e p
i(i+1)
= p
i
, p
(i+1)i
= q
i
.
1.41 Algoritmo di Metropolis
Si dimostra ([1]) che, dato uno spazio S nito e assegnata una misura di
probabilit`a v su S diversa dalla uniforme tale che per qualsiasi i valga v
i
> 0,
si pu`o costruire una matrice stocastica P regolare per la quale v soddisfa
lequazione del bilancio dettagliato. Il metodo per costruire P si chiama
algoritmo di Metropolis e la sua importanza applicativa `e evidente: volendo
simulare una variabile aleatoria con legge v baster`a simulare una catena di
matrice di transizione P e legge iniziale qualsiasi e poi considerarne il valore
per n grande. Si sa infatti che la catena `e ergodica e quindi, per n grande,

n
, la densit`a al tempo n di X
n
, approssima v.
La matrice P non `e unica ma se ne pu`o costruire una per ogni ma-
trice stocastica Q irriducibile e simmetrica di dimensione pari allo spazio S.
Fissata Q il generico elemento p
ij
di P `e per i = j
p
ij
=
_
q
ij
se v
i
v
j
q
ij
v
j
v
i
se v
i
> v
j
;
e naturalmente
p
ii
= 1

j=i
p
ij
.
Per simulare una catena di Markov con la matrice di transizione P deni-
ta nellalgoritmo di Metropolis `e utile la seguente osservazione, che suggerisce
74
come costruire la catena al passo n +1 sapendo che al passo n si trova in i.
Si assuma che siano k i possibili stati della catena. Sia Y una variabile di
densit`a (q
i1
q
i2
. . . , q
ik
) e sia U una variabile denita sullo stesso spazio di
probabilit`a, uniforme in [0, 1] e indipendente da Y . Allora la variabile
X = Y I
[0,
v
Y
v
i
)
(U) + i I
[
v
Y
v
i
,1]
(U)
`e tale che qualsiasi sia j
P(X = j) = p
ij
ovvero ha densit`a (p
i1
p
i2
. . . , p
ik
). Infatti qualsiasi sia j = i
P(X = j) = P
_
Y = j, U <
v
Y
v
i
_
= P
_
Y = j, U <
v
j
v
i
_
= P(Y = j)P
_
U <
v
j
v
i
_
= q
ij
P
_
U <
v
j
v
i
_
.
Ricordando che per denizione di legge uniforme
P
_
U <
v
j
v
i
_
=
_
1 se v
i
v
j
v
j
v
i
se v
i
> v
j
,
si ottiene il risultato. Cos`, se j = i, P(X = i) = 1

j=i
p
ij
= p
ii
. Dunque
la procedura per simulare il valore al passo (n+1)-mo della catena se al
passo n-mo si trova in i, `e la seguente: si genera una variabile di densit`a
(q
i1
q
i2
. . . , q
ik
); se si ottiene i si lascia la catena in i; se si ottiene un valore
j diverso da i con v
j
v
i
si sposta la catena in j; se invece il valore j `e tale
che v
j
< v
i
, si simula una uniforme in [0, 1] e se questa `e pi` u piccola di
v
j
v
i
si
sposta la catena in j, altrimenti la si lascia in i.
Esercizio 19
Sia (X
n
)
n
una catena di Markov su S = {1, 2, 3, 4} con matrice di transizione
_
_
_
_
1
2
0
1
2
0
1
3
0 0
2
3
1 0 0 0
0 0 0 1
_
_
_
_
.
i) Determinare il carattere degli stati della catena.
ii) Calcolare le eventuali misure invarianti.
iii) Calcolare lim
n

n
(i) , i S nel caso
0
(1) +
0
(3) = 1.
75
Soluzione
i) Lo spazio degli stati S = {1, 2, 3, 4} si decompone nellunione disgiunta
della classe transiente T = {2} e delle due classi irriducibili persistenti
positive C
1
= {1, 3} e C
1
= {4}; dunque 2 `e lunico stato transiente e 4
`e stato assorbente.
ii) Le misure invarianti sono tutte e sole le combinazioni convesse delle
misure invarianti v
(1)
e v
(2)
per la dinamica ristretta rispettivamente a C
1
e
C
2
, ovvero sono tutte e solo quelle della forma v
(1)
+(1)v
(2)
con [0, 1].
Inoltre v
(1)
= (x
1
, 0, x
3
, 0) dove
_
x
1
=
1
2
x
1
+x
3
x
3
=
1
2
x
1
,
da cui v
(1)
= (
2
3
, 0,
1
3
, 0). Inne facilmente si ricava v
(2)
= (0, 0, 0, 1).
iii) Se
0
(1) +
0
(3) = 1, poiche {1, 3} `e classe chiusa, qualsiasi sia n vale

n
(2) = 0,
n
(4) = 0 e pertanto lim
n

n
(2) = lim
n

n
(4) = 0. Per
calcolare lim
n

n
(1) e lim
n

n
(3), osserviamo che la catena ristretta
a C
1
= {1, 3} ha matrice di transizione regolare e quindi `e ergodica; dunque,
qualsiasi sia la densit`a iniziale
0
che soddisfa
0
(1) +
0
(3) = 1, le densit`a
al crescere di n convergono a v
(1)
1
, v
(1)
3
, quindi
lim
n

n
(1) =
2
3
lim
n

n
(3) =
1
3
.
Esercizio 20
Si consideri una catena di Markov su N avente matrice di transizione data
p
i i+1
= p e p
i 0
= 1 p dove 0 < p < 1. Determinare lunica misura invari-
ante della catena. Si tratta di una misura di probabilit`a nota? Determinare
il periodo della catena. La catena `e ergodica?
Soluzione
La matrice di transizione della catena `e
P =
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
1 p p 0 0 0 . . . 0 0 0 0 . . .
1 p 0 p 0 0 . . . 0 0 0 0 . . .
1 p 0 0 p 0 . . . 0 0 0 0 . . .
. . . . . .
. . . . . .
. . . . . .
. . . . . .
. . . . . .
. . . . . .
. . . . . .
1 p . . . 0 0 p 0 . . .
. . . . . .
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
76
e quindi la misura invariante risolve il sistema
_

_
x
0
=

iN
(1 p)x
i
x
i
= px
i1
, i 1

iN
x
i
= 1
x
i
0.
Si ricava x
0
= (1 p)

iN
x
i
= 1 p e x
i
= px
i1
= p
2
x
i2
= . . . = p
i
x
0
=
p
i
(1p), i 1. Dunque lunica misura invariante `e v
i
= p
i
(1p), i 0 e si
tratta della densit`a di una geometrica trasformata di parametro 1 p, cio`e
la densit`a del numero di fallimenti prima del primo successo in uno schema
di Bernoulli innito di parametro 1 p.
La catena che `e irriducibile `e aperiodica come si deduce dal fatto che p
00
> 0.
Dallunicit`a della misura invariante segue che esiste ununica classe persis-
tente positiva che per lirriducibilit`a `e tutto lo spazio di stato; si sa che una
catena irriducibile persistente positiva e aperiodica `e ergodica.
Un altro procedimento consiste nel dimostrare direttamente che qualsiasi sia
i
lim
n
p
(n)
ij
= p
j
(1 p).
e questo segue subito dopo aver calcolato che per qualsiasi siano i, j, per
ogni n j + 1 vale
p
(n)
ij
= p
j
(1 p)
nj1

h=0
_
n j 1
h
_
p
h
(1 p)
nj1h
= p
j
(1 p).
Infatti per arrivare a j in n j +1 passi occorre naturalmente passare per 0
se i j e lo stesso vale se i < j, poiche dallipotesi n j +1 segue n > j i.
Dunque: inizialmente n j 1 passi qualsiasi (per n = j + 1 nessuno), un
passo per andare a 0 e i successivi ed ultimi j passi per arrivare in j.
1.42 Schema di dimostrazione
del teorema di esistenza della misura invariante
per catene irriducibili persistenti positive
Si ricorda che v `e invariante se e solo se si ha qualsiasi sia j e qualsiasi sia k
v
j
=

iS
v
i
p
(k)
ij
.
77
Dunque v invariante implica che per ogni n
v
j
=
1
n
n

k=1

iS
v
i
p
(k)
ij
=

iS
_
1
n
n

k=1
p
(k)
ij
_
v
i
e usando luguaglianza E
i
[N
n
(j)] =

n
k=1
p
(k)
ij
(vedi paragra 18 e 19) si
ottiene
v
j
=

iS
E
i
[N
n
(j)]
n
v
i
=

iS
E
i
_
N
n
(j)
n
_
v
i
.
Si osserva che la variabile aleatoria
N
n
(j)
n
=
1
n

n
k=1
I
{j}
(X
k
) rappresenta la
frequenza relativa di visita allo stato j su n tempi. Passando al limite in n
nelluguaglianza precedente si ottiene
v
j
=

iS
lim
n
E
i
_
N
n
(j)
n
_
v
i
,
dove il passaggio al limite sotto il segno di serie, ovvio nel caso S nito,
`e lecito in generale. Si ottiene lesistenza e la forma dellunica misura in-
variante per catene persistenti posistive usando il fatto che per le catene
irriducibili persistenti, qualsiasi sia i vale
lim
n
E
i
_
N
n
(j)
n
_
=
_
1
E
j
[
j
]
, se E
j
[
j
] < +
0, altrimenti
(vedi per unidea della dimostrazione il paragrafo successivo e per una di-
mostrazione completa [3]).
1.43 Approssimazione della misura invariante
con la distribuzione empirica
Nel paragrafo precedente si identica la misura invariante utilizzando il
valore del lim
n
E
i
_
N
n
(j)
n
_
. Questo valore si pu`o derivare dal risultato
seguente: se (X
n
)
n
`e catena irriducibile persistente allora qualsiasi sia j con
probabilit`a 1, ovvero a meno di un insieme trascurabile di traiettorie,
lim
n
N
n
(j)
n
=
_
1
E
j
[
j
]
, se E
j
[
j
] < +
0, altrimenti.
78
`
E intuitivo: il rapporto tra n e il numero dei passaggi per j no al tempo n
`e vicino, quando n `e grande, alla durata media degli intertempi tra un pas-
saggio e laltro per j. Questo fatto ha la conseguenza applicativa seguente:
non potendo calcolare facilmente la misura invariante (p.es. perche `e grande
il numero degli stati), nel caso persistente positivo, se ne pu`o approssimare
il valore in uno stato j con il valore aleatorio, per n grande, della frequenza
relativa delle visite a j su n tempi, ovvero con la distribuzione empirica nello
stato j. Inoltre controllando se il valore di frequenza relativa dei passaggi
per un qualsiasi stato ssato si avvicina a 0 per n grande, si pu`o dedurre la
persistenza nulla della catena.
Viceversa la frequenza di visita ad uno stato ssato si pu`o approssimare a
regime con il valore della misura invariante nello stato.
Si d`a unidea qui della dimostrazione dellenunciato nel caso in cui la
catena parta da j: secondo le notazioni gi`a introdotte, si dimostra che le-
nunciato vale con probabilit`a 1 quando la densit`a iniziale `e la delta di Dirac
in j.
A tale scopo si utilizza la legge forte dei grandi numeri nella formulazione
seguente:
Legge forte dei grandi numeri
Siano X
1
, X
2
, . . . , X
k
, . . . variabili aleatorie denite sullo stesso spazio di
probabilit`a i.i.d. e di valore medio nito m. Allora con probabilit`a 1
lim
k
X
1
+X
2
+. . . +X
k
k
= m
Se X
k
0 qualsiasi sia k e E[X
k
] = +, allora con probabilit`a 1
lim
k
X
1
+X
2
+. . . +X
k
k
= +
Si utilizza il risultato precedente applicato alle variabili seguenti:

1
j
,
2
j
,
k
j
, . . .
denite da

k
j
= T
k
j
T
k1
j
, k 1
dove
T
0
j
= 0, T
k
j
= min{n 1 t.c. N
n
(j) = k}, k 1
e quindi
k
j
`e il tempo che intercorre tra la k 1-ma e la kma visita a j e
in particolare
1
j
= T
1
j
=
j
. Si osservi che per lipotesi di persistenza T
k
j
`e
nito con probabilit`a 1.
Le variabili aleatorie
k
j
sono indipendenti e tutte con la stessa legge di
j
e
dunque per la legge dei grandi numeri con probabilit`a 1
lim
k

1
j
+
2
j
+. . . +
k
j
k
=
_
E
j
[
j
], se E
j
[
j
] < +
+, altrimenti.
79
Allora, poiche

1
j
+
2
j
+. . . +
k
j
k
=
T
1
j
+ (T
2
j
T
1
j
) +. . . + (T
k
j
T
k1
j
)
k
=
T
k
j
k
,
con probabilit`a 1 vale
lim
k
T
k
j
k
=
_
E
j
[
j
], se E
j
[
j
] < +
+, altrimenti
Inoltre `e chiaro che
T
N
n
(j)
j
n < T
N
n
(j)+1
j
,
poiche la scrittura T
N
n
(j)
j
indica la variabile tempo dellultima visita a j
prima del tempo n (n incluso), e quindi qualsiasi sia n
j
(altrimenti
N
n
(j) = 0)
T
N
n
(j)
j
N
n
(j)

n
N
n
(j)
<
T
N
n
(j)+1
j
N
n
(j)
.
Essendo j persistente con probabilit`a 1
lim
n
N
n
(j) = +
e quindi si pu`o dedurre da quanto sopra che con probabilit`a 1
lim
n
T
N
n
(j)
j
N
n
(j)
= lim
n
T
N
n
(j)+1
j
N
n
(j)
=
_
E
j
[
j
], se E
j
[
j
] < +
+, altrimenti.
Il teorema del confronto per le successioni di variabili reali conclude la
dimostrazione.
1.44 Esercizi di riepilogo
1. Sono date due urne e 2d biglie di cui d nere e d bianche. Inizialmente
d biglie scelte a caso sono collocate nellurna 1 e le restanti d biglie
sono collocate nellurna 2. Ad ogni istante una biglia `e scelta a caso
da ciascuna delle due urne ed `e spostata nellaltra urna. Sia X
0
il
numero iniziale delle biglie nere nellurna 1 e X
n
il numero delle biglie
nere nellurna 1 al tempo n. Trovare le probabilit`a di transizione della
catena di Markov (X
n
)
n0
.
2. Sia
P =
_
_
_
_
_
_
_
_
1 0 0 0 0 0
1
4
1
2
1
4
0 0 0
0
1
5
2
5
1
5
0
1
5
0 0 0
1
6
1
3
1
2
0 0 0
1
2
0
1
2
0 0 0
1
4
0
3
4
_
_
_
_
_
_
_
_
.
80
matrice di transizione su S = {1, 2, 3, 4, 5, 6}.
i) Determinare il carattere degli stati.
ii) Dimostrare che muovendosi dallo stato 4 con la dinamica descritta
da P la probabilit`a di raggiungere lo stato 6 in un tempo nito `e
almeno
3
4
.
iii) Calcolare la probabilit`a di raggiungere lo stato 1 partendo dallo
stato 2 in un tempo nito,
21
, e dare uninterpretazione proba-
bilistica del numero 1
21
.
iv) Calcolare le eventuali misure invarianti della catena.
v) Determinare la media del tempo di ritorno nello stato 4.
vi) Per la catena con matrice di transizione P e densit`a iniziale uni-
forme su {4, 5, 6}, calcolare la probabilit`a degli eventi A = {X
2
=
4}, B = {X
2
= 4, X
3
= 5} e C = {X
100
= 4, X
101
= 2}. In che
modo si potrebbe procedere per calcolare in modo approssima-
to la probabilit`a dellevento D = {X
50
= 5}? E quanto vale la
probabilit`a dellevento E = {X
50
= 2}?
3. Calcola la probabilit`a di raggiungere in un tempo nito lo stato 3 par-
tendo dallo stato 1, per la catena con spazio degli stati S = {1, 2, 3, 4}
e con matrice di transizione
P =
_
_
_
_
0
1
2
1
2
0
1
2
0
1
4
1
4
0 0 1 0
0 0 0 1
_
_
_
_
.
E se la densit`a iniziale fosse quella uniforme?
4. Un uomo possiede 2 ombrelli e ne prende uno al mattino per andare
in ucio e a sera quando torna, naturalmente se piove e se ce n`e
uno disponibile. Assumi che ogni volta la probabilit`a che piova sia
p. Indica con (X
n
)
n1
la catena di Markov che conta gli ombrelli
disponibili prima delln-mo tragitto (senza distinguere tra tragitti di
andata e ritorno).
i) Scrivi la matrice di transizione della catena e determina il carat-
tere degli stati.
ii) Con che probabilit`a luomo non ha ombrelli disponibili prima del
secondo, del terzo e del quarto tragitto se si assume che prima
del primo tragitto li abbia entrambi disponibili (la legge iniziale,
ovvero la legge di X
1
, `e la delta di Dirac in 2)?
81
iii) Dopo quanto tempo in media, se si assume che prima del primo
tragitto abbia entrambi gli ombrelli disponibili, luomo non ha
ombrelli disponibili?
iv) Calcola le eventuali misure invarianti. Cosa puoi dire sul com-
portamento di p
(n)
ij
per n grande?
v) Come approssimeresti la probabilit`a con cui luomo si bagna al
96-mo tragitto?
5. Unapparecchiatura di et`a j 0 allinizio della giornata si guasta
durante la giornata con probabilit`a p
j
e in tal caso `e sostituita da
unapparecchiatura identica ma nuova, che entra in funzione allinizio
della giornata successiva. Lapparecchiatura `e sostituita anche quando
`e troppo vecchia e si conviene che questo corrisponda allet`a N (per et`a
di unapparecchiatura si intende qui il numero delle giornate intere (24
ore) in cui lapparecchiatura ha funzionato). Per n 0, si indica con
X
n
la v.a. che conta let`a dellapparecchiatura funzionante allinizio
della n + 1-ma giornata.
i) Scrivi la matrice di transizione della catena di Markov (X
n
)
n0
e determina il carattere degli stati.
ii) Se al tempo n = 0 lapparecchiatura `e nuova, con che probabilit`a
`e nuova al tempo n = 2?
iii) Calcola, nell ipotesi del punto precedente, con che probabilit`a
lapparecchiatura installata inizialmente viene utilizzata al mas-
simo, ovvero sostituita per vecchiaia e non per guasto.
iv) Calcola le eventuali misure invarianti. Cosa puoi dire sul com-
portamento di p
(n)
ij
per n grande?
v) Ogni quanto tempo in media avviene una sostituzione?
6.
`
E assegnata la catena (X
n
)
n0
con matrice di transizione
P =
_
_
_
_
0
1
2
0
1
2
1
2
0
1
2
0
0 1 0 0
0 0 1 0
_
_
_
_
e misura iniziale
0
(1) = 1.
i) Studiare il comportamento della legge di X
n
per n grande.
ii) Calcolare in modo approssimato
P(X
82
= 3, X
81
= 4) e P(X
60
= 1, X
58
= 3).
82
Soluzioni
1. Si vuole calcolare P(X
n+1
= j | X
n
= i) per n 0, i, j S =
{0, 1, . . . , d}. Indicati con E e F rispettivamente gli eventi {la biglia
scelta a caso dallurna 1 `e nera} e {la biglia scelta a caso dallurna 2 `e
nera}, gli eventi E e F sono indipendenti condizionatamente al sapere
il numero delle biglie nere nellurna 1. Inoltre se nellurna 1 ci sono i
biglie la probabilit`a di E `e
i
d
e quella di F `e
di
d
. Si calcola
P(X
n+1
= i + 1 | X
n
= i) =
P(E
c
F | X
n
= i) = P(E
c
| X
n
= i)P(F | X
n
= i) =
_
d i
d
_
2
P(X
n+1
= i 1 | X
n
= i) =
P(E F
c
| X
n
= i) = P(E | X
n
= i)P(F
c
| X
n
= i) =
_
i
d
_
2
.
Poiche se j = i 1, i, i + 1 si ha P(X
n+1
= j | X
n
= i) = 0, segue
P(X
n+1
= i | X
n
= i) = 1
(d i)
2
d
2

(i)
2
d
2
=
2i(d i)
d
2
.
Dunque si tratta di catena omogenea, catena di nascita e morte con
p
i
=
(di)
2
d
2
, r
i
=
2i(di)
d
2
e q
i
=
i
2
d
2
. Si osservi che in particolare p
0
= 1
e q
d
= 1, ovvero le barriere sono riettenti.
2. i) 1 `e stato assorbente, poiche comunica solo con se stesso; 2 e 3 sono
transienti, infatti p.es. 2 1 ma 2 1 e 3 6 ma 6 3; {4,5,6}
costituiscono una classe irriducibile nita e dunque costituita da stati
persistenti positivi.
ii) Si tratta di dimostrare la disuguaglianza
46

3
4
. Per denizione

46
P
4
(X
1
= 6) + P
4
(X
1
= 6, X
2
= 6)
e, poiche P
4
(X
1
= 6, X
2
= 6) = P
4
(X
1
= 4, X
2
= 6) + P
4
(X
1
=
5, X
2
= 6), segue

46
p
46
+p
44
p
46
+p
45
p
56
=
1
2
+
1
6
1
2
+
1
3
1
2
=
3
4
.
iii) Poiche 1 `e stato assorbente,
21
coincide con la probabilit`a di
assorbimento
{1}
2
nella classe {1} partendo dallo stato 2. Occorre
dunque risolvere il sistema
x
1
=
1
4
+
1
2
x
1
+
1
4
x
2
x
1
=
1
5
x
1
+
2
5
x
2
.
83
Facilmente si calcola x
1
=
{1}
2
=
3
5
e x
2
=
{1}
3
=
1
5
.
Indicata con C la classe di tutti gli stati persistenti, poiche gli stati
transienti sono in numero nito, si ha
1 = P(
C
< +) =
{1}
2
+
{4,5,6}
2
e quindi
1
21
= 1
{1}
2
=
{4,5,6}
2
,
ovvero a parole 1
21
`e la probabilit`a di assorbimento nella classe
{4, 5, 6} partendo da 2.
iv) La catena `e nita e quindi le misure invarianti sono tutte e sole le
combinazioni convesse delle misure invarianti sulle classi irriducibili.
Dunque una qualsiasi misura invariante `e della forma v = v
(1)
+
(1 )v
(2)
con [0, 1], dove v
(1)
= (1 0 0 0 0 0) e v
(2)
si calcola
risolvendo il sistema
_

_
x
1
+x
2
+x
3
+x
4
+x
5
+x
6
= 1
x
i
= 0, i = 2, 3
x
4
=
1
6
x
4
+
1
2
x
5
+
1
4
x
6
x
5
=
1
3
x
4
x
6
=
1
2
x
4
+
1
2
x
5
+
3
4
x
6
x
i
0.
Si ottiene v
(2)
=
_
0 0 0
1
4
1
12
2
3
_
.
v) Poiche 4 `e nella classe irriducibile {4, 5, 6} possiamo considerare la
dinamica ristretta a questa classe (la classe `e chiusa!).
`
E noto che per
una catena persistente positiva la media del tempo di primo ritorno
in uno stato `e il reciproco del valore della misura invariante nello sta-
to. La catena ristretta a {4, 5, 6} `e persistente positiva (in quanto
irriducibile e nita) e la sua misura invariante `e (v
(2)
4
v
(2)
5
v
(2)
6
) =
_
1
4
1
12
2
3
_
e quindi E
4
[
4
] = 4.
vi)
P(A) =
2
(4) =

iS

0
(i)p
(2)
i4
=
1
3
(p
(2)
44
+p
(2)
54
+p
(2)
64
).
Per calcolare le probabilit`a di transizione in pi` u passi occorre calco-
lare le potenze della matrice P. Per rendere pi` u agevole il conto si
osservi che le probabilit`a di transizione in n passi allinterno della
classe irriducibile {4, 5, 6}, coincidono con gli elementi della potenza
n-ma della sottomatrice ottenuta cancellando prima, seconda e terza
84
riga e colonna della matrice P, ovvero della matrice
_
_
1
6
1
3
1
2
1
2
0
1
2
1
4
0
3
4
_
_
.
Si ottiene p
(2)
44
=
23
72
, p
(2)
54
=
5
24
, p
(2)
64
=
11
48
, da cui P(A) =
109
432
.
Inoltre si ha P(B) = p
45
P(A) =
1
3
P(A) =
109
1296
e inne P(C) =

100
(4)p
42
= 0 poiche, essendo la classe {4, 5, 6} chiusa, si ha p
42
= 0.
La probabilit`a dellevento {X
50
= 5} si pu`o approssimare con il val-
ore in 5 della misura invariante della dinamica ristretta alla classe
{4, 5, 6}, cio`e
1
12
; infatti la dinamica ristretta alla classe {4, 5, 6} `e
ergodica poich`e la sua matrice di transizione
_
_
1
6
1
3
1
2
1
2
0
1
2
1
4
0
3
4
_
_
.
`e regolare essendo vericato il criterio suciente (almeno un elemento
sulla diagonale positivo). Si noti invece che la probabilit`a dellevento
{X
50
= 2} `e esattamente 0 in quanto coincide con

iS

0
(i) p
(50)
i2
=
1
3
(p
(50)
42
p
(50)
52
p
(50)
62
) e per denizione di classe chiusa p
(50)
i2
= 0, i = 4, 5, 6.
3. Gli stati 3 e 4 sono assorbenti, mentre gli stati 1 e 2 sono transienti
poiche p.es. entrambi comunicano con 3 ma 3 non comunica con essi.
Si tratta dunque di calcolare la probabilit`a di assorbimento in {3}
partendo da 1, cio`e il valore
{3}
1
che risolve insieme a
{3}
2
(probabilit`a
di assorbimento in {3} partendo da 2) il sistema
_

{3}
1
=
1
2
+
1
2

{3}
2

{3}
2
=
1
4
+
1
2

{3}
1
.
Si trova
{3}
1
=
5
6
,
{3}
2
=
2
3
.
Se la densit`a iniziale fosse uniforme, poiche vale luguaglianza
P(
3
< +) =

0
(i)
i3
,
tenendo conto del risultato precedente e del fatto che essendo 3, 4 as-
sorbenti le probabilit`a di raggiungere 3 in tempo nito partendo da 3
e da 4 sono rispettivamente 1 e 0, si ha che la probabilit`a richiesta `e
1
4
_
5
6
+
2
3
+ 1
_
=
5
8
.
85
4. i) La matrice di transizione `e
P =
_
_
0 0 1
0 q p
q p 0
_
_
,
con q = 1 p. Tutti gli stati sono comunicanti e quindi, poiche lo
spazio degli stati `e nito, persistenti positivi.
ii) Si assume che
1
(2) = 1 e quindi
1
(1) =
1
(0) = 0. Allora `e
evidente che la probabilit`a dellevento
{0 ombrelli disponibili prima del secondo tragitto}
`e q e infatti in formule

2
(0) =

1
(i)p
i0
= p
20
= q.
Analogamente per calcolare P(0 ombrelli disponibili prima del terzo tragitto)
si procede cos`

3
(0) =

1
(i)p
(2)
i0
= p
(2)
20
=

i
p
2i
p
i0
= 0.
E inne per calcolare P(0 ombrelli disponibili prima del quarto tragitto)

4
(0) =

1
(i)p
(3)
i0
= p
(3)
20
=

i
p
2i
p
(2)
i0
=

i
p
2i

j
p
ij
p
j0
= q

j
p
0j
p
j0
+p

j
p
1j
p
j0
= q
2
+p
2
q.
iii) Rispondere a questo punto equivale a rispondere alla domanda:
qual `e il tempo medio di assorbimento in 0 partendo da 2 per la catena
corrispondente alla matrice di transizione
_
_
1 0 0
0 q p
q p 0
_
_
,
ovvero per la dinamica modicata rendendo assorbente lo stato 0 e
quindi la classe {0} coincidente con la classe di tutti gli stati persistenti
(in tal caso infatti 1 e 2 comunicano con 0 ma 0 non comunica con essi
e quindi sono transienti). La risposta `e quindi x
2
dove x
1
, x
2
risolvono
il sistema dei tempi medi di assorbimento
_
x
1
= 1 +px
2
+qx
1
x
2
= 1 +px
1
,
86
che risolto d`a x
1
=
1+p
pp
2
e x
2
=
2p
pp
2
.
iv) Poiche la catena `e persistente positiva esiste ununica misura in-
variante che si ottiene risolvendo il sistema
_

_
v
0
= qv
1
v
1
= qv
1
+pv
2
v
2
= v
0
+pv
1
v
0
+v
1
+v
2
= 1
che risolto d`a v
0
=
1p
3p
e v
1
= v
2
=
1
3p
. La catena soddisfa il criterio
suciente per la regolarit`a (essere irriducibile e avere un elemento non
nullo sulla diagonale di P) e quindi `e ergodica e dunque lim
n
p
(n)
ij
=
v
j
indipendentemente da i.
v) P(si bagna al 96 mo tragitto) = P
_
{piove al 96 mo tragitto}
{X
96
= 0}
_
= pP(X
96
= 0) e questo per lindipendenza tra gli eventi.
Inoltre per lergodicit`a si approssima P(X
96
= 0) con v
0
=
1p
3p
.
5. i) Lo spazio degli stati `e S = {0, 1, . . . , N} e la matrice di transizione
`e
P =
_
_
_
_
_
_
_
_
p
0
q
0
0 0 0 . . . 0 0
p
1
0 q
1
0 0 . . . 0 0
p
2
0 0 q
2
0 . . . 0 0
. . .
p
N1
0 0 0 0 . . . 0 q
N1
1 0 0 0 0 . . . 0 0
_
_
_
_
_
_
_
_
,
con q
j
= 1 p
j
. Tutti gli stati sono comunicanti e quindi, poiche lo
spazio degli stati `e nito, persistenti positivi.
ii) Si assume che
0
(0) = 1 e quindi
0
(1) = . . . =
0
(N) = 0 e dunque
si calcola

2
(0) =

0
(i)p
(2)
i0
= p
(2)
00
=

i
p
0i
p
i0
= p
2
0
+p
1
q
0
.
iii) Indicati con
0
e
N
i tempi di primo raggiungimento degli stati
0 e N, rispondere a questo punto equivale a calcolare P
0
(
N
<
0
) e
poiche
P
0
(
N
<
0
) = P
0
(
N
<
0
, X
1
= 1)
e lultimo membro coincide con
P
0
(
N
<
0
| X
1
= 1)P
0
(X
1
= 1) = P
1
(
N
<
0
)q
0
,
87
occorre calcolare P
1
(
N
<
0
). Lultima probabilit`a coincide con la
probabilit`a di assorbimento in N partendo da 1 per la catena cor-
rispondente alla matrice di transizione
P =
_
_
_
_
_
_
_
_
1 0 0 0 0 . . . 0 0
p
1
0 q
1
0 0 . . . 0 0
p
2
0 0 q
2
0 . . . 0 0
. . .
p
N1
0 0 0 0 . . . 0 q
N1
0 0 0 0 0 . . . 0 1
_
_
_
_
_
_
_
_
,
ovvero per la dinamica modicata rendendo assorbenti gli stati 0 e
N. La risposta `e quindi x
1
dove x
1
, x
2
. . . , x
N1
risolvono il seguente
sistema delle probabilit`a di assorbimento in N
_

_
x
1
= q
1
x
2
x
2
= q
2
x
3
. . .
x
N1
= q
N1
.
Risolvendo si ottiene x
j
= q
j
q
j+1
. . . q
N1
e in particolare x
1
= q
1
q
2
. . . q
N1
.
iv) Poiche la catena `e persistente positiva esiste ununica misura in-
variante che si ottiene risolvendo il sistema
_

_
v
0
= p
0
v
0
+p
1
v
1
+. . . p
N1
v
N1
+v
N
v
1
= q
0
v
0
v
2
= q
1
v
1
. . .
v
N
= q
N1
v
N1
v
0
+v
1
+v
2
+. . . +v
N
= 1
.
A ritroso dalla penultima equazione si ricava v
j
=
v
N
q
0
q
1
q
2
...q
j1
, per
j = 0, . . . , N 1 e sostituendo questi valori nellultima equazione si
calcola v
N
=
q
0
q
1
q
2
...q
N1
1+q
0
+q
0
q
1
+...+q
0
q
1
q
2
...q
N1
. Inne sostituendo il valore
ottenuto per v
N
nellespressione del generico v
j
si trova
v
j
=
q
0
q
1
q
2
. . . q
j1
1 +q
0
+q
0
q
1
+. . . +q
0
q
1
q
2
. . . q
N1
, j = 1, . . . , N,
v
0
=
1
1 +q
0
+q
0
q
1
+. . . +q
0
q
1
q
2
. . . q
N1
.
La catena soddisfa il criterio suciente per la regolarit`a (essere ir-
riducibile e avere un elemento non nullo sulla diagonale di P) e quindi
`e ergodica e dunque lim
n
p
(n)
ij
= v
j
indipendentemente da i.
88
v) Occorre calcolare il tempo medio di ritorno nello stato 0 che in
formule `e E
0
[
0
]. Si sa che nelle catene persistenti positive questo
valore coincide con v
1
0
e dunque in questo caso con 1 + q
0
+ q
0
q
1
+
. . . +q
0
q
1
q
2
. . . q
N1
.
6. La catena `e irriducibile e quindi il periodo `e lo stesso per ogni stato
ed `e facile vericare che `e 2. Inoltre per
0
tale che
0
(1) = 1 si ha
qualsiasi sia n 0

2n+1
(1) =
2n+1
(3) = 0
2n+2
(2) =
2n+2
(4) = 0.
i) Si ha

2n+1
(2) =
1
2

2n
(1) +
2n
(3) =
1
2

2n
(1) +
_
1
2n
(1)
_
= 1
1
2

2n
(1)
e, essendo
2n
(1) =
1
2

2n1
(2) qualsiasi sia n 1, si ottiene qualsiasi
sia n 1

2n+1
(2) = 1
1
4

2n1
(2).
Dunque i valori della densit`a in i = 2 sui tempi dispari costituiscono
una successione per ricorrenza della forma
_
a
m+1
= 1
1
4
a
m
a
1
=
1
2
Pertanto il limite, se esiste, risolve L = 1
1
4
L e non pu`o che essere
quindi L =
4
5
. Si pu`o inoltre vericare che a
m
per m dispari `e mono-
tona crescente e per m pari `e monotona decrescente e che entrambe
le sottosuccessioni convergono a L =
4
5
. Cos` resta dimostrato che
lim
n

2n+1
(2) =
4
5
e di conseguenza lim
n

2n+1
(4) =
1
5
.
Inoltre poich`e
2n
(1) =
1
2

2n1
(2) si ricava lim
n

2n
(1) =
2
5
e di
conseguenza lim
n

2n
(3) =
3
5
.
In denitiva la densit`a di X
n
quando n `e grande `e approssimata se n
`e dispari da (0
4
5
0
1
5
) e se n `e pari da (
2
5
0
3
5
0). Si pu`o vericare che
(
4
5
1
5
) e (
2
5
3
5
) sono le misure invarianti per la dinamica in due passi
ristretta rispettivamente a {2, 4} e {1, 3}. Infatti la dinamica in due
passi e multipli di due passi su {2, 4} `e data dalla matrice
_
3
4
1
4
1 0
_
e il sistema soddisfatto dalla misura invariante `e
_

_
x
1
=
3
4
x
1
+x
2
x
2
=
1
4
x
1
x
1
+x
2
= 1 ;
89
mentre la dinamica in due passi e multipli di due passi su {1, 3} `e data
dalla matrice
_
1
4
3
4
1
2
1
2
_
e il sistema soddisfatto dalla misura invariante `e
_

_
x
1
=
1
4
x
1
+
1
2
x
2
x
2
=
3
4
x
1
+
1
2
x
2
x
1
+x
2
= 1 .
ii)
P(X
82
= 3, X
81
= 4) =
81
(4)p
43

1
5
1 =
1
5
P(X
60
= 1, X
58
= 3) =
58
(3)p
(
31
2)
3
5

1
2
=
3
10
.
2 Processo di Poisson
2.1 Denizione
Tra i processi stocastici a tempo continuo a valori in N, ovvero nellinsieme
delle famiglie di v.a. denite su di uno stesso spazio di probabilit`a, a valori in
N ed indicizzate da un parametro reale continuo non negativo, interpretato
come il tempo, si chiamano processi di conteggio quelli che hanno traiettorie
uscenti dallo 0, non decrescenti, costanti a tratti e con salti di ampiezza
unitaria.
Sia (X
k
, k 1) una famiglia di v.a. indipendenti (dunque in particolare
denite sullo stesso spazio di probabilit`a) di legge esponenziale di parametro
. Posto
S
0
:= 0 S
n
:=
n

k=1
X
k
, n 1
si costruisce il processo di Poisson (N(t))
t0
mediante luguaglianza
N(t) := max(n 0, S
n
t).
Si deve osservare che dalla denizione segue che N(0) = 0 e che ogni traiet-
toria del processo `e costante a tratti, non decrescente, continua da destra ed
ha salti unitari. Dunque il processo di Poisson `e processo di conteggio. Se
si immagina che la v.a.X
k
sia il tempo aleatorio che intercorre tra il k-mo
ed il k + 1-mo evento di un determinato usso di eventi, allora S
n
rappre-
senta il tempo aleatorio in cui si verica lnmo evento e la v.a.N(t) conta
il numero degli eventi occorsi no al tempo t incluso. Dunque la v.a. N(t)
pu`o assumere ogni valore naturale e se ne determina facilmente la densit`a
90
di probabilit`a a partire dallassunzione sulla legge degli intertempi di salto.
Fissato k N, per calcolare P(N(t) = k) il punto di partenza sono le due
semplici uguaglianze tra eventi
(N(t) = k) = (N(t) k)\(N(t) k + 1)
e
(N(t) k) = (S
k
t).
Infatti insieme forniscono la terza uguaglianza
(N(t) = k) = (S
k
t)\(S
k+1
t)
ovvero, passando alle probabilit`a, luguaglianza
P(N(t) = k) = P(S
k
t) P(S
k+1
t).
Lultima uguaglianza riduce il calcolo della densit`a di N(t) alla conoscenza
della funzione di ripartizione dei tempi S
n
, n 1. A questo proposito
occorre ricordare i due fatti seguenti noti dai corsi di probabilit`a elementare.
In primo luogo, se X
1
, X
2
, . . . , X
m
sono v.a. indipendenti rispettivamente
di legge (
1
, ), (
2
, ), . . . , (
m
, ), allora
X
1
+X
2
+. . . +X
m
(
1
+
2
+. . . +
m
, ).
Da cui ricordando che la legge esponenziale di parametro `e la legge gamma
di parametri (1, ) e che le leggi gamma con il primo parametro intero pren-
dono il nome di Erlang (cos` (m, ) si chiama anche Erlang di parametri
(m, ) e si scrive Erl(m, )), segue che se X
1
, X
2
, . . . , X
m
sono v.a. i.i.d. di
legge esp(), allora
X
1
+X
2
+. . . +X
m
Erl(m, ).
Inoltre, la funzione di ripartizione di una v.a.Z Erl(m, ) si calcola con
procedura ricorsiva integrando per parti la funzione densit`a corrispondente,
x

m
(m1)!
x
m1
e
x
no ad ottenere
P(Z t) = 1
m1

i=0
(t)
i
i!
e
t
.
Da quanto detto segue che la legge di S
n
, tempo di occorrenza dellnmo
evento di un processo di Poisson di parametro , `e una Erlang di parametri
(n, ) e in particolare
P(S
n
t) = 1
n1

i=0
(t)
i
i!
e
t
.
91
Pertanto, andando a sostituire le corrispondenti espressioni nella formula
per il calcolo della densit`a di N(t), si trova
P(N(t) = k) = 1
k1

i=0
(t)
i
i!
e
t
1 +
k

i=0
(t)
i
i!
e
t
=
(t)
k
k!
e
t
.
In conclusione si `e ottenuto che il processo di Poisson al tempo t ha legge di
Poisson di parametro t, ovvero, ssato t, vale N(t) Poiss(t). Cos`, ricor-
dando il signicato del parametro della legge esponenziale e del parametro
della legge Poisson, si vede che il parametro del processo di Poisson `e al
tempo stesso il reciproco del tempo medio di attesa tra un evento e laltro
e il numero medio degli eventi che si vericano nellintervallo di tempo uni-
tario. Dunque per esempio se cresce allora diminuisce il tempo medio tra
un evento e laltro e cresce la frequenza degli eventi.
2.2 Perdita di memoria
Per perdita di memoria del processo di Poisson di parametro si intende
la propriet`a per la quale, ssato un qualsiasi tempo t, il tempo che occorre
attendere a partire da t anche si verichi un evento `e v.a. che ha legge
esponenziale di parametro e che `e indipendente dai successivi intertempi
del usso.
Fissato t > 0, si introduce la v.a.
t
0 denita da

t
:= S
N(t)+1
t
e si dimostra che qualsiasi sia x numero reale positivo vale
P(
t
x) = 1 e
x
.
Il punto di partenza per la dimostrazione `e luguaglianza tra eventi
(
t
> x) =
+
n=0
_
S
n
t, S
n+1
t > x),
dalla quale, tenendo conto che gli eventi dellunione sono disgiunti, si ricava
passando alle probabilit`a
P(
t
> x) =
+

n=0
P
_
S
n
t, S
n+1
t > x).
Il primo termine della somma, ovvero quello corrispondente allindice n = 0,
coincide con
P
_
S
0
t, S
1
t > x) = P(S
1
t > x) =
P(S
1
> t +x) = P(X
1
> t +x) = e
(t+x)
.
92
Il termine generico per n 1 si pu`o invece riscrivere cos`
P
_
S
n
t, S
n
+X
n+1
> t +x)
e, condizionando al valore di S
n
Erl(n, ), cos`

+
0
P
_
S
n
t, S
n
+X
n+1
> t +x | S
n
= y)

n
(n 1)!
y
n1
e
y
dy.
Lespressione precedente coincide con

t
0
P
_
X
n+1
> t +x y | S
n
= y)

n
(n 1)!
y
n1
e
y
dy
e ancora, per lipotesi di indipendenza di X
n+1
da X
1
, X
2
, . . . , X
n
e quindi
da S
n
, con

t
0
P
_
X
n+1
> t +x y)

n
(n 1)!
y
n1
e
y
dy.
Inne, poiche X
n+1
ha densit`a esponenziale di parametro e t + x y `e
positivo, lintegrale precedente si riscrive

t
0
e
(t+xy)

n
(n 1)!
y
n1
e
y
dy.
In denitiva
P(
t
> x) =e
(t+x)
+

n1

t
0
e
(t+xy)

n
(n 1)!
y
n1
e
y
dy =
e
(t+x)
+

t
0
e
(t+xy)

n1

n
(n 1)!
y
n1
e
y
dy =
e
(t+x)
+

t
0
e
(t+xy)

n1

n1
(n 1)!
y
n1
e
y
dy.
Con il cambio di indice n 1 in m si trasforma la sommatoria in

m0

m
m!
y
m
= e
y
e quindi si conclude
P(
t
> x) = e
(t+x)
+

t
0
e
(t+xy)
dy = e
x
.
Come applicazione di quanto esposto si considera il seguente problema.
93
Problema del taxi
Una vettura `e pronta a svolgere il servizio ad una fermata dei taxi. Si as-
sume che i passeggeri in arrivo alla fermata del taxi seguano un usso di
Poisson e che in media a quella fermata arrivino 20 passeggeri allora. Le
vetture partono solo a pieno carico, ovvero con 4 persone, o 10 minuti dopo
larrivo del primo passeggero.
a) Con quale probabilit`a il primo passeggero aspetta 10 minuti?
b) Se altri 2 passeggeri arrivano dopo 8 minuti, con quale probabilit`a il taxi
non parte a pieno carico?
Soluzione
a) Sia (N(t))
t0
il processo che conta i passeggeri arrivati dopo il primo,
allora, quando il tempo `e calcolato in minuti, N(t) Poiss(t/3) e gli in-
tertempi tra un arrivo e laltro sono esponenziali indipendenti di parametro
1/3. Per rispondere alla domanda bisogna calcolare con quale probabilit`a
arrivano non pi` u di 2 clienti nei successivi 10 minuti, ovvero
P(N(10) 2) =
2

h=0
_
10
3
_
h
e
10/3
h!
.
b) Per rispondere alla seconda domanda si utilizza la propriet`a di perdita
di memoria del Poisson, perche la probabilit`a richiesta coincide con la prob-
abilit`a che tra lottavo ed il decimo minuto non vi siano arrivi. Dunque,
indicato con
8
il tempo occorrente dopo lottavo minuto (a partire dallar-
rivo del primo passeggero) per vedere arrivare un altro passeggero, bisogna
calcolare P(
8
> 2) e, poiche per la perdita di memoria
8
esp(1/3), il
risultato `e e
2/3
.
Si pu`o dimostrare che gli incrementi del processo di Poisson di parametro
su intervalli disgiunti sono v.a. indipendenti e che, ciascun incremento ha
legge di Poisson di parametro pari al prodotto del parametro per lampiez-
za dellintervallo.
Qui si fa vedere che
P(N(s) = n, N(s +t) N(s) = k) =
(s)
n
n!
e
s
(t)
k
k!
e
t
.
Questo dimostra al tempo stesso lindipendenza degli incrementi su due
intervalli disgiunti adiacenti e laermazione sulla legge di probabilit`a di un
generico incremento. Luguaglianza tra eventi
(N(s) = n, N(s +t) N(s) = k) =
(N(s) = n, N(s +t) N(s) k) \ (N(s) = n, N(s +t) N(s) k 1)
riduce la dimostrazione a quella della relazione
P(N(s) = n, N(s +t) N(s) k) =
(s)
n
n!
e
s
k

i=0
(t)
i
i!
e
t
.
94
Ora
P(N(s) = n, N(s +t) N(s) k) =
P(S
n
s < S
n+1
, S
n+1
+X
n+2
+. . . +X
n+k
s +t) =
P(S
n
s, S
n
+X
n+1
> s, S
n
+X
n+1
+Z s +t)
ricordando che S
n+1
= S
n
+X
n+1
e indicando con Z la v.a.X
n+2
+. . . , X
n+k
.
Utilizzando due volte la probabilit`a condizionata, in particolare condizionan-
do la prima volta al valore di S
n
Erl(n, ) e la seconda volta al valore di
X
n+1
esp() e ricordando che le v.a. S
n
, X
n+1
e Z sono indipendenti, si
ottiene
P(N(s) = n, N(s +t) N(s) k) =

s
0
P(y +X
n+1
> s, y +X
n+1
+Z > s +t)

n
(n 1)!
y
n1
e
y
dy =

s
0
_

+
sy
P(y +x +Z > s +t)e
x
dx
_

n
(n 1)!
y
n1
e
y
dy
Si noti che nel primo passaggio `e y < s e questo insieme alla condizione
y +X
n+1
> s implica che sia x > s y > 0. Poiche Z ha legge Erl(k, ), se
s +t y x 0 ovvero x s y +t allora
P(y +x +Z > s +t) = 1,
mentre se x < s y +t allora
P(y +x +Z > s +t) =
k1

i=0
((s +t y x))
i
i!
e
(s+tyx)
.
Sostituendo questi valori nellultimo integrale si ottiene

s
0
_

sy+t
sy
k1

i=0
((s +t y x))
i
i!
e
(s+tyx)
e
x
dx
_

n
y
n1
(n 1)!
e
y
dy+

s
0
_

+
sy+t
e
x
dx
_

n
y
n1
(n 1)!
e
y
dy
espressione che, eettuate nel primo addendo le dovute semplicazioni e
calcolato nel secondo addendo lintegrale in x, diventa

s
0
_

sy+t
sy
k1

i=0
((s +t y x))
i
i!
e
(s+t)
dx
_

n
y
n1
(n 1)!
dy+

s
0
e
(sy+t)

n
y
n1
(n 1)!
e
y
dy.
95
Per completare il calcolo del primo addendo `e suciente scambiare somma-
toria ed integrale e quindi integrare prima in x e poi in y. Si ottengono cos`
facilmente le uguaglianze seguenti
e
(s+t)

s
0
_
k1

i=0

i+1
i!

sy+t
sy
(s + t y x)
i
dx
_

n
y
n1
(n 1)!
dy+
e
(s+t)

n
(n 1)!

s
0
y
n1
dy =
e
(s+t)
k1

i=0
(t)
i+1
(i + 1)!

n
(n 1)!

s
0
y
n1
dy + e
(s+t)
(s)
n
n!
=
e
(s+t)
k

i=1
(t)
i
i!
(s)
n
n!
+ e
(s+t)
(s)
n
n!
=
(s)
n
n!
e
(s)
k

i=0
(t)
i
i!
e
t
.
La dimostrazione `e conclusa.
Dalla densit`a della variabile N(t +t) N(t) e dallo sviluppo di Taylor
della funzione esponenziale si ricavano immediatamente anche le propriet`a
seguenti:
i) P(N(t + t) N(t) = 1) = t +o(t)
ii) P(N(t + t) N(t) = 0) = 1 t +o(t),
da cui segue naturalmente
P(N(t + t) N(t) 2) = o(t).
Riassumendo: se lintervallo temporale `e piccolo, la probabilit`a che si ver-
ichi un solo evento, a meno di termini trascurabili, `e proporzionale al-
lampiezza dellintervallo temporale secondo il coeciente e il vericarsi
di due o pi` u eventi `e trascurabile.
Di fatto si pu`o anche dimostrare che queste regole del susseguirsi degli even-
ti, unite al fatto che il numero degli eventi che si vericano su intervalli
disgiunti sono variabili indipendenti e al fatto che si iniziano a contare gli
eventi al tempo iniziale, ovvero il processo al tempo iniziale vale 0, sono
assiomi, ovvero costituiscono una denizione alternativa per il processo di
Poisson (vedi il paragrafo seguente sul processo di Poisson non stazionario).
Problema della multa
Parcheggio in sosta vietata 2 volte al giorno lasciando ferma la vettura ogni
volta per 1 ora; so che i vigili passano mediamente volte in unora. Come
96
stimo la probabilit`a di prendere una multa?
Soluzione
Con una certa approssimazione, per il processo che conta il numero dei pas-
saggi dei vigili si possono ritenere soddisfatte le propriet`a che caratterizzano
il processo di Poisson: si assume dunque che il processo che conta il numero
dei passaggi dei vigili con il tempo misurato in ore sia un processo di Poisson
di parametro . Indicati con t
1
e t
2
, t
1
= t
2
, gli istanti in cui parcheggio, la
probabilit`a di prendere una multa `e la probabilit`a dellevento
(N(t
1
+ 1) N(t
1
) 1) (N(t
2
+ 1) N(t
2
) 1)
probabilit`a che coincide con
1 P
_
(N(t
1
+ 1) N(t
1
) = 0) (N(t
2
+ 1) N(t
2
) = 0)
_
=
1 P(N(t
1
+ 1) N(t
1
) = 0)P(N(t
2
+ 1) N(t
2
) = 0) = 1 e
2
dove per la prima uguaglianza si usa il fatto che le v.a. N(t
1
+1) N(t
1
) e
N(t
2
+ 1) N(t
2
) sono indipendenti e per la seconda che hanno entrambe
legge Poiss().
2.3 Merging e splitting
Siano (N
1
(t))
t0
e (N
2
(t))
t0
due processi di Poisson tra loro indipendenti
rispettivamente di parametri
1
e
2
. Ci si domanda se il processo che
conta il numero complessivo degli eventi sia ancora un processo di Poisson.
La risposta `e aermativa e la propriet`a va sotto il nome di merging.
Denito qualsiasi sia t 0
N(t) := N
1
(t) +N
2
(t),
la dimostrazione consiste nellosservare che il processo (N(t))
t0
`e un pro-
cesso che inizialmente vale 0, ha gli incrementi indipendenti come somma di
v.a. indipendenti e nel dimostrare che (N(t))
t0
verica le propriet`a i) e ii)
del paragrafo precedente.
Per la verica della i) si osserva che vale luguaglianza tra eventi
(N(t + t) N(t) = 1) =
(N
1
(t + t) N
1
(t) = 1, N
2
(t + t) N
2
(t) = 0)
(N
2
(t + t) N
2
(t) = 1, N
1
(t + t) N
1
(t) = 0)
dove lunione `e disgiunta. Quindi passando alle probabilit`a, tenendo conto
dellindipendenza di (N
1
(t))
t0
e (N
2
(t))
t0
, si ottiene
P(N(t + t) N(t) = 1) =
P(N
1
(t + t) N
1
(t) = 1)P(N
2
(t + t) N
2
(t) = 0)+
P(N
2
(t + t) N
2
(t) = 1)P(N
1
(t + t) N
1
(t) = 0).
97
Utilizzando allora il fatto che le i) e ii) del paragrafo precedente valgono
per (N
1
(t))
t0
e (N
2
(t))
t0
, con sostituito da
1
e
2
rispettivamente, e
tenendo conto delle semplici regole sugli innitesimi, si ottiene la relazione
voluta con
1
+
2
al posto di .
In modo analogo si verica che il processo (N(t))
t0
verica anche la ii) con

1
+
2
al posto di : naturalmente in tal caso si parte dalluguaglianza tra
eventi
(N(t + t) N(t) = 0) =
(N
1
(t + t) N
1
(t) = 0, N
2
(t + t) N
2
(t) = 0).
Dunque il processo (N(t))
t0
risulta un processo di Poisson di parametro

1
+
2
. Si osservi che quanto dimostrato implica in particolare che per
t > 0 N(t) Poiss
_
(
1
+
2
)t
_
e che questo segue anche direttamente dal
fatto noto che somma di v.a. di Poisson indipendenti `e v.a. di Poisson con
parametro la somma dei parametri.
Un esempio di applicazione del merging `e la soluzione del seguente problema.
Problema della scorta
Determinare la distribuzione di probabilit`a del tempo di esaurimento della
scorta complessiva di due prodotti di cui si conosce la richiesta media gior-
naliera, assumendo che i due ussi di richiesta dei prodotti siano indipendenti
e modellizzabili ciascuno con un processo di Poisson e assumendo anche che
in assenza di un prodotto ci si accontenta dellaltro.
Unaltra domanda interessante nella medesima situazione `e la seguente: s-
sato un prodotto, con quale probabilit`a si esaurisce prima la scorta di quel
prodotto?
Soluzione
Si indichi con
i
la richiesta media giornaliera del prodotto i = 1, 2.Per
quanto appena detto allora, se la consistenza della scorta `e n, il tempo di
esaurimento `e il tempo delln-mo evento di un Poisson di parametro
1
+
2
e quindi ha distribuzione Erlang di parametri n e
1
+
2
.
Inoltre per calcolare la probabilit`a che si esaurisca prima la scorta del prodot-
to 1, si osserva che, assumendo che le singole scorte ammontino a n
1
e n
2
con
n
1
+n
2
= n, questo accade se si vericano al pi` u n
2
1 richieste del prodotto 2
(ovvero, almeno n
1
richieste del prodotto 1) entro le prime n1 = n
1
+n
2
1
richieste. Infatti indicata con R
i
, i = 1, 2 la v.a. che conta le richieste del
prodotto i entro le prime n 1 richieste, si ha banalmente
R
2
n
2
1 =R
1
n
1
e R
1
n
1
implica che si esaurisce prima la scorta del prodotto 1. Mentre
se R
2
> n
2
1 allora R
2
n
2
e quindi si esaurisce prima la scorta del
prodotto 2. Ora, indicata con p
2
la probabilit`a che una generica richiesta
98
sia del usso 2, si tratta di calcolare la probabilit`a di al pi` u n
2
1 successi
per uno schema di Bernoulli di parametri n 1 = n
1
+n
2
1 e p
2
. Dunque
la probabilit`a richiesta coincide con
n
2
1

k=0
_
n 1
k
_
p
k
2
(1 p
2
)
n1k
.
Inne per calcolare il valore p
2
si osservi che dalla propriet`a di perdita di
memoria applicata ai singoli ussi segue che a partire dal tempo di una qual-
siasi richiesta occorre attendere un tempo esponenziale di parametro
1
per
una nuova richiesta del prodotto 1 e un tempo esponenziale di parametro
2
per una nuova richiesta del prodotto 2. Inoltre questi due tempi esponen-
ziali sono indipendenti poiche si `e assunto che i ussi lo siano e quindi hanno
densit`a congiunta (pari al prodotto delle densit`a) e dunque non possono as-
sumere lo stesso valore. Cos` il valore p
2
deve coincidere con la probabilit`a
che il tempo esponenziale (strettamente) pi` u piccolo sia quello di parametro

2
ovvero

2

1
+
2
. In conclusione
p
2
=

2

1
+
2
.
Per dimostrare lultima uguaglianza si procede cos`: indicate con X e Y due
v.a. esponenziali rispettivamente di parametri
2
e
1
P(X < Y ) =

+
0
P(X < Y | Y = y)
2
e

2
y
dy =

+
0
P(X < y | Y = y)
2
e

2
y
dy =

+
0
P(X < y)
2
e

2
y
dy =

+
0
P(X y)
2
e

2
y
dy =

+
0
(1 e

1
y
)
2
e

2
y
dy =

2

1
+
2
.
La propriet`a del processo di Poisson che va sotto il nome di splitting
lavora al contrario della propriet`a del merging: da un processo di Poisson si
generano due processi di Poisson indipendenti.
Si assume che (N(t))
t0
sia un processo di Poisson di parametro e che
ogni evento del processo sia etichettato, in modo indipendente dagli altri,
come evento di tipo i = 1, 2 con probabilit`a p
i
, i = 1, 2, p
1
+p
2
= 1. Allora,
indicati con N
i
(t), i = 1, 2, il numero degli eventi di tipo i vericatisi no al
tempo t, i processi (N
1
(t))
t0
e (N
2
(t))
t0
sono processi di Poisson tra loro
indipendenti rispettivamente di parametri p
1
e p
2
.
Per dimostrare la propriet`a precedente si verica che, qualsiasi siano t > 0
e k e m naturali, vale
P(N
1
(t) = k, N
2
(t) = m) =
(p
1
t)
k
k!
e
p
1
t
(p
2
t)
m
m!
e
p
2
t
.
99
Infatti si calcola
P(N
1
(t) = k, N
2
(t) = m) =
+

n=0
P(N
1
(t) = k, N
2
(t) = m | N(t) = n)P(N(t) = n)
e, ricordando che N
1
(t) + N
2
(t) = N(t), risulta evidente che lunico val-
ore possibile per n, indice della somma, `e k + m e lespressione precedente
coincide con
P(N
1
(t) = k, N
2
(t) = m | N(t) = k +m)P(N(t) = k +m).
Il primo fattore dellespressione precedente per ipotesi si calcola come la
probabilit`a di k successi ciascuno di probabilit`a p
1
su k +m prove indipen-
denti, mentre il secondo `e il valore k +m della densit`a di una v.a. con legge
Poisson di parametro t = (p
1
+ p
2
)t (si ricordi p
1
+ p
2
= 1). Quindi si
scrive
_
k +m
k
_
p
k
1
p
m
2
_
t
_
k+m
(k +m)!
e
(p
1
+p
2
)t
.
Usando il valore del coeciente binomiale e riscrivendo lesponenziale come
e
p
1
t
e
p
2
t
si ottiene proprio lespressione voluta e la propriet`a di splitting
`e dimostrata.
Si osservi che N
1
(0) = 0 e per t > 0 N
1
(t) pu`o anche scriversi

N(t)
i=1
D
i
,
dove le v.a. D
1
, D
2
, . . . sono i.i.d. di legge Bernoulli di parametro p
1
, in-
dipendenti da (N(t))
t0
.
Un processo (X(t))
t0
uscente dallo 0 e denito al tempo t > 0 dalla formula
X(t) :=
N(t)

i=1
D
i
,
dove D
1
, D
2
, . . . sono i.i.d. a valori interi positivi indipendenti dal processo
(N(t))
t0
, prende il nome di processo di Poisson composto. Si tratta di un
processo a valori in N con traiettorie costanti a tratti e continue a destra,
ma non necessariamente con salti unitari e quindi non necessariamente un
processo di conteggio.
Per esempio si pu`o rappresentare con un processo di questo tipo lammontare
delle richieste di un certo prodotto in un generico istante se si assume che i
clienti che cercano il prodotto giungano secondo un usso di Poisson e ogni
cliente chieda un numero aleatorio di pezzi del prodotto indipendente dal
numero di pezzi richiesti dagli altri clienti ma di stessa legge (la v.a.D
i
`e il
numero di pezzi richiesti dal cliente i-mo).
Per il calcolo del valor medio del processo al tempo t si procede cos`
E[X(t)] =
+

n=1
E[X(t) | N(t) = n]P(N(t) = n).
100
Allora sostituendo lespressione di X(t) nella formula, per la linearit`a della
media condizionata, lindipendenza delle v.a. D
1
, D
2
, . . . da (N(t))
t0
, e
luguaglianza in legge delle D
1
, D
2
, . . ., lespressione precedente coincide con
+

n=1
n

i=1
E[D
i
]P(N(t) = n) = E[D
1
]
+

n=1
nP(N(t) = n) = E[D
1
]t.
Si consideri la seguente applicazione della propriet`a di splitting.
Problema della coda con usso di ingresso Poisson, inniti sportelli e
tempo di servizio a due valori
In un ideale ucio di servizio il numero degli sportelli `e innito, il usso di
ingresso dei clienti `e Poisson di parametro e il tempo di servizio di cias-
cuno sportello `e T
1
con probabilit`a p
1
e T
2
con probabilit`a p
2
= 1p
1
. Ci si
domanda quanti saranno gli sportelli occupati ad un tempo grande ssato.
Soluzione
Il tempo medio di servizio per ipotesi `e pari a T
1
p
1
+ T
2
p
2
. Indicato con
(N
i
(t))
t0
, i = 1, 2, il usso dei clienti ad uno sportello di tipo i (ovvero
con tempo di servizio T
i
), si sa, per la propriet`a di splitting, che si tratta di
un usso di Poisson di parametro p
i
e che i due ussi sono indipendenti.
Allora, per ogni tempo t maggiore del massimo tra T
1
e T
2
, il numero degli
sportelli occupati al tempo t sar`a uguale al numero dei clienti arrivati ad
uno sportello di tipo 1 nellintervallo di tempo (t T
1
, t] pi` u il numero dei
clienti arrivati ad uno sportello di tipo 2 nellintervallo di tempo (t T
2
, t],
ovvero sar`a pari a (N
1
(t) N
1
(t T
1
)) + (N
2
(t) N
2
(t T
2
)) e le v.a.
N
1
(t) N
1
(t T
1
) e N
2
(t) N
2
(t T
2
) sono indipendenti con legge di Pois-
son rispettivamente di parametri p
1
T
1
e p
2
T
2
.
`
E noto che la somma di
v.a. di Poisson indipendenti `e ancora Poisson con parametro la somma dei
parametri e dunque (N
1
(t) N
1
(t T
1
)) + (N
2
(t) N
2
(t T
2
)) `e v.a. di
Poisson di parametro p
1
T
1
+p
2
T
2
= (p
1
T
1
+p
2
T
2
). Si conclude che per
tempi grandi, ovvero maggiori del massimo tra T
1
e T
2
, se la legge del tempo
di servizio `e discreta a due valori, il numero degli sportelli occupati `e v.a.
di legge Poisson di parametro pari al prodotto del numero medio dei clienti
in ingresso nel tempo unitario per il tempo medio di servizio.
Di fatto si pu`o dimostrare che laermazione precedente `e vera qualsiasi sia
la legge del tempo di servizio degli sportelli purche comune e di media nita.
2.4 Processo di Poisson non stazionario
Un processo di Poisson non stazionario (N(t))
t0
`e un processo di conteggio
che ha incrementi indipendenti e che verica le propriet`a i) e ii) del paragrafo
2 con al posto della costante una funzione t (t), ovvero le propriet`a
i

) P(N(t + t) N(t) = 1) = (t) t +o(t)

101
e
ii

) P(N(t + t) N(t) = 0) = 1 (t)t +o(t),

da cui segue naturalmente
P(N(t + t) N(t) 2) = o(t).
Si determina qui la legge dellincremento N(s +t) N(s), per s e t generici,
ovvero si calcola la probabilit`a che lincremento assuma un generico valore
k 0, cio`e P(N(s+t) N(s) = k). Indicata questa probabilit`a con p
k
(s, t),
considerando s come costante e t come variabile, poiche in un intervallo
t pu`o vericarsi, con probabilit`a non trascurabile rispetto allampiezza
t, un evento o nessuno e poiche il numero di eventi su intervalli disgiunti
costituisce una famiglia di v.a. indipendenti, vale, qualsiasi sia k 1,
p
k
(s, t + t) =p
k1
(s, t)
_
(s +t)t +o(t)
_
+
+p
k
(s, t)
_
1 (s +t)t +o(t)
_
+o(t).
Nel membro di destra delluguaglianza lultimo termine o(t) tiene conto
della trascurabile probabilit`a che nellintervallo [s +t, s +t +t) si verichi
pi` u di un evento. Lespressione precedente si pu`o riscrivere
p
k
(s, t + t) p
k
(s, t)
t
= p
k1
(s, t)(s +t) p
k
(s, t)(s +t) +
o(t)
t
e dividendo ambo i membri per t e mandando t a zero, si ottiene, qualsiasi
sia k 1,
d
dt
p
k
(s, t) = p
k1
(s, t)(s +t) p
k
(s, t)(s +t).
In modo analogo si ricava che
d
dt
p
0
(s, t) = p
0
(s, t)(s +t).
Risolvendo lultima equazione con dato iniziale p
0
(s, 0) = 1 si ottiene
p
0
(s, t) = e
(M(s+t)M(s))
dove
M(x) :=

x
0
(y) dy
e poi procedendo per ricorrenza si calcola, qualsiasi sia k 1, tenendo conto
che p
k
(s, 0) = 0,
p
k
(s, t) = e
(M(s+t)M(s))
(M(s + t) M(s))
k
k!
.
102
Dunque lincremento sullintervallo (s, s + t] del processo di Poisson non
stazionario ha legge di Poisson di parametro M(s+t)M(s). In particolare,
scegliendo s = 0, si ricava che la legge al tempo t del processo di Poisson
non stazionario `e Poisson di parametro M(t) e dunque M(t) =

t
0
(y) dy
rappresenta il numero medio degli eventi che si vericano no al tempo t
(incluso).
Si osserva che se si assume che (t) = per ogni t > 0 si ritrova la densit`a
degli incrementi del processo di Poisson stazionario.
2.5 Distribuzione dei tempi di salto in [0, T] condizionata a
N(T)=n
Una importante propriet`a dei tempi di salto di un processo di Poisson si
enuncia a parole cos`: condizionatamente al sapere che si vericano n eventi
nellintervallo [0, T], i tempi S
1
, . . . , S
n
sono il riordinamento in senso cres-
cente di n v.a. i.i.d. di legge uniforme in [0, T].
Qui non si dimostra la propriet`a ma si calcola soltanto la k-ma marginale
di questa distribuzione condizionata, ovvero per 1 k n si calcola la
funzione di distribuzione di S
k
, tempo in cui si verica il kmo evento, con-
dizionata al sapere che nellintervallo [0, T] si sono vericati n eventi.
Per t T, utilizzando tra le altre cose luguaglianza tra eventi
(S
k
t) = (N(t) k)
e lindipendenza delle v.a. N(t) e N(T) N(t), si calcola
P(S
k
t | N(T) = n) =
P(N(t) k | N(T) = n) =
P(N(t) k, N(T) = n)
P(N(T) = n)
=

n
j=k
P(N(t) = j, N(T) N(t) = n j)
P(N(T) = n)
=

n
j=k
P(N(t) = j)P(N(T) N(t) = n j)
P(N(T) = n)
=

n
j=k
_
t
_
j
e
t
/j!
_
(T t)
_
nj
e
(Tt)
/(n j)!
_
T
_
n
e
T
/n!
e dopo le dovute semplicazioni si ottiene
P(S
k
t | N(T) = n) =
n

j=k
_
n
j
_
_
t
T
_
j
_
1
t
T
_
nj
Quanto ottenuto `e coerente con la propriet`a enunciata inizialmente, che
implica che, condizionatamente allevento (N(T) = n), la v.a. S
k
ha la
103
legge della k ma v.a. del riordinamento crescente di n v.a. i.i.d. uniformi
in [0, T]. Infatti la probabilit`a che esattamente j tra n v.a. i.i.d. di legge
uniforme in [0, T] assumano valore nellintervallo [0, t] `e
_
n
j
_
_
t
T
_
j
_
1
t
T
_
nj
e quindi la probabilit`a che almeno k tra n v.a. i.i.d. di legge uniforme in
[0, T] assumano valore nellintervallo [0, t] `e proprio
n

j=k
_
n
j
_
_
t
T
_
j
_
1
t
T
_
nj
.
Unapplicazione della distribuzione dei tempi di salto condizionata al
numero dei salti `e la seguente.
Problema del costo di attesa
Una sequenza di messaggi arriva secondo un usso di Poisson di parametro
alla porta di un canale di comunicazione; il canale viene aperto in tempi
deterministici multipli di un tempo ssato T. Ciascun messaggio che arriva
tra un tempo e laltro rimane conservato in un buer ad un certo costo
sso per ogni unit`a temporale. Allapertura del canale i messaggi in attesa
vengono trasmessi istantaneamente.
Qual `e il costo medio per la conservazione di tutti i messaggi arrivati tra
una trasmissione e la successiva?
Soluzione
Indicato con (N(t))
t0
il processo di Poisson che conta i messaggi, il tempo
totale di conservazione dei messaggi `e la v.a.
(T S
1
) + (T S
2
) +. . . + (T S
N(T)
)
e dunque, indicato con C il costo sso per ogni unit`a temporale per ogni
singolo messaggio, il costo totale per la conservazione `e
C
_
T S
1
+T S
2
+. . . +T S
N(T)
_
.
Dunque essendo C deterministico, condizionando al valore di N(T) Poiss(T)
si ottiene
E
_
C
_
T S
1
+T S
2
+. . . +T S
N(T)
_
_
=
CE
_
T S
1
+T S
2
+. . . +T S
N(T)
_
=
C
+

n=0
E
_
T S
1
+T S
2
+. . . +T S
n
| N(T) = n
_
(T)
n
n!
e
T
=
C
+

n=0
nT E
_
S
1
+S
2
+. . . +S
n
| N(T) = n
_
(T)
n
n!
e
T
.
104
Per quanto enunciato precedentemente, condizionatamente al fatto che vi
siano n arrivi, la somma delle v.a. tempo di arrivo entro il tempo T coincide
con la somma di n v.a. uniformi in [0, T]. Dunque, poiche il valor medio
condizionato `e lineare e il valor medio di una v.a. uniforme in [0, T] `e T/2,
si ottiene
E
_
S
1
+S
2
+. . . +S
n
| N(T) = n
_
= n
T
2
. Pertanto il valor medio del costo totale risulta
C
+

n=1
n
T
2
(T)
n
n!
e
T
= C
T
2
2
+

n=1
(T)
n1
(n 1)!
e
T
= C
T
2
2
.
Si conclude questa sezione dimostrando che per ogni k n vale la
formula
E[S
k
S
k1
| N(T) = n] =
T
n + 1
.
Si premettono due enunciati relativi ad una v.a. X non negativa. Se X `e
discreta vale E[X] =

+
k=1
P(X k), essendo
+

n=1
nP(X = n) =
+

n=1
n

k=1
P(X = n) =
+

k=1
+

n=k
P(X = n).
Analogamente, se X `e continua vale
E[X] =

+
0
P(X t) dt =

+
0
P(X > t) dt.
Analoghe rappresentazioni valgono per il valor medio condizionato di v.a.
non negative. Dunque per la linearit`a della media condizionata, dopo aver
notato che per k n e t > T vale P(S
k
> t | N(T) = n) = 0, si scrive
E
_
S
k
S
k1
| N(T) = n
_
=
E
_
S
k
| N(T) = n
_
E
_
S
k1
| N(T) = n
_
=

+
0
P
_
S
k
> t | N(T) = n
_
dt

+
0
P
_
S
k1
> t | N(T) = n
_
dt =

T
0
P
_
S
k
> t | N(T) = n
_
dt

T
0
P
_
S
k1
> t | N(T) = n
_
dt =

T
0
_
P(S
k1
t | N(T) = n) P(S
k
t | N(T) = n)
_
dt.
Andando a sostituire le espressioni della distribuzione condizionata prece-
dentemente dimostrata ci si riduce al calcolo di

T
0
_
n
k 1
_
_
t
T
_
k1
_
1
t
T
_
n+1k
dt =
T

1
0
_
n
k 1
_
s
k1
(1 s)
n+1k
ds
105
che integrato per parti d`a il risultato.
3 Processi di rinnovo
Si chiamano processi di rinnovo quei processi di conteggio per i quali gli
intertempi tra eventi successivi sono v.a. i.i.d. di media nita. Dunque i
processi di Poisson sono particolari processi di rinnovo. In un processo di rin-
novo gli eventi sono pensati come rinnovi nel senso di nuove inizializzazioni
di situazioni che hanno una durata aleatoria indipendente dalle precedenti
ma sempre statisticamente la stessa. Ad esempio sono processi di rinnovo
quelli che contano le sostituzioni immediate di apparecchiature identiche a
tasso di guasto non necessariamente costante e quindi per esempio soggette
ad usura. Si ricorda la nozione di tasso di guasto di una distribuzione di
v.a. X non negativa continua. Si calcola
P(t < X < t + t | X > t) =

t+t
t
f
X
(x) dx
1 F
X
(t)
=
f
X
(t)t +o(t)
1 F
X
(t)
=
f
X
(t)
1 F
X
(t)
t +o(t),
dove la seconda uguaglianza discende dal teorema fondamentale del calco-
lo integrale. Si denisce tasso di guasto o rischio al tempo t (della dis-
tribuzione) di X la quantit`a
f
X
(t)
1 F
X
(t)
.
Dalle precedenti uguaglianze segue che
f
X
(t)
1 F
X
(t)
t
costituisce, a meno di termine trascurabili rispetto a t, unapprossimazione
per la probabilit`a che unapparecchiatura con tempo di vita X e ancora in
vita al tempo t, si guasti tra t e t +t. A secondo che il tasso di rischio ri-
manga costante o no nel tempo lapparecchiatura non `e soggetta o `e soggetta
allusura ed in particolare se il tasso di rischio rimane costante, cresce o de-
cresce nel tempo allora laspettativa sul tempo di vita dellapparecchiatura
in seguito allutilizzo rispettivamente rimane la stessa, peggiora o migliora.
Indicato con r(t) il tasso di rischio al tempo t, integrando luguaglianza
r(t) =
f
X
(t)
1 F
X
(t)
si ottiene
ln(1 F
X
(t)) =

t
0
r(s) ds
106
ovvero
1 F
X
(t) = e

t
0
r(s) ds
e da ci`o segue che la distribuzione esponenziale `e lunica con tasso di rischio
costante.
Imponendo che valga r(t) = Ct

con C > 0 e > 1, dalla relazione

1 F
X
(t) = e

t
0
r(s) ds
, si ricava
F
X
(t) = t I
[0,+)
_
1 e
Ct
+1
/(+1)
_
.
Si tratta della funzione di distribuzione nota con il nome di Weibull di
parametri C e : qualsiasi sia C > 0, per > 0 la funzione t r(t) `e
crescente, per 1 < < 0 `e decrescente, e inne per = 0 la distribuzione
coincide con lesponenziale e quindi t r(t) `e costante.
Si dimostra facilmente che la distribuzione (, ) ha tasso di rischio vari-
abile crescente per > 1 e decrescente per < 1, qualsiasi sia .
Per dare una denizione formale di un processo di rinnovo si pu`o ripetere
quella del processo di Poisson sostituendo per`o alla assunzione che la legge
degli intertempi sia esponenziale quella che la media degli intertempi sia
nita.
Innanzitutto si deve osservare che lipotesi di media nita garantisce che
in un tempo nito il numero dei rinnovi pu`o soltanto essere nito. Infatti,
indicata con la media degli intertempi, la legge forte dei grandi numeri
implica che
lim
n+
X
1
+. . . +X
n
n
= lim
n+
S
n
n
=
con probabilit`a 1 e questo implica che
lim
n+
S
n
= +.
Da questo segue che se si indica con (N(t))
t0
il processo di rinnovo e si ssa
un tempo t, a meno di un insieme probabilisticamente irrilevante di traiet-
torie, esiste un indice n abbastanza grande (che dipende dalla traiettoria)
tale che `e S
n
> t e quindi, N(t) n 1.
In secondo luogo si nota che esattamente come nel caso del processo di
Poisson vale luguaglianza
P(N(t) k) = P(S
k
t)
che riduce il calcolo della densit`a di N(t) alla conoscenza della funzione di
ripartizione dei tempi S
n
, n 1. Il valore medio del processo di rinnovo ad
un tempo t ssato, cio`e
M(t) := E[N(t)]
107
si calcola a partire dalla funzione di ripartizione dei tempi S
n
, n 1
per mezzo della formula
M(t) =
+

k=1
P(S
k
t)
che segue immediatamente dalla formula M(t) =

+
k=1
P(N(t) k), vera
essendo N(t) v.a. non negativa (vedi paragrafo 5 del I capitolo).
Nel seguito ci si limita a considerazioni asintotiche sul valore medio del
processo di rinnovo ad un tempo t ssato, M(t), e sul valore medio del
tempo che occorre attendere a partire da t anche si verichi un rinnovo,
cio`e E[
t
] dove, come per il processo di Poisson, si denisce

t
:= S
N(t)+1
t.
La funzione t M(t) si chiama funzione di rinnovo e
t
si chiama tempo di
vita residua al tempo t, con riferimento allinterpretazione degli intertempi
dei rinnovi come tempi di guasto di apparecchiature identiche a sostituzione
immediata.
Si ricordi subito che nel particolare caso del processo di Poisson di parametro
, poiche vale =
1

, valgono le uguaglianze
M(t) =
t

E[
t
] = ,
dove in particolare lultima uguaglianza segue dalla propriet`a di perdita di
memoria del processo di Poisson. Dunque per il processo di Poisson la fun-
zione di rinnovo `e lineare e il tempo medio di vita residuo `e costante nel
tempo.
Per i processi di rinnovo con intertempi di rinnovo non esponenziali la fun-
zione di rinnovo non `e lineare ma lo `e asintoticamente e il tempo medio di
vita residua non `e costante ma lo `e asintoticamente. Pi` u precisamente si
pu`o dimostrare che quando gli intertempi di rinnovo sono v.a. continue con
momento secondo nito, ovvero E[X
2
1
] < +, valgono per tempi grandi le
due approssimazioni seguenti
M(t)
t

+
E[X
2
1
]
2
2
1 E[
t
]
E[X
2
1
]
2
.
Qui non si dimostra la prima approssimazione, ma si spiega come dalla prima
si ricava la seconda e a questo scopo si introduce e si dimostra un lemma
interessante di per se: si tratta dellequazione di Wald che generalizza il
risultato relativo al valore medio della somma di un numero aleatorio di
termini aleatori indipendenti di stessa legge visto per il processo di Poisson
composto.
108
Si assuma che D
1
, D
2
, . . . siano v.a. i.i.d. non negative di media nita,
N sia un v.a. a valori naturali con media nita e inne levento (N = i) sia
indipendente dalle v.a. D
i+1
, D
i+2
, . . . (ci`o vale in particolare se la v.a. N `e
indipendente dalle v.a. D
1
, D
2
, . . .), allora
E
_
N

i=1
D
i
_
= E[N]E[D
1
].
Per la dimostrazione basta osservare che il primo membro delluguaglianza
coincide con
E
_
+

i=1
D
i
I
iN
_
e, potendo scambiare media e serie poiche i termini sono non negativi,
coincide con
+

i=1
E[D
i
I
iN
].
Ora la v.a. D
i
`e indipendente dalla v.a. I
iN
, essendo levento (N i)
complementare di (N < i) =
i1
k=1
(N = k), indipendente dalla v.a.D
i
in
quanto unione di eventi per ipotesi indipendenti dalla v.a.D
i
. Inoltre si sa
che il valor medio del prodotto di v.a. indipendenti `e il prodotto dei valori
medi e quindi lespressione precedente coincide con
+

i=1
E[D
i
] E[I
iN
].
Si conclude osservando che le v.a. D
i
hanno tutte media E[D
1
] e che

+
i=1
P(N i) = E[N].
Dallequazione di Wald si deriva la relazione tra la funzione di rinnovo e
il tempo medio di vita residua. Infatti si scrive
E[
t
] = E
_
N(t)+1

i=1
X
i
t
_
e applicando lequazione di Wald si ottiene
E[
t
] =
_
1 +M(t)
_
t.
Si noti levento
_
N(t) + 1 = i
_
coincide con levento
_
S
i1
t < S
i
_
che
chiaramente `e indipendente dalle v.a. X
i+1
, X
i+2
, . . ..
Sostituendo a M(t) nel membro di destra dellultima uguaglianza la sua
approssimazione
t

+
E[X
2
1
]
2
2
1 si ottiene subito
E[
t
]
E[X
2
1
]
2
109
Ricordando che V ar(X
1
) = E[X
2
1
]
2
, lapprossimazione si riscrive
E[
t
]
_
V ar(X
1
)

2
+ 1
_

2
.
Si osservi che
_
V ar(X
1
)

2
+ 1
_

2
>
V ar(X
1
)

2
> 1

V ar(X
1
)

> 1.
Per una generica v.a. Z, di media e con varianza nita si pu`o leggere
il coeciente

V ar(Z)

, ricordando il signicato di media e varianza, come

una misura della regolarit`a della distribuzione e in particolare

V ar(Z)

>
1 indica una distribuzione irregolare. Sono irregolari in questo senso per
esempio le v.a. con distribuzione (, ) per > 1, qualsiasi sia > 0.
Il fatto che per distribuzioni degli intertempi irregolari il tempo medio di
vita residua si approssima con un valore che supera la media degli intertempi
si ricorda con il nome di paradosso del tempo di attesa: se le partenze ai
capolinea sono irregolari arrivando a caso ad una fermata si aspetta in media
pi` u del tempo medio tra una partenza e laltra.
4 Catene di Markov a tempo continuo
4.1 Denizione
La generalizzazione al tempo continuo del concetto di catena di Markov a
tempo discreto e a valori discreti `e naturale.
Una famiglia di v.a. (X(t))
t0
a valori in S discreto denite tutte sullo
stesso spazio di probabilit`a `e una catena di Markov a tempo continuo se,
qualsiasi sia n, qualsiasi siano t
0
, t
1
, . . . t
n+1
, qualsiasi siano i, j, i
0
, . . . , i
n1
in S (quando le probabilit`a condizionate hanno senso)
P(X(t
n+1
) = j | X(t
n
) = i, X(t
n1
) = i
n1
, . . . , X(t
0
) = i
0
) =
P(X(t
n+1
) = j | X(t
n
) = i).
Qui si considera il caso omogeneo ovvero quello in cui, ssato t 0, per ogni
s 0
p
ij
(t) := P(X(t) = j | X(0) = i) = P(X(s +t) = j | X(s) = i)
e p
ij
(t) `e detto probabilit`a di transizione da i a j nel tempo t. Vale natural-
mente p
ij
(0) = I
i
(j).
Si consideri una dinamica stocastica su uno spazio discreto S che segua
due regole: in ogni stato i o si rimane per sempre (stato assorbente) o si
110
rimane un tempo esponenziale di parametro
i
, indipendentemente dal pas-
sato; se lo stato i `e non assorbente, quando si lascia lo stato i si salta in un
altro stato j = i con probabilit`a p
ij
, indipendentemente dal passato.
Sia (X(t))
t0
il processo che al tempo t assume per valore lo stato in cui ci si
trova al tempo t seguendo questa dinamica, precisando che per stato quan-
do t `e un tempo di transizione si intende quello assunto dopo la transizione,
cosicche le traiettorie risultano continue a destra. Si pu`o dimostrare, usando
lindipendenza tra salti e tempi di permanenza e la perdita di memoria della
distribuzione esponenziale, che (X(t))
t0
`e una catena di Markov a tempo
continuo omogenea.
Viceversa `e anche vero il contrario: se un sistema aleatorio si muove in
uno spazio di stati discreto, allora anche valga la propriet`a di Markov `e
necessario che il tempo di permanenza negli stati non assorbenti sia espo-
nenziale. Qui si d`a unidea della dimostrazione: la probabilit`a che il tempo
di permanenza nello stato i (non assorbente) superi t coincide con
P(X(s) = i, s t | X(0) = i)
e questa probabilit`a, per la continuit`a da destra delle traiettorie e per la
densit`a dei razionali nei reali, coincide con la probabilit`a che X(q) = i su
tutti i razionali q in [0, t] e per il lemma di continuit`a della probabilit`a con
lim
n+
P
_
X(s) = i, s = kt/n, k = 0, 1, . . . , n 1 | X(0) = i
_
.
Richiedere la propriet`a di Markov equivale allora a richiedere che indicata
con f(t) la probabilit`a cercata valga
f(t) = lim
n+
_
p
ii
(t/n)
_
n
.
Segue che per ogni > 0
f(t) = f(t)

.
Infatti
f(t) = lim
n+
_
p
ii
(t/n)
_
n
e per ogni razionale esiste una successione divergente di interi della forma
m = n/ da cui
lim
n+
_
p
ii
(t/n)
_
n
= lim
m+
_
p
ii
(t/ m)
_
m
= f(t)

.
Per reale qualsiasi si usa la monotonia della funzione f.
Fissato t tale che f(t) < 1 (tale t esiste poiche lo stato i non `e assorbente),
qualsiasi sia s > 0 si scrive come s = t per qualche e si riscrive f(t) =
f(t)

come
f(s) = e
s
t
ln f(t)
111
da cui segue
f(s) = e
c s
posto c :=
ln f(t)
t
. Questo ricordando la denizione di f(s) `e quello che si
voleva dimostrare.
Dunque numerati gli elementi di un insieme discreto S, una dinamica di
Markov a tempo continuo su S `e data se sono dati: una matrice stocastica
P, di elemento generico p
ij
, che assegna le probabilit`a con cui avvengono
i salti con la convenzione p
ij
= I
i
(j) quando i `e assorbente; i parametri

i
> 0, i = 1, 2, . . . delle leggi esponenziali dei tempi di permanenza negli
stati, con la convenzione
i
= 0 quando i `e assorbente. Si noti che la matrice
P, matrice delle probabilit`a di salto, ha gli elementi sulla diagonale pari a 1
se lo stato `e assorbente e pari a 0 altrimenti.
Si pu`o dimostrare che muovendosi con questa dinamica, se i parametri

i
, i = 1, 2, . . . sono limitati, ovvero se esiste tale che
i
qualsiasi
sia i, si compiono solo un numero nito di salti su ogni intervallo di tempo
nito (propriet`a di non esplosione). In particolare naturalmente i parametri

i
, i = 1, 2, . . . sono limitati quando S `e nito.
Lesempio pi` u semplice di catena di Markov a tempo continuo `e il pro-
cesso di Poisson di parametro : in questo caso S = N, nessuno stato `e
assorbente,
i
= , i = 1, 2, . . . e la matrice P ha per ogni riga un unico
elemento non nullo, p
i,i+1
= 1. Inne il processo di Poisson, come ogni pro-
cesso di rinnovo, ammette su un intervallo di tempo nito solo un numero
nito di salti.
Viene naturale chiedersi se, dati su di uno stesso spazio di probabilit`a
un processo di Poisson (N(t))
t0
di parametro e una catena di Markov a
tempo discreto (Z
n
)
n0
, il processo denito con
X(t) := Z
n
, S
n
t < S
n+1
, n 0
sia una catena di Markov a tempo continuo (qui S
n
`e come al solito ln-mo
tempo di salto del processo di Poisson). Si noti che il processo introdotto
si pu`o anche scrivere cos`: (Z
N(t)
)
t0
. La risposta `e aermativa. Il punto
`e che se la matrice di transizione di (Z
n
)
n0
ha almeno un elemento della
diagonale diverso da 1 e da 0, ovvero la catena (Z
n
)
n0
ha almeno uno stato
non assorbente i con probabilit`a di transizione in se stesso non nulla, i tempi
di salto di (X(t))
t0
sono un sottoinsieme eventualmente proprio dei tempi
di salto di (N(t))
t0
e il tempo di soggiorno in i risulta esponenziale di
parametro (1p
ii
) (in generale si pu`o dimostrare che somma di un numero
aleatorio, con distribuzione geometrica di parametro p di v.a. esponenziali
di parametro `e esponenziale di parametro p).
Va anche notato che ogni catena di Markov a tempo continuo, (X(t))
t0
,
contiene una catena di Markov a tempo discreto, (Z
n
)
n0
: posto S
0
:= 0 e
112
detti S
n
, n 1 i tempi di salto di (X(t))
t0
, si pone Z
n
:= X(S
n
), n 0.
Naturalmente la matrice dei salti P della catena a tempo continuo coincide
con la matrice di transizione P della catena a tempo discreto e dunque per la
dinamica discreta gli stati non assorbenti hanno probabilit`a nulla di tornare
dopo un passo in se stessi.
4.2 Funzione di transizione e tassi di salto
Data una catena di Markov a tempo continuo in 1, 2, . . ., in analogia al caso
tempo discreto si indica con
t
la densit`a di probabilit`a al tempo t 0,
ovvero per ogni j

t
(j) := P(X(t) = j).
Come calcolare
t
, t > 0 a partire dalla densit`a iniziale
0
e dalla dinamica,
ovvero dai parametri dei tempi di permanenza
i
, i = 1, 2, . . . e dalla matrice
delle probabilit`a di salto P?
Dalla formula delle probabilit`a totali si ricava

t
(j) =

i1
p
ij
(t)
0
(i)
e quindi, introdotta la funzione a valori matriciali
t P(t) :=
_
p
ij
(t)
_
ij
,
funzione di transizione al tempo t, in analogia al caso discreto, qualsiasi sia
t 0, si pu`o scrivere

t
=
0
P(t)
(P(0) `e la matrice identit`a). Dunque il problema si sposta su come calcolare
la funzione di transizione P(t), t 0 a partire dalla dinamica, ovvero dai
parametri dei tempi di permanenza
i
, i = 1, 2, . . . e dalla matrice delle
probabilit`a di salto P.
Si pu`o dimostrare che la funzione di transizione soddisfa le seguenti equazioni
dierenziali
P

(t) = QP(t)
P

(t) = P(t)Q,
dove Q `e cos` denita
q
ij
=
i
p
ij
, i = j
q
ii
=
i
.
Si pu`o osservare che, con le convenzioni adottate sul valore di
i
per i assor-
bente, nella matrice Q una riga corrispondente ad uno stato assorbente `e tut-
ta nulla. Del resto, ricordando che P(0) `e la matrice identit`a, dalle equazioni
si ricava che P

(0) = Q e se i `e assorbente, qualsiasi sia t, p

ij
(t) = I
i
(j) per
113
ogni j e quindi p

ij
(t) = 0 per ogni j.
Le precedenti equazioni (matriciali) sono note rispettivamente con il nome
di equazioni allindietro e allavanti di Kolmogorov. Riscrivendole in forma
estesa si trova
p

ij
(t) =

k
q
ik
p
kj
(t)
p

ij
(t) =

k
p
ik
(t)q
kj
e si nota che lequazione allindietro lega in un sistema di equazioni dieren-
ziali lineare del I ordine gli elementi di colonna della funzione di transizione,
mentre viceversa quella allavanti gli elementi di riga. Inoltre per entrambe
le equazioni il dato iniziale `e noto: nel primo caso p
jj
(0) = 1 e p
ij
(0) = 0
per i = j, nel secondo caso p
ii
(0) = 1 e p
ij
(0) = 0 per j = i.
Naturalmente anche le equazioni enunciate siano utili ai ni del calcolo di
P(t), occorre che esse abbiano ununica soluzione: ci`o accade per esempio
nel caso di parametri
i
limitati e quindi in particolare nel caso a stati niti.
Si dimostra lequazione allindietro, p

ij
(t) =

k
q
ik
p
kj
(t), nel modo
seguente.
Se lo stato i `e assorbente p

ij
(t) = 0 qualsiasi sia j e q
ik
= 0 qualsiasi sia k e
quindi lequazione `e vera. Se lo stato i non `e assorbente, indicato con T
1
il
tempo di primo salto della catena di Markov, si scrive
p
ij
(t) = P(T
1
> t, X(t) = j | X(0) = i) + P(T
1
t, X(t) = j | X(0) = i).
Per il primo termine si osserva che, condizionatamente a partire da i, T
1

esp(
i
) e T
1
> t implica X(t) = i e quindi
P(T
1
> t, X(t) = j | X(0) = i) = I
i
(j)P(T
1
> t | X(0) = i) = I
i
(j)e

i
t
.
Il secondo termine si riscrive condizionando al valore di T
1
, avendo indicato
con f
T
1
la densit`a di T
1

P(T
1
t, X(t) = j | X(0) = i, T
1
= s)f
T
1
(s) ds =

t
0
P(X(t) = j | X(0) = i, T
1
= s)
i
e

i
s
ds
114
Ma per la formula delle probabilit`a totali, la formula del prodotto e la
propriet`a di Markov
P(X(t) = j | X(0) = i, T
1
= s) =

k=i
P(X(t) = j, X(T
1
) = k | X(0) = i, T
1
= s) =

k=i
P(X(t) = j | X(T
1
) = k, X(0) = i, T
1
= s)P(X(T
1
) = k | X(0) = i, T
1
= s) =

k=i
P(X(t) = j | X(s) = k)P(X(T
1
) = k | X(0) = i)

k=i
p
kj
(t s)p
ik
e quindi lintegrale si riscrive

t
0

k=i
p
kj
(t s)p
ik

i
e

i
s
ds
e con il cambio di variabile s in t u

i
e

i
t

t
0

k=i
p
kj
(u)p
ik
e

i
u
du.
In conclusione
p
ij
(t) = I
i
(j)e

i
t
+
i
e

i
t

t
0

k=i
p
kj
(u)p
ik
e

i
u
du
e la funzione t p
ij
(t) `e derivabile in quanto composizione di funzioni
derivabili, con derivata pari a

i
_
I
i
(j)e

i
u

i
e

i
t

t
0

k=i
p
kj
(u)p
ik
e

i
u
du
_
+
i

k=i
p
kj
(t)p
ik
cio`e a

i
p
ij
(t) +
i

k=i
p
kj
(t)p
ik
e ricordando la denizione di q
ij
lequazione `e dimostrata.
A questo punto dimostrare lequazione allavanti, p

ij
(t) =

k
p
kj
(t)q
kj
,
`e pi` u semplice.
Si deriva in s la relazione
p
ij
(t +s) =

k
p
ik
(t)p
kj
(s)
115
(equazione di Chapman Kolmogorov); la derivata esiste poiche `e stata gi`a
dimostrata lequazione allindietro e derivando si ottiene
p

ij
(t +s) =

k
p
ik
(t)p

kj
(s).
Inoltre dallequazione allindietro gi`a dimostrata segue che P

(0) = Q e
quindi lultima uguaglianza in s = 0 `e lequazione cercata.
Proprio luguaglianza P

(0) = Q consente di interpretare gli elementi

della matrice Q, che non sono sulla diagonale, come tassi di salto: infatti
per la formula di Taylor con il resto di Peano, qualsiasi siano i, j con i = j
p
ii
(t) = 1 +q
ii
t +o(t)
p
ij
(t) = q
ij
t +o(t)
e dunque, a meno di termini trascurabili rispetto a t, p
ij
(t) = q
ij
t, ovvero
q
ij
t `e lapprossimazione al I ordine della probabilit`a che in un intervallo di
ampiezza t di tempo si passi da i a j.
Si sottolinea che la matrice Q, detta anche matrice dei parametri in-
nitesimali, non `e una matrice stocastica ed in particolare gli elementi non
sono necessariamente in [0, 1] e la somma degli elementi di riga `e nulla. In-
fatti se i `e assorbente si `e gi`a detto che la riga corrispondente in Q `e tutta
nulla, mentre se i `e non assorbente q
ii
=
i
e inoltre

j=i
q
ij
=

j=i

i
p
ij
=
i

j=i
p
ij
=
i
dove nellultima riga si usa

j=i
p
ij
= 1.
Si deve anche notare che dati i parametri innitesimali, ovvero data Q, la
dinamica `e assegnata. Infatti si calcolano i parametri dei tempi di soggiorno

i
, i = 1, 2, . . . e la matrice delle probabilit`a di salto P nel modo seguente: se
la riga i-ma di Q `e nulla allora
i
= 0 e la riga i-ma di P ha solo lelemento
sulla diagonale non nullo, ovvero i `e stato assorbente; altrimenti

i
=

j=i
q
ij
, p
ij
=
q
ij

i
.
In conclusione cos`, come nel caso tempo discreto una dinamica markoviana
`e individuata dalla matrice di transizione P, nel caso tempo continuo una
dinamica markoviana `e individuata dalla matrice dei parametri innitesimali
Q.
116
4.3 Catene di nascita e morte
Le catene di Markov a tempo continuo per le quali
q
ij
= 0 |i j| 1
sono dette catene di nascita e morte. Esse possono assumere valori su
(0, 1, 2 . . . , d) o (0, 1, 2 . . .), ma il salto possibile da ogni stato `e solo ver-
so gli stati adiacenti, ovvero da i solo in i + 1 o in i 1.
Si pone qualsiasi sia i

i
:= q
i,i+1
, i 0
i
:= q
i,i1
, i 1

i
si chiama tasso di nascita e
i
tasso di morte e si pone anche
0
:= 0 e
se S `e nito
d
:= 0. Segue che valgono le uguaglianze

i
=
i
+
i
,
0
=
0
e, nel caso S sia nito,
d
=
d
e per le probabilit`a di salto
p
i,i+1
=

i

i
+
i
, p
i,i1
=

i

i
+
i
, p
0,1
= 1
e se S `e nito p
d,d1
= 1.
Si considera la catena a due stati, cio`e il caso S = (0, 1), e si calcola la
funzione di transizione risolvendo le equazioni allindietro: per calcolare gli
elementi della prima colonna di P(t) si impostano le equazioni
p

00
(t) = q
00
p
00
(t) +q
01
p
10
(t)
p

10
(t) = q
11
p
10
(t) +q
10
p
00
(t)
ovvero
p

00
(t) = p
00
(t) +p
10
(t)
p

10
(t) = p
10
(t) +p
00
(t),
avendo posto per semplicit`a =
0
e =
1
. Sottraendo la seconda
equazione dalla prima si ottiene
_
p
00
(t) p
10
(t)
_

=
_
+
__
p
00
(t) p
10
(t)
_
e quindi, tenendo conto che p
00
(0) p
10
(0) = 1,
p
00
(t) p
10
(t) = e
(+)t
.
Sostituendo nella prima equazione lespressione calcolata si ottiene
p

00
(t) = e
(+)t
117
e poi integrando con condizione iniziale p
00
(0) = 1
p
00
(t) =

+
+

+
e
(+)t
.
Inne
p
10
(t) =

+


+
e
(+)t
.
Per evidenti ragioni di simmetria valgono anche
p
01
(t) =

+


+
e
(+)t
, p
11
(t) =

+
+

+
e
(+)t
.
Lanalogia con la catena a due stati a tempo discreto `e completa se si osserva
che vale
lim
t+
P(t) =
_

+

+
_
.
Per una generale catena di nascita e morte le equazioni allindietro e
allavanti si scrivono rispettivamente cos`
p

ij
(t) = q
i,i1
p
i1,j
(t) +q
ii
p
ij
(t) +q
i,i+1
p
i+1,j
(t)
p

ij
(t) = p
i,j1
(t)q
j1,j
+p
ij
(t)q
jj
+p
i,j+1
(t)q
j+1,j
ovvero
p

ij
(t) =
i
p
i1,j
(t) (
i
+
i
)p
ij
(t) +
i
p
i+1,j
(t)
p

ij
(t) =
j1
p
i,j1
(t) (
j
+
j
)p
ij
(t) +
j+1
p
i,j+1
(t)
qualsiasi siano i, j ricordandosi di porre
1
= 0 e nel caso S sia nito anche

d+1
:= 0.
Si chiamano catene di pura nascita le catene di Markov a tempo continuo
con
i
= 0 qualsiasi sia i e quindi
i
=
i
e p
i,i+1
= 1. Le equazioni di
Kolmogorov si scrivono
p

ij
(t) =
i
p
ij
(t) +
i
p
i+1,j
(t)
p

ij
(t) =
j1
p
i,j1
(t)
j
p
ij
(t)
con le solite convenzioni. Fissati i e t 0, non essendo ammessi salti
allindietro, se `e j < i vale p
ij
(t) = 0; dalle equazioni di Kolmogorov si
ricava
p

ii
(t) =
i
p
ii
(t)
e dunque, essendo p
ii
(0) = 1, segue che
p
ii
(t) = e

i
t
;
118
per j > i, p
ij
(t) si calcola ricorsivamente da una delle due equazioni di
Kolmogorov. Infatti utilizzando, per esempio, lequazione allavanti
p
ij
(t) =
j1

t
0
e

j
(ts)
p
i,j1
(s) ds.
Nel caso in cui il tasso di nascita sia costante, ovvero
i
= si ha
p
ii
(t) = e
t
;
p
i,i+1
(t) =

t
0
e
(ts)
e
s
ds = e
t

t
0
ds = te
t
p
i,i+2
(t) =

t
0
e
(ts)
se
s
ds =
2
e
t

t
0
s ds =
_
t
_
2
2
e
t
e per induzione
p
i,i+k
(t) =
_
t
_
k
k!
e
t
.
Una catena di pura nascita con tasso di nascita , uscente dallo zero, ovvero
con
0
(0) = 1, assume valore k al tempo t > 0 con probabilit`a

t
(k) = p
0k
(t) =
_
t
_
k
k!
e
t
e infatti `e un processo di Poisson.
Un esempio di catena di nascita e morte a tempo continuo a valori in N
con tassi lineari `e costituito dai processi di ramicazione: sono i processi che
contano il numero di individui di una popolazione in cui: ogni individuo,
dopo un tempo di quiescenza di legge esponenziale di parametro > 0, si
duplica con probabilit`a p o muore con probabilit`a 1 p, indipendentemente
dagli altri; nuovi individui si aggiungono alla popolazione seguendo un usso
di Poisson di parametro 0 indipendente dalle altre variabili aleatorie del
processo. Si determinano i parametri dei tempi di permanenza della catena
nei singoli stati. Se la popolazione non ha individui, ovvero il processo `e
nello stato 0, arriver`a un nuovo individuo dopo un tempo esp() e
quindi

0
= .
Altrimenti se nella popolazione ci sono i 1 individui (numerati), indicati
con
1
,
2
, . . . ,
i
i tempi di quiescenza degli individui e indicato con T
1
il
tempo di primo salto del processo, varr`a
T
1
= min(,
1
,
2
, . . . ,
i
)
119
e T
1
esp( + i ) (si ricordi: minimo di esponenziali indipendenti `e
esponenziale con parametro la somma dei parametri ) e quindi

i
= +i , i 1.
Non sono ammessi salti di ampiezza maggiore di 1 dal momento che le
v.a. ,
1
,
2
, . . . ,
i
sono v.a. indipendenti con densit`a e quindi con densit`a
congiunta (si ricordi: v.a. indipendenti hanno come densit`a congiunta il
prodotto delle densit`a e la dierenza di due di esse ha densit`a).
Si calcolano le probabilit`a di salto. Vale
p
i,i1
=
P(X(T
1
) = i 1 | X(0) = i) =
P(X(T
1
) = i 1, T
1
= | X(0) = i) =
P(X(T
1
) = i 1 | T
1
= , X(0) = i)P(T
1
= | X(0) = i).
Ora P(X(T
1
) = i 1 | T
1
= , X(0) = i) `e la probabilit`a che, coincidendo
il tempo di primo salto con la ne del tempo di quiescenza di un individuo,
lindividuo muoia e quindi
P(X(T
1
) = i 1 | T
1
= , X(0) = i) = 1 p.
Inoltre
(T
1
= ) =
_
min(
1
,
2
, . . . ,
i
) <
_
e, poiche le v.a. e min(
1
,
2
, . . . ,
i
) sono, condizionatamente a X(0) = i,
indipendenti ed esponenziali rispettivamente di parametro e i, allora
P
_
T
1
= | X(0) = i
_
=
i
+i
(si ricordi: date due esponenziali indipendenti allora, se X esp() e Y
esp(), si ha Y < X con probabilit`a /( +)). In denitiva
p
i,i1
=
i(1 p)
+i
.
Di conseguenza
p
i,i+1
= 1 p
i,i1
=
+ip
+i
.
I tassi di nascita e morte sono dunque

i
= +ip,
i
= i(1 p).
120
4.4 Code markoviane
Un altro esempio di catene di nascita e morte sono le code markoviane,
ovvero i processi che contano il numero dei clienti allinterno di un servizio,
sia quelli serviti che quelli in attesa di servizio. Qui si considera soltanto il
caso semplicato in cui non vi sia uscita dei clienti se non per ne servizio,
corrispondente allidea che la sala di attesa sia innita, ovvero il buer sia
innito. Si assume che il usso di arrivo dei clienti sia un processo di Poisson
di parametro indipendente dal tempo di servizio ad ogni sportello che si
assume sempre esponenziale di parametro . Nel caso in cui il numero degli
sportelli sia nito, N, la coda si indica con M|M|N, altrimenti la coda si
indica con M|M|. I salti della catena possono essere solo di ampiezza
unitaria, positivi o negativi, dal momento che i tempi esponenziali in gioco
sono v.a. indipendenti con densit`a.
I tassi di nascita e morte sono lineari nel caso M|M|, in particolare

i
= , i 0
i
= i, i 1
0
= 0.
Per calcolarli si usino le uguaglianze
i
=
i
p
i,i+1
e
i
=
i
p
i,i1
tenendo
presente che
0
= , p
01
= 1 e qualsiasi sia i 1,
i
= i + (per la regola:
il minimo di esponenziali indipendenti ha legge . . . ) e p
i,i+1
= /( + i)
e p
i,i1
= i/( + i) (per la regola: la probabilit`a che di due v.a. la pi` u
piccola sia una ssata delle due `e . . . ).
Nel caso M|M|N, i tassi di nascita e morte si calcolano analogamente e sono

i
= , i 0
i
=
_
i, 1 i N
N, i > N
,
0
= 0.
E ovvio che, avendo stabilito una regola di precedenza per i clienti in attesa
di servizio (per esempio, rst in rst out ovvero lordine di arrivo diven-
ta ordine di servizio), il primo cliente in attesa nel caso inniti sportelli
viene servito subito mentre in questo caso aspetta un tempo esponenziale di
parametro N (si ricordi la perdita di memoria dellesponenziale). Quanto
tempo in media aspetter`a il secondo cliente in la?
Si calcola ora la funzione di transizione della coda M|M|. Indicato
con X(t) il processo al tempo t, si osserva che X(t) = Y (t)+Z(t), dove Y (t)
conta il numero dei clienti presenti al tempo 0 e ancora in servizio al tempo
t, mentre Z(t) conta i clienti arrivati in (0, t] e ancora in servizio al tempo
t. Segue luguaglianza tra eventi
_
X(t) = j, X(0) = i
_
=
ij
k=0
_
Y (t) = k, Z(t) = j k, X(0) = i
_
e quindi passando alla probabilit`a, dopo aver applicato ladditivit`a della
probabilit`a al secondo membro, dividendo ambo i membri per P(X(0) = i)
121
si ottiene
p
ij
(t) =
ij

k=0
P
_
Y (t) = k, Z(t) = j k | X(0) = i
_
.
Applicando poi lindipendenza dei tempi di servizio e di ingresso segue
p
ij
(t) =
ij

k=0
P
_
Y (t) = k | X(0) = i
_
P(Z(t) = j k | X(0) = i
_
Per quanto riguarda il primo fattore, poich`e un cliente presente al tempo 0
`e ancora in servizio al tempo t con probabilit`a e
t
, si ha
P
_
Y (t) = k | X(0) = i
_
=
_
i
k
_
e
kt
(1 e
t
)
ik
.
Per quanto riguarda il secondo fattore, indicata con q
t
la probabilit`a che un
cliente entrato in coda dopo il tempo 0 sia ancora in servizio al tempo t,
per la formula delle probabilit`a totali, se N(t) conta tutti i clienti entrati in
coda dopo il tempo iniziale, si ha
P
_
Z(t) = j k | X(0) = i
_
=

njk
_
n
j k
_
q
jk
t
(1 q
t
)
nj+k
P(N(t) = n | X(0) = i) =

njk
_
n
j k
_
q
jk
t
(1 q
t
)
nj+k
(t)
n
n!
e
t
=
q
jk
t
(t)
jk
(j k)!
e
t

njk
_
t(1 q
t
)
_
nj+k
(n j + k)!
=
q
jk
t
(t)
jk
(j k)!
e
q
t
t
Cos` in denitiva
p
ij
(t) =
ij

k=0
_
i
k
_
e
kt
(1 e
t
)
ik
(q
t
t)
jk
(j k)!
e
q
t
t
.
Inoltre, detto tempo di arrivo del generico cliente entrato in coda dopo il
tempo iniziale, si pu`o calcolare q
t
condizionando al valore di cos`
q
t
=

e
(ts)
f

(s) ds.
122
Infatti se = s anch`e il cliente resti in coda no al tempo t il suo servizio
deve durare almeno t s e questo avviene con probabilit`a e
(ts)
. Inne,
poiche si sa che, condizionatamente al numero di arrivi in [0, t] di un Poisson,
i tempi di arrivo sono v.a. uniformi in [0, t], si riscrive
q
t
=

t
0
e
(ts)
1
t
ds =
1 e
t
t
.
Si osservi che
lim
t+
p
ij
(t) =
_

_
j
e
/
j!
poiche i termini corrispondenti a k = 0 si annullano con e
kt
. Dunque
riassumendo si `e calcolato lelemento generico della funzione di transizione
p
ij
(t) e si `e visto che, indipendentemente da i, per tempi grandi approssima
la densit`a di Poisson di parametro / calcolata in j. Ricordando che per
una v.a. esponenziale il valore medio coincide con linverso del parametro,
si pu`o riformulare la frase precedente dicendo che la generica riga della fun-
zione di transizione converge alla densit`a di Poisson di parametro pari al
tasso di ingresso per il valore medio del tempo di servizio. Questo risultato
`e generale per le code con inniti sportelli, usso di ingresso Poisson e tempo
di servizio di legge qualsiasi con media nita. In particolare per esempio lo si
`e dimostrato come applicazione dello splitting nel caso di tempo di servizio
a due valori.
Si tratta del secondo esempio, dopo quello della catena a due stati, di conver-
genza della funzione di transizione al divergere del tempo ovvero di ci`o che,
in analogia con il caso tempo discreto, si denisce comportamento ergodico
delle catene di Markov a tempo continuo.
4.5 Misura invariante
Data su S una dinamica markoviana a tempo continuo Q, in analogia al caso
tempo discreto, una densit`a di probabilit`a w su S si dice misura invariante
per Q quando se
0
= w allora vale
t
= w qualsiasi sia t > 0. Quindi,
ricordando che
t
=
0
P(t), w `e una misura invariante se e solo se
w = wP(t),
ovvero w `e autovettore con autovalore 1 della funzione di transizione in ogni
tempo.
Si dimostra ora che
w = wP(t), t wQ = 0.
Per dimostrare la condizione necessaria basta osservare che derivando a de-
stra e a sinistra la relazione w = wP(t) si ottiene 0 = wP

(t) che calcolata

123
in 0 d`a luguaglianza wQ = 0, essendo P

(0) = Q.
Viceversa wQ = 0 implica che
_
wP(t)
_

= 0 qualsiasi sia t e quindi wP(t) =

wP(0) = w. Infatti qualsiasi sia i dallequazione di Kolmogorov allindietro
segue

k
w
k
p

ki
(t) =

k
w
k

j
q
kj
p
ji
(t) =

j
p
ji
(t)

k
w
k
q
kj
,
ma lipotesi dice che

k
w
k
q
kj
= 0 e quindi

k
w
k
p

ki
(t) = 0.
Esiste un legame tra la misura invariante di una dinamica markoviana a
tempo continuo Q e quella della dinamica a tempo discreto in essa contenuta
denita dalla matrice delle probabilit`a di salto P? Per esempio: lesistenza
nel caso continuo `e legata in qualche modo allesistenza nel caso discreto?
E in caso aermativo, le due misure invarianti, w del caso continuo e v del
discreto si scrivono una in termini dellaltra?
Una prima risposta sono le due implicazioni seguenti:
wQ = 0,

j
w
j

j
< +=vP = v, v
i
:=
w
i

j
w
j

j
, i.
v = vP,

j
v
j

j
< +=wQ = 0, w
i
:=
v
i
/
i

j
v
j
/
j
, i.
Si ricava qui soltanto la prima delle due implicazioni. Lipotesi implica che
qualsiasi sia j

k
w
k
q
kj
=

k=j
w
k
q
kj
+w
j
q
jj
= 0
da cui

k=j
w
k
q
kj
= w
j
q
jj
= w
j

j
.
Ricordando la relazione q
kj
=
k
p
kj
vera per k = j, si ricava

k=j
w
k

k
p
kj
= w
j

j
,
ovvero in forma compatta detto v il vettore di componente generica w
k

k
si
ricava
v = vP
ovvero v `e autovettore di autovalore 1 per la matrice delle probabilit`a di
salto P, che `e anche matrice di transizione della catena (Z
n
)
n0
. Dividendo
il vettore di componente generica w
k

k
per la somma delle sue componenti
si ottiene una densit`a invariante per la dinamica a tempo discreto associata
a P.
124
Dal risultato visto immediatamente segue che nel caso S nito per quanto
riguarda esistenza e unicit`a della misura invariante la dinamica continua Q
e la dinamica discreta associata a P si equivalgono. Inoltre per il caso S
innito con parametri
i
, i = 1, 2 . . . limitati se la dinamica discreta associ-
ata a P `e persistente positiva e quindi ha ununica misura invariante allora
anche la dinamica continua Q ammette ununica misura invariante (segue
subito ragionando per assurdo dalla prima delle precedenti implicazioni).
Riferimenti bibliograci
[1] P.Baldi, Calcolo delle probabilit`a e statistica, Milano : McGraw-Hill,
1992
[2] P.Bremaud, Markov Chains, Gibbs elds, Monte Carlo simulation and
queues, New York : Springer, 1999
[3] P.G.Hoel, S.C.Port, C.J.Stone, Introduction to Stochastic Processes,
Boston: Houghton Miin, c1972
[4] S.M.Ross, Introduction to Probability Models, San Diego [etc.] :
Harcourt Academic Press, 2000
[5] H.C.Tijms, A First Course in Stochastic Models, Wiley, 2003
125