Cadeias de Markov

Andrei Andreyevich Markov

(*1856, Ryazan, Russia; 1922, So Petersburgo, Russia).
Fernando Nogueira

Cadeias de Markov

Introduo
Processos Estocsticos Processos que evoluem no tempo de maneira probabilstica.
Processos Estocsticos (formal) coleo de variveis randmicas (X(t)) indexadas
por um parmetro t, com t T. X(t) representa o estado do sistema no parmetro
(tempo) t. Portanto, X(t) definido em um espao denominado Espao de Estados.
Classificao em relao ao Estado
Estado Discreto (cadeia): X(t) definido sobre um conjunto enumervel ou finito
Estado Contnuo (seqncia): X(t) caso contrrio
Classificao em relao ao Tempo (Parmetro)
Tempo Discreto: t finito ou enumervel
Tempo Contnuo: t caso contrrio
Exemplos
1) Nmero de usurios em uma fila em um determinado instante: Estado Discreto e
Tempo Contnuo.
2) ndice pluviomtrico dirio: Estado Contnuo e Tempo Discreto.
3) Nmero de dias chuvosos: Estado Discreto e Tempo Discreto.
Fernando Nogueira

Cadeias de Markov

Processos Markovianos
Um Processo Estocstico dito ser um Processo Markoviano se:

PX( t k 1 ) x k 1 X( t k ) x k , X( t k 1 ) x k 1 ,..., X( t 1 ) x 1 , X( t 0 ) x 0 PX( t k 1 ) x k 1 X( t k ) x k

para t 0 t1 ...t k t k 1 0,1,...

e toda seqncia

k 0 , k1 ,..., k t 1 , k t , k t 1

Um Processo Markoviano uma Cadeia de Markov em Tempo Discreto se:

PX(k 1) x k 1 X(k ) x k , X(k 1) x k 1 ,..., X(1) x 1 , X(0) x 0 PX(k 1) x k 1 X(k ) x k

Probabilidade de Transio P X (k 1) x k 1 X (k ) x k
Probabilidade de Transio dita Estacionria se:
PX(k 1) x k 1 X(k ) x k PX(1) x 1 X(0) x 0

Probabilidade de transio de passo 1

Probabilidade de Transio de passo 1 implica que:

PX(k n ) x k n X(k ) x k PX(n ) x n X(0) x 0

Probabilidade de transio de passo

p ij( n ) PX (k n ) j X(k ) i

n
Notao simplificada

Matriz de Transio de Passo n

Fernando Nogueira

p 00n
n
p
P n 10
...
n
p M 0

Cadeias de Markov

p 01n
n
p11
...
p Mn1

... p 0nM

... p 1 nM
...
...

n
... p MM

Exemplo 1
O estado no ano de 1993 do uso da terra em uma cidade de 50 Km2 de rea :

Vetor de Estados
x I II III

Vetor de Probabilidade de Estado

0.30 0.20 0.50

O estado no ano de 1998 do uso da terra

Matriz de Transio
0.8 0.1 0.1
P 0.1 0.7 0.2
0.0 0.1 0.9

0.8 0.1 0.1

1 0 P 30 20 50 0.1 0.7 0.2 26 22 52
0.0 0.1 0.9

Fernando Nogueira

Cadeias de Markov

Equaes de Chapman - Kolmogorov

Permite computar a matriz de transio para n passos (de t para t + n).
M
para todo i, j = 0, 1, ..., M
n
m n m
n
m
n m
n
n
p

p
p

P
.
P

P
ij
ik kj
qualquer m = 1, 2, ..., n-1
k 0
notao matricial
qualquer n = m+1, m+2, ....
Classificao de Estados em Cadeias de Markov

n
Estado Alcanvel j alcanvel a partir de i se p ij 0 para algum n 0

Estado Comunicante j comunicante com i se j alcanvel a partir de i e viceversa

Estado 0
1 2 3
1 comunicante com 2
0
0
0 0
1
P

1 p

2
3

p 0
1 p 0 p
0
0

0 1

n
2 no alcanvel a partir de 3 p 32 0, n 0

Se todos estados so comunicantes Cadeia Irredutvel

Estado Transiente i transiente se e somente se existe um estado j j i que

alcanvel a partir do estado i mas no vice-versa.
Estado Recorrente i recorrente se no transiente.
Estado Absorvente i recorrente se pii = 1.
Fernando Nogueira

Cadeias de Markov

Um conjunto C de estados dito ser um Conjunto Fechado se o processo ao entrar em

um destes estados de C, este ir permanecer nos estados de C indefinidamente.
Um conjunto Cm de estados dito ser um Conjunto Fechado Mnimo se este conjunto
no possui sub-conjuntos fechados.

Estado
0
1
P 2
3
4

0
1
4
1
2
0
0
1

1
3

2
0
0
0

2
0

3
0

4
0

0
1
1
3
0

0
0
2
3
0

0 e 1 so recorrentes 0, 1 e 2 formam um Conj. Fechado

2 absorvente

0 e 1 formam um Conj. Fechado Mnimo

3 e 4 so transientes 2 Conj. Fechado Mnimo

Estado Peridico i peridico com perodo t se um retorno a este estado possvel

somente em t, 2t, 3t,... passos para t>1. p ii n 0 sempre quando n no divisvel por t.
Estado Aperidico se t = 1.

Em uma Cadeia de Markov

1
0
de estado finito, estados
0 1
0
2
2

1
0 1
0
recorrentes aperidicos so
1
2
2
P
1
2
0 p
0
chamados
de
estados
2 12 0

3
1
1
0 1
0
0
Ergdicos. Uma Cadeia de
2
2

1e 2 so peridicos todos estados so peridicos Markov Ergdica se todos

os estados so ergdicos.
com t = 2
com t = 2

Estado 0
1
0
0
1
1 p
1
0

P
0 1 p
2

3
0
0

2 3
0 0
p 0

Fernando Nogueira

Estado

Cadeias de Markov

Probabilidades de Estados Estavis (Steady-State)

Se a Cadeia de Markov Ergdica e Irredutvel, a distribuio de probabilidade dos
estados a longo perodo independe da distribuio de probabilidade inicial dos
estados 0 .
0.080 0.184 0.368 0.368
0.632 0.368
0
0
1

P
0.264 0.368 0.368
0

0.080 0.184 0.368 0.368

0.286
0.286

8
P
0.286

0.286

0.285
0.285
0.285
0.285

0.264
0.264
0.264
0.264

0.166
0.166
0.166

0.166

0.249
0.283

2
P
0.351

0.249

0.286 0.300 0.165

0.252 0.233 0.233
0.319 0.233 0.097

0.286
0.286

0.286

0.286

0.285 0.264 0.166

P 4

0.286 0.300 0.165

0.289 0.286 0.261 0.164

0.282 0.285 0.268 0.166

0.284 0.283 0.263 0.171

0.289 0.286 0.261 0.164

0.285 0.264 0.166

0.285 0.264 0.166

0 .P
0.286 0.285 0.263 0.166

0.285 0.264 0.166

para qualquer 0

Equaes de Estados Estavis

M

j i p ij para j = 0, 1, 2, . . ., M
M

i 0
j

para j = 0, 1, 2, . . ., M

.P

M+2 equaes em M+1 incgnitas

0
0 0 p 00 1 p10 2 p 20 3 p 30
0 0 0.080 1 1 0.632 2 0.264 3 0.080
0.286
p p p p
0 0.184 0.368 1 0.368 0.184
0 01
1 11
2 21
3 31
0
1
2
3
1

0 0 0.368 2 0.368 1 3 0.368

2 0 p 02 1 p12 2 p 22 3 p 32
()

P

p p p p

0 0 0.368 3 0.368 1

0 03
1 13
2 23
3 33
3

1 0 1 2 3

1 0 1 2 3

Fernando Nogueira
Cadeias de Markov
j 0

0.285 0.263 0.166

0.286 0.285 0.263 0.166
0.286 0.285 0.263 0.166
0.286 0.285 0.263 0.166

0.286 0.285 0.263 0.166

Custo Mdio Esperado por Unidade de Tempo

1 n k
lim
p ij j , i
Se a Cadeia de Markov Irredutvel, o limiten n
sempre ir
k 1

existir.
M
1 n

Seja C(Xt) uma funo de custo (C() uma varivel

independente
de t). O
lim E randmica
j C j
C X t
n n t 1
j 0

custo mdio esperado por unidade de tempo :

Exemplo
0 se X t 0
1 n

2 se X 1

t
C X t
8 se X t 2
18 se X t 3

lim E
n

1 se X t j
0 se X t j

Se C X t

C X
t 1

0.286 0 0.285 2 0.263 8 0.16618 5.66

custo mdio esperado do estoque por semana

Frao do tempo em que o processo est no estado j

Tempos de Primeira Passagem tempo demandado para o processo atingir o estado j a

partir do estado i. Quando j = i Tempo de Recorrncia para o estado i.
Denominando f ij n a probabilidade do Tempo de Primeira Passagem a partir do
estado i para o estado j ser n, pode-se escrever que:
f ij1 p ij1 p ij
Exemplo: Probabilidade do Tempo de Primeira Passagem a partir do
estado 3 (estoque cheio) para o estado 0 (estoque vazio) ser n:
f 2 p f 1
ij

k j

ik kj

f ij n p ik f kj n 1
k j

1 p 0.080
f 30
30

2 p f 1 p f 1 p f 1 0.184 0.632 0.368 0.264 0.368 0.080 0.243

f 30
31 10
32 20
33 30

Fernando Nogueira

Cadeias de Markov

f
n 1

ij

1 processo inicialmente no estado i, pode nunca alcanar o estado j

n
n
f

f
a distribuio de probabilidade para a varivel aleatria Tempo
ij
ij

de Primeira Passagem

n 1

Tempo de Primeira Passagem Esperado

ij

nf ij n

n 1

se
se

n
f ij 1

n 1

n
f ij 1

n 1

Sempre quando

f
n 1

ij

1 ij unicamente satisfaz

ij 1 p ik kj
k j

Exemplo: Tempo de Primeira Passagem Esperado a partir do estado 3 (estoque cheio)

para o estado 0 (estoque vazio):
30 1 p 3110 p 32 20 p 33 30 30 1 0.18410 0.368 20 0.368 30 10 1.58 semanas
20 2.51semanas
20 1 p 2110 p 22 20 p 23 30 20 1 0.36810 0.368 20
30 3.50 semanas
10 1 p1110 p12 20 p13 30 10 1 0.36810
Tempo de Recorrncia Esperado
1
1
00
3.50 semanas
jj
0
j
1
11
3.51 semanas
1
Fernando Nogueira

Cadeias de Markov

22

1
3.80 semanas
2

33

1
6.02 semanas
3

Classificao de Estados segundo a probabilidade do Tempo de Primeira Passagem

n
f
ii 1 ii Transiente

Um estado recorrente Nulo se ii

n 0

n
f
ii 1 Re corrente
n 0

Um estado recorrente No-Nulo ou Positivo se ii

Um estado Ergdico se no-nulo e aperidico

Estados Absorventes
fik probabilidade de absoro para o estado k dado que o sistema iniciou no estado i.
Seja k um estado absorvente, ento o conjunto de probabilidades de absoro f ik
satisfaz
M o seguinte sistema de equaes:
f ik p ij f jk
Exemplo: f20 e f24 ?
j 0

sujeito a:
f kk 1
f ik 0 se i recorrente e i k

0
1
P 2
3
4

1
2
3
0
0

0
0
2
3
0

0
1
3
0
2
3
0

0
0
1
3
0
0

0
0
0

1
3
1

f 10 p 10 f 00 p11 f 10 p 12 f 20 p13 f 30 p14 f 40

f 20 p 20 f 00 p 21f 10 p 22 f 20 p 23 f 30 p 24 f 40
f p f p f p f p f p f
30 00
31 10
32 20
33 30
34 40
30

Fernando Nogueira

Cadeias de Markov

4
5
1

f 20
f 24

10