Cadeia de Markov

Modelagem e Simulao - Cadeias de Markov
Cadeias de Markov
1. Introduo
Nestas notas de aula sero tratados modelos de probabilidade para processos que
evoluem no tempo de maneira probabilstica. Tais processos so denominados Processos
Estocsticos.
1.2. Processos Estocsticos
Um Processo Estocstico definido como uma coleo de variveis randmicas
(X(t)) indexadas por um parmetro t pertencente a um conjunto T. Freqentemente T
tomado para ser o conjunto dos inteiros no-negativos (porm, outros conjuntos so
perfeitamente possveis) e X(t) representa uma caracterstica mensurvel de interesse no
tempo t. Exemplificando, X(t) pode representar o nvel de estoque de um produto no fim da
semana t.
Processos Estocsticos so de interesse para descrever o procedimento de um
sistema operando sobre algum perodo de tempo, com isso, em termos formais, a varivel
randmica X(t) representa o estado do sistema no parmetro (geralmente tempo) t.
Portanto, pode-se afirmar que X(t) definido em um espao denominado Espao de
Estados.
Os Processos Estocsticos podem ser classificados como:
a) Em relao ao Estado
Estado Discreto (cadeia): X(t) definido sobre um conjunto enumervel ou finito.
Estado Contnuo (seqncia): X(t) caso contrrio.
b) Em relao ao Tempo (Parmetro)
Tempo Discreto: t finito ou enumervel.
Tempo Contnuo: t caso contrrio.
Exemplos:
1. Nmero de usurios em uma fila de banco em um determinado instante: Estado
Discreto e Tempo Contnuo.
2. ndice pluviomtrico dirio: Estado Contnuo e Tempo Discreto.
3. Nmero de dias chuvosos: Estado Discreto e Tempo Discreto.
Existem vrios "tipos" de Processos Estocsticos, porm, nestas notas de aula ser
apenas abordado um tipo de Processo Estocstico denominado Processo Markoviano.
Notas de Aula - Fernando Nogueira
Andrei Andreyevich Markov (*1856, Ryazan, Russia; 1922, So Petersburgo, Russia).
2. Processos Markovianos
Um Processo Estocstico dito ser um Processo Markoviano se:
P{X( t k +1 ) x k +1 X( t k ) = x k , X ( t k 1 ) = x k 1 ,..., X( t 1 ) = x 1 , X( t 0 ) = x 0 } = P{X ( t k +1 ) x k +1 X ( t k ) = x k }
para t 0 t 1 ...t k t k +1 = 0,1,...
e toda seqncia
(1)
k 0 , k 1 ,..., k t 1 , k t , k t +1
A expresso (1) pode ser "traduzida" por: a probabilidade condicional de qualquer

evento futuro, dado qualquer evento passado e o estado presente X(tk) = xk, independente
do evento passado e depende somente do estado presente.
Em termos mais resumidos: um Processo Estocstico dito ser um Processo
Markoviano se o estado futuro depende apenas do estado presente e no dos estados
passados.
Este tipo de Processo Estocstico tambm denominado de memoryless process
(processo sem memria), uma vez que o passado "esquecido" (desprezado).
As probabilidades condicionais P{X( t k +1 ) = x k +1 X( t k ) = x k } so denominadas
Probabilidades de Transio e representam, portanto, a probabilidade do estado X( t k+1 )
ser x k +1 no instante tk+1 dado que o estado X( t k ) x k no instante tk.
Sem demais formalismo, segue-se o exemplo seguinte:
Exemplo A
O estado no ano de 1993 do uso da terra em uma cidade de 50 quilmetros
quadrados de rea :
Tabela 1 - Estado do uso da terra em 1993.
I
II
III
uso residencial
uso comercial
uso industrial
30%
20%
50%
Os valores da tabela 1 podem ser dispostos em um vetor x, denominado Vetor de

Estados:
x = [I II III]
(2)
As probabilidades de cada Estado (probabilidade no-condicional) podem tambm

ser dispostos em um vetor , denominado Vetor de Probabilidade de Estado (para
distingui-las das probabilidades de transio):
= [0.30 0.20 0.50]
(3)
Assumindo que as probabilidades de transio para intervalos de 5 anos so dadas

pela seguinte tabela:
Tabela 2 - Probabilidades de Transio
de I
de II
de III
para I para II para III

0.8
0.1
0.1
0.1
0.7
0.2
0
0.1
0.9
As probabilidades condicionais na tabela 2, em termos informais, podem ser

entendidas como:
de I para I a probabilidade do estado ser I aps 5 anos, dado que o
estado atual (presente) I 0.8, ou P{X( t + 5) = I X( t ) = I} = 0.8 . Para t =1993,
fica P{X(1998) = I X(1993) = I} = 0.8 .
de I para II a probabilidade do estado ser II aps 5 anos, dado que o
estado atual (presente) I 0.1, ou P{X t +5 = II X t = I} = 0.1 . Para t =1993, fica
P{X(1998) = II X (1993) = I} = 0.1 .
de I para III a probabilidade do estado ser III aps 5 anos, dado que o
estado atual (presente) I 0.1, ou P{X( t + 5) = III X( t ) = I} = 0.1 . Para t =1993,
fica P{X(1998) = III X(1993) = I} = 0.1 .
de II para I a probabilidade do estado ser I aps 5 anos, dado que o
estado atual (presente) II 0.1, ou P{X( t + 5) = I X( t ) = II} = 0.1 . Para t =1993,
fica P{X(1998) = I X(1993) = II} = 0.1 .
de II para II a probabilidade do estado ser II aps 5 anos, dado que o
estado atual (presente) II 0.7, ou P{X( t + 5) = II X( t ) = II} = 0.7 . Para t =1993,
fica P{X(1998) = II X(1993) = II} = 0.7 .
o raciocnio anlogo para as demais.
Os valores da tabela 2 podem ser ento dispostos em uma matriz P, denominada

Matriz de Transio:
0.8 0.1 0.1
P = 0.1 0.7 0.2
0.0 0.1 0.9
Assim, a partir de P e o vetor de probabilidade de estado para 1993, denominado

, pode-se calcular o vetor de probabilidade de estado para 1998, denominado (1) :
(0)
(4)
(1)
0.8 0.1 0.1

= P = [30 20 50] 0.1 0.7 0.2 = [26 22 52]
0.0 0.1 0.9
(5)
(0 )
2.1 Cadeias de Markov

Um Processo Markoviano dito ser uma Cadeia de Markov quando as variveis
randmicas X(t) esto definidas em um espao de estados discreto E. O exemplo dado
acima ento uma Cadeia de Markov porque o espao de estados discreto.
Quando o tempo discreto, a Cadeia de Markov dita ser uma Cadeia de Markov
em Tempo Discreto. Neste caso, tem-se:
P{X(k + 1) = x k +1 X( k ) = x k , X (k 1) = x k 1 ,..., X(1) = x 1 , X(0) = x 0 } = P{X(k + 1) = x k +1 X( k ) = x k }
(6)
seqncia 0,1,..., k 1, k , k + 1
As Probabilidades de Transio P{X(k + 1) = x k +1 X(k ) = x k } representam, portanto, a

probabilidade do estado X(k + 1) ser x k +1 no tempo k + 1 dado que o estado X(k ) x k no
tempo k.
Se para cada xk+1 e xk, tem-se:
P{X (k + 1) = x k +1 X (k ) = x k } = P{X (1) = x 1 X (0) = x 0 }
(7)
seqncia 1,2,..., k 1, k, k + 1
ento, as Probabilidades de Transio so ditas Estacionrias. Assim, tendo-se

Probabilidades de Transio Estacionrias implica que as Probabilidades de Transio no
mudam em relao ao tempo. Ainda, de acordo com a expresso (7), as Probabilidades de
Transio so denominadas Probabilidades de Transio de Passo 1.
A existncia de Probabilidades de Transio Estacionrias de Passo 1 implica que
para cada xk+n e xk e n (n = 0, 1, 2,...), tem-se:
P{X (k + n ) = x k + n X (k ) = x k } = P{X (n ) = x n X(0) = x 0 }
(8)
seqncia 1,2,..., k 1, k, k + 1

Estas probabilidades condicionais so chamadas Probabilidades de Transio de
Passo n.
Para simplificao da notao, adotando xk+1 ou xk+n de j e xk de i, pode-se definir:
p ij = P{X(k + 1) = j X( k ) = i}
(9)
e
p ij( n ) = P{X(k + n ) = j X(k ) = i}
(10)
Porque p ij( n ) so probabilidades condicionais, estas precisam ser no negativas e

desde que o processo precisa realizar uma transio em algum estado, estas precisam
satisfazer as seguintes propriedades:
p ij( n ) 0
(i, j); n = 0,1,2,...
(11)
e
M
p
j= 0
(n)
ij
=1
(12)
i; n = 0,1,2,...
Uma maneira conveniente de mostrar todas as Probabilidades de Transio de Passo

n :
Estado 0
1 ... M
(
n
)
0
p 00 p (01n ) . . . p (0nM)
(n)
(n ) . . .
n)
1
p 10
p 11
p 1( M
.
M
p (Mn )0
p (Mn1)
... .
n)
. . . p (MM
ou, equivalentemente, por uma matriz P(n):

p (00n )
(n )
p
P (n ) = 10
...
(n )
p M 0
p (01n )
(n )
p 11
...
p (Mn 1)
p (0nM)
p 1(nM)
...
...
(
n)
... p MM
...
...
(13)
A matriz P(n) denominada Matriz de Transio de Passo n. Quando n = 1, a

matriz denominada apenas Matriz de Transio, como exemplificado na expresso (4).
As Cadeias de Markov, consideradas nestas notas de aula possuem as seguintes
propriedades:

1. Um nmero finito de estados.
2. Probabilidades de Transio Estacionrias.
Ainda ser assumido como conhecido o vetor de probabilidade de estado inicial (0)
(vetor composto por P{X0 = i} para todo i).
Exemplo B
Uma loja de cmeras fotogrficas armazena um modelo de cmera que pode ser
comprada semanalmente do fornecedor. D1, D2, . . ., representa a demanda para esta cmera
(o nmero de unidades que deveriam ser vendidas se o estoque no esgotado) durante a
semana 1, semana 2, . . ., respectivamente. assumido que Di so variveis randmicas
independentes e identicamente distribudas (i.i.d) tendo uma distribuio de Poisson com
mdia igual a 1. Dado X0 representar o nmero de cmeras inicialmente, X1 o nmero de
cmeras no fim da semana 1, X2 o nmero de cmeras no fim da semana 2 e assim por
diante. Assume-se que X0 = 3. No sbado a noite a loja faz o pedido de cmeras para o
fornecedor, o qual realizar a entrega apenas na prxima segunda-feira. A loja utiliza a
seguinte poltica de compra: se no h cmeras no estoque, a loja compra 3 cmeras.
Entretanto, se h alguma cmera no estoque, nenhuma cmera comprada. Vendas so
perdidas quando a demanda excede o estoque. Assim, {X t } para t = 0, 1, 2, . . . um
Processo Estocstico. Os Estados possveis do processo so os inteiros 0, 1, 2, 3,
representando o nmero de cmeras no fim da semana t, ou seja, o espao de estados, para
este exemplo E = {0 1 2 3} . As variveis randmicas Xt so dependentes e podem ser
avaliadas iterativamente pela expresso:
max{3 D t +1 ,0}
X t +1 =
max{X t D t +1 ,0}
se X t = 0
se X t 1
para t = 0, 1, 2, . . .
(14)
A expresso (14) o processo estocstico (o qual foi modelado a partir do

enunciado). Ainda faz-se necessrio definir a matriz de transio P, porm, primeiramente,
a ttulo de reviso segue:
Duas variveis aleatrias so independentes se P (A B ) = P A B .P(B ) = P(A ).P(B) .

Duas variveis aleatrias so identicamente distribudas se possuem a mesma distribuio de probabilidade.

Distribuio de Poisson
Simon Denis Poisson (*1781 Pithiviers, Frana; 1840, Sceaux, Frana).
A distribuio de Poisson uma distribuio discreta empregada em situaes

probabilsticas onde a rea de oportunidade de ocorrncia de um evento grande, mas a
oportunidade de ocorrncia em um intervalo particular (ou em um ponto) muito pequena.
Exemplo:
Nmero de defeitos ao longo de um fio de uma linha de transmisso de energia.
Erros de datilografia em um livro.
Acidentes industriais.
Chegadas em modelos de fila de espera.
Matematicamente:
A probabilidade de exatamente r ocorrncias de um evento :
P(r ) =
( )r e
(15)
r!
onde:
a mdia da distribuio
A varincia de P(r) tambm.
Exemplo:
O nmero mdio de defeitos em laminas de vidro 5. A probabilidade que a lamina
tenha 6 defeitos :
P(6) =
(5)6 e 5
6!
= 0.146
(16)

Retomando o exemplo do estoque da loja de cmeras, dado que o estado corrente
Xt= i, o processo s depende de Dt+1 (veja expresso (14)). Uma vez que Xt+1
independente do passado, este processo um processo Markoviano. Considerando ainda
que o espao de estado discreto, este processo Markoviano uma Cadeia de Markov.
Uma vez que Dt+1 tem distribuio de Poisson com mdia = 1 pode-se calcular:
P{D t +1 = n} =
1n e 1
, para n = 0, 1,...
n!
(17)
Atribuindo valores para n, onde n representa o nmero de cmeras necessrias para

repor o estoque na prxima semana, fica:
P{D t +1 = 0} = e 1 = 0.368
(18)
P{D t +1 = 1} = e 1 = 0.368
(19)
P{D t +1 = 2} =
e 1
= 0.184
2
P{D t +1 3} = 1 P{D t +1 2} = 1 0.368 0.368 0.184 = 0.08
(20)
(21)
De posse das probabilidades de Dt+1 para os valores de n e do processo estocstico

(expresso 14), as probabilidades de transio pij (elementos da matriz de transio) podem
ser definidas:
p00
X t = 0 e X t +1 = 0 0 = max(3 D t+1 ,0)
P(D t +1 3) = 0.080
(22)
p01
X t = 0 e X t +1 = 1 1 = max(3 D t+1 ,0)
P(D t +1 = 2) = 0.184
(23)
p10
X t = 1 e X t +1 = 0 0 = max(1 D t+1 ,0)
P(D t +1 1) = 1 P(D t +1 = 0) = 0.632
(24)
p12
X t = 1 e X t +1 = 2 2 = max(1 D t+1 ,0)
P(D t +1 = 1) = 0
(25)

Para as demais pij, o raciocnio anlogo.
A matriz de transio P ento fica:
0.080
0.632
P=
0.264
0.080
0.184 0.368 0.368

0.368
0
0
0.368 0.368
0
0.184 0.368 0.368
(26)
Uma maneira alternativa para representar as probabilidades de transio utilizar

uma representao denominada Diagrama de Transio de Estado. Neste os sentidos das
flechas indicam a probabilidade de transio de um estado i para um estado j. Para a matriz
de transio P dada pela expresso (26) o diagrama fica:
Fig. 1 - Diagrama de Transio de Estado.

2.2 Equaes de Chapman - Kolmogorov
Sidney Chapman (*1888, Eccles, Inglaterra; 1970,

Boulder, Estados Unidos).
Andrey Nikolaevich Kolmogorov (*1903, Tambov,

Russia; 1987, Moscow, Russia).
A matriz de transio P a matriz de transio de probabilidades de estado para um

passo no tempo, ou seja, de t para t+1. Pode se dizer, de maneira simplista, que as equaes
de Chapman-Kolmogorov fornecem um mtodo para computar a matriz de transio para n
passos no tempo, ou seja, de t para t+1, de t para t+2, ..., de t para t+n.
Seja p ij( n ) a probabilidade de transio do estado i para o estado j de passo n, pode-se
escrever que:
M
p ij(n ) = p ikm p nkjm
(27)
k =0
i = 0,1,..., M
j = 0,1,..., M
e qualquer m = 1, 2, ..., n-1
e qualquer n = m+1, m+2, ....
Em notao matricial, a expresso (27) fica:
P ( n ) = P m .P n m
onde:
(28)
P(n) a matriz de transio de passo n.
10

A partir de (28) pode-se concluir, portanto, que:
(29)
P (n ) = P n
A expresso (29) afirma que a matriz de transio de passo n igual matriz de

transio de passo 1 elevada a n-sima potncia.
Cabe ressaltar neste momento que a expresso (29) s vlida para Cadeias de
Markov cujas probabilidades de transio de estados so constantes em relao ao
tempo (Probabilidades de Transio Estacionrias). A este tipo de Cadeia de Markov,
denomina-se Cadeia de Markov Homognea e a matriz de transio P ento uma matriz
homognea.
Retomando o exemplo do estoque da loja de cmeras, a matriz de transio de passo
2 (n = 2), :
0.080
0.632
(
2)
2
P =P =
0.264
0.080
0.184 0.368 0.368 0.080

0.368
0
0 0.632
.
0.368 0.368
0 0.264
0.184 0.368 0.368 0.080
0.184 0.368 0.368 0.249

0.368
0
0 0.283
=
0.368 0.368
0 0.351

0.184 0.368 0.368 0.249
0.286
0.252
0.319
0.286
0.300
0.233
0.233
0.300
O vetor probabilidade de estado para o exemplo da cmera no tempo 0 :

(0) = [0 0 0 1]
(31)
uma vez que X0 = 3.

Para o tempo 1, (1) pode ser calculado como:
(1)
0.080
0.632
= (0) .P = [0 0 0 1].
0.264
0.080
0.184 0.368 0.368

0.368
0
0
= [0.080 0.184 0.368 0.368]
0.368 0.368
0
0.184 0.368 0.368
(32)
Para o tempo 2, (2) pode ser calculado como:
( 2)
0.249
0.283
= (0) .P 2 = [0 0 0 1].
0.351
0.249
0.286 0.300 0.165

0.252 0.233 0.233
= [0.249 0.286 0.300 0.165]
0.319 0.233 0.097
0.286 0.300 0.165
(33)
2.3 Classificao de Estados em Cadeias de Markov
11
0.165 (30)
0.233
0.097
0.165

2.3.1 Estados Alcanveis e Comunicantes
Um estado j dito ser alcanvel (accessible) a partir de um estado i se p ij(n ) > 0 para
algum n 0 . Isto implica que possvel o sistema entrar no estado j eventualmente quando
este comea no estado i.
Exemplo 1: os estados da matriz de transio P(2) na expresso (30).
Exemplo 2: Um jogador tem um $1,00 e a cada vez que joga ganha $1,00 com
probabilidade p>0 ou perde $1,00 com probabilidade 1-p. O jogo termina quando o jogador
acumula $3,00 ou $0,00. Este jogo uma Cadeia de Markov cujos estados representam a
quantia esperada de dinheiro que o jogador possui a cada vez que joga. O espao de estados
E = {0 1 2 3} e a matriz de transio P dada por:
Estado
0
1
P=
2
3
0
1
0
1
1 p
0
0 1 p
0
0
2 3
0 0
p 0
0 p
0 1
(34)
Nesta Cadeia de Markov, o estado 2, por exemplo, no alcanvel a partir do

estado 3. Isto pode ser observado a partir do contexto, uma vez que se o jogador alcanar o
(n ) = 0 para todo n 0 .
estado 3, este nunca deixar este estado, o que implica que p 32
Entretanto, o estado 3 alcanvel a partir do estado 2, uma vez que p (231) > 0 .
Um estado j dito comunicante com o estado i se o estado j alcanvel a partir do
estado i e o estado i alcanvel a partir do estado j.
Exemplo 3: os estados da matriz de transio P(2) na expresso (30).
Exemplo 4: estados 2 e 3 do exemplo 2 no so comunicantes.
A seguinte regra pode ser definida a partir das Equaes de Chapman-Kolmogorov:
"Se um estado i comunicante com um estado k e o estado k comunicante com um estado
j, ento o estado i comunicante com o estado j".
Se dois estados se comunicam entre si, diz-se que eles pertencem mesma classe.
Se todos os estados so comunicantes, portanto todos os estados pertencem a uma
nica classe, a Cadeia de Markov dita ser Irredutvel.
Exemplo 5: A Cadeia de Markov do exemplo do estoque da loja de cmeras.
2.3.2 Estados Recorrentes e Transientes
12

Um estado dito ser Transiente (Temporrio, Efmero, Transitrio) se, entrando
neste estado, o processo pode nunca retornar novamente para este estado. Portanto, o estado
i transiente se e somente se existe um estado j ( j i ) que alcanvel a partir do estado i
mas no vice-versa, isto , o estado i no alcanvel a partir do estado j. Assim, se o
estado i transiente e o processo visita este estado, h uma probabilidade positiva que o
processo ir mover-se para o estado j e assim nunca ir retornar para o estado i.
Conseqentemente, um estado transiente ser visitado somente um nmero finito de vezes.
Um estado dito ser Recorrente se entrando neste estado, o processo
definitivamente ir retornar para este estado. Portanto, um estado recorrente, se e somente
se, no transiente. Uma vez que o estado recorrente ser "revisitado" aps cada visita (no
necessariamente no prximo passo do processo), este ser visitado infinitamente para o
processo em tempo infinito.
Um estado dito ser Absorvente se entrando neste estado, o processo nunca ir
deixar este estado. Portanto, um estado i absorvente se e somente se pii = 1. Com isso,
pode-se afirmar que um estado absorvente um caso especial de um estado recorrente.
Em uma Cadeia de Markov, um conjunto C de estados dito ser um Conjunto
Fechado se o processo ao entrar em um desses estados de C, este ir permanecer nos
estados de C indefinidamente, ou seja, C um conjunto tal que nenhum estado fora de C
alcanvel a partir de qualquer estado de C. Com isso, pode-se afirmar que C um conjunto
formado por estados recorrentes.
Em uma Cadeia de Markov, um conjunto Cm de estados dito ser um Conjunto
Fechado Mnimo se este conjunto no possui sub-conjuntos fechados.
Exemplo 6: Suponha que a Cadeia de Markov possui a seguinte matriz de transio P:
Estado
0
1
P= 2
3
4
0
1
4
1
2
0
0
1
3
1
2
4
2
0
0
0
0
0
1
1
3
0
0 0
0 0
2
0
3
0 0
0
(35)
O estado 3 transiente porque se o processo est no estado 3, h uma probabilidade

positiva que ele nunca ir retornar para este estado. O estado 4 tambm um estado
transiente porque se o processo comea neste estado, imediatamente o processo o deixa e
nunca mais ir retornar para este estado.
Os estados 0 e 1 so recorrentes. Atravs de P percebe que se o processo comear a
partir de um desses dois estados, este nunca deixar estes dois estados. Alm disto, sempre
quando o processo move-se a partir de um destes estados para o outro, este ir retornar para
o estado original eventualmente.
O estado 2 um estado absorvente, pois, uma vez que o processo entra no estado 2,
este nunca mais o deixar.
Os estados 0, 1 e 2 formam um conjunto fechado C, uma vez que se o processo
entrar em um destes estados, nunca os deixar.
Os estados 0 e 1 formam um conjunto fechado mnimo, bem como o estado 2.
13

2.3.3 Propriedades de Periodicidade
Um estado i peridico com perodo t se um retorno a este estado possvel
somente em t, 2t, 3t,... passos para t>1 e t o maior inteiro com esta propriedade (mximo
divisor comum). Isto implica que p ii(n ) = 0 sempre quando n no divisvel por t.
Exemplo 7: o estado 1 do exemplo 2. Comeando no estado 1, possvel para o processo
entrar no estado 1 somente nos tempos 2, 4, 6,..., de tal forma que o estado 1 possui perodo
(n )
(n ) = 0 para n
para todo n e observar que p11
t = 2. Isto pode ser verificado calculando p11
impar.
Exemplo 8: os estados da seguinte Matriz de Transio:
Estado
P=
0
1
2
3
0
1
2
1
2
0
0
1
2
1
2
2
1
2
1
2
0
3
1
2
1
2
0
(36)
Exemplo de Cadeia de Markov com estados periodicos

3
2.5
estado
1.5
0.5
10
20
30
40
50
60
tempo (passo)
70
80
90
100
Figura 2 - Cadeia de Markov com estados peridicos.
Se h dois nmeros consecutivos s e s + 1 tal que o processo pode estar no estado i

nos tempos s e s + 1, o estado dito ter perodo 1 e chamado estado Aperidico.
14

Como a recorrncia uma classe de propriedade, a periodicidade tambm uma
classe de propriedade. Assim, se um estado i em uma classe tem perodo t, todos os estados
nesta classe tm perodo t.
Exemplo 9: o estado 2 do exemplo 2 possui perodo t = 2 porque est na mesma classe que
o estado 1, o qual, por sua vez, tem perodo t = 2.
Em uma Cadeia de Markov de estado finito, estados recorrentes que so aperidicos
so chamados de estados Ergdicos. Uma Cadeia de Markov dita ser Ergdica se todos
os estados so estados ergdicos.
Resumo
Tabela 3 - Resumo de classificaes de Estados e Cadeias.
Conjunto
Fechado
Estado
Absorvente
Estado
Recorrente
Estado
Peridico
Estado
Transiente
Estado
Ergdico
Cadeia
Irredutvel
Cadeia
Absorvente
Cadeia
Ergdica
Nenhum estado, a no ser algum pertencente ao conjunto, pode ser

alcanado de qualquer estado pertencente ao conjunto.
Uma vez que se entra neste estado, nunca mais o deixa.
Uma vez que se entra neste estado, um eventual retorno assegurado.
O estado que pode somente ser alcanado nos passos m, 2m, 3m, . . ., onde
m um inteiro > 1.
Um eventual retorno ao estado no est assegurado.
Uma vez que se entrou neste estado, um retorno ao estado assegurado
dentro de um nmero finito de passos, porm o estado no peridico e
pode voltar antes de qualquer passo n.
Cada estado pode ser alcanado a partir de qualquer outro estado (todos os
estados so comunicantes).
A Cadeia contm um ou mais conjuntos fechados e o processo poder
eventualmente ser absorvido em um dos conjuntos fechados.
Todos os estados so recorrentes e aperidicos.
2.4 Propriedades de Longo Perodo em Cadeias de Markov

2.4.1 Probabilidades de Estados Estavis (Steady-State)
A matriz de transio P(n) do exemplo do estoque da loja de cmeras para:
n=1
0.080
0.632
P (1) =
0.264
0.080
0.184 0.368 0.368

0.368
0
0
0.368 0.368
0
0.184 0.368 0.368
(37)
15

n=2
0.249
0.283
P (2 ) =
0.351
0.249
0.286 0.300 0.165

0.252 0.233 0.233
0.319 0.233 0.097
0.286 0.300 0.165
(38)
n=4
0.289
0.282
P (4 ) =
0.284
0.289
0.286 0.261 0.164

0.285 0.268 0.166
0.283 0.263 0.171
0.286 0.261 0.164
(39)
n=8
0.286
0.286
P (8 ) =
0.286
0.286
0.285
0.285
0.285
0.285
0.264
0.264
0.264
0.264
0.166
0.166
0.166
0.166
(40)
Como se pode perceber, todas as linhas da matriz P(8) so aproximadamente iguais

(no caso, so iguais apenas devido ao truncamento na 30 casa decimal), e sero
absolutamente iguais para n . Se todas as linhas da matriz de transio so iguais, o
processo torna-se independente da distribuio de probabilidade inicial, a qual
representada pelo vetor de probabilidade de estado 0.
No caso do estoque da loja de cmeras, isto implica que a longo perodo, o estado
do estoque independente do estado inicial X0 = 3.
A figura abaixo mostra o vetor de probabilidade de estado em funo do tempo para
(0) = [1 0 0 0] (X0 = 0), (0) = [0 1 0 0] (X0 = 1), (0) = [0 0 1 0] (X0 = 2), (0) = [0 0 0 1]
(X0 = 3). Nota-se que independente do estado inicial do estoque da loja de cmeras, a
distribuio de probabilidade dos estados (7) praticamente a mesma nos grficos abaixo.
16

Probabilidades de Estados para V0 = 0 1 0 0
1
estado 0
estado 1
estado 2
estado 3
0.9
0.8
0.7
probabilidade do estado
0.8
0.6
0.5
0.4
0.3
0.7
0.6
0.5
0.4
0.3
0.2
0.2
0.1
0.1
3
4
tempo (passo)
estado 0
estado 1
estado 2
estado 3
0.9
1
estado 0
estado 1
estado 2
estado 3
0.9
0.8
0.8
0.7
0.6
0.5
0.4
0.3
0.7
0.6
0.5
0.4
0.3
0.2
0.2
0.1
0.1
0
3
4
tempo (passo)
estado 0
estado 1
estado 2
estado 3
0.9
3
4
tempo (passo)

1
3
4
tempo (passo)
Fig. 3 - Vetor de Probabilidade (n) para o passo n dado (0).
A matriz de transio ir estabilizar os valores de seus elementos a longo perodo se

a Cadeia de Markov Ergdica e Irredutvel, que por sua vez, implica na existncia de
lim p ij(n ) independente de i. Alm disto:
n
lim p ij(n ) = j > 0
(41)
onde os j satisfazem unicamente as seguintes equaes de estados estveis:

M
j = i p ij
para
j = 0,1,2,..., M
(42)
i =0
(n )
O lim p ij pode tambm existir mesmo para Cadeias No Irredutveis e/ou No Ergdicas (ver Tabela 4).
n
17

M
j= 0
=1
para
j = 0,1,2,..., M
(43)
Os j so chamados de Probabilidades de Estados-Estveis da Cadeia de Markov

e podem ser denominados tambm como Probabilidades de Estados Estacionrios (no
confundir com probabilidades de transio estacionrias), Probabilidades de Estados em
Fase de Regime, Distribuio Estacionria, Probabilidades de Equilbrio, Valores
Limites ou Probabilidades de Estado Fixo.
Nota-se que as expresses (42) e (43) formam um sistema com M + 2 equaes em
M + 1 incgnitas. Com isso, no mnimo uma equao precisa ser redundante e pode,
portanto, ser excluda do sistema. No entanto, a equao da expresso (43) a nica que
no pode ser excluda devido ao seu carter de normalizao no sistema.
Retomando o exemplo do estoque da loja de cmeras, o sistema fica:
0 = 0 p 00 + 1 p 10 + 2 p 20 + 3 p 30
= p + p + p + p
0 01
1 11
2 21
3 31
1
p
p
p
2
0 02
1 12
2 22
3 p 32
= p + p + p + p
0 03
1 13
2 23
3 33
3
1 = 0 + 1 + 2 + 3
(44)
Igualando a zero as quatro primeiras equaes do sistema da expresso (44), fica:

0 = 0 (p 00 1) + 1 p 10 + 2 p 20 + 3 p 30
0 = p + (p 1) + p + p
0 01
1 11
2 21
3 31
(
)
0
p
p
p
1
=
0 02
1 12
2
22
3 p 32
0 = p + p + p + (p 1)
0 03
1 13
2 23
3 33
1 = 0 + 1 + 2 + 3
(45)
Substituindo valores, fica:

0 = 0 (0.080 1) + 1 0.632 + 2 0.264 + 3 0.080
0 = 0.184 + (0.368 1) + 0.368 + 0.184
0
1
2
3
0 = 0 0.368 + 2 (0.368 1) + 3 0.368
0 = 0 0.368 + 3 (0.368 1)
1 = 0 + 1 + 2 + 3
(46)
Excluindo uma equao qualquer (sem ser a ltima) e resolvendo o sistema, a

soluo :
= [ 0
3 ] = [0.286 0.285 0.263 0.166]
(47)
A partir de (47), pode-se afirmar que a matriz de transio P ( ) para o passo n =

:
18
P ( )
( ) 0
( )
= ( ) = 0
0
( )
0
1
1
1
1
2
2
2
2
3 0.286
3 0.286
=
3 0.286

3 0.286
0.285
0.285
0.285
0.285
0.263
0.263
0.263
0.263
0.166
0.166
0.166
0.166
(48)
Em particular, se i e j so estados recorrentes pertencentes a diferentes classes,

ento:
p ij(n ) = 0, n
(49)
Similarmente, se j um estado transiente, ento:

lim p ij(n ) = 0, i
(50)
Observao Importante1: como j citado, cabe neste momento ressaltar que P(n) s pode ser
obtida como na expresso (48) somente se a Cadeia de Markov Ergdica Irredutvel, o
que garante que todas as linhas de P(n) so idnticas.
No entanto, o mtodo de se elevar a matriz de transio P a n-sima potncia para se
determinar P(n) sempre vlido, apesar de no haver necessidade que todas as linhas de P(n)
sejam idnticas mesmo para n . O seguinte exemplo deixa claro esta ressalva.
Exemplo: Uma Cadeia de Markov possui a seguinte matriz de transio P(1):
0
0
1
P (1) = 0
1
0
0.3 0.2 0.5
(51)
Qual o valor de lim P ( n ) ? Elevando P a potncias mais altas, tem-se:

n
P ( 2)
( 3)
( 4)
0
0
1
= 0
1
0
0.45 0.30 0.25
(52)
0
0
1
= 0
1
0
0.525 0.350 0.125
(53)
0
0
1
= 0
1
0
0.5625 0.3750 0.0625
(54)
:
:
19
()
0 0
1
= 0
1 0
0.6 0.4 0
(55)
Escrevendo o seguinte sistema:

0 = 0 + 2 0.3
= + 0.2
1
1
2
0
2
2 .5
1 = 0 + 1 + 2
(56)
A soluo de (56) resulta em:

0 + 1 = 1 e 2 = 0
(57)
e conseqentemente no existe uma soluo determinada para 0 e 1. Como se pode notar,

as linhas de P ( ) no so iguais e, por isso, os valores de 0 e 1 no so determinados
unicamente. Este fato ocorreu devido a esta Cadeia de Markov no ser Irredutvel.
Observao Importante2: Se P uma matriz de transio em que:
M
p
j=1
ij
=1
i = 1,2,..., M
ij
=1
(58)
e
M
p
i =1
(59)
j = 1,2,..., M
esta matriz dita ser uma matriz Duplamente Estocstica e neste caso, para P irredutvel,
tem-se:
lim p ij(n ) =
n
1
M
(60)
i, j = 1,2,..., M
Consideraes matemticas:
A equao vetorial em (42), pode ser dada em notao reduzida por:
0.5 0.5 0
1
P = 0.5 0.5 0 duplamente estocstica, mas lim p ij(n )
n
3
0
0 1
i, j = 1,2,3 porque P no
Irredutvel.
20
= P
sendo:
(61)
um vetor linha; e
P uma matriz quadrada.
Equivalentemente, a expresso (61) pode ser escrita por:
(62)
P t t = t
sendo:
t o operador transposto.
A expresso (62) pode ser entendida como um problema de auto-valor, que implica
em Pt ter um auto-valor igual a 1.
O problema de auto-valor fica ento:
(P
(63)
I t = 0;
A resoluo de (63) ir fornecer um auto-vetor t associado a um auto-valor igual a

1 que corresponde para o vetor de Probabilidades de Estados Estveis. Uma vez que P
uma matriz homognea, o auto-vetor t poder ter infinitas solues, porm tais solues
diferem entre si apenas por um fator de escala. Faz-se necessrio ento normalizar os
valores do vetor t para sua soma ser igual a 1.
O exemplo abaixo resolve o problema de auto-valor para a matriz de transio P do
exemplo do estoque da loja de cmeras:
0.080 0.632 0.264 0.080
1
0.184 0.368 0.368 0.184

.
0.368
0
0
0.368 0.368
0.368
0
0
0.368
0
0 0 0 0 0
1 0 0 1 0
=
.
0 1 0 2 0

0 0 1 3 0
(64)
A soluo :
Ax = x (A I )x = 0
sendo:
um auto-valor;
x um auto-vetor associado ao auto-valor ; e
I a matriz identidade.
21

0
0
1
0 0.092 + 0.2434i
0
AutoValor =
0
0
0.092 0.2434i
0
0
0
0
0
0
(65)
0.5606 0.4523 + 0.3989i 0.4523 0.3989i 0.7071

0.5590
0.3015
0.3015
0
AutoVetor =
0.5165 0.1508 0.3989i
0.1508 + 0.3989i
0
0.6030
0.6030
0.7071
0.3264
O auto-vetor associado ao auto-valor = 1 :
(66)
0.5606
0.5590
t =
0.5165
0.3264
(67)
Que por sua vez, normalizado para a soma dos seus elementos ser igual a 1 :
0.5606 0.2856
1 0.5590 0.2848
t
=
=
1.9625 0.5165 0.2631
0.3264 0.1663
(68)
Os valores em (68) correspondem para os mesmos valores encontrados em (40) e

(47).
Considerando a Matriz de Transio da Cadeia de Markov No Irredutvel e No
Ergdica dada em (51), o problema de auto-valor fica:
1 0 0.3
1 0 0 0 0

0 1 0.2 .0 1 1 . 1 = 0
0 0 0.5
0 0 1 2 0
(69)
A soluo :
1 0 0
AutoValor = 0 1 0
0 0 0.5
(70)
22
(71)
1 0 0.4867
AutoVetor = 0 1 0.3244
0 0 0.8111
Neste caso, existe 2 auto-valores iguais a 1, devido a existncia de dois conjuntos

fechados mnimos (2 estados absorventes), e no apenas um auto-valor igual a 1. Neste
caso, o vetor t no pode ser unicamente determinado (como em (55) e (57)).
2.5 Custo Mdio Esperado por Unidade de Tempo
Na seo anterior, abordou-se o caso em que os estados so ergdicos (recorrentes e

aperidicos). Se a condio de aperiodicidade relaxada, ento o limite lim p ij(n ) pode no
n
existir.
Exemplo: a seguinte matriz de transio P
Estado
0
P=
1
0 1
0
1
1 0
(72)
Se o processo comea no estado 0 no tempo 0, o processo retornar ao estado 0 nos

tempos 2, 4, 6,... e entrar no estado 1 nos tempos 1, 3, 5,... Portanto, lim p ii(n ) no existe.
n
No entanto, o seguinte limite sempre ir existir para uma Cadeia de Markov Irredutvel
(estado finito):
(73)
1 n
lim p ij(k ) = j , i
n n
k =1
A expresso 73 (no confundir a expresso 73 com lim p ii(n ) ) de suma importncia

n
para calcular o Custo Mdio a Longo Perodo por Unidade de Tempo associado
Cadeia de Markov.
Supondo que um custo seja determinado apenas em funo do estado da Cadeia de
Markov, ou seja, C(Xt) a funo de custo. Nota-se que esta funo uma varivel
randmica que assume os valores C(0), C(1),..., C(M), onde E = [0, 1,..., M] o espao de
estados do processo e que C() , portanto, independente de t. O custo mdio esperado para
os n primeiros perodos dado por:
1 n
C = E C(X t )
n
t =1
(74)
Atravs de (73), pode-se demonstrar que o Custo Mdio por Unidade de Tempo
associado Cadeia de Markov dado por:
23

1 n
M
lim E C(X t ) = j C( j)
n n t =1
j= 0
(75)
Exemplo: a funo de custo para o exemplo do estoque da loja de cmeras dada por:
0
2
C(X t ) =
8
18
se X t = 0
se X t = 1
se X t = 2
se X t = 3
(76)
Aplicando os valores de (76) em (75), fica:

1 n
lim E C(X t ) = 0.286(0) + 0.285(2 ) + 0.263(8) + 0.166(18) = 5.662

n n t =1
(77)
O valor da expresso (77) o custo mdio esperado do estoque por semana. Outro
resultado interessante obtido para a seguinte funo de custo:
1 se X t = j
C(X t ) =
0 se X t j
(78)
Aplicando os valores de (78) em (75), o resultado so os prprios j. Com isso, os

valores de j podem ser interpretados com a frao do tempo em que o processo est no
estado j.
A tabela 4 mostra um resumo das condies para obter em funo da
classificao da cadeia.
24
Tabela 4 - Condies para
em funo da classificao da cadeia.
Ergdica
No ergdica
todos os estados so recorrentes e

aperidicos
Irredutvel
todos os estados so
comunicantes
lim p ij(n ) = j , i
independe de 0
Exemplo:
0.080
0.632
P=
0.264
0.080
0.184 0.368 0.368

0.368
0
0
0.368 0.368
0
0.184 0.368 0.368
existe ao menos um estado

transiente
a existncia de ao menos um
estado transiente implica em
haver estados que no so
comunicantes. Portanto, no
existe cadeia irredutvel
com um ou mais estados
transientes.
existe ao menos um estado

peridico
independe de 0
lim p ij(n )
n
obtido atravs de:

1 n
lim p ij(k ) = j , i
n n
k =1
Exemplo:
0 1
P=
1 0
= [0.286 0.285 0.263 0.166]
= [0.5 0.5] ,
lim
No
Irredutvel
ao menos um estado
no comunicante com
ao menos algum outro
estado
Caso 1:
depende de 0
mas j , i
lim p (ijn ) mas j , i
depende de 0
lim p ij(n )
n
Exemplo:
0
0.5 0.5 0
0.5 0.5 0
0
P=
0
0 0.5 0.5
0 0.5 0.5
0
Cadeia
ergdica,
mas
estados 0 e 1 no so
comunicantes com estados
2 e 3.
Exemplo:
0
0
0.5 0.5 0
0.5 0.5 0
0
0
P = 0.2 0.2 0.2 0.2 0.2
0
0 0.5 0.5
0
0
0
0 0.5 0.5
Estado 2 transiente e no
comunicante com estados
0,1, 3 e 4.
Caso2:
independe de 0
mas
p ij(n )
depende de 0
lim pij(n )
n
Exemplo:
0
0
P = 1
0
0
1 0 0 0
0 1 0 0
0 0 0 0
0 0 0 1
0 0 1 0
Estados 0, 1 e 2 possuem
perodo T=3 e estados 3 e 4
possuem
perodo
T=2.
Estados 0, 1 e 2 no so
comunicantes com estados 3
e 4.
lim p ij(n ) = j , i
n
Exemplo:
0
0
0
1
0.5 0 0.5 0
P=
0 0.5 0 0.5
0.5 0 0.5 0
Estado 0 no comunicante
com demais e estados 1, 2 e
3 so transientes.
2.6 Custo Mdio Esperado por Unidade de Tempo para Funes de Custo Complexas
Na seo anterior, tratou-se apenas com funes de custo dependentes do estado em

que o sistema se encontra no tempo t. Para funes de custo que dependem no s do
estado do sistema, mas tambm de outra varivel randmica, faz necessrio fazer algumas
ressalvas. Considerando que:
1) {X t } uma Cadeia de Markov Irredutvel (estado-finito).
25
2) Existe uma seqncia de variveis randmicas {D t } , independentes e identicamente

distribudas (i.i.d) associada {X t } .
3) Para cada m = 0,1,2,... fixo ocorrido um custo C(Xt,Dt+m) no tempo t, para t = 0,1,
2, . . .
4) A seqncia X0, X1,. . ., Xt precisa ser independente de Dt+m.
Se as quatro condies dadas acima so satisfeitas, ento:
(79)
1 n
M
lim E C(X t , D t + m ) = K ( j). j
n n t =1
j= 0
onde:
K ( j) = E[C( j), D t + m ]
(80)
K(j) o valor esperado condicional calculado de acordo com a distribuio de

probabilidade das variveis randmicas Dt, dado o estado j. Alm disto:
(81)
1 n
M
lim C(X t , D t + m ) = K ( j). j
n n t =1
j= 0
para essencialmente todos os caminhos do processo.

2.7 Tempos de Primeira Passagem
O Tempo de Primeira Passagem pode ser entendido como o tempo demandado para
o processo atingir o estado j a partir do estado i. Quando j = i, o Tempo de Primeira
Passagem simplesmente o nmero de passos (transies) para o processo retornar ao
estado inicial i. Neste caso, denomina-se Tempo de Recorrncia para o estado i.
Retomando o exemplo do estoque da loja de cmeras, o estado do estoque para as
seis primeiras semanas :
X0 = 3
X1 = 2
X2 = 1
X3 = 0
X4 = 3
X5 = 1
Neste caso, o Tempo de Primeira Passagem a partir do estado 3 para o estado 1 2

semanas, o Tempo de Primeira Passagem a partir do estado 3 para o estado 0 3 semanas e
o Tempo de Recorrncia para o estado 3 4 semanas.
Em geral, o Tempo de Primeira Passagem uma varivel randmica cuja
distribuio de probabilidade associada depende das probabilidades de transio do
processo.
Denominando f ij(n ) a probabilidade do Tempo de Primeira Passagem a partir do
estado i para o estado j ser n, pode-se escrever que:
f ij(1) = p ij(1) = p ij
(82)
26
(83)
f ij(2 ) = p ik f kj(1)
k j
:
:
(84)
f ij(n ) = p ik f kj(n 1)
k j
Assim, o Tempo de Primeira Passagem a partir do estado i para o estado j em n

passos pode ser computado recursivamente.
Exemplo: Probabilidade do Tempo de Primeira Passagem para o estoque da loja de cmeras
a partir do estado 3 (estoque cheio) para o estado 0 (estoque vazio) ser n:
f 30(1) = p 30 = 0.080
(85)
f 30(2 ) = p 31 f 10(1) + p 32 f 20(1) + p 33 f 30(1) = 0.184(0.632) + 0.368(0.264) + 0.368(0.080) = 0.243

:
:
(86)
Para dado i e j, tem-se que:
(87)
f ( ) 1
n =1
ij
Se f ij(n ) < 1 implica que processo inicialmente no estado i, pode nunca alcanar o
n =1
estado j. Quando
f ( ) = 1,
n
n =1
ij
f ij(n )
pode ser considerado como a distribuio de
probabilidade para a varivel randmica Tempo de Primeira Passagem.

O Tempo de Primeira Passagem Esperado ij pode ser definido por:
ij =
nf ij(n )
n =1
se
se
(88)
(n )
f ij < 1
n =1
(n )
f ij = 1
n =1
Sempre quando
f ( ) = 1,
n =1
ij
ij
unicamente satisfaz a equao:
ij = 1 + p ik kj
(89)
k j
27

Exemplo: Tempo de Primeira Passagem Esperado para o estoque da loja de cmeras a partir
do estado 3 (estoque cheio) para o estado 0 (estoque vazio):
30 = 1 + p 31 10 + p 32 20 + p 33 30
(90)
20 = 1 + p 21 10 + p 22 20 + p 23 30
10 = 1 + p 1110 + p 12 20 + p 13 30
Substituindo valores, fica:

30 = 1 + 0.184 10 + 0.368 20 + 0.368 30
(91)
20 = 1 + 0.368 10 + 0.368 20
10 = 1 + 0.36810
Resolvendo (91), fica:

10 = 1.58 semanas
(92)
20 = 2.51 semanas
30 = 3.50 semanas
Assim, o tempo esperado para o estoque ficar vazio, a partir de estar cheio de 3.50
semanas.
Quando i = j, jj o Tempo de Recorrncia Esperado para o estado j. De posse
das probabilidades de estado estveis j, o Tempo Esperado de Recorrncia pode ser
calculado como:
jj =
1
j
para
j = 0,1,..., M
(93)
Exemplo: Tempo de Recorrncia Esperado para o estoque da loja de cmeras.

1
= 3.50 semanas
0
1
11 =
= 3.51 semanas
1
1
22 =
= 3.80 semanas
2
1
33 =
= 6.02 semanas
3
00 =
(94)
(95)
(96)
(97)
Os estados em uma Cadeia de Markov podem ser classificados, de maneira anloga a

classificao na seo 2.3, em funo do Tempo de Primeira Passagem, como:
28
Um estado Transiente se f jj(n ) < 1 , que implica que jj = .

n =0
Um estado Recorrente se f jj(n ) = 1 .

n =0
Um estado recorrente Nulo se jj = e No-Nulo ou Positivo se jj < .

Um estado Ergdico se no-nulo e aperidico.
Consideraes matemticas:
Uma analogia interessante que pode ser feita com a expresso (93) :
T=
(98)
1
f
onde:
T perodo;
f freqncia.
A interpretao da expresso (93) como a expresso (98) possvel porque jj o
perodo (tempo) esperado de recorrncia. Com isso pode-se concluir que as probabilidades
de estados estveis j podem ser entendidas tambm como freqncias dadas em
ciclos/unidade de tempo.
A unidade de tempo no caso de Cadeia de Markov em tempo discreto passo,
assim a freqncia esperada de recorrncia dos estados dada em ciclos/passo.
Uma vez que o menor perodo de recorrncia para um estado 1 (devido a
considerao de tempo discreto), a maior freqncia possvel 1 ciclo/passo.
Exemplo: uma Cadeia de Markov originou o seguinte vetor de distribuio de
probabilidades a longo perodo:
= [ 0
3 ] = [0.5 0.3 0.2 0.0]
(99)
0 possui uma freqncia esperada de recorrncia igual a 0.5 ciclo/passo

conseqentemente, um perodo esperado de recorrncia 00 = 2 passos.
conseqentemente, um perodo esperado de recorrncia 11 = 3.3333... passos.
conseqentemente, um perodo esperado de recorrncia 22 = 5 passos.
e
e
e
e
conseqentemente, um perodo esperado de recorrncia 33 = passos.
29

Observao: a unidade Hertz (Hz) corresponde a ciclos/segundo, sendo adequado seu uso
apenas quando um passo na Cadeia de Markov corresponde a um segundo.
2.8 Estados Absorventes

Como j visto na seo 2.3.2, um estado k dito ser absorvente se a probabilidade
de transio pkk = 1. Desta maneira, uma vez que o processo visita o estado k, este ir
permanecer neste estado indefinidamente. Se k um estado absorvente e o processo inicia
no estado i, a probabilidade de sempre ir para o estado k denominada de probabilidade
de absoro para o estado k dado que o sistema iniciou no estado i, denotada por fik.
Quando h dois ou mais estados absorventes em uma Cadeia de Markov, bvio
que o processo ser absorvido para um destes estados e, portanto, desejvel encontrar
estas probabilidades de absoro.
Seja k um estado absorvente, ento o conjunto de probabilidades de absoro fik
satisfaz o seguinte sistema de equaes:
M
f ik = p ijf jk
para i = 0,1,..., M
(100)
j= 0
sujeito as condies:
f kk = 1
(101)
f ik = 0 se i um estado recorrente e i k
Exemplo: Considere a seguinte matriz de transio P:

Estado
0
1
P= 2
3
4
0
1
2
3
0
1
0
0
2
3
0
0
2
0
1
3
0
2
3
0
3
0
0
1
3
0
0
4
0
0
0
1
3
1
(102)
A matriz de transio acima P um exemplo de matriz de transio de uma Cadeia

de Markov especfica denominada Random Walk (caminhada randmica). Este processo
estocstico possui a propriedade que o processo estando no estado i, na prxima transio o
processo estar em um dos dois estados imediatamente adjacentes ao estado i (com exceo
dos estados 0 e 4, obviamente).
Dada a matriz P acima, verifica-se facilmente que existem dois estados absorventes:
0 e 4. Os demais estados so todos transientes. Pode-se determinar, por exemplo, qual a
probabilidade de absoro para o estado 0 a partir do estado 2, denominada f20? Para isto,
atravs da expresso (100), pode-se escrever que:
f 20 = p 20 f 00 + p 21 f 10 + p 22 f 20 + p 23 f 30 + p 24 f 40
(103)
30

Atravs da expresso (101) verifica-se que f00 = 1 e f40 = 0, uma vez que o estado 4
um estado absorvente, que por sua vez um caso especfico de estado recorrente. Devido
a estas verificaes a expresso (103) degenera-se em:
f 20 = p 20 + p 21 f 10 + p 22 f 20 + p 23 f 30
(104)
Nota-se em (104) que se tem uma equao e trs incgnitas (f10, f20, f30). Porm,
pode-se escrever o seguinte sistema:
f 10 = p 10 f 00 + p 11 f 10 + p 12 f 20 + p 13 f 30 + p 14 f 40
f 20 = p 20 f 00 + p 21 f 10 + p 22 f 20 + p 23 f 30 + p 24 f 40
f = p f + p f + p f + p f + p f
30 00
31 10
32 20
33 30
34 40
30
(105)
Atribuindo valores para f00 = 1 e f40 = 0, como em (104), o sistema fica:

(106)
f 10 = p 10 + p 11f 10 + p 12 f 20 + p 13 f 30
f 20 = p 20 + p 21f 10 + p 22 f 20 + p 23 f 30
f = p + p f + p f + p f
30
31 10
32 20
33 30
30
Tem-se ento um sistema com trs equaes e trs incgnitas. Resolvendo este
4
5
sistema, obtm-se o valor de f 20 = , ou seja, a probabilidade do processo estagnar no

estado 0 a partir do estado 2. Conseqentemente, a probabilidade do processo estagnar no
1
5
estado 4 a partir do estado 2 f 24 = . Tais probabilidades tambm podem ser verificadas

elevando a matriz P a valores de potncia grandes (com um alto custo computacional).
Para este exemplo, calculou-se P10000 e verificou-se, por induo que P ( ) :
Estado
0
1
P ( ) = 2
3
4
0
1
14
15
4
5
8
15
0
1 2 3
0 0 0
0 0 0
0 0 0
0 0 0
0 0 0
4
0
1
15
1
5
7
15
1
(107)
Os valores nesta matriz indicam as probabilidades de absoro para os estados 0 e 4.
2.9 Cadeias de Markov em Tempo Contnuo

Este item no ser abordado nestas notas de aula.
FONTE: Hiller & Lieberman, CAP. 16
31
32

Exerccios - Cadeias de Markov
qualquer erro, favor enviar e-mail para fernando.nogueira@ufjf.edu.br
1) A Distribuio de Poisson dada abaixo representa um processo estocstico?

Pt (r ) =
(t )r e t
r!
2) Explique as equaes de Chapman-Kolmogorov. Qual a sua importncia?
n =0
n =0
3) Explique porque f ij(n ) pode ser <1 ? Qual a classificao do estado i se f ii(n ) < 1 ?
4) Seja P uma matriz de transio dada por:
0. 3 0. 2 0. 5
P = 0.1 0.8 0.1
0.6 0 0.4
Qual P ( ) ?
5) A matriz de transio abaixo pertence a uma Cadeia de Markov que representa o
processo de um cliente que comprou uma das 4 marcas possveis de cerveja (0, 1, 2, 3) no
instante n e ir comprar cada uma das marcas no instante n + 1 sob a condio que
realmente em cada etapa de transio ele ir comprar o produto.
0
0.1844
0.8033
0.1412 0.7547
0
P=
0
0.2535 0.7397
0
0.2080 0.1232
0.0123
0.1041
0.0068
0.6688
a) O que significa P31(16 ) ? Qual o seu valor?

b) Quais as Probabilidades de Estado-Estvel da Cadeia de Markov dada? Quais
interpretaes so possveis sobre tais probabilidades?
6) Seja P uma matriz de transio dada por:

0
0.5 0.5
P = 0
0.5 0.5
0.75 0.25 0
Calcule f 20(5) , 02 e 12
7) Classifique os estados das Cadeias de Markov abaixo, de acordo com as suas respectivas
Matrizes de Transio.
33
a)
Estado
12
1
2
P= 1
2
1
1
2
0
1
2
2
1
2
1
2
0
b)
Estado
0
1
2
P=
3
4
5
0 1
0 1
2
0 0
0 0
1 0
1 0
1 0
2
1
2
0
0
0
0
1
3
1
3
0
0
1
3
1
3
0
0
0
0
0
0
0
1
3
1
3
0
0
0
c)
Estado
0
P= 1
2
0
0
1 2
1 0
0 1
0 0
8) O setor de vendas de Whisky de uma loja vendeu 600.000 caixas no trimestre passado.
Existem no mercado as firmas X, Y, Z e Outras que venderam respectivamente 240.000,
180.000, 120.000 e 60.000 caixas. A empresa Z resolve lanar uma nova marca de Whisky
com um preo aproximadamente igual ao dos concorrentes acompanhada de uma forte
divulgao que ir custar L milhes de $ e que ir produzir a seguinte matriz de transio
para um perodo de 3 meses.
Estado
X
Y
P=
Z
Outras
Z Outras
0.7 0.1 0.1 0.1

0.1 0.8 0.05 0.05
0.02 0.03 0.9 0.05
0.2 0.2 0.2 0.4
Se o aumento de 1% na participao no mercado representa um lucro lquido de k

milhes de $ por perodo, qual deve ser o valor de k em funo de L para justificar esse
lanamento e divulgao se essa matriz de transio vale para um ano? Faa a anlise
apenas para esses 4 perodos trimestrais.
9) Uma mquina de uma linha de produo pode assumir os seguintes estados:
34
Estado
0
1
2
3
Condio
operao normal (mxima produo)
operao com baixa perda de produo
operao com alta perda de produo
inoperante
Atravs de dados histricos, a matriz de transio (ms a ms) para esta maquina :
Estado
0
1
P=
2
3
0 7
8
0 3
4
0 0
0 0
1
16
1
8
1
2
0
1
16
1
8
1
2
1
De acordo com o estado da mquina, algumas decises podem ser tomadas com
respectivos custos: Substituir a mquina por uma outra nova demanda 1 semana para ser
realizada esta operao e a produo perdida neste perodo a um custo de $2.000,00 e o
custo da mquina nova $4.000,00. Quando a mquina opera no estado 1, h um custo de
$1.000,00 e quando a mquina opera no estado 2, h um custo de $3.000,00, ambos devido
produo de itens defeituosos. Realizar manuteno na mquina no vivel quando esta
se encontra no estado 3. A manuteno no melhora em nada a capacidade de operao da
mquina quando esta se encontra nos estados 0 e 1. A manuteno da mquina faz com que
esta retorne ao estado 1, quando esta est operando no estado 2 a um custo de $2.000,00 e a
produo perdida por 1 semana. No permitido manter a mquina no estado 3.
Qual a poltica tima de manuteno desta mquina ? Utilize o mtodo de
enumerao exaustiva.
Obs: a resoluo deste exerccio exige os conceitos tratados em Processos Markovianos de
Deciso (no consta nestas notas de aula).
10) Formule o exerccio 9 como um problema de Programao Linear
Respostas
1) Sim, porque Pt(r) representa uma coleo de variveis randmicas indexadas por um
parmetro t, dentre outros.
35
2) De acordo com o texto.
3) Se existe a probabilidade do estado i nunca alcanar o estado j, ento f ij(n ) < 1 . Neste
caso,
f (n )
ij
n =0
no pode ser tido como a distribuio de probabilidade para a varivel randmica
Tempo de Primeira Passagem. Se f ii(n ) < 1 o estado i transiente.

n =0
4) Uma vez que P uma matriz duplamente estocstica, ento:
36

1
3
P ( ) = 1
3
1 3
1
1
1
3
3
3
1
3
1
3
1
3
5.a) P31(16 ) = 0.3057 a probabilidade de um consumidor sendo comprador da marca 3 ser

comprador da marca 1 aps 16 passos.
5.b) = [0.3398 0.3058 0.2407 0.1137]
j a probabilidade de encontrar o processo no estado j a longo perodo.
Pode tambm ser interpretada como a frao do tempo em que o processo permanece no
estado j.
6) f 20(5) = 0.03515625
02 = 1 + p 00 02 + p 0112
= 1 + 0.5 02 + 0.5 12
= 4
02
02
=
1
+
p
+
p
1
0
.
5
=
+
10 02
11 12
12
12
12 = 2
12
7.a) Todos estados Ergdicos

7.b) Todos os estados so recorrentes, peridicos (perodo m = 3) e no-nulos.
7.c) Todos os estados so comunicantes e a cadeia irredutvel. Processo peridico com
perodo m = 3.
8)
240000
(0 ) =
600000
180000
600000
120000
600000
60000
= [0.4 0.3 0.2 0.1]
600000
(1) = (0 ) P = [0.334 0.306 0.255 0.105]
(2 ) = (1) P = [0.2905 0.3069 0.2992 0.1034]
(3) = (2 ) P = [0.2607 0.3042 0.3344 0.1007 ]
(4 ) = (3) P = [0.2397 0.2996 0.3624 0.0983]
O aumento de vendas de Whisky da marca Z para estes 4 trimestres :

Z (1) = 0.255 0.2 = 0.055 5.5%
Z (2 ) = 0.2992 0.2 = 0.0992 9.92%
Z (3) = 0.3344 0.2 = 0.1344 13.44%
Z (4 ) = 0.3624 0.2 = 0.1624 16.24%
0.055 + 0.0992 + 0.1344 + 0.1624 = 0.4510
Se 1% resulta em lucro por trimestre de k milhes de $, ento tem-se para o ano

todo um acrscimo no lucro de 45.1k milhes de $.
37
Concluso
Se 45.1k - L > 0
Se 45.1k - L < 0
Se 45.1k = L
o lanamento deve ser feito.

o lanamento no deve ser feito.
indiferena
9)
Deciso
1
2
3
Ao
Estado Custo Esperado

Custo
Custo de
s
devido Produo manuteno perda da
de itens com
produo
defeito
No fazer
0
0,00
0,00
0,00
nada
1
1.000,00
0,00
0,00
2
3.000,00
0,00
0,00
Manuteno
2
0,00
2.000,00
2.000,00
Substituir
1
0,00
4.000,00
2.000,00
2
0,00
4.000,00
2.000,00
3
0,00
4.000,00
2.000,00
Poltica
Descrio Verbal
Ra
substituir no estado 3
Rb
substituir no estado 3, manuteno no estado 2
Rc
substituir no estado 2 e 3
Rd
substituir no estado 1, 2 e 3
Ra
Estado
0
1
P=
2
3
Rb
Estado
0
1
P=
2
3
0 7
8
0 3
4
0
0
1 0
0 7
8
0 3
4
0 1
1 0
1
16
1
8
1
2
0
1
16
1
8
1
2
0
1
16
1
8
0
0
1
16
1
8
0
0
d0(R)
1
1
1
1
d1(R)
1
1
1
3
d2(R)
1
2
3
3
Custo
total por
semana
0,00
1.000,00
3.000,00
4.000,00
6.000,00
6.000,00
6.000,00
d3(R)
3
3
3
3
Rc
38

Estado
0
P=
1
2
3
Rd
Estado
0
1
P=
2
3
0 7
8
0 3
4
1 0
1 0
0 7
8
1 0
1 0
1 0
1
16
1
8
0
0
1
16
1
8
0
0
1
16
0
0
0
1
16
0
0
Deciso
Estado
0
1
2
3
1
0
1
3
-
Cjk (em milhares de $)

2
4
-
3
6
6
6
Poltica
Probabilidades de Estado-Estvel
E[C] (em milhares de $)
Ra
2 7 2 2
, , ,
13 13 13 13
1
[2(0) + 7(1) + 2(3) + 2(6)] = 25 = $1.923,00
3
13
Rb
2 5 2 2
, , ,
21 7 21 21
1
[2(0) + 15(1) + 2(4) + 2(6)] = 35 = $1.667,00
21
21
Rc
2 7 1 1
, , ,
11 11 11 11
1
[2(0) + 7(1) + 1(6) + 1(6)] = 19 = $1.727,00
11
11
Rd
1 7 1 1
, , ,
2 16 32 32
1
[16(0) + 14(6) + 1(6) + 1(6)] = 96 = $3.000,00
32
32
( 0 , 1 , 2 , 3 )
Com isso, a poltica tima Rb que : substituir no estado 3, manuteno no estado 2.

10)
39

Minimize
Z = 1.000 y 11 + 6.000 y 13 + 3.000 y 21 + 4.000 y 22 + 6.000 y 23 + 6.000 y 33
Sujeito a :
y 01 + y 11 + y 13 + y 21 + y 22 + y 23 + y 33 = 1
y 01 (y 13 + y 23 + y 33 ) = 0
3
7
y 11 + y 13 y 01 + y 11 + y 22 = 0
8
4
1
1
y 21 + y 22 + y 23 16 y 01 + 8 y 11 + 2 y 21 = 0
1
1
1
y 33 y 01 + y 11 + y 21 = 0
16
8
2
y ik 0
40

Cadeia de Markov

Uploaded by

Document Information

Copyright

Available Formats

Share this document

Share or Embed Document

Sharing Options

Did you find this document useful?

Is this content inappropriate?

Copyright:

Available Formats

Cadeia de Markov

Uploaded by

Copyright:

Available Formats

Modelagem e Simulao - Cadeias de Markov

Notas de Aula - Fernando Nogueira

Modelagem e Simulao - Cadeias de Markov

Andrei Andreyevich Markov (*1856, Ryazan, Russia; 1922, So Petersburgo, Russia).

para t 0 t 1 ...t k t k +1 = 0,1,...

A expresso (1) pode ser "traduzida" por: a probabilidade condicional de qualquer

Notas de Aula - Fernando Nogueira

Modelagem e Simulao - Cadeias de Markov

Tabela 1 - Estado do uso da terra em 1993.

Os valores da tabela 1 podem ser dispostos em um vetor x, denominado Vetor de

As probabilidades de cada Estado (probabilidade no-condicional) podem tambm

Assumindo que as probabilidades de transio para intervalos de 5 anos so dadas

para I para II para III

As probabilidades condicionais na tabela 2, em termos informais, podem ser

Modelagem e Simulao - Cadeias de Markov

Os valores da tabela 2 podem ser ento dispostos em uma matriz P, denominada

Assim, a partir de P e o vetor de probabilidade de estado para 1993, denominado

0.8 0.1 0.1

2.1 Cadeias de Markov

As Probabilidades de Transio P{X(k + 1) = x k +1 X(k ) = x k } representam, portanto, a

ento, as Probabilidades de Transio so ditas Estacionrias. Assim, tendo-se

Notas de Aula - Fernando Nogueira

Modelagem e Simulao - Cadeias de Markov

Porque p ij( n ) so probabilidades condicionais, estas precisam ser no negativas e

(i, j); n = 0,1,2,...

Uma maneira conveniente de mostrar todas as Probabilidades de Transio de Passo

ou, equivalentemente, por uma matriz P(n):

A matriz P(n) denominada Matriz de Transio de Passo n. Quando n = 1, a

Notas de Aula - Fernando Nogueira

Modelagem e Simulao - Cadeias de Markov

A expresso (14) o processo estocstico (o qual foi modelado a partir do

Duas variveis aleatrias so independentes se P (A B ) = P A B .P(B ) = P(A ).P(B) .

Notas de Aula - Fernando Nogueira

Modelagem e Simulao - Cadeias de Markov

Simon Denis Poisson (*1781 Pithiviers, Frana; 1840, Sceaux, Frana).

A distribuio de Poisson uma distribuio discreta empregada em situaes

Notas de Aula - Fernando Nogueira

Modelagem e Simulao - Cadeias de Markov

Atribuindo valores para n, onde n representa o nmero de cmeras necessrias para

P{D t +1 3} = 1 P{D t +1 2} = 1 0.368 0.368 0.184 = 0.08

De posse das probabilidades de Dt+1 para os valores de n e do processo estocstico

P(D t +1 1) = 1 P(D t +1 = 0) = 0.632

Notas de Aula - Fernando Nogueira

Modelagem e Simulao - Cadeias de Markov

0.184 0.368 0.368

0.184 0.368 0.368

Uma maneira alternativa para representar as probabilidades de transio utilizar

Fig. 1 - Diagrama de Transio de Estado.

Notas de Aula - Fernando Nogueira

Modelagem e Simulao - Cadeias de Markov

Sidney Chapman (*1888, Eccles, Inglaterra; 1970,

Andrey Nikolaevich Kolmogorov (*1903, Tambov,

A matriz de transio P a matriz de transio de probabilidades de estado para um

p ij(n ) = p ikm p nkjm

P(n) a matriz de transio de passo n.

Notas de Aula - Fernando Nogueira

Modelagem e Simulao - Cadeias de Markov

A expresso (29) afirma que a matriz de transio de passo n igual matriz de

0.184 0.368 0.368 0.080

0.184 0.368 0.368 0.080

0.184 0.368 0.368 0.249

O vetor probabilidade de estado para o exemplo da cmera no tempo 0 :

uma vez que X0 = 3.

0.184 0.368 0.368