IFBA

Processos Estocasticos
Versao 1

Allan de Sousa Soares

Graduac
ao: Licenciatura em Matematica - UESB
Especilizacao: Matematica Pura - UESB
Mestrado: Matematica Pura - UFMG

Vit
oria da Conquista - BA
2014

Aula 18
0.1

Cadeias de Markov
Agora veremos a classificac
ao dos estados em uma cadeias de Markov.

A) Estado Alcan
c
avel: Um estado j e dito ser alcancavel a partir de um estado i se existe algum 0 n < ,
(n)

pij > 0, e escrevemos i j. Se i e j s

ao mutuamente alcancaveis (um a partir do outro), entao dizemos que i e j
s
ao comunicantes e escrevemos i j. Se todos os estados de uma cadeia de Markov sao comunicantes, ent
ao a cadeia
de Markov e dita irredutvel.
B) Estado Transiente: Um estado e dito ser transiente se, entrando neste estado, o processo pode nunca retornar
novamente para este estado. Portanto, um estado i e transiente, se e somente se, existe um estado j 6= i que e
alcanc
avel a partir de i mas i n
ao e alcanc
avel a partir de j.
C) Estado Recorrente: Um estado i e dito recorrente se entrando neste estado, o processo nunca ira deixar este
estado.
D) Estado Absorvente: Um estado e dito absorvente se entrando neste estado, o processo nunca mais ir
a deixar
este estado.
Em uma cadeia de Markov, um conjunto F de estados e dito ser um conjunto fechado se o processo entrar em um
dos estados de F , ele ir
a permanecer nos estados de F indefinidamente, ou seja, F e tal que nenhum dos estados de
F e alcanc
avel. Se F n
ao possui subconjuntos fechados, entao F e dito ser um conjunto fechado mnimo.
Exemplo 1. Suponha que uma cadeia de Markov possui a seguinte matriz de transic
ao P :
1

1/4

3/4

2
1/2

P = 3
0

4
0
5
1

1/2

1/3

0 0

2/3 0

0 0
0

A classificac
ao dos estados da matriz a seguir e:
- Os estados 1 e 2 s
ao recorrentes.
- O estado 3 e absorvente.
- Os estados 4 e 5 s
ao transientes.
- Os estados 1, 2 e 3 formam um conjunto fechado.
- Os estados 1 e 2 formam um conjunto fechado mnimo.
- O estado 3 forma um conjunto (unit
ario) fechado mnimo.
E) Estado Peri
odico: Um estado i e peri
odico com perodo t > 1 se um retorno a este estado so e possvel somente
(n)

em t, 2t, 3t, . . . onde t e o maior inteiro com esta propriedade. Isso implica que pii = 0 sempre que n nao e divisvel
por t.

Exemplo 2. Suponha que uma cadeia de Markov possui a seguinte matriz de transic
ao P :

2
0, 2 0 0, 8 0
P =

3
0 0, 2 0 0, 8
0
0
0
1
4
(n)

O estado 2 e peri
odico de perodo t = 2. Note que p22 = 0 para todo n mpar, isto e, comeca
o no estado 2, e possvel
entrar no estado 2 novamente somente nos tempos, 2, 4, 6 dots.
Em uma cadeia de Markov de estado finito, estados recorrentes que sao aperiodicos sao chamados ergodigos. Uma
cadeia de Markov e dita ser Erg
odica se todos os seus estados sao ergodigos.
Seja P a matriz de transic
ao de probabilidade de uma cadeia de Markov homogenea {Xn , n 0}. Se existe um
vetor probabilidade p tal que
pP = p
ent
ao p e chamado de vetor estacion
ario da distribui
c
ao dada pela cadeia de Markov.
Uma matriz de transic
ao e dita regular se uma potencia positiva da matriz tem todas as entradas positiva. Neste
caso, e possvel mostrar que, se {Xn , n 0} e uma cadeia de Markov regular homogenea de estado finito com matriz
de transic
ao P ,
limn P n = P
onde P e a matriz linhas s
ao identicas e iguais a p. Note que p pode ser obtido resolvendo-se os sistema linear
homogeneo
p(I P ) = 0
onde I e a matriz identidade da mesma ordem de P .
Exemplo 3. Pois bem, consideremos a matriz de transic
ao P ,

P =

0, 8

0, 2

0, 3

0, 7

Note que P e regular, pois suas entradas s

ao todas n
ao nulas. Neste caso, temos assegurado que existe o vetor
estacion
ario p. Pois bem,

p(I P ) =

p1

p2

p1

p2

0, 2

0, 2

0, 3

0, 3

0, 8

0, 2

0, 3

0, 7

Do sistema acima obtermos a seguinte relac

ao p1 = 32 p2 . Observando que p1 + p2 = 1, temos


p = 0, 6 0, 4 .
Consequentemente,

limn P (n) =

0, 6

0, 4

0, 6

0, 4

0.2

Exerccios

Exerccio 1. Considerando os estados das matrizes de transic

ao a seguir como sendo inteiros comecando de 1,
justifique as afirmac
oes:
i) A matriz de transic
ao P de uma cadeia de Markov dada a seguir possui todos os estados erg
odigos.

1/2

P =
1/2
1/2

1/2

1/2

0
1/2

ii) A matriz de transic

ao P de uma cadeia de Markov dada a seguir possui todos os estados peri
odicos com perodo
t = 3.

1/2

1/2

P =

1/3

1/3

1/3

1/3

1/3

1/3

iii) A matriz de transic

ao P de uma cadeia de Markov dada a seguir possui todos os estados comunicantes e todos os
seus estados tem perodo t = 3.

P =
0
1

0
0

0, 2

0, 5

Exerccio 2. Considere a matriz de transic

ao P

0, 3

P =
0, 1 0, 8 0, 1
0, 6 0 0, 4
determine limn P n .
Exerccio 3. Considere a matriz de transic
ao

0, 2

0, 6

0, 2

P =
0, 1 0, 4 0, 5
0, 7 0, 2 0, 1
a) Calcule p(1), p(2) e p(3) com tres casas decimais se p(0) =

b) Enuncie por que P e regular e encontre seu vetor estado estacion

ario.
Exerccio 4. Seja P a matriz de transic
ao

1/2

1/2

a) Mostre que P n
ao e regular.
b) Mostre que, quando n cresce, p(0)P n converge para

para qualquer vetor inicial p(0).

Exerccio 5. Um camundongo e colocado numa caixa com nove compartimentos, como mostra a figura dada. Suponha
que e igualmente prov
avel que o camundongo passe por qualquer uma das portas do compartimento ou que permaneca

num mesmo compartimento.

(1)
Construa a matriz de transic
ao para estes problema e mostre que e regular.