Professional Documents
Culture Documents
Cadeias de Markov
Em 1907, Andrew Markov iniciou um estudo sobre um modelo onde o resultado de um experimento depende do resultado de um experimento anterior; Este processo de modelagem conhecido atualmente como Cadeias de Markov (Markov Chain).
Cadeias de Markov
Uma cadeia de Markov pode ser descrita da seguinte forma Considere um conjunto de estados S={s1, s2, , sn} O processo inicia-se em um destes estados e se move sucessivamente de um estado para outro; Cada troca chamada de passo; Se o estado corrente si, ento ela se move para o estado sj com uma probabilidade denotada por pij, e esta probabilidade no depende dos estados anteriores da cadeia de Markov. As probabilidades pij so chamadas de probabilidades de transio.
Exemplo
Suponha que a Terra de Oz foi abenoada com muitas coisa, menos com bom tempo. Eles nunca tem dois dias com com tempo em seguida. Se h um dia bom, mais provvel ter neve ou chuva no prximo dia. Se h neve ou chuva, existe uma chance de haver tempo bom no prximo dia. Suponha a cadeia de Markov que representa a transio destes estados, onde R representa chuva, N representa tempo bom e S representa neve.
Pode-se escrever uma mquina de estados discreta para representar esta situao
Matriz P
P chamada matriz de transio e possui algumas propriedades interessantes. As linhas representam a probabilidade de transio de um estado para outro. Para calcular a probabilidade da cadeia se encontrar no estado j, mas a n passos adiante, pode-se calcular Pn.
Exemplo
Matriz P
Para se calcular a probabilidade de se encontrar no estado j dado um estado i, n passos adiante, podemos calcular: Exemplo: suponha que a probabilidade inicial para o clima na terra de Oz seja de (1/3, 1/3 e 1/3) e deseja-se fazer a previso do tempo para 3 dias. Neste caso,
Exerccio
Considere trs grandes universidades americanas, Harvard, Darmouth e Yale. Suponha que os filhos de ex-alunos Harvard tem 80% de chance de estudar na mesma escola e os demais estudam em Yale. Suponha que 40% dos filhos de ex-alunos de Yale estudam tambm em Yale e os demais dividem-se igualmente entre Darmouth e e Harvard. Suponha que os filhos de ex-alunos de Darmouth tem 70% de chance de estudar em Darmouth, enquanto 20% entram em Harvard e 10% em Yale. 1) Encontre a matriz P. 2) Encontre a probabilidade de que um neto de um ex-aluno de Harvard estude em Darmouth. 3) Encontre a probabilidade de que um bisneto de um ex-aluno de Darmouth estude em Yale.
Esta uma variao especial das cadeias de Markov. Em uma cadeia de Markov absorvente, o nmero de passos at atingir o estado absorvente chamado transiente.
Exemplo. Um bbado caminha na rua. Cada nmero de 1 a 3 representa um quarteiro, enquanto o nmero 0 representa a casa dele e o nmero 4 representa o bar. Escreva a matriz P correspondente.
As questes que surgem so: Qual a probabilidade de que o processo seja eventualmente absorvido? Na mdia, quantos passos sero dados at que o processo seja absorvido? Na mdia, quantas vezes um dado estado transiente ser visitado at que o processo seja absorvido? As respostas a estas questes dependem do estado inicial e da matriz de transio.
Considere a matriz P com r estados absorventes (ABS) e t estados transientes (TR). A matriz P cannica formada conforme abaixo: I uma matriz identidade r por r. O uma matriz 0 r por t. R uma matriz t por r. Q uma matriz t por t.
Exemplo
No exemplo do bbado,
Para uma cadeia de Markov absorvente, a matriz N=(I-Q)-1 chamada matriz fundamental para P.
Um elemento nij de N fornece o nmero esperado de vezes que o processo estar no estado transiente sj caso o estado inicial seja o estado si
Exemplo:
Iniciando-se no estado 2, o nmero mdio de vezes em que o sistema permanece nos estados 1, 2 e 3 ser, respectivamente, 1, 2 e 1.
Outro fator importante a se considerar o nmero mdio de passos para a absoro. Seja t nmero de passos at a absoro, dado que o estado inicial seja si e t ser o vetor coluna que armazena o nmero mdio de passos para absoro a partir dos estados transientes e c um vetor coluna com todos os elemtos iguais a 1. Ento:
Um analista pode estar interessado tambm em calcular a probabilidade do sistema encerrar em um dos estados absorventes. Neste caso, se bij representar a probabilidade da cadeia ser absorvida por um estado sj caso o estado inicial seja um estado transiente si, ento a matriz B (t por r) ser dada por:
Resposta
Um analista pode estar interessado tambm em calcular a probabilidade do sistema encerrar em um dos estados absorventes. Neste caso, se bij representar a probabilidade da cadeia ser absorvida por um estado sj caso o estado inicial seja um estado transiente si, ento a matriz B (t por r) ser dada por:
Exemplo
No exemplo do bbado:
Uma cadeia de Markov chamada de ergdica se possvel ir de um estado para qualquer outro da cadeia (no necessariamente em um nico passo). Alguns autores chamam este tipo de cadeia de Markov de irredutvel. Seja P a matriz de transio de uma cadeia de Markov. Diz-se que P regular se alguma potncia de P contm somente entradas positivas, Diz-se que a cadeia de Markov regular se sua matriz de transio regular. Uma cadeia de Markov absorvente no pode ser regular
A cadeia ergdica No entanto, no regular (se o nmero de passo mpar no possvel atingir um dado estado)
Outro exemplo
Seja P uma matriz de transio para uma cadeia de markov regular. Ento, conforme n tende a infinito, as potncias Pn se aproximam da matriz limite W em que todas as linhas so iguais (vetor w). O vetor w um vetor de probabilidade onde todos os componentes so positivos e sua soma igual a 1.
Ver exemplo da terra de Oz.
No exemplo,
De modo geral,
De onde se obtem
Cadeias de Markov
Para uma cadeia de Markov Ergodica, existe um nico vetor w tal que wP=w, com w positivo. Qualquer linha do vetor tal que vP=v mltiplo de w. Qualquer coluna do vetor x tal que Px=x um vetor constante.
O que significa que a longo prazo a permanncia em cada estado dada pelo vetor W, independentemente do estado inicial
Exerccio
Duas medidas quantitativas de interesse para cadeias de Markov ergdicas so: Nmero mdio de passos para retornar a um determinado estado; Nmero mdio de passos para ir de um estado para outro.
Exemplo: Labirinto
Exemplo: Labirinto
Exemplo: Para calcular o tempo mdio para atingir o estado 5, fazemos este estado absorvente:
Iniciando-se no estado 1, o nmero mdio de vezes em que o sistema permanece nos estados 1, 2, 3 , etc., ser, respectivamente, 14, 9, 4.
Exemplo: Labirinto
Iniciando-se no estado 1, o sistema leva em mdia 6 passos para atingir o estado 5 (absorvente). Iniciando-se no estado 2, o sistema leva 5 passos para atingir o estado absorvente e assim por diante.
Qual ser o nmero mdio de passos em que um estado ser visitado novamente? Dado um estado si, qual ser o nmero mdio de passos que o sistema ir levar para se encontrar novamente no estado si no futuro? Dado o vetor w, com a probabilidade limite, basta calcular 1/wi e teremos o nmero mdio de passos para visitar o estado
No exemplo do labirinto, pode ser calculado w.P=w (acrescentado somatrio de wi=1), obtendo-se:
De onde pode ser deduzido o vetor r (nmero mdio de passsos para recorrncia):
Neste caso, o tempo de permanncia em cada transio considerado como exponencialmente distribudo (esta uma exigncia, hiptese bsica para validade deste raciocnio). Considere que o parmetro que determina a taxa de transio do estado i para o prximo estado j seja dado por qij
Onde Q a matriz de transio de taxas O vetor o vetor de estado estacionrio Para o vetor Q, o elemento qii (diagonal principal) obtido fazendo-se o complemento do somantrio dos demais elementos da linha (ver exemplo em sala).
Exemplo: Suponha dois servidores operando em cluster. Um servidor falha com uma taxa , exponencialmente distribuda (ou seja, o tempo mdio entre falhas dado por 1/). A taxa de reparo dada por (ou seja, o tempo mdio de reparo dado por 1/). Suponha que as instalaes de reparo podem trabalhar em dois servidores simultaneamente. Deseja-se descobrir expresses para o estado estacionrio.
Exemplo: Suponha dois servidores operando em cluster. Um servidor falha com uma taxa , exponencialmente distribuda (ou seja, o tempo mdio entre falhas dado por 1/). A taxa de reparo dada por (ou seja, o tempo mdio de reparo dado por 1/). Suponha que as instalaes de reparo podem trabalhar em dois servidores simultaneamente. Deseja-se descobrir expresses para o estado estacionrio.