Cadenas de Markov 2010 II

Cadenas de Markov Discretas
Cadenas de Markov
Cuando, conociendo el pasado y
el presente, el comportamiento
probabilstico del futuro
inmediato slo depende del
estado presente
Propiedad Markoviana
Sea {Xn: n 0} un proceso estocstico
discreto (es decir, cada Xn es una variable
aleatoria discreta). Diremos que tiene la
propiedad de markoviana si se cumple:
P{Xn+1= j / X0= i0 , X1= i1 . . . Xn= in }

=
P{Xn+1= j / Xn= in } = pi,j(n)
Probabilidades de Transicin
pi,j(n) = la probabilidad de que el proceso,
estando en el estado i en el tiempo n,
pase al estado j en el instante
siguiente
Cuando pi,j(n) = pi,j (esto es, no depende de
n) se
dice que las probabilidades de transicin son
estacionarias. Lo supondremos de ahora
en
adelante.
Matriz de Transicin
Las probabilidades de transicin
definen la matriz P = [pij] que
satisface
1) pij 0 para todo i, j
p ij 1
2)
para todo i
Matriz de Transicin:
ejemplo
Tiempo
n+1
Estado 0 Estado 1 Estado 2 Estado 3
0,20
0,65
0,15
0,60
0,40
Estado 2
0,15
0,15
0,30
0,40
Estado 3
Estado 0
Tiempo Etado 1
n
Introduccin a las Cadenas de Markov

Clasificacin de Procesos Markovianos
Los procesos Markovianos se clasifican de acuerdo
al tipo de espacio y tipo de parmetro.
Si el espacio de estados es discreto el proceso
recibe el nombre de Cadena de Markov, en el otro
caso, de espacio continuo, se conoce como Proceso
de Markov.
Segn el parmetro temporal, en ambos casos se
dividen en procesos o cadenas de Tiempo Continuo
o Tiempo Discreto.
7
Introduccin a las Cadenas de Markov

Clasificacin de Procesos Markovianos
Espacio
Continuo
En
este
Tiempo
Continuo
Tiempo
Discreto
documento
se describir en
profundidad este tipo
de cadenas.
Espacio
Discreto
Proceso de Markov
de tiempo continuo
Cadena de Markov
de tiempo continuo
Proceso de Markov
de tiempo discreto
Cadena de Markov
de tiempo discreto
Cadenas de Markov discretas

Conceptos bsicos
Como las cadenas de Markov poseen espacio de
estados discreto, estos se pueden nombrar:
{E0, E1, E2, ...}
Sin embargo, para simplificar la notacin, se
asocian a los nmeros naturales:
Para el caso general el entero i representa al
estado Ei.

Conceptos bsicos
Para denotar el estado en que se encuentra la cadena
en un tiempo n se utilizar la siguiente notacin:
Xn=i , estar en el estado i en el tiempo n.
La probabilidad de transicin para ir desde el estado i

al estado j en un paso es:
Pij = P[Xn+1 =j | Xn =i]
10

Conceptos bsicos
En general Pij(n) depende de n.
Cuando Pij(n) no depende de n, la probabilidad de
transicin desde el estado i al j no varia en el tiempo.
11

Conceptos bsicos
Representacin grfica:
Es posible representar una cadena de Markov por un grafo.

Cada nodo representa a un elemento del espacio muestral.
Cada arco dirigido representa a la probabilidad de transicin
Pij ( desde i a j) asociada al par de estados que conecta (i , j)
P11
P10
P00
1
P01
P21
P12
P20
P02
P22
12

Conceptos bsicos
Matriz de Probabilidad de Transicin:
Las probabilidades de transicin Pij se pueden

representar en una
matriz
cuadrada llamada
Hasta
el
estado j
Matriz de Probabilidad
de Transicin de la
cadena.
Desde el
estado i
PP00
ij
P10

P
K0
P01 P0 K
P11
PKK
13
Representacin Matricial
O equivalentemente, el diagrama de estados puede

representarse en forma matricial de la siguiente
manera:
P=
2
3
4
5
14

Conceptos bsicos
Las propiedades de la matriz de transicin de

probabilidad son:
1.
1 Pij 0 ;
i, j 0 ,1, 2 , ....
Como cada elemento de la matriz representa una

probabilidad, sta debe tener un valor entre 0 y 1.
15

Conceptos bsicos
Las propiedades de la matriz de transicin de

probabilidad son:
2.
P
j 0
ij
1 ;
para i 0 ,1, 2 , ....
Esto significa que para cada estado la suma de

todas las probabilidades de transicin sean 1.
Adems, dentro de cada fila los valores son no
negativos, estos valores estn entre 0 y 1. La suma
de los valores de la fila es 1, luego, se dice que la
matriz es de tipo estocstica.
16
Ejemplo:
Como se representa una Cadena
de Markov?
Existen dos formas de representar una cadena de
Markov; en forma GRFICA y en forma MATRICIAL
1/4
3/4
3/4
1/4
1/4
1/4
2
1/2
0 3 / 4 1/ 4
P 1 / 4 0 3 / 4
1 / 4 1 / 4 1 / 2
17
1. Representacin Grfica
El diagrama de estados puede representarse en forma de

tabla de la siguiente manera:
En la posicin (i,j) de la matriz se coloca la probabilidad de
transitar desde el estado i al estado j
0.97
0.
03
1
1
P=
2
0.9
7
0.03
2
3
4
5
j
18
1. Representacin Grfica
El diagrama transicin de estados :

1
0.97
0.95
0.05
0.93
0.
03
4
5
1
Matriz de Probabilidad de transicin entre estados:

1
2
3
4
5
P=
1 0
0.97 0
0.03
2 0
0.9
5
0.05 0
3 0
0.07 0.9
3
4 0
019

Dada Pij , que corresponde a la probabilidad de
transicin del estado i al estado j en 1 paso, se
n
P
puede generalizar
a
que representa la
ij
probabilidad de ir del estado i al estado j en n
transiciones como:
n
Pij P{ X n j | X 0 i}; n 0
Adems i,j pertenecen al espacio de estados
20

Si las probabilidades de transicin son
estacionarias, podemos generalizar la expresin
anterior a:
n
Pij P { X n m j | X m i }; n 0
Adems i,j pertenecen al espacio de estados
Esto representa la probabilidad de pasar desde el

estado i al estado j en n pasos, partiendo desde el
estado i, sin importar como se lleg a este estado
(en general, en m pasos).
21
Ejemplo 1: caminata aleatoria

con barreras absorbentes
En el tiempo 0 tengo $ 2 y en los tiempos
1,2,3,... participo en un juego en el que
apuesto $1. Gano el juego (y gano $1) con
probabilidad p y lo pierdo (perdiendo lo
apostado) con probabilidad 1-p. Mi meta es
aumentar mi capital hasta $4 y tan pronto
lo logre me salgo del juego. Tambin salgo
cuando me arruine (capital $0).
Ejemplo 1 (cont)
- Xn : mi capital inmediatamente despus del
juego n
- Estados del proceso = {0,1,2,3,4}
- Matriz de transicin:
1
0
0
1 p 0
p
0 1 p 0
0
0 1 p
0
0
p
0
0
0
0 1
Ejemplo 2: un modelo para el

desplazamiento poblacional
Para efectos de una investigacin, en un
determinado pas, una familia puede clasificarse
como habitante de zona urbana, rural o suburbana.
Se ha estimado que durante un ao cualquiera, el
15% de todas las familias urbanas se cambian a
zona suburbana y el 5% a zona rural. El 6% de las
familias suburbanas pasan a zona urbana y el 4% a
zona rural. El 4% de las familias rurales pasan a
zona urbana y el 6% a zona suburbana.
Cadenas de Markov:
ejemplo 2
Tendremos la siguiente matriz de
transicin
Urb.
Surb.
0,80 0,15 0,05
P 0,06 0,90 0,04

0,04 0,06 0,90
Rur.
Cadenas de Markov
0,05
0,90
0,8
0,15
Urb
Sur
b.
0,06
0,04
0,04
0,90
Rural
0,06
Probabilidades de transicin en
n etapas
Pregunta: si en el tiempo t el proceso de
Markov se encuentra en el estado i, cul es
la probabilidad de que n pasos despus se
encuentre en el estado j ?
Resp:
P{Xn+t= j /Xt= i }= P{Xn= j /X0= i }

(estacionaria)
= p(n)i,j (notacin)
= elemento (i,j) de la
matriz Pn
Consecuencia de los resultados

anteriores
Pregunta: cul es la probabilidad de que el
sistema se encuentre en el estado j en el
tiempo n?
Resp.
Sea a = (a0, a1,...,am ) la distribucin inicial
de la Cadena de Markov (con m estados) ,
entonces:
P{Xn= j}= elemento j del vector a Pn
Aplicacin de resultados
anteriores
Consideremos el ejemplo 2, y supongamos que al
inicio de la investigacin, el 35% de la poblacin
viva en reas urbanas, el 45% en rea suburbana,
y el resto en rea rural.
a)
Si inicialmente una familia vive en un rea rural,

cul es la probabilidad de que tres aos despus
esta familia viva en un rea urbana?
b)
Cual es la probabilidad de que tres aos despus

de iniciada la investigacin una familia viva en el
rea urbana?
Aplicacin de resultados
anteriores
0 ,5399
3
P 0 ,1352
0 ,0967
0 ,3353 0 ,1248
0 ,7593 0 ,1055
0 ,1622 0 ,7411
a t (0 , 35 0 ,45 0 , 20 )
a) 0,0967
b) 0,2691

Ecuaciones de Chapman-Kolmogorov
La forma obtener la probabilidad de ir del estado i al estado f

en n pasos, es la expresada en esta ecuacin:
P P
n 1
ik
kf
n
if
n, k 0
i, k , f
Pero lo que se est buscando es una forma ms general de

expresar esta probabilidad.
31

n-1 pasos
n-1 pasos
i
n-1 pasos
n-1
p
aso
s
E1
E2
E3
1 pa
so
1 paso
f
1 paso
so
a
p
El
32

Se desea generalizar el resultado anterior, o sea, obtener la

probabilidad de estar en el estado f en el tiempo b dado que
se estuvo en el estado i en el tiempo a.
Lo anterior queda representado por la siguiente expresin:
Pif
( a ,b )
P X b f | X a i
33

Si en el tiempo a se estuvo en el estado i y en el tiempo b se

est en el f, entonces en un tiempo intermedio q se pas por
algn estado k.
As es posible rescribir la expresin anterior como:
Pif
a ,b
P Xb f Xq k | Xa i
k
34

E1
E2
E3
El
Pif
a ,b
P Xb f Xq k | Xa i
k
35

La expresin anterior es independiente del tipo de proceso

estocstico que se presente, por el hecho de contar
absolutamente todos los casos.
Usando las propiedades de las probabilidades condicionales puede

escribirse de la siguiente manera:
Pif
a ,b
P Xq k | Xa i P Xb f | Xa i Xq k
k
36

Esta expresin puede simplificarse, pero debe ser acotada a

las cadenas de Markov.
Aplicando la propiedad de que el estado actual depende

exclusivamente del estado anterior, se llega a la siguiente
expresin:
Pif
( a ,b )
P Xq k | Xa i P Xb f | Xq k
k
Pif
( a ,b )
Pik
a ,q
Pkf
q ,b
37

Sean i, k, f , estados genricos de la cadena de

Markov, se define la ecuacin de ChapmanKolmogorov :
Pif m ,n Pik Pkf

m
k , m, n 0
i, k , f
PikmPkfn representa la probabilidad de ir desde el

estado i al estado f en m+n transiciones a travs de
una ruta en la que, en el tiempo q, la Cadena de
Markov se encuentra en el estado k.
38

E1
E2
E3
El
q
m
b
n
39

Tenemos por lo tanto un procedimiento que nos
permite calcular la probabilidad de ir de i a f en n+m
pasos, considerando todos los posibles estados
intermedios
Es conveniente en este punto introducir notacin
matricial:
Se tiene la matriz P= {pij} con M estados (matriz
de MxM), donde pij es la probabilidad de ir de un
estado i a un estado j en un paso, independiente de
las anteriores transiciones.
40

Considerando que en el primer paso se efectu la

transicin desde el estado k al estado f, tenemos
la siguiente forma para la ecuacin de ChapmanKolmogorov:
Pi f
m 1
Pik Pkf
1
Para el caso especial de m=1, es decir se llega al

estado f en dos pasos se tiene la siguiente forma:
Pi f Pik Pkf
2
41

Descomponiendo:
M
Pi f Pie2 Pe2 f
2
e2 1
Pi f pi1 p1 f pi 2 p2 f .... piM pMf

p11
.
P( pij )
.
pM 1
... ...
p22
..
... ...
p1M
.
.
pMM
Matriz de
transiciones de un
paso del sistema
42

Se observa que la probabilidad de ir de i a f en 2

pasos es:
p1 f
..
( 2)
pi f pi1 .. .. piM
..
p
Mf
Por lo que se puede extender este resultado para

obtener de una vez las probabilidades de ir de un
estado i cualquiera a un estado j cualquiera, en dos
pasos utilizando la operacin multiplicacin entre dos
matrices
43

( 2)
p11
.
..
p22
p1M
..
..
..
..
p p1M p11
. .
. .

pMM p1M
..
..
p22
..
..
..
p p1M
.
P2
.
pMM
Que es la matriz de transiciones de 2 pasos:
P ( 2 ) { p ( 2 ) if }
P
( 2)
Utilizando este resultado se puede extender el

anlisis al caso en que n+m=3, es decir calcular la
probabilidad de ir de i a j en 3 pasos
44

Para el caso de n+m = 3 y siguiendo con el caso en que el
estado intermedio e2 se alcanza en un paso, para ir de un
estado i cualquiera a j tenemos que la ecuacin de Ch-K nos
queda:
M
Pi f Pie2 Pe2 f
3
e2 1
Descomponiendo en casos podemos escribir la siguiente

ecuacin:
M
Pi f Pie2 Pe2 f
3
e2 1
45

Utilizando el resultado obtenido anteriormente podemos

escribir la ecuacin:
M
Pi f pie2 pe2 1 .. ..
3
e2 1
pe2 M
p1 f
..
..
p
Mf
Desarrollando la expresin resulta:
Pi f pi1 p11 .. ..
3
p1 f
..
... p p
p1M
.. ..
iM
M1
..
pMf
p1 f
..
pMM
..
pMf
46

Se puede ver que es equivalente

a:
p11 .. .. ..
..
P pi1 .. .. ..
..
pM 1 .. .. ..
p1M
..
piM
P ( 2)
..
pMM
p(3)if =
p ( 2)11 ..
..
..
..
..
p ( 2) M 1 ..
p ( 2 )1 f ..
..
..
..
..
p ( 2) M 1 ..
p ( 2 )1 M
..
..
..
p ( 2) MM
47

Por lo tanto podemos obtener la matriz de transicin de 3

pasos, es decir:
P ( 3) P P ( 2 ) P P 2
( 3)
{ p if }
( 3)
( 3)
Que entrega las

probabilidades p(3)if de
ir de i a f en tres
pasos
48

Generalizando este resultado para n pasos,
vemos que resolver la ecuacin de ChapmanKolmogorov es equivalente a encontrar la
matriz de transiciones de n pasos P(n):
(n)
49

Notacin
Se define la probabilidad de estar en el estado e
en el n-simo paso, y se anota:
(n)
e
P[ X n e], e
Se define el vector al que se asocia la probabilidad

de estar en cualquiera de los estados existentes
en la cadena en el n-simo, y se anota:
( n ) 1( n )
......
E( n )
50

Notacin
Se define la probabilidad inicial del sistema, como la
probabilidad de estar en el estado e en el comienzo
del anlisis, y se anota:
( 0 ) 1( 0 )
......
E( 0 )
51

Anlisis Transiente
Ejemplo:
Ahora se puede generalizar la expresin a:
( n ) ( n 1) P
( n ) (0) P ( n )
Este vector indica la probabilidad de estar en

cualquiera de los estados de la cadena despus
de n pasos, con la condicin inicial (0) ( que
define el estado en el cual se inicia el proceso).
52

Anlisis Transiente
Sea, e
la probabilidad de estar en el estado e
en un tiempo n.
Sea, ( n ) 1( n ) ...... E ( n ) , el vector que indica
la probabilidad de estar en cualquier estado
despus de n pasos.
Sea, P la matriz de transicin de estados: donde Pij
es la probabilidad de ir desde el estado i al estado
j, en un paso.
(n)
53

Anlisis Transiente
La ecuacin de Chapman-Kolmogorov en el ltimo
paso, en forma matricial, es:
Obs: La ecuacin (3) presenta un mejor desempeo al realizar

clculos cuando el nmero de pasos es muy grande.
54

Anlisis Estacionario
Definicin:
Una cadena de Markov con probabilidad estacionaria
cumple:
lim e( n ) e
es decir, la probabilidad de estar en el estado e es

independiente del tiempo (n), y es constante.
55

Definicin:
Se define el vector de probabilidad estacionaria
como:
lim ( n )
Se dice que la cadena de Markov tiene probabilidad

de transicin estacionaria si se cumple la ecuacin
matricial:
P
j i i Pij ;
para
j 0,1,2...., E
56
Ejemplo (desplazamiento
poblacional: ejemplo 2)
Dado que la matriz del ejemplo 3 es
ergdica, podemos hacer:
0,80 0,15 0,05
(1 , 2 , 3 ) (1 , 2 , 3 ) 0,06 0,90 0,04

0,04 0,06 0,90
1 2 3 1
continuacin
Una opcin es:
1 0,80 1 0 ,06 2 0 ,04 3

2 0 ,15 1 0,90 2 0 ,06 3
1
continuacin
Cuya solucin es
(1, 2, 3) = (0.2077 , 0.4918 , 0.3005)
Es decir, si con el paso del tiempo se
mantiene el comportamiento descrito por el
modelo (lo cual es muy poco probable)
despus de muchos aos,aproximadamente,
el 21% de la poblacin ocupar las zonas
urbanas, el 49% las suburbanas y el 30% la
rural.
Tiempo de primera pasada

Estamos interesados en tener informacin
respecto al nmero de pasos (transiciones)
que hace el proceso al ir de un estado i a
un estado j por primera vez. Se define
Ti,j = tiempo de primera pasada al ir del
estado i al
estado j

Definimos el tiempo esperado de
recurrencia
E(Ti,j ) = ij
Se puede demostrar que se cumple:
1
jj
j
ij 1 pin nj
n j
Ejemplo
En el ejemplo anterior
1/1 = 1/0,2077 = 4,8146 = 11
Es decir, el nmero promedio de aos
para que, partiendo de vivir en una zona
urbana, una familia regrese a vivir en una
zona urbana por primera vez es 4,8 aos.
continuacin
Cul es el nmero promedio de aos para que,
partiendo de vivir en zona urbana, una familia
llegue a vivir en zona suburbana, por primera
vez?. Hacemos primero
12 1 p 11 12 p 12 22 p 13 32
22 1 p 21 12 p 22 22 p 23 32
32 1 p 31 12 p 32 22 p 33 32
continuacin
Luego, ignoramos todas las filas y columnas que
tengan 22 y queda el sistema
12 1 p 11 12 p 13 32
32 1 p 31 12 p 33 32
se sustituye y agrupa
1 0 , 20 12 0 ,05 32
1
0 ,04 12 0 ,10 32
cuyo resultado es 12 8, 33 y 32 13, 33
continuacin
Entonces, en promedio transcurren
8,33 aos para que una familia que
inicialmente vive en una zona urbana
llegue a vivir en zona suburbana, por
primera vez.

Ejemplo:
Se dispone de 4 mdulos de atencin que
se van activando secuencialmente a
medida que la cantidad de usuarios que
deben ser atendidos aumenta.
Cada mdulo tiene un mximo de

usuarios a los que puede entregar
servicio.
Cuando un mdulo est completamente
utilizado, entra en servicio el siguiente
mdulo.
Si un mdulo deja de ser utilizado, el

mdulo se desactiva temporalmente,
quedando en servicio los mdulos
anteriores.
Central
Telefnica
G1 G2 G3 G4
66

Ejemplo:
Interesa conocer:
Cul es la probabilidad de
que cada mdulo est en
uso?.
Es decir, se desea conocer,
con que probabilidad se utiliza
cada mdulo, en cualquier
instante de tiempo.
Central
Telefnica
G1 G2 G3 G4
67

Ejemplo:
La definicin de estados para

el ejemplo ser:
Estado 1: El mdulo 1 est
siendo utilizado.
siendo utilizado.
siendo utilizado.
siendo utilizado.
Central
Telefnica
G1 G2 G3 G4
68

Ejemplo:
Las probabilidades de transicin, asociada a cada
mdulo son:
Desde el 1 al 1: 0.3
Desde el 1 al 3: 0
Desde el 1 al 4:0
Desde el 2 al 4: 0
Desde el 3 al 1: 0
Desee el 3 al 4: 0.6
Desde el 4 al 1: 0
Desde el 4 al 2: 0
Desee el 4 al 4: 0.5
69

Ejemplo:
El diagrama de estados que representa la situacin
antes descrita es el siguiente:
0.2
0.3
0.7
0.1
0.4
2
0.4
0.6
3
0.3
0.5
4
0.5
70

Ejemplo:
La matriz de transicin asociada al ejemplo es:
0
0.3 0.7 0
0.4 0.2 0.4 0
P
0 0.3 0.1 0.6
0
0
0
.
5
0
.
5
El vector de probabilidad de transicin estacionaria

es:
1 2 3 4
71

Ejemplo:
Considerando las ecuaciones matricial:
(1)
En estado estacionario la
probabilidad de estar en
estado i en el paso n, es igual
a la probabilidad de estar en
estado i en el paso n+1
1
2
3
4
0.3 1 0.7 2 0 3 0 4
0.4 1 0.2 2 0.4 3 0 4
0 1 0.3 2 0.1 3 0.6 4

0 1 0 2 0.5 3 0.5 4
Condicin de probabilidades totales
(2)
1 1 2 3 3 4
72

Ejemplo:
Resolviendo el sistema de ecuaciones anteriores, se
obtiene:
0.027
0.189
0.351
0.433
73

Ejemplo:
Finalmente respondiendo a la pregunta original,
Cul es la probabilidad de que cada mdulo est
en uso?.
La probabilidad de que el mdulo 1 est en uso es 0.027
74
Ejemplo 3:
Alumno de Enseanza Media
Se desea estudiar el nmero de alumnos que estn
estudiando en la enseanza media de un colegio en
particular.
Se considerar que un alumno en un ao en particular puede
pasar de curso, repetir el curso cuantas veces sea
necesario o retirarse del establecimiento sin posibilidades
de regresar.
75
Ejemplo 3:
Si consideramos los siguientes porcentajes, para pasar de

curso, repetir o retirarse en cada ao:
Repetir 1 ao: 2%
Repetir 3 ao: 4%
Pasar a 2 ao: 97%
Pasar a 4 ao: 92%
Retirarse al final del 1 ao: 1%
Repetir 2 ao: 3%
Repetir 4 ao: 1%
Pasar a 3 ao: 95%
Egresar: 96%
76
Ejemplo 3:
Definicin de estados:
Estado 1: Estar en primer ao.
Estado 2: Estar en segundo ao.
Estado 3: Estar en tercer ao.
Estado 4: Estar en cuarto ao.
Estado 5: Egresar del establecimiento.
Estado 6: Retirarse del establecimiento.
77
Ejemplo 3:
La representacin grfica de los estados definidos es:
78
Ejemplo 3:
Asociando las probabilidades, se grafica de la siguiente

forma:
Repetir 1 ao: 2%
0.97
0.02
Pasar a 2 ao: 97%
0.01
Retirarse al final del 1 ao:

1%
Nota: La suma de las probabilidades asociadas a

las flechas salientes del estado 1 suman 1.
79
Ejemplo 3:
El diagrama de estados completo es:
0.04
0.03
0.02
0.97
0.95
0.94
0.02
0.02
0.01
0.01
6
1
0.96
0.03
5
1
80
Resumen sobre las Representaciones

Ejemplo:
A partir del diagrama de estados, se obtiene la
siguiente matriz de transicin asociada al sistema.
0.04
0.03
0.02
0.97
0.01
2
0.02
0.95
0.01
0.94
0.02
6
1
0.96
0.03
0
0
0.02 0.97 0
0
0 0.03 0.95 0
0
0 0.04 0.94 0
P
0
0 0.01 0.96
0
0
0
0
0
1
0
0
0
0
0
0.01
0.02
0.02
0.03
0
81

Ejemplo:
Luego obtenemos el mismo resultado expresado

caso por caso:
P15(5) P14(4) P45 P15(4) P55
82

Anlisis Transiente
Ejemplo:
1
0.9
0.8
0.7
0.6
0.5 Probabilidad
0.4
0.3
0.2
0.1
1
0
2
Pasos
6
7
C2
C3
C4
C5
C6
Espacio de Estados
C1
83
Cadenas de Markov: Otros

Ejemplos
Prediccin del Tiempo

Dos Posibles estados:
0
Llueve
1
No llueve
Supuesto:
El tiempo de maana slo depende del de Hoy.
Llueve Hoy
Prob. que llueva maana
No llueve Hoy
Prob. que llueva maana
84

Ejemplos

La matriz de transicin P queda:
Grficamente:
1
1
0
1
1
1
85

Ejemplos

Sea la probabilidad que llueva hoy de 0.2
0.7 0.3
P
0
.
4
0
.
6
Cual es la Probabilidad incondicional de que

maana llueva?
86

Ejemplos

Aplicando el Teorema de Probabilidades Totales:
Sea : Probabilidad incondicional de que
llover maana.
= P(maana llover /hoy llueve) +

P(maana llover /hoy no llueve)
0.2 P00 08
. P10
0.2 0.7 0.8 0.4 0.46

87

Ejemplos

En el caso General:
0 1
0
0 1

1
1
0 1
(1 ) 0 (1 ) 1
1 0 1
88

Ejemplos

Si a = 0.7 y b = 0.4, entonces la probabilidad lmite
que llover ser:
0
4/7
3/ 7
es decir:
0 1
4 / 7
3 / 7
89
Clasificacin de estados en
Cadenas de Markov
Estado Alcanzable:
El estado j es alcanzable desde el
estado i si existe n > 0 tal que p(n)i,j
> 0 ; es decir es posible que el

proceso llegue al estado j desde
el estado i. Se denota i j.
Cadenas de Markov
Estados que se comunican:
Los estados i, j se comunican si ij.
Atencin: la relacin es una relacin
de equivalencia (reflexiva, simtrica y
transitiva). Me permite dividir el conjunto
de estados en clases de equivalencia
Cadenas de Markov: ejemplo
Ejemplo 4: consideremos una cadena de
Markov con matriz de transicin
a
0,2 0,8 0 0
0 0,9 0,1
0
P
0,4 0,5 0,1 0
0
0 1
0
Los estados {a,b,c} se comunican y
forman una clase de equivalencia. El
estado {d} es otra clase de
equivalencia.
Atencin: cuando una cadena de
Markov tiene slo una clase de
equivalencia, se dice que es
irreducible
Cadenas de Markov
f(n)jk = probabilidad de que, partiendo
del estado j , la cadena
llegue al
estado k por primera vez
en el
tiempo n
Cadenas de Markov
Probabilidad de llegar a k (en un
tiempo finito), partiendo de j
f jk f
n 1
(n)
jk
Cadenas de Markov
Estado Recurrente.
Se dice que el estado i es recurrente
si fii = 1.
Esto significa lo siguiente: siempre
que parta del estado i, podr
regresar a el (en un tiempo finito)
Cadenas de Markov
Estado Transitorio (no recurrente)
Se dice que el estado i es transitorio si f ii < 1.
(Esto significa lo siguiente: hay manera de abandonar
el estado i, de tal modo que nunca regrese a el)
Estado Absorbente:
Se dice que el estado i es absorbente si p ii =
1.
En el ejemplo 4, a,b y c son transitorios, d es
recurrente y tambin absorbente
Estado Peridico
Un estado recurrente i es peridico,
con periodo k > 1, si k es el menor
nmero tal que todas las trayectoria
que parte de i y regresan a i, tienen
longitud mltiplo de k.
Si no es periodico se le dice
aperidico
Cadenas de Markov
Cadena Ergdica
Si todos los estados de una
Cadena de Markov son
recurrentes, aperidicos y se
comunican entre si, se dice que
la cadena es Ergdica.
Propiedades a largo plazo de

una Cadena de Markov
Pregunta interesante
Existe una probabilidad lmite de
que el sistema se encuentre en el
estado j, despus de muchas
transiciones, y que esta probabilidad
sea independiente del estado
inicial.?

Definimos el tiempo esperado de
recurrencia
E(Ti,j ) = ij
Se puede demostrar que se cumple:
1
jj
j
ij 1 pin nj
n j
basado en el problema de las

colas
Suponga que cada cliente hace una

compra de cola durante cualquier semana
(52 semanas por ao). Suponga que hay
100 millones de clientes de cola. La
produccin de una unidad de cola es de $1
y se vende a $2. Una empresa de
publicidad garantiza, por 500 millones de
dlares al ao, un decremento del 10% al
5% de la fraccin de consumidores de cola
1, que se cambian a cola 2 despus de una
compra.Debe contratar a la empresa de
publicidad la compaa que fabrica cola 1?
Ejemplos
Ejemplo: Hallar, si existe, la
distribucin estacionaria para esta
CM con S={1, 2,
0,33}:0,5 0,2
Q 0,6 0 0,4
0 0,4 0,6
Ejemplos
1 Dibujamos el DTE y as
comprobamos ms fcilmente que la
CM es finita y ergdica:
1
Ejemplos
2 y 3 Planteamos las ecuaciones:
p1 0,3 0,6 0 p1
p2 0,5 0 0,4 p2
p 0,2 0,4 0,6 p
3
3
p1 p2 p3 1
4 Resolvemos. Para ello fijamos p1=1

y hallamos una solucin para las
ecuaciones de equilibrio:
Ejemplos
0,7
0,6
0,7
0,7 0,3 1
0,5 0,4 p3 p3
0,6
0,6 0,4 0,6
1 0,3 0,6 p2 p2
Por tanto la solucin verdadera ser de

T
0
'
7
1
la forma: k , k , k 0'6 ,0'7 , T
0'6
0'6
Normalizamos y obtenemos la solucin

verdadera: 0'6 0'7 1 1
0'6 ,0'7 , T
2'3
T
6
7
10
, ,
23 23 23
Clasificacin de los est. y distribucin lmite.

Ejemplo:
Una compaa esta considerando emplear
cadenas de markov para analizar los
cambios en las preferencias de los usuarios
por tres marcas distintas de un determinado
producto. El estudio ha arrojado la siguiente
estimacin de la matriz de probabilidades de
cambiarse de una marca a otra cada mes:
1
0.8
0.1
0.1
0.03
0.95
0.02
0.2
0.05
0.75

En la actualidad los porcentajes de mercado
son 45%, 25% y 30%, respectivamente.
Cuales sern los porcentajes de mercado de
cada marca en dos meses ms?
xn{1,2,3}: marca que adquiere un cliente
cualquiera en el mes n=0,1,2,3,...
IP(X 0 1) 0.45
f 0 IP(X 0 2) 0.25
IP(X 0 3) 0.30
0.1
0.1
0 .8
P 0.03 0.95 0.02
0.2 0.05 0.75

Al trmino del mes siguiente:
IP(X 1 1) 0.4275
f 1 P T f 0 IP(X 1 2) 0.2975
IP(X 1 3) 0.2750
Y dos meses despus:
IP(X 2 1) 0.4059
f 2 P T f 1 IP(X 2 2) 0.3391
IP(X 2 3) 0.2550

De aqu las cuotas de mercado en dos meses
a cambiado de un 45% a un 40.59%; de un
25% a un 33.91% y de un 30% a un 25.50%,
para las marcas 1,2 y 3 respectivamente.
Cul es la cuota de mercado en el largo
plazo para cada una de las marcas?
La cadena resultante es irreducible con
estados recurrentes positivos y aperidicos .
Denotando por
=( 1,
2,
3)T,
las
probabilidades
estacionarias de largo plazo, las cuales
satisfacen:
Clasificacin de los est. y distribucin

lmite.
=PT
i = 1 ;
i = 1,2,3.
1=0.8 1+ 0.03 2+0.20 3

2=0.10 1+ 0.95 2+0.05 3
3=0.10 1+ 0.02 2+0.75 3
1 + 2+ 3 =1
Cuya solucin resulta:
1= 0.2373 2= 0.6184
0.1443
3=

De aqu que la cuotas de mercado en el largo
plazo resultan ser 23.73%, 61.84% y 14.43%
para las marcas 1,2 y 3 respectivamente.
Notar que las actuales cuotas difieren
significativamente de las cuotas obtenidas
en el largo plazo lo cual puede implicar que
de alguna manera deban ser corregidas las
probabilidades de transicin.
Concepto de cadena
absorbente
Sea X una CM cuyos estados son todos

transitorios o absorbentes. En tal caso diremos
que X es absorbente.
Si X es finita y absorbente, reordenamos S
poniendo primero los estados transitorios y
obtenemos:
Q' R
Q
0 I
Resultados sobre cadenas

absorbentes
Proposicin: El nmero medio de
etapas que se estar en el estado
transitorio jS antes de la absorcin,
suponiendo que empezamos en el
estado transitorio iS, viene dado por
el elemento (i,j) de (IQ)1
Nota: La etapa inicial tambin se
cuenta, es decir, en la diagonal de (I
Q)1 todos los elementos son siempre
mayores o iguales que 1
Resultados sobre cadenas

absorbentes
Proposicin: La probabilidad de ser
absorbido por un estado absorbente
jS, suponiendo que empezamos en
el estado transitorio iS, viene dada
por el elemento (i,j) de la matriz (I
Q)1 R, que se denomina matriz
fundamental de la CM
Ejemplo de CM absorbente
En un juego participan dos jugadores, A y B.
En cada turno, se lanza una moneda al aire.
Si sale cara, A le da 1 a B. Si sale cruz, B le
da 1 a A. Al principio, A tiene 3 y B tiene 2
. El juego contina hasta que alguno de los
dos se arruine o alcance a tener 5. Calcular:
La probabilidad de que A termine arruinndose.
La probabilidad de que B termine arruinndose.
El nmero medio de tiradas que tarda en acabar el
juego.
Tendremos una CM con un estado por
cada posible estado de cuentas de A:
S={1, 2, 3, 4, 5, 0}. Descomponemos
1
2 Q:3
1
2
3
Q
4
5
0
0 0,5 0
0
0 0,5
0,5 0 0,5 0
0
0
0 0,5 0 0,5 0
0
0
0 0,5 0 0,5 0
0
0
0
0
1
0
0
0
0
0
0
1
2
Q'
3
0 0,5 0
0
0,5 0 0,5 0
0 0,5 0 0,5
0
0 0,5 0
5
1 0 0,5
2 0
0
R
3 0
0
4 0,5 0
Realizamos los clculos necesarios:
1
1 1
0,5
0
0
2 0,5
1
0,5
0
1
I Q '
3 0
0,5
1
0,5
4 0
0
0,5
1
5
1 0,2
2 0,4
I Q' 1 R
3 0,6
4 0,8
2

3
4
0
0,8
0,6
0,4
0,2
1,6
1,2
0,8
0,4
1,2
2,4
1,6
0,8
0,8
1,6
2,4
1,2
0,4
0,8
1,2
1,6
Probabilidad de que A termine arruinndose.
La ruina de A est representada por el estado 0,
que es el 2 estado absorbente. Como empezamos
en el 3er estado transitorio (A empieza con 3 ),
debemos consultar la 3 fila, 2 columna de (IQ)
1R, que nos da una probabilidad de 0,4 de que A
empiece con 3 y termine en la ruina.
Probabilidad de que B termine arruinndose

Como es el suceso contrario del apartado a), su
probabilidad ser 10,4=0,6. Tambin podramos
haber consultado la 3 fila, 1 columna de (IQ)1R.
Nmero medio de tiradas que tarda en acabar
el juego
Sumamos los nmeros medios de etapas que se
estar en cualquier estado transitorio antes de la
absorcin, suponiendo que empezamos en el 3 er
estado transitorio. Dichos nmeros medios son los
que forman la 3 fila de la matriz (IQ)1. El promedio
es: 0,8+1,6+2,4+1,2=6 tiradas.
Nota: si observamos la 1 columna de (IQ)1R,

vemos que los valores van creciendo. Esto se
debe a que, cuanto ms dinero tenga al
principio A, ms probabilidad tiene de ganar el
juego.
Ejemplo Cuentas por cobrar

El estado de cuentas por cobrar en una
empresa se modela con frecuencia como CM.
Una cuenta se considera incobrable si han
transcurrido mas de 3 meses de su fecha de
vencimiento. Entonces al principio de cada mes
una cuenta se puede clasificar en cualquiera de
los siguientes estados:
ctas nuevas, ctas. atrasadas un mes, ctas.
atrasadas 2 meses, ctas. atrasadas 3 meses,
ctas. saldadas, ctas incobrables. Suponga que
los ltimos datos indican que la siguiente
cadena de markov describe como cambia una
cuenta de un mes al siguiente:
(el orden esta de acuerdo al listado)

Tendremos una CM con un estado por cada
posible estado de cuentas de A: S={cn, a1m,
a2m, a3m, pag, incob}. Descomponemos Q:
cn a1m
cn
a1m
a 2m
Q
a3m
pag
incob
a2m a3m pag incob
0 0,6 0
0
0 0 0,5 0
0 0
0 0,4
0 0
0
0
0 0
0
0
0 0
0
0
0,4 0
0,5 0
0,6 0
0,7 0,3
1
0
0
1
0
0 0,6 0
0 0 0,5 0
Q'
0 0
0 0,4
0 0
0
0
0,4
0,5
0,6
0
0
0,7 0,3

cn
cn
a1m
1
I Q '
a 2m
a3m
a1m a2m
a3m
1 0,6
0
0
0
1
0,5
0
0
0
1
0,4
0
0
0
1
pag
cn a1m a2m a3m

cn
a1m
a 2m
a3m
1 0.6 0,30 0,12
0 1
0,5 0,20
0 0
1
0,40
0 0
0
1
incob
cn 0,964 0,036
a1m 0,940 0,060

1
I Q ' R
a 2m 0,880 0,120
a3m 0,700 0,300

Cual es la probabilidad que una
cuenta nueva sea cobrada alguna vez.
Cual es la probabilidad que una
cuenta atrasada un mes se vuelva
finalmente incobrable.
Si las ventas de la empresa son 100
000 $ en promedio mensual Cunto
dinero ser incobrable cada ao?.
Ejemplo Planificacin de
personal
La empresa de abogados emplea 3 categoras de

abogados: principiantes con experiencia y socios.
Durante un ao determinado hay una probabilidad
del 15% que un abogado principiante sea
ascendido a abogado con experiencia y una
probabilidad del 5% que deje la empresa. Tambin
hay una probabilidad del 20% que un abogado con
experiencia sea ascendido a socio y una
probabilidad del 10% que deje la empresa. Tambin
hay una probabilidad del 5% que un socio deje la
empresa. La empresa nunca degrada a un abogado.
personal
Surgen muchas preguntas interesantes
que la empresa podra contestar. Por
ejemplo, cual es probabilidad que un
abogado principiante recin contratado
se vaya antes de ser socio? En promedio
Cunto tiempo permanece un abogado
principiante recin contratado en la
empresa?
El
modelamiento
como
cadena
absorbente de markov a continuacin:
(el orden esta de acuerdo al listado)
personal
Tendremos una CM con un estado por cada posible

estado de cuentas de A: S={princ, exp, asoc,
sale_socio, sale_sinsoc}. Descomponemos Q:
princ exp
asoc
s/s
prin 0,80
exp 0
asoc 0
ss / s 0
sc / s 0
0
0,80 0,15
Q' 0
0,70 0,20
0
0
0
,
95
sale sale
0,15
0,05
0,70
0
0,20
0,95
0,10
0
c/s
0
0
0,05
0
1
0
0,05
R 0,10
0
0
0,05
personal
princ
exper
asoci
prin 0,20 0,15

0
1
I Q' exp 0 0,30 0,20
asoc 0
0
0,05
prin exp
1
asoc
prin 5 2,5
10
exp 0 10 / 3 40 / 3
asoc 0
0
20
sale sale
s/soc c/soc
prin 0,50 0,50
I Q' 1 R exp 1 / 3 2 / 3
asoc 0
1
personal
Cual es la duracin promedio de un
abogado joven recin contratado en
la empresa
Cual es la probabilidad que un
abogado joven llegue a ser socio.
Cual es la duracin promedio que
pasa un socio en el bufete.

Cadenas de Markov 2010 II

Uploaded by

Document Information

Original Title

Copyright

Available Formats

Share this document

Share or Embed Document

Sharing Options

Did you find this document useful?

Is this content inappropriate?

Copyright:

Available Formats

Cadenas de Markov 2010 II

Uploaded by

Copyright:

Available Formats

Cadenas de Markov Discretas

Cuando, conociendo el pasado y

P{Xn+1= j / X0= i0 , X1= i1 . . . Xn= in }

Estado 0 Estado 1 Estado 2 Estado 3

Introduccin a las Cadenas de Markov

Introduccin a las Cadenas de Markov

Cadenas de Markov discretas

Cadenas de Markov discretas

La probabilidad de transicin para ir desde el estado i

Cadenas de Markov discretas

Cadenas de Markov discretas

Es posible representar una cadena de Markov por un grafo.

Cadenas de Markov discretas

Las probabilidades de transicin Pij se pueden

O equivalentemente, el diagrama de estados puede

Cadenas de Markov discretas

Las propiedades de la matriz de transicin de

Como cada elemento de la matriz representa una

Cadenas de Markov discretas

Las propiedades de la matriz de transicin de

para i 0 ,1, 2 , ....

Esto significa que para cada estado la suma de

El diagrama de estados puede representarse en forma de

El diagrama transicin de estados :

Matriz de Probabilidad de transicin entre estados:

Cadenas de Markov discretas

Cadenas de Markov discretas

Esto representa la probabilidad de pasar desde el

Ejemplo 1: caminata aleatoria

Ejemplo 2: un modelo para el

0,80 0,15 0,05

P 0,06 0,90 0,04

P{Xn+t= j /Xt= i }= P{Xn= j /X0= i }

Consecuencia de los resultados

Si inicialmente una familia vive en un rea rural,

Cual es la probabilidad de que tres aos despus

Cadenas de Markov discretas

La forma obtener la probabilidad de ir del estado i al estado f

Pero lo que se est buscando es una forma ms general de

Cadenas de Markov discretas

Cadenas de Markov discretas

Se desea generalizar el resultado anterior, o sea, obtener la

Lo anterior queda representado por la siguiente expresin:

Cadenas de Markov discretas

Si en el tiempo a se estuvo en el estado i y en el tiempo b se

As es posible rescribir la expresin anterior como:

Cadenas de Markov discretas

Cadenas de Markov discretas

La expresin anterior es independiente del tipo de proceso

Usando las propiedades de las probabilidades condicionales puede

Cadenas de Markov discretas

Esta expresin puede simplificarse, pero debe ser acotada a

Aplicando la propiedad de que el estado actual depende

Cadenas de Markov discretas

Sean i, k, f , estados genricos de la cadena de

Pif m ,n Pik Pkf

PikmPkfn representa la probabilidad de ir desde el

Cadenas de Markov discretas

Cadenas de Markov discretas

Cadenas de Markov discretas

Considerando que en el primer paso se efectu la

Para el caso especial de m=1, es decir se llega al

Cadenas de Markov discretas