Tema 3.

Cadenas de Markov con parametro discreto

Marzo 2006

1.

Nociones b
asicas

Definici
on: El proceso {Xn }nN con espacio de estados S N es una Cadena de Markov
si n, m N y i0 , . . . in , j S se cumple la propiedad:
P (Xn+m = j/X0 = i0 , X1 = i1 , . . . , Xn = in ) = P (Xn+m = j/Xn = in )
Definici
on: La probabilidad condicionada pn,n+1
= P (Xn+1 = j/Xn = i) se denomina probij
abilidad de transici
on del estado i en la etapa n, al estado j en la etapa n + 1.
Definici
on. Si la probabilidad de transicion verifica que:
pn,n+1
= pm,m+1
ij
i,j

n, m N

entonces no depende de la etapa origen de la transicion (homogeneidad temporal), se llama

probabilidad de transici
on estacionaria y se representa por pij .
Si las probabilidades de transicion son estacionarias, la Cadena de Markov se denomina
homog
enea.
Definici
on Se define matriz de transici
on de la Cadena de Markov como la matriz de
las probabilidades de transicion en una etapa
P = ||pij ||

i, j S

Observaci
on La matriz de transicion de una Cadena de Markov es estoc
astica, esto es:
1. pij 0
i, j S.
P
2.
pij = 1
i S.
j

Comentario.
- Si A es matriz estocastica An es estocastica n 2.
- Si las matrices A y B son estocasticas, entonces la matriz A.B es estocastica.

1.1.

Ejemplos

1. Proceso de Bernoulli, Sumas de Bernoulli y Proceso del n

umero de intentos hasta el
k-esimo exito en juegos independientes de Bernoulli.
a) La sucesion aleatoria de variables Bernoulli(p) independientes {Xn }nN , siendo:

1 con probabilidad p
n N
Xn =
0 con probabilidad q = 1 p
es cadena de Markov con matriz de transicion:

1p p
0
.....
1p p
0
.....

P =
....
..... ..... .....
b) La sucesion aleatoria {Sn }nN variables aleatorias Bernoulli(p) independientes, es
Cadena de Markov con:

1p p
0
0 .......
0
1p p
0 .......

P =
0
0
1 p p .......
...
...
...
..........
c) La sucesion aleatoria {Tk }kN{0} definida por:
{Tk = n} = {Sn1 = k 1, Xn = 1}
esto es, el suceso {k-esimo exito aparece en el n-esimo intento de juegos Bernoulli(p)
independientes}, es Cadena de Markov con:
pij = P {Tk+1 = j/Tk = i}
= P {Tk+1 Tk = j 1}
 ji1
pq
si j i + 1
=
0 otro caso

0
p pq pq 2 pq 3
0
0
p pq pq 2
P =
0
0
0
p pq

2. El Paseo Aleatorio {Sn }nN con Sn =

n
P

Xk , siendo las variables aleatorias:

k=0

1 con probabilidad p
1 con probabilidad 1 p

pi,i+1 = p
independientes, es Cadena de Markov con
i S
pi,i1 = q

0
1
0
0
0
q
0
p
0
0

q
0
p
0
P = 0

0
0
q
0
p

Xk =

La sucesion aleatoria de variables independientes {Xn }nN definida por:

0 con probabilidad a0
1 con probabilidad a1
Xn =

....
P
siendo
ai = 1, ai 0 i, es Cadena de Markov con:
i

a0
a0
P =
...
...

a1
a1
...
...

a2
a2
...
...

...
...

...
...

3. Proceso de difusion de partculas a traves de una membrana (modelo de Ehrenfest), es

un Paseo Aleatorio con S finito y barreras reflectantes,
S = {a, a + 1, . . . , 1, 0, 1, . . . a 1, a}
las probabilidades de transicion son:

P (Xn+1 = j/Xn = i) =
y la matriz de transicion resulta:

0
1
0
1
1
0
1

a
2
2

0
P = 0
2

0 1 1a
2
0

2.

a1
2a
a+1
2a

si j = i + 1
si j = i 1

a
0
0
a + 1

....
1
0
2
0

....
1
0 2a a 1
0
1
0
a

Estudio distribucional de la Cadena de Markov (Homog

enea)

2.1.

Probabilidades de transici
on en n etapas

Definici
on: Las probabilidades
pnij = P (Xm+n = j/Xm = i) m, n 0,

i, j S

se denominan probabilidades de transicion en n etapas y la matriz

P (n) = ||pnij ||,
es la matriz de transicion en n etapas.

i, j S

Proposici
on: Ecuaciones de Chapman-Kolmogorov
X
pn+m
=
pnik pm
n, m 0, i, j S
kj
ij
kS

Demostraci
on
Se tiene
pn+m
= p(Xn+m = j/X0 = i)
ij
X
=
P (Xn+m = j, Xn = k/X0 = i)
kS

P (Xn+m = j/Xn = k, X0 = i).P (Xn = k/X0 = i)

kS

P (Xn+m = j/Xn = k).P (Xn = k/X0 = i)

kS

pnik pm
kj

kS

Observaci
on en forma matricial, la proposicion anterior establece
P (n) = P.P (n1) = P.P.P (n2) = . . . . . . = P n
lo cual indica que la n-esima potencia de la matriz de transicion es la matriz de transicion en
n etapas.
(Ver metodos para calcular P n en el Apendice del final del captulo).
Ejemplo de C
alculo de P n
Sea P la matriz de transicion de una Cadena de Markov con S = {1, 2}
P =

 11 12  ...estados
2
1
4

2
3
4

a) Calcular P n
Descomposicion espectral: P = D1
|P I| = 0
(se observa ya que P ,1 = 1)


x1
(P I)
=0
x2

1
2
1
4

1
2
3
4



x1
x2

1 = 1 2 =

1
2
3
4

1
2
1
4



x1
x2

1
4


=

x1
x2

1 = 1
 1 
x
4 1
=
2x2 = x1
1
x
4 2
2 =
4

1
4

x1 = x2

entonces


=

1 2
1 1

de donde


=

1
3
1
3

2
3

13

se deduce que:

P =

1 2
1 1





1
1
4

2
3

1
3
1
3

13

entonces


p =

1 2
1 1





1
( 41 )n

1
3
1
3

2
3

13


=

1
3
1
3

+ 23 ( 14 )n
13 ( 14 )n

2
3
2
3

23 ( 14 )n
+ 13 ( 14 )n

b) Hallar la probabilidad de que tras n das despues de 2 se de 1.

P (Xk+n = 1/Xk = 2) = pn21 =

1 1 1 n
( )
3 3 4

(n)

(n)

Definici
on: El vector p(n) = (. . . pi . . .), i S de probabilidades pi = P (Xn = i), se
denomina distribucion en la n-esima etapa. El vector p(0) se denomina distribucion inicial.
Proposici
on:

p(n) = p(0) .P n

n 0

Demostraci
on
A partir de las Ecuaciones de Chapman-Kolmogorov
(n)

pi

X (0) n
pj pjk

i S,

n 0

jS

matricialmente
p(n) = p(0) .P n

2.2.

Distribuci
on conjunta de r variables del proceso

Proposici
on Para toda Cadena de Markov (homogenea) la distribucion del proceso esta caracterizada por p(0) y P .
Demostraci
on
Sean i0 , i1 , . . . , in S, bastara probar que
P (X0 = i0 , X1 = i1 , . . . , Xn = in )
esta determinado a partir de p(0) y P .
Se tiene que:
P (X0 =
=
=
=

i0 , X1 = i1 , . . . , Xn = in ) =
P (Xn = in /X0 = i0 , X1 = i1 , . . . , Xn1 = in1 ).P (X0 = i0 , . . . , Xn1 = in1 )
P (Xn = in /Xn1 = in1 ).P (X0 = i0 , . . . , Xn1 = in1 )
P (Xn = in /Xn1 = in1 ).P (Xn1 = in1 /Xn2 = in2 ).P (X1 = i1 /X0 = i0 )
.P (X0 = i0 ) = pin1 , pin .pin2 , pin1 . . . pi0
(0)

= pi0 .pi0 , pi1 , pi2 . . . pin1 pin

5

(0)

pi1 .pi0

(0)

siendo pi0 elemento del vector inicial y el resto elementos de la matriz de transicion P .

Ejercicio
A partir de la matriz de transicion

P =

1
2
1
4

1
2
3
4

Hallar:
a) Probabilidad de que tras n transiciones despues de un 2 se den 1, 2 y 2 consecutivamente.
b) Teniendo p(0) = ( 21 , 12 ), hallar la probabilidad de encontrar la cadena en 2 tras 2 transiciones.
Soluci
on. teniendo en cuenta el calculo anterior de P n

a).P (Xk+n = 1, Xk+n+1 = 2, Xk+n+2 = 2/Xk = 2) =

= pn2,1 .p1,2 .p2,2

 n 
1 1 1
1 3
=
.
. .
3 3 4
2 4

b).p(2) =
p

(2)

(2) (2)

p1 p2

1 1
= ( , ).
2 2

= p(0) P 2
1
3
1
3

1
+ 23 . 16
1
13 . 16

2
3
2
3

1
23 . 16
1
+ 13 . 16


= (0, 350, 65)

(2)

de donde p2 = 0, 65.

2.3.

Distribuci
on lmite de la Cadena de Markov

El estudio de las distribuciones conjuntas de r variables puede resultar complejo; ademas

en algunos tipos de cadenas el comportamiento asintotico de pnij cuando n se simplifica,
en el sentido de que perdida la influencia de la posicion inicial, tras un n
umero suficiente de
n
etapas pij resulta depender solo de j y no del estado i. Esto lo determinan basicamente las
caractersticas de los distintos estados.

3.

Clasificaci
on de estados

Definici
on
a). El estado j es accesible desde i si para alg
un n 0 se tiene que pnij > 0 (i j).
b). Los estados i y j son estados comunicados si i es accesible desde j y j es accesible desde
i (i j).
Observaci
on Si i , j no estan comunicados, entonces n 0 se verifica pnij =0 o pnji =0
o ambos.
6

Proposici
on La relacion () de comunicacion entre estados es de equivalencia.
Demostraci
on
1. reflexiva. Es inmediata por definicion.
2. simetrica. Es inmediata por definicion
3. transitiva.
Si i j entonces m 0 tal que pm
ij > 0
Si j k entonces n 0 tal que pnjk > 0
P m n
n
entonces pm+n
=
pil plk > pm

ij pjk > 0
ik

ik

lS

analogamente se prueba que k i.

Observaci
on: Las clases de equivalencia generadas por esta relacion de comunicacion entre
estados son los subconjuntos de estados de S que se comunican entre s. En una cadena con
una sola clase, todos los estados se comunican entre s.
Definici
on. Una cadena de Markov es irreducible si tiene una sola clase de estados.
Definici
on Un estado j S es absorbente si pjj = 1.
Observaci
on Todo estado absorbente forma una sola clase.
Ejemplos
1). El Paseo aleatorio con Barreras

1
0
q
0

P =
0
0

absorbentes cuya matriz de transicion es

0
1

p
0 0 2

.....
q
0
p
1
s

tiene tres clases: {1}, {s}, {2,. . . ,s-1}

2). El Paseo Aleatorio con Barreras

0
q

P =
...
...
...

reflectantes cuya matriz de transicion es

1 0 .... .... ... 0

0 p .... .... ... 0

... ... .... .... ... ...

... ... .... q 0 p

... ... .... .... 1 0

es una cadena irreducible.

Definici
on. Para todo i S, se denomina perodo de i y se denota por d(i)
d(i) = m.c.d.(n 0 ,

pnii > 0)

si d(i) = 1, el estado i se denomina estado aperi

odico.
Proposici
on Si i j (comunicados), entonces d(i) = d(j).
7

Demostraci
on
Sean d = d(i), = d(j). Si i j se deduce que existe s 0, psij > 0.
y si j i analogamente existe r 0, con prji > 0
Entonces
psij prji = > 0
ps+r
i,i

de donde se deduce que s + r = d (m

ultiplo de d)
Ahora para n 0
pn+r+s
= psij pnjj prji = pnjj
ii
sera:

a). pnjj > 0 si n = d o bien

b). pnjj = 0 si n 6=

d y entonces d ya que pnjj = 0 por ser > 0.

Invirtiendo los papeles de i y j se obtendra d , cuya solucion es = d y ambos estados

deberan tener el mismo perodo.
Observaci
on: Todos los estados comunicados entre s tienen el mismo perodo.
Para avanzar en la interpretacion de los estados en que la cadena pueda encontrarse en el
largo plazo, vamos a adoptar el punto de vista de visitas a un estado fijo.
Ejemplo: Sea {Xn }n0 cadena de Markov con espacio de estados S = {1, 2, 3, 4} y matriz
de transicion

1 0 0 0
0 1 1 0
2
2

P =
0 1 2 0
3
3
1
4

1
4

1
4

1
4

Los estados {1} y {2, 3} son recurrentes (se permanece en ellos una vez que se alcanzan), y
el estado {4} es transitorio (no se retorna a ellos una vez que se abandonan).
Definici
on. El estado i S se llama recurrente si
P (Xn = i

para alg
un n 1/X0 = 1) = 1

Definici
on El estado i S es transitorio si es no recurrente.

3.1.

Caracterizaci
on en t
erminos de las probabilidades de transici
on

Proposici
on El estado i es recurrente

pnii =

n=1

Demostraci
on
Vamos a relacionar las probabilidades de transicion con las probabilidades llamadas de
primera pasada para i, j S, con n 1.
fijn = P (Xn = j, Xk 6= j,

k = 1, 2, . . . , n 1/X0 = i)

con fij0 = 0.

Entonces fij =

fijn es la probabilidad de que la cadena visite el estado j alguna vez,

n=1

partiendo del estado i.

Naturalmente, i es recurrente

fii = 1 (y el estado i es transitorio

Sean para |s| < 1 las funciones:

Fii (s) =

n=0

Pii (s) =

fiin sn
pnii sn

n=0

entonces se verifica
Fii (s).Pii (s) =
=

n
X
X
n=0

k=0
n
X

n=1

k=0

!
fiin pnk
ii

sn
!

fiik pnk
ii

sn

= Pii (s) 1
1
de donde Pii (s) =
1 Fii (s)
0
ya que fii = 0 y p0ii = 1
n
X
n
ademas para n 1
pii =
fiik pnk
ii
k=0

Procedemos ahora a demostrar la proposicion

a). Necesidad:
Sea i recurrente fii =

fiin = 1; por el Lema de Abel

n=1

lm Fii (s) = 1

s1

nuevamente por el lema de Abel

lm Pii (s) = lm

s1

pnii =

s1

pnii sn =

n=0

c.q.d.

n=1

b). Suficiencia (por reduccion al absurdo)

P
P
fiin < 1 entonces por el Lema de Abel
Sea
pnii = . Si
n=1

n=1

lm Fii (s) < 1

s1

de donde
lm Pii (s) <

s1

fii < 1)

Aplicando nuevamente el Lema de Abel

Piin <

n=1

en contra de la hipotesis de partida.

Lema de Abel

P
i). Si
n <
n=0

ii) Si n 0 y
lm

s1

lm

s1

n s =

n=0

n=0

n sn =

n=0

n =

n=0

Observaciones
P n
1). Dado que fii =
fii es la probabilidad de que comenzando en i, el estado i sea eventualn=1

mente revisitado, la suma =

umero medio de visitas al estado i. Esto es, si definimos

pnii es el n

n=1

como Ni () el n
umero de veces que el estado i aparece en la realizacion (X1 (w), X2 (w), . . .), en
terminos de la funcion indicadora sera
Ni (w) =

1{i} (Xn (w))

n=1

De donde
"
E(Ni /X0 = i) = E

#
1{i} Xn (w)/X0 = i

n=1

P (Xn = i/X0 = i)

n=1

pnii

n=1

por el teorema de la convergencia monotona.

2). El estado i es recurrente P (Ni = /X0 = i) = 1, es decir, infinitamente revisitado
con probabilidad 1.
Proposici
on.
i j (comunicados), i es recurrente j es recurrente.
Demostraci
on
Por hipotesis n, m 1 tales que pnij > 0 y
Para k 1
Pjjn+m+k
de donde

pn+m+k
jj

n
pm
ji pij

k=0

pm
ji > 0
k n
pm
ji pii pij

X
k=0

10

pkii

ya que

pkii = por ser recurrente; luego:

k=0

pkjj = j es recurrente.

k=0

Observaci
on
En cada clase de equivalencia (clases de estados comunicados) todos los estados tienen el
mismo caracter de recurrencia o transitoriedad. Se van a clasificar ahora los estados recurrentes.
Definici
on Para un estado i S recurrente, su tiempo medio de recurrencia i , es el
n
umero medio de transiciones requeridas para retornar al estado i. Esto es
i =

nfiin

n=1

Definici
on. Sea j S recurrente, sera
a). recurrente positivo si j <
b). recurrente nulo si j = si i, j pnij
c) ergodico si es recurrente positivo y aperiodico.

n 0

Comentario: Toda cadena Finita aperiodica e irreducible es de estados recurrentes positivos.

Vamos a estudiar a continuacion la distribucion lmite de la cadena.
Definici
on. Se dice que una Cadena de Markov {Xn }nN con espacio de estados S tiene
una distribucion lmite si existe
jS

lm P (Xn = j) = j

Observaci
on: Ya que:
P (Xn = j) = p(n) (j) =

p(0) (i)pnij

iS

donde p(0) (i) es la i-esima coordenada del vector inicial p(0) , se observa que la existencia de la
distribucion lmite no depende de p(0) y s depende del
lm pnij

Esto es, si existe

(j) = lmn pnij

y ademas (j) 0 j

(j) = 1

jS

{(j)} la distribucion lmite

Comentarios



0 si n es impar
0 1
n
1). Sea P =
p00 =
1 si n es par
1 0
entonces pn00 n ?; debido a la periodicidad no existe lmite.


1a
a
2). Sea P =
la matriz de la C.M. {Xn } con S = {0, 1}
b
1b
Entonces:


b
a
1
b a
n
(0) =
y (1) =
lm P =
n
a+b b a
a+b
a+b
11

es

Observaci
on La distribucion lmite es invariante, esto es:
X
(j) =
(i).pij
jS
iS

La distribucion invariante se llama tambien estacionaria se puede calcular seg

un
(j) =

lm P (Xn+1 = j)
X
lm
P (Xn = i).pij

iS

X

iS


lm P (Xn = i) .pij

(i)pij

iS

aplicando el Teorema de la convergencia dominada.

Caso particular
Si la distribucion inicial p(0) es invariante (estacionaria) entonces las variables aleatorias Xn
tienen la misma distribucion y la cadena es un Proceso estrictamente estacionario. Esto
es:
p(0) = p(n) =
n 1
Proposici
on. Si i j, y j es aperiodico, entonces
pnij

1
j

Teorema: Si {Xn } es Cadena de Markov irreducible y aperiodica con matriz de transicion

P , entonces verifica una de las dos situaciones
a). todos los estados son transitorios o todos recurrentes nulos y en este caso pnij n
0 i, j S y no existe distribuci
on estacionaria.
b) todos los estados son recurrentes positivos y en este caso
pnij n j
siendo j =

i, j S

1
j

Ejercicio: C
alculo de las probabilidades de primera pasada.
Para n = 1 se tiene fij = pij
P
Para n 2 se tiene fijn =
pib fbjn1
b6=j

Ejemplo:

S = {1, 2, 3}

P =

Vamos a calcular para j = 3 fijo

12

1 0

1
2
1
3

1
3
1
15

1
6
3
5

Denotamos por Q P la matriz de transicion de la Cadena de Markov con la j-esima

columna sustituida por ceros y
n
f1j
n

f2j

fn =
......
......
el vector de probabilidad
deprimera pasada con n 1
0
1
1

ahora
obviamente f =
3
1
15

fn

entonces f 2

1 0 0
0
n1
2
1
1
1

0
= Qf , luego f =
2
6
3
1
3
1
0
3
5
5

0
0
0
4
3
1
1
1

......
,f =
=
,f =
648
108
18
1
30

1
5

de donde
n
f13
= 0 n 1
1 1 n1
n
=
f23
( )
n 1
3 6

1
n=1
n
15
f33
=
3 1 n2 1
( ) (3) n 2
5 6

13

1
180

4.

APENDICE.
CAPITULO 3.

METODOS
PARA CALCULAR P n
1). Z- transformada.
p(0) = vector inicial en la cadena de Markov.
p(n) = p(n1) .p

P
P
G(z) = pn z n = p0 + pn z n
0

G(z) p(0)

P
= z( pn1 .z n1 ).P
1

(0)

G(z) p = z.G(z).P p(0) = G(z)[I zP ]

G(z) = p(0) (I zP )1
A partir de (I zP )1 se identifica P n
Ejemplo:

P =

I zP =

1
2
3
3

1
2
1
4

1 z/2 z/2
3/4z 1 z/4

z
z
det(I zP ) = (1 )(1 )
2
4

1
1 ( z4 )
(I zP )1 =
3z/4
(1 z)(1 + z/4)

3 2
z
z = (1 z)(1 + )
8
4

A
B
1/2z
=
+
z
1 (2)
1 z 1 + z/4

buscamos las matrices A y B tales que







z
b11 b12
1 ( z4 ) 1/2z
a11 a12
(1 + ) +
(1 z) =
a21 a22
b21 b22
3z/4 1 ( z2 )
4

a11 + b11 = 1
a11 = 35
a12 = 25
,
de
donde
a11
b11 = 14 b11 = 25
b12 = 25
4
a21 + b21 = 0
a21 = 35
a22 = 25
,
de
donde
a21
b21 = 34
b21 = 35
b22 = 35
4
de donde:
 3 2 
 2

1
1
25
1
5
5
5
(I zP ) =
+
=
3
2
1z
1 + z/4 35 35
5
5
=

X  1 n  2 2 
5
5
+

zn
35 35
4

3
5
3
5

2
5
2
5



3
5
3
5

2
5
2
5

3
5
3
5

2
5
2
5

P =

1
+
4

n 

n 

1
+
4
14

2
5

25



2
5

25

35

35

3
5

3
5

Anexo:
Calculo de la Distribucion estacionaria


(1 2 ) = (1 2 )

1 =

1
2
3
4

1
2
1
4


1 + 2 = 1

1
3
3
3
2
+ 2 1 = 2 1 2 = 2 2 =
2
4
2
2
5

1 =

2) Representacion espectral (modificacion)

P = D1
D = diag(1 . . . n )
= (1 . . . n )


=

1
n



=

1 (1) ... 1 (n)

n (1) ... n (n)

0 j 6= k
1 j=k
se definen las matrices Bk obtenidas seg
un

.....
k (1).k (1)........k (1)k (n)
Bk = k .(...k ...) = .............................................
......
k (n)k (1)..........k (n)k (n)

donde:

1 . = I

j k =

entonces


Bj Bk = j

k =

0 j 6= k
Bj j = k

entonces
P = D1

P = 1 B1 + . . . + n Bn

ya que
P (i, j) =

XX
k

(i, k)D(k, k 0 )1 (k 0 , j)

k1

(i, k)D(k, k)1 (k, j)

k (i)k k (j) =

luego
P k = k1 B1 + . . . + kn Bn
Ejemplo

P =

0, 8 0, 2
0, 3 0, 7
15

k Bk (i, j)

3
5

como P 1 = 1 1 = 1 autovalor; traza (P ) = 1 + 2

0, 8 + 0, 7 = 1 + 2

2 = 0, 5 autovalor

P 0 = B1 + B2





0, 6 0, 4
0, 4 0, 4
B1 =
, B2 =
0, 6 0, 4
0, 6 0, 6




0, 6 0, 4
0, 4 0, 4
k
k
p =
+ (0, 5)
para k = 0, 1, . . .
0, 6 0, 4
0, 6 0, 6

16