Sesin 4A - Comportamiento a largo

plazo de Cadenas de Markov

Modelos Probabilsticos
Ingeniera en Sistemas
Computacionales
Paul Ramrez De la Cruz
27 mar 2007
27 mar 2007 S4A - Comportamiento a largo plazo
de Cadenas de Markov
2
Contenido
Distribucin inicial de una cadena de
Markov
Matrices de probabilidad de transicin
regulares
Distribucin lmite de una cadena de
Markov regular
27 mar 2007 S4A - Comportamiento a largo plazo
de Cadenas de Markov
3
Distribucin inicial de una cadena de
Markov
Es una distribucin de probabilidad que indica las posibilidades de que la
cadena inicie en cada uno de los estados existentes


Ejemplo
Consideremos una cadena con estados 0, 1, 2
Supongamos que, P(X
0
= 0) = 0.5625, P(X
1
= 1) = 0.3750 y P(X
2
= 2) = 0.0625
Entonces el vector p = (0.5625,0.3750,0.0625) proporciona la distribucin de
probabilidad para el estado inicial de la cadena
Un caso particular es que inicialmente siempre ocurra que X
0
= i, donde i es
uno de los estados de la cadena
Por ejemplo, si se trata de una lnea de espera, al inicio est vaca
Suponiendo que hubiera tambin tres estados: 0, 1 y 2, en este caso tendramos p =
(1,0,0)
Cuando el estado inicial siempre es el mismo, no se acostumbra dar la
distribucin inicial, sino simplemente decir que el estado inicial es X
0
= 0 (en
este caso)
( ) ( ) ( ) ( )
( )
0 0 0
0 1
0 , 1 ,...,
, ,...,
N
p P X P X P X N
p p p p
= = = =
=
27 mar 2007 S4A - Comportamiento a largo plazo
de Cadenas de Markov
4
Matrices de probabilidad de
transicin regulares
Supongamos que tenemos una matriz P de
probabilidades de transicin de una cadena de
Markov que tiene un nmero finito de estados
etiquetados 0,1,, N
Supongamos adems que dicha matriz tiene la
propiedad de que al elevarla a cierta potencia k, la
matriz P
k
tiene todos sus elementos estrictamente
positivos
Entonces decimos que tal matriz de transicin, o
bien la cadena de Markov correspondiente, es
regular
27 mar 2007 S4A - Comportamiento a largo plazo
de Cadenas de Markov
5
Distribucin lmite de una cadena de
Markov regular
La principal caracterstica de una cadena de
Markov regular es la existencia de una
distribucin de probabilidad lmite

que cumple

y adems es independiente del estado inicial
( )
0 1
, ,...,
N
t t t t =
0
0, 0,1,...,
1
j
N
j
j
j N t
t
=
> =
=

27 mar 2007 S4A - Comportamiento a largo plazo

de Cadenas de Markov
6
Ejemplo
La siguiente matriz es regular:
Si calculamos las primeras potencias de P,
tenemos:



De lo anterior, notamos que para P
7
, las entradas
por renglones coinciden a dos decimales
Las probabilidades lmite son 0.5282 y 0.4718
0.33 0.67
0.75 0.25
P

=


2
0.6114 0.3886
0.4350 0.5650
P

=


3
0.4932 0.5068
0.5673 0.4327
P

=


4
0.5428 0.4572
0.5117 0.4883
P

=


5
0.5220 0.4780
0.5350 0.4650
P

=


6
0.5307 0.4693
0.5253 0.4747
P

=


7
0.5271 0.4729
0.5294 0.4706
P

=


27 mar 2007 S4A - Comportamiento a largo plazo
de Cadenas de Markov
7
Distribucin lmite para una cadena
de Markov regular
Si se tiene una cadena de Markov regular con matriz de
probabilidades de transicin P y estados 0,1,, N,
entonces la distribucin lmite de dicha cadena satisface las
condiciones:


Estas ecuaciones proporcionan un sistema que tiene
solucin, pero tiene una ecuacin redundante
Para obtener la solucin, arbitrariamente se desecha una de
las ecuaciones de la primera parte (la que establece la
relacin entre las t
j
y las P
kj
) y se resuelve el sistema
resultante
0
0
, 0,1,...,
1
N
j k kj
k
N
j
j
P j N t t
t
=
=
= =
=

27 mar 2007 S4A - Comportamiento a largo plazo

de Cadenas de Markov
8
Ejercicio
Determine la distribucin de probabilidad
lmite para la matriz de transicin del
ejercicio anterior
27 mar 2007 S4A - Comportamiento a largo plazo
de Cadenas de Markov
9
Interpretacin de la distribucin
lmite
La distribucin lmite de una cadena de Markov
tiene dos interpretaciones:
La primera interpretacin se refiere, precisamente,
a que se trata de la distribucin lmite
Cuando el proceso ha estado en operacin por un
tiempo largo, la probabilidad de encontrar al
proceso en el estado j es t
j
, sin importar en qu
estado se haya comenzado
27 mar 2007 S4A - Comportamiento a largo plazo
de Cadenas de Markov
10
Interpretacin de la distribucin
lmite
La segunda interpretacin dice que t
j
proporciona
la fraccin de tiempo que, en el largo plazo, el
sistema pasar en el estado j
Una consecuencia de lo anterior es que si el
sistema incurre en un costo c
j
por cada visita al
estado j, entonces a la larga el costo promedio por
unidad de tiempo asociado con la cadena de
Markov, C, es
0
N
j j
j
C c t
=
=

27 mar 2007 S4A - Comportamiento a largo plazo

de Cadenas de Markov
11
Ejercicios
Determine la distribucin lmite de una cadena de Markov X
0
, X
1
, X
2
,
que asume los estados 0, 1 y 2 y tiene la matriz de probabilidades
de transicin



Suponga que las clases sociales de generaciones sucesivas en una
familia siguen una cadena de Markov con la matriz de probabilidades
de transicin que se da ms abajo. En el largo plazo, qu fraccin de
las familias est en la clase alta?
0.7 0.2 0.1
0 0.6 0.4
0.5 0 0.5
P


=



0.7 0.2 0.1
0.2 0.6 0.2
0.1 0.4 0.5
Clase del Hijo
Baja Media Alta
Baja
Clase
P Media
Paterna
Alta


=



27 mar 2007 S4A - Comportamiento a largo plazo
de Cadenas de Markov
12
Ejercicios
Un autobs en un sistema masivo de transporte opera en una ruta
continua con paradas intermedias
Se clasifica la llegada del autobs en uno de tres estados, a saber:
1. Llegada temprana
2. Llegada a tiempo
3. Llegada tarda
Suponga que los estados sucesivos forman una cadena de Markov con
la matriz de probabilidad de transicin que se da ms abajo. En un
periodo largo de tiempo, qu fraccin de las llegadas se puede
considerar tarda?
0.5 0.4 0.1
0.2 0.5 0.3
0.1 0.2 0.7
P


=



27 mar 2007 S4A - Comportamiento a largo plazo
de Cadenas de Markov
13
Ejercicios
Los cuatro pueblos A, B, C y D estn conectados por lneas de
ferrocarril como se muestra en la figura (todas son en ambos sentidos)
Cada da, sin importar en qu pueblo se encuentre, en conductor de un tren
elige una de las lneas que salen del pueblo y la recorre hasta el pueblo
siguiente, donde el proceso se repite al da siguiente
A la larga, cul es la probabilidad de encontrar al tren en el pueblo D?
A
D
C B
27 mar 2007 S4A - Comportamiento a largo plazo
de Cadenas de Markov
14
Ejemplo prototipo: Inventarios
Considrese una tienda de fotografa con un
problema de inventarios
Sea D
i
la demanda de cmaras de tipo K que tiene
la tienda durante la semana i, i = 1,2,
Se supone que las D
i
son variables aleatorias
independientes e idnticamente distribuidas que
siguen la distribucin Poisson con media = 1
27 mar 2007 S4A - Comportamiento a largo plazo
de Cadenas de Markov
15
Ejemplo prototipo: Inventarios
Sea X
t
el nmero de cmaras con que la tienda
cuenta al final de la semana t, para t = 0,1, y
supongamos que X
0
= 3, de modo que al principio
se cuenta con 3 cmaras en inventario
Entonces {X
t
} = {X
0
, X
1
, X
2
,} es un proceso
estocstico que representa el nmero de cmaras
con que se cuenta al final de la semana t
27 mar 2007 S4A - Comportamiento a largo plazo
de Cadenas de Markov
16
Ejemplo prototipo: Inventarios
El dueo de la tienda sigue la poltica de
pedidos que se describe a continuacin:
Al final de cada semana t, se revisa el
inventario y:
Si X
t
= 0, entonces se hace un pedido por tres
cmaras
Si X
t
> 0, entonces no se hace pedido alguno
27 mar 2007 S4A - Comportamiento a largo plazo
de Cadenas de Markov
17
Ejemplo prototipo: Inventarios
Suponga que el sistema de inventarios descrito tiene la matriz de
transicin


Suponga adems que la tienda incurre en un costo por almacenaje de
acuerdo con la siguiente relacin:



Obtenga la distribucin lmite de la cadena de Markov y calcule el
costo esperado por almacenaje
0.080 0.184 0.368 0.368
0.632 0.368 0 0
0.264 0.368 0.368 0
0.080 0.184 0.368 0.368
P



=



( )
0, 0
2, 1
8, 2
18, 3
t
t
t
t
t
si X
si X
C X
si X
si X
=

=

=

27 mar 2007 S4A - Comportamiento a largo plazo

de Cadenas de Markov
18
Ejemplo prototipo: Inventarios
Resolviendo el sistema, tenemos que la
distribucin lmite es p = (0.286, 0.285,
0.263, 0.166)
El costo esperado por almacenaje es:
( ) ( ) ( ) ( )
( ) ( )
0.286 0 0.285 2
0.263 8 0.166 18
5.662
t
E C X = +
+ +
=
27 mar 2007 S4A - Comportamiento a largo plazo
de Cadenas de Markov
19
Seudocdigo para la simulacin de
una cadena de Markov
Dadas la matriz de probabilidades de transicin P, la distribucin inicial p y el
nmero de unidades de tiempo a simular t
Genere t nmeros aleatorios uniformes entre 0 y 1 y almacnelos en a
N = longitud(p)
estado = buscaAleat(p,a[1])
X = estado // Lista de estados visitados
Para (i = 2,,t)
estado = buscaAleat(P[estado,:],a[i])
Agregue el ltimo estado a la cadena X
Grafique X vs 1,,i
FinPara
Calcule la distribucin lmite
donde t
i
= (Nmero de componentes de X que son iguales a i) / t
Reporte la distribucin lmite
Regresa (X, t)
( )
0 1
, ,...,
N
t t t t =
27 mar 2007 S4A - Comportamiento a largo plazo
de Cadenas de Markov
20
Seudocdigo para la simulacin de
una cadena de Markov
Funcin buscaAleat(distrib, x)
// distrib es un vector que contiene una distribucin de probabilidad
// x es una probabilidad
N = longitud(distrib)
acumula = distrib[1]
donde = 1
Mientras ((x > acumulada) y (donde < N))
donde = donde + 1
acumulada = acumulada + p[donde]
FinMientras
Regresa (donde)
27 mar 2007 S4A - Comportamiento a largo plazo
de Cadenas de Markov
21
Referencias
Hillier, Frederick S. & Lieberman,
Gerald. Introduccin a la investigacin de
operaciones. McGraw-Hill Interamericana.
Mxico 2006
Karlin, Samuel & Taylor, Howard M. A
First Course in Stochastic Processes.
Segunda edicin. Academic Press. EUA,
1975