INVESTIGACIN

OPERATIVA II
CADENAS DE MARKOV

2014

INTRODUCCION
Las cadenas de Markov son modelos probabilsticos que se usan para predecir
la evolucin y el comportamiento a corto y a largo plazo de determinados
sistemas.
Ejemplos:
-Reparto del mercado entre marcas.
-Dinmica de las averas de mquinas para decidir poltica de mantenimiento
-Evolucin de una enfermedad.

Las cadenas de Markov tienen la propiedad particular de que las

probabilidades que describen la forma en que el proceso evolucionar en
el futuro, depende slo del estado actual en que se encuentra el proceso, y
por lo tanto, son independientes de los eventos ocurridos en el pasado.

ELEMENTOS DE UNA CADENA DE MARKOV

Un conjunto finito de M estados, exhaustivos y mutuamente

excluyentes (ejemplo: estados del tiempo climtico)

Ciclo de markov (paso) : periodo de tiempo que sirve de base para

examinar las transiciones entre estados (ejemplo, un mes)

Probabilidades de transicin entre estados, en un ciclo (matriz P)

Distribucin inicial del sistema entre los M estados posibles

Sea el proceso estocstico {Xn donde n = 0, 1, 2, .n} donde Xn = t, es el

estado t del sistema en el tiempo n.

DEFINICIONES BSICAS
Propiedad Markoviana (Independencia Condicional)
El estado futuro del sistema depende de su trayectoria pasada solo a
travs del presente:

Pij = Pr{ Xn+1=j / X0=i0, X1=i1, Xn-1= in-1, Xn=i} = Pr{ Xn+1 = j / Xn = i}
Por tanto:
Pij = Pr{ Xn+1=j / Xn=i } para todo n=0, 1, .
Llamaremos Pij la probabilidad de transicin de estar en el estado j en
el momento n+1, conocidos los estados anteriores.

Ejemplo

Maana llover( estado j), dado que hoy est nublado (estado i).
Maana cortarn la energa elctrica en el sector dado que hoy
derribaron un poste en el sector.
La mquina MM3 maana estar detenida dado que hoy fall.

EJEMPLO:
Consideremos que en un locutorio telefnico con 3 lneas de telfono, en un instante de
tiempo dado, puede haber un nmero cualquiera de las lneas ocupadas. Durante un
perodo de tiempo se observan las lneas telefnicas a intervalos de 2 minutos y se anota
el nmero de lneas ocupadas en cada instante.

EJEMPLO:
Consideremos que en un locutorio telefnico con 3 lneas de telfono, en un instante de
tiempo dado, puede haber un nmero cualquiera de las lneas ocupadas. Durante un
perodo de tiempo se observan las lneas telefnicas a intervalos de 2 minutos y se anota
el nmero de lneas ocupadas en cada instante.
-Sea Xo la v.a. que representa el nmero de lneas ocupadas al principio del perodo.
-Sea X1 la v.a. que representa el nmero de lneas ocupadas cuando se observa en el
segundo instante de tiempo, 2 minutos ms tarde.
- En general Xn es una v.a. que representa el nmero de lneas ocupadas cuando se
observan en el instante de tiempo n-simo.

El estado del proceso en cualquier instante de tiempo es el nmero de lneas que estn
siendo utilizadas en ese instante.
Un proceso estocstico como el que acabamos de describir se llama proceso de
parmetro discreto, ya que las lneas se observan en puntos discretos a lo largo del
tiempo.

Para que este proceso estocstico del nmero de lneas ocupadas sea
una cadena de Markov es necesario que la probabilidad de cada posible
nmero de lneas ocupadas en cualquier instante de tiempo dependa
solamente del nmero de lneas ocupadas 2 minutos antes.

DEFINICIONES BSICAS
Propiedad de estacionalidad
La probabilidad del estado futuro depende del valor del estado presente,
pero no de la etapa en que nos encontramos, es decir, no depende de n.
La probabilidad de transicin no cambia en el tiempo.
Pij = Pr{ Xn+1=j / Xn=i} = Pr{ Xn+m+1=j / Xn+m=i}
Definicin 5:
Sea {Xn = 0,1,2,.n} un proceso estocstico con la propiedad markoviana
y con la propiedad de estacionalidad, entonces este proceso se denomina
cadena de Markov en tiempo discreto.

Pij= probabilidad de transicin en una etapa

P = ( Pij ) = matriz de probabilidades de transicin en una etapa.

Ejemplo

La probabilidad de que un estudiante apruebe una

asignatura es 0,5 independiente de si esta es la primera,
segunda .n oportunidad en que la est cursando.

DEFINICIONES BSICAS
P = ( Pij ) = matriz de probabilidades de transicin en una etapa.
P00
P
10
P ( Pij ) .

Pn 0

P01

..

... P0m
P1m

...
Pmm

Propiedades de la matriz P:

- Es una matriz cuadrada y puede ser finita o infinita

- P no tiene porqu ser simtrica Pij Pji
- La dimensin de P corresponde al nmero de estados del sistema.
- La suma de las probabilidades de cada estado en una fila debe ser 1
i = 0,1,2..m
- La suma de los estados de una columna no tiene ninguna interpretacin
especial.

Matriz de Transicin: Ejemplo

Tiempo n+1

Estado 0

Tiempo
n

Estado 1

Estado 2

Estado 3

=1

Estado 0

0,20

0,65

0,15

Estado 1

0,60

0,40

Estado 2

0,15

0,15

0,30

0,40

=1

Estado 3

=1

=1

DIAGRAMA DE TRANSICIN:
La sucesin de elecciones que forman una cadena de Markov, pueden representarse
grficamente utilizando un diagrama de transicin de la siguiente manera:
Consideremos una sucesin de elecciones polticas en un pas, si slo hay dos partidos polticos fuertes,
llamados A y B, los que por lo regular controlan el gobierno, entonces podemos decir que el pas se
encuentra en el estado A B, si el partido A o B ganara la eleccin. Supongamos que las probabilidades
de que el partido A o B ganen la prxima eleccin son determinadas por completo por el partido que est
en el poder ahora, podramos tener las probabilidades siguientes:
Si el partido A est en el poder, existe una probabilidad de que el partido A gane la prxima eleccin y
una probabilidad de de que el partido B gane la eleccin siguiente.
Si el partido B est en el poder, hay una probabilidad de 1/3 que el partido A gane la eleccin siguiente y
una probabilidad de 2/3 que el partido B permanezca en el poder.

El diagrama de Transicin es el siguiente:

1/4

3/4
A

2/3
B

1/3

Los crculos A y B se denominan

nodos y representan los estados
del proceso, las flechas que van de
un nodo a si mismo o al otro son los
arcos y representan la probabilidad
de cambiar de un estado a otro.

EJEMPLO 1.
En un pueblito el clima puede cambiar de un da para otro, considere slo dos estados del
tiempo clima seco hmedo. La probabilidad de tener un clima seco al da siguiente es de
0.8 si el da actual es seco, pero si el clima es hmedo la probabilidad de tener un clima
seco es de 0.6. Suponga que dichos valores no han cambiado en el tiempo, se pide
determinar: a) La matriz de transicin b) El diagrama de transicin

Solucin:
Definimos la variable: Xn= Estado del clima
Estado 0: Clima Seco

Estado 1: Clima Hmedo

P 00 = P(Xt+1 = 0 / Xt = 0) = 0.8 : probabilidad que el clima est seco maana dado
que hoy esta seco
P 01 = P(Xt+1 = 1/ Xt = 0) = 0.2 : probabilidad que el clima est hmedo maana dado
que hoy esta seco
P 10 = P(Xt+1 = 0/ Xt = 1) = 0.6 : probabilidad de que el clima est hmedo maana dado que
hoy esta seco
P 11 = P(Xt+1 = 1/ Xt = 1) = 0.4 : probabilidad de que el clima est hmedo maana
dado que hoy esta hmedo

P 00 = P(Xt+1 = 0 / Xt = 0) = 0.8
P 01 = P(Xt+1 = 1/ Xt = 0) = 0.2
P 10 = P(Xt+1 = 0/ Xt = 1) = 0.6
P 11 = P(Xt+1 = 1/ Xt = 1) = 0.4

a) Matriz de transicin:
Pij = P00 P01
P
P

10

11

0.8 0.2
0.6 0.4

b) El diagrama de transicin:
0.8

0.2
0

0.4
1

0.6

EJEMPLO 2.
Segn el cuento, en la Tierra de Oz nunca hay dos das buenos en sucesin.
Despus de un da con buen tiempo, le sigue (con igual probabilidad) un da
con lluvia o nieve. Del mismo modo, si nieva (o llueve), el da siguiente nevara
(o llover) con probabilidad 1/2, pero si cambia el tiempo solo la mitad de las
veces ser un lindo da.
a) Determinar las probabilidades de transicin del sistema.
Solucin.
Sean los siguientes estados:
(0) = Buen Da
(1) = Da con lluvia
(2) = Da con nieve

0,5
0,5
1

0,25
0

0,25

0,5

0,25
0,25

0,5

b) Determinar la matriz de transicin del Proceso

0

0
Pij = 1
2

P12

c) Si hoy est lloviendo, cul es la probabilidad de que maana nieve?

P12 = P {maana nieva/ hoy esta lloviendo}

P12 = 1/4 = 25%

Elementos para representar un problema de CM

Conocer las
probabilidades

Definir los estados

Construir la matriz de
una etapa.

Construir el diagrama

1-a
a
1
No
lluev
e

0
lluev
e

1- b

Ejercicio. Dibuje los grafos para las matrices siguientes

EJERCICIO:
Construya la matriz de probabilidades.

Solucin

Probabilidades de transicin en n etapas

Pregunta: Si en el tiempo t el proceso de Markov se encuentra en el
estado i, cul es la probabilidad de que n pasos despus se
encuentre en el estado j ?
Se trata de encontrar

P {Xn+t= j /Xt= i } = P{Xn= j /X0= i } (estacionaria)

= p(n)i,j (notacin)
= elemento (i,j) de la matriz Pn

Probabilidad de Transicin en n etapas

Ecuaciones de Chapman-Kolmogorov
Las ecuaciones de Chapman-Kolmogorov proporcionan un mtodo para
calcular las probabilidades de transicin de n pasos.

i
k
Etapa m
Etapa m+r

j
Etapa m+n

ntonces:

Entonces:

(n)

Entonces:
(n)
(r) (n-r)
= P = P P = matriz de transicin en n etapas

Pij

(n)

(n)

=P

(r)

(n-r)

=P P

Matriz dede
transicin
de nen
etapas
Entonces:
= matriz
transicin
n etapas

na matriz de transicin en n etapas, se puede determinar

conociendo la matriz de transicin
(n)
(n)
(r) (n-r)
Pij = P = P P = matriz de transicin en n etapas
elevarla
n veces.
Una
matriz
transicin
de n en
etapas,
se puede
conociendo la
matriz de
Una
matrizdede
transicin
n etapas,
sedeterminar
puede determinar
conociendo
la matr

P (n)

(n)
)
transicin
de una
n_sima
potencia
de en
P n etapas, se puede determina
yP
P, y se obtiene laUna
matriz de
transicin
... ...
P0(Mnetapa,
elevarla
n veces.
00
y elevarla n veces.

(n)
(n)
.
.
(n)
(n)
P00 ... ... P0 M

P
...
...
P
00
0
M

(n)= P*P*P= Pn-1P= Pn

P

.
.
.
.
(n)
.
.

P ((nn))
(n)
.
.
P0 M ... .... PMM

P0 M ... ... PMM

(n)
Propiedades
(n)
ropiedades: P0 M ... ... PMM
Propiedades:
(n+m)
(n) (m)
P
=P P
(n+m) es (n)
(m)
: El producto de matrices de Markov
P
= P una
P matriz de Markov.
Propiedades:
El producto de dos matrices de Markov siempre
es una matriz
de Markov.
El producto
de dos matrices
de Markov siempre es
(n)

(n)

En el ejemplo
del tiempo
en la Tierra de OZ, las probabilidades de transicin en dos etapas
(n+m)
(n) (m)
P
=P P
son:

El producto
0
1de dos
2 matrices de Markov siempre es una matriz de Mark

0
Pij = 1
2

Pij( 2 )

0,25 0,38 0,38

0,19 0,44 0,38
0,19 0,38 0,44

EJEMPLO:
Una multi-tienda tiene un modelo especial de cmaras fotogrficas que puede
ordenar cada semana.
Sean D1, D2, ..Dn, las demandas durante la primera, segunda y n-sima
semana respectivamente. (se supone que las Di son v.a. que tienen una
distribucin de probabilidad conocida)
X0 : nmero de cmaras que se tiene al iniciar el proceso. Suponga que X0=0
X1 : nmero de cmaras que se tiene al final de la semana 1
X2 : nmero de cmaras que se tiene al final de la semana 2
Xn : nmero de cmaras que se tiene al final de la semana n
Suponga que la multitienda utiliza una poltica de pedidos (s,S), es decir
siempre que el nivel de inventario sea menor que s, se ordenan hasta S
unidades (S>s). Si el nivel de inventario es mayor o igual, no se ordena. Se
tiene: s=1; S=3

Se supone que las ventas se pierden cuando la demanda excede el

inventario.
Entonces {Xt } para t=1, 2, n es un proceso estocstico
El nmero posible de cmaras en inventario al final de la semana t son: { 0, 1,
2, 3 } estados posibles del sistema.
Las v.a. Xt son dependientes de la demanda y se pueden evaluar en forma
iterativa por medio de la expresin:

Max {(3 Dt+1), 0}

si Xt < 1

Max {(Xt Dt+1), 0}

si Xt 1

Xt+1 =

Para este caso observe que {Xt} es una cadena de Markov.

Xt= nmero de cmaras al final de la semana t (antes de recibir el pedido)
Dt= demanda de cmaras en la semana t. Suponga que tiene
Dt~Poisson(=1)

P00 Pr{ X t 1 0 / X t 0} Pr { Dt 3} 1 - Pr { Dt 2 } 0.08

P10 Pr{ X t 1 0 / X t 1} Pr { Dt 1} 1 - Pr { Dt 0 } 0.632
P21 Pr{ X t 1 1 / X t 2} Pr { Dt 1} 0.368
Similarmente se obtienen las otras probabilidades

0.080
0.632
P
0.264

0.080

0.184 0.368 0.368

0.368 0.00 0.00
0.368 0.368 0.00

0.184 0.368 0.368

b) Si hoy es domingo y me quedan 2 cmaras en inventario, cul es la probabilidad

de que en 2 domingos ms tenga 0 cmaras en inventario?

La matriz de transicin de dos pasos es:

P ( 2)

0.249
0.283

0.351

0.249

0.286 0.300 0.165

0.252 0.233 0.233
0.319 0.233 0.097

0.286 0.300 0.165

La Probabilidad es de 35,1% de que en dos domingos ms tenga 0 cmaras

c) Si hoy es domingo y me quedan 2 cmaras en inventario, cul es la probabilidad
de que en 1 mes ms tenga 0 cmaras en inventario?

( 4)
La matriz de transicin de 4 pasos es: P

La Probabilidad es

0.289
0.282

0.284

0.289

P20( 4) 0,284 28,4%

0.286 0.261 0.164

0.285 0.268 0.166
0.283 0.263 0.171

0.286 0.261 0.164

CADENAS DE MARKOV EN EL LARGO PLAZO.

Distribucin de Probabilidades del proceso en la etapa n Pr{ Xn=j }

Las probabilidades de transicin de 1 n pasos son probabilidades

condicionales, por ejemplo:
Pij(n) = P{Xn = j / X0 = i }

Si se desea la probabilidad incondicional Pr{ Xn=j } es necesario que se

especifique la distribucin de probabilidad del estado inicial:

f (n )

PX n 0
PX 1 f 0( n )
n

(n )
f1

f ( n )
PX j j
n

f(n) = vector de distribucin de probabilidades de la variable discreta Xn en la etapa n

f(0) = vector de distribucin de probabilidades del estado inicial

f j( n ) Pr{ X n j} Pr{ X n j / X 0 i} Pr{ X 0 i}

i

donde i son los estados posibles del estado inicial

f j( n ) Pij( n )f i( 0 )
i

(n )

(n ) T ( 0)

n T ( 0)

Es decir, la probabilidad del paso n se puede calcular multiplicando

vector de probabilidad inicial, f(0) , por la potencia correspondiente
de la matriz de transicin, P n T

Ejemplo.
Modelo para el desplazamiento poblacional
Para efectos de una investigacin, en un determinado pas, una familia
puede clasificarse como habitante de zona urbana, rural o suburbana.
Se ha estimado que durante un ao cualquiera, el 15% de todas las familias
urbanas se cambian a zona suburbana y el 5% a zona rural. El 6% de las
familias suburbanas pasan a zona urbana y el 4% a zona rural. El 4% de las
familias rurales pasan a zona urbana y el 6% a zona suburbana.
Supongamos que al inicio de la investigacin, el 35% de la poblacin viva en
reas urbanas, el 45% en rea suburbana, y el resto en rea rural.
a)Si

inicialmente una familia vive en un rea rural, cul es la probabilidad de

que tres aos despus esta familia viva en un rea urbana?
b)Cual es la probabilidad de que tres aos despus de iniciada la
investigacin una familia viva en el rea urbana?

Solucin paso a paso

Definir la variable aleatoria del problema:

Xn = Nmeros de familias que habitan en una determinada zona de un pas.

Definir los estados de la variable

Estados : 0: Zona urbana

1: Zona rural
2: Zona suburbana

Identificar el vector de probabilidades del estado inicial f0.

f 0 (0,35 0,20 0,45 )

Identificar la matriz de probabilidad de transicin en una etapa.

0

0
1
2

0,80 0,05 0,15

0,04 0,90 0,06

0,06 0,04 0,90

Calcular P3
0,540 0,125 0,335

P 3 0,097 0,741 0,162

0,135 0,106 0,759

Multiplicar f0 * Pn . Interpretar.
Respuestas:
a)
b)

La probabilidad de que tres aos despus una familia que vive en un

rea rural viva en un rea urbana es de 0,097
La probabilidad de que tres aos despus de iniciada la investigacin
una familia viva en el rea urbana es de 0,269

Visitas a un estado fijo

Supongamos que X0=i (un estado fijo). Se quiere estudiar el tiempo que
transcurre hasta que ingresamos al estado j por primera vez (j es un estado fijo)

i
j

T(i,j)= tiempo que transcurre para ir del estado i al j por primera vez:
Pr{T(i,j)=k} = Pr{X1 j, X2 j, Xk-1 j Xk=j / X0= i} = Fk(i,j)

Donde Fk(i,j) es la probabilidad de que el tiempo de ir del estado i al j por

primera vez sea en k etapas.

Si k=1

F1(i,j) = Pr{T(i,j)=1} = Pij

Si k 1

FK (i , j ) PiLFK 1(L, j )
L j

Pr{ ir de i a j alguna vez}

F (i, j )

F
k 1

(i, j )

F (i, j ) Pi , j Pil F (l , j )
l j

Tiempo Medio

E (T (i, j )) kFK (i, j )

K 1

Ejercicio:
Supongamos una cadena de Markov con tres estados. Se desea determinar
la probabilidad de ir del estado 1 al 2 por primera vez en 3 etapas.

Solucin ejercicio:

Supongamos una cadena de Markov con tres estados. Se desea determinar

la probabilidad de ir del estado 1 al 2 por primera vez en 3 etapas.
3

F3 (1,2) PiL * F2 (L,2)

L 1
L2

F3 (1,2) P11 * F2 (1,2) P13 * F2 (3,2)

3

L 1
L2

L 1
L2

F3 (1,2) P11 * P1L * F1 (L,2) P13 * P3L * F1 (L,2)

F3 (1,2) P11 * (P11 * F1 (1,2) P13 * F1 (3,2)) P13 * (P31 * F1 (1,2) P33 * F1 (3,2))
F3 (1,2) P11 * (P11 * P12 P13 * P32 ) P13 * (P31 * P12 P33 * P32 )
F3 (1,2) P11 * P11 * P12 P11 * P13 * P32 P13 * P31 * P12 P13 * P33 * P32 )

Clasificacin de estados en una cadena de Markov

Definicin 6:
Se dice que el estado j es accesible desde el estado i, si Pij(n)>0 para alguna
etapa n 0
Que el estado j sea accesible desde el estado i significa que es posible que el
sistema llegue eventualmente al estado j si comienza en el estado i.

En general, una condicin suficiente para todos los estados sean accesibles es
que exista un valor de n para el que Pij(n)>0 para todo i y j
Ejemplo:

El estado 2 no es accesible desde el estado 3

El estado 3 si es accesible desde el estado 2

0
1
1 p
0

0
1 p

0
0

0
p
0
0

0
0
p

Definicin:
Si el estado j es accesible desde el estado i, y el estado i es accesible desde el
estado j, entonces se dice que los estados i y j se comunican.
Propiedades de la comunicacin

Cualquier estado se comunica consigo mismo Pii(0)= P{X0=i/X0=i} =1

Si el estado i se comunica con el estado j, el estado j se comunica con el

estado i

Si el estado i se comunica con el estado j y el estado j se comunica con el

estado k, entonces el estado i se comunica con el estado k.
i

Si j es accesible desde i, entonces existe n tal que Pij(n)>0

Si k es accesible desde j, entonces existe n tal que Pjk(n)>0
El concepto de comunicacin divide el espacio de estados en clases
ajenas, es decir que dos clases siempre son idnticas o disjuntas.
Ningn estado puede pertenecer a dos clases distintas.
Dos estados que se comunican entre si, se dice pertenecen a la misma
clase.
Por tanto solo hay una clase con los estados i, j y k. (por la propiedad de
transitividad)

Definicin 7: Una matriz de una sola clase se dice irreducible.

Ejemplo:

1 / 2 1 / 2 0
P 1 / 2 1 / 4 1 / 4 solo hay una clase
0 1 / 3 2 / 3
0
1 / 2 1 / 2 0
1 / 2 1 / 2 0

P
1 / 4 1 / 4 1 / 4 1 / 4

0
0
0
1

hay tres clases

Compruebe ambos casos

Definicin 8: Sea F(i,i) la probabilidad de retornar al estado i, alguna vez, dado que se
comienza en el estado i.

1.Si F(i,i) < 1 el estado i es transitorio

2.Si F(i,i) = 1 el estado i es recurrente
- Si E(T(i,i)) = el estado i es recurrente nulo (Cantidad infinita de estados)
- Si E(T(i,i)) < , el estado i es recurrente positivo (Cantidad finita de estados)
Un caso especial de un estado recurrente es un estado absorbente. Un estado es
absorbente si una vez que se entra en l no se puede abandonar, es decir, Pii = 1
Por lo general no es fcil determinar si un estado es recurrente o transitorio evaluando
F(i,i). Por lo tanto no es evidente si un estado debe clasificarse como recurrente o
transitorio.

Si un proceso de Markov se encuentra en el estado i y el estado es transitorio, entonces

la probabilidad de que no regrese al estado i es (1-F(i,i)).
Por tanto el nmero esperado de periodos que el proceso se encuentra en el estado i es
finito y est dado por 1/(1-F(i,i))

EJEMPLO:

1
3
0
2

Estado (0) = Estado Recurrente (Absorbente): porque una vez que el proceso
entra al estado nunca saldr de l. (Fii=1)
Estado (1) = Estado Transitorio: porque una vez que el proceso se encuentra en
el estado 1, existe una probabilidad que nunca podr regresar. (Fii=0)
Estado (2) y (3) = Estados Recurrentes: Una vez que se sale de l, existe
certeza de volver alguna vez. (Fii=1)

Propiedades:
En una matriz de Markov de nmero finito de estados no todos pueden ser
transitorios.
Si i es recurrente y adems i se comunica con j, entonces j es recurrente.
Si i es transitorio y adems i comunica con j, entonces j es transitorio.
Todos los estados de una cadena de Markov de estado finito irreducible son
recurrentes.
Por tanto:
- Una clase es recurrente si no se puede salir de ella
- Una clase es transitoria si se puede salir de ella y no hay forma de
regresar.

EJEMPLO.

Clase Recurrente
(Absorbente)

Clase Transitoria

Clase Recurrente
1

0
2

Definicin 9: PERIOCIDAD DE UN ESTADO:

Un estado se dice que tiene perodo d para un valor entero mayor que uno y que
cumpla con lo siguiente:
Pii(n) )= P(Xn= i / X0=i ) > 0
Slo para valores de n pertenecientes al conjunto {d, 2d, 3d..}. El perodo d es
igual al mnimo comn mltiplo de n en la frmula anterior. En otras palabras, un
estado es peridico si, partiendo de ese estado, slo es posible volver a l en un
nmero de etapas que sea mltiplo de un cierto nmero entero mayor que uno.
Si existen dos nmeros consecutivos s y s+1 tales que el proceso puede
encontrarse en el estado i en los tiempos s y s+1, se dice que el estado tiene
periodo, d =1 y se llama estado aperidico.
Los estados recurrentes positivos y aperidicos se denominan ergdicos.

Una cadena de Markov es ergdica si todos sus estados son ergdicos.

EJEMPLO APERIDICO:

1
3
0
2

Periodicidad

Ejemplo: En la siguiente CM todos los estados son

peridicos de periodo
d=2
0

En la siguiente CM todos los estados son peridicos de

periodo
d=3
0
1

3
2

Ejemplos
0
La siguiente CM es irreducible,
aperidica, y por lo tanto
ergdica.

2
0

CM irreducible, recurrente y peridica de

periodo 3. No ergdica.

Ejemplos
CM irreducible, recurrente
y peridica de periodo
3. No ergdica
.

CM no es irreducible, y por tanto no es de

ninguno de los dems tipos. Ningn estado
es peridico. 4 es transitorio, y el resto
recurrentes. 1 es absorbente.

Evolucin del proceso en el largo plazo

Definicin 10: Para una cadena de Markov irreducible ergdica si el

lim Pij( n )

existe y es independiente del estado inicial i entonces tiene una distribucin

estacionaria tal que:
(n)
ij

lim P
n

1
j
0
E (T ( j , j ))

donde:
M

j i Pij
i 0

j 0

j=0,1,2M

Las j se llaman probabilidades de estado estable de la cadena de Markov

y son iguales al inverso del tiempo esperado de recurrencia.
La probabilidad de encontrar el proceso en un cierto estado, por ejemplo j,
despus de un nmero grande de transiciones tiende al valor j.

Este valor es independiente de la distribucin de probabilidad inicial

definida para los estados.
Si una cadena de Markov tiene distribucin estacionaria en que j >0
para algn j, entonces es la solucin del sistema

[T ] * P

i 0

P11
P
(1 , 2 ,...... n ) (1 , 2 ,... n ) 21

Pn1

P12
P22
Pn 2

... P1n
... P2 n

Pnn

Ejemplo 1:
La matriz de transicin P, representa las probabilidades de transicin en una
etapa, de la rotacin de clientes entre 3 supermercados (1,2,3) de un mes a
otro.

Asumiendo que el mismo patrn de comportamiento continua en el tiempo,

Cul ser la proporcin de clientes en el futuro que compre en cada
supermercado?
Sea:
1= % de clientes del Supermercado 1 en el largo plazo
2= % de clientes del Supermercado 2 en el largo plazo
3= % de clientes del Supermercado 3 en el largo plazo

= [ 1 2 3] , T=

El sistema a resolver es:

[T ] * P

Resolviendo el sistema:

= [ 1, 2, 3] *

Ejemplo 2:
Del ejercicio de inventario de las cmaras, la matriz de transicin de 4 pasos es:

P ( 4)

0.289
0.282

0.284

0.289

Si calculamos
P (8)

0.286 0.261 0.164

0.285 0.268 0.166
0.283 0.263 0.171

0.286 0.261 0.164

0.285
0.285

0.285

0.285

0.285 0.264 0.166

0.285 0.264 0.166
0.285 0.264 0.166

0.285 0.264 0.166

1 0 1 2 3 1

 [T ] * P

0 0.080
0.632
1*
2 0.264

3 0.080

0.184 0.368 0.368

0.368 0.00 0.00
0.368 0.368 0.00

0.184 0.368 0.368

0 0,080 0 0,632 1 0,264 2 0,080 3

1 0,184 0 0,368 1 0,368 2 0,184 3
2 0,368 0
0,368 2 0,368 3
3 0,368 0
0,368 3
1 0 1 2 3
Resolviendo las ecuacionesse llega a la solucin simultnea :

0 0,285
2 0,264

1 0,285
3 0,166

Costos promedios esperados

Suponga que se incurre en un costo C(Xt) cuando el proceso se encuentra en el
estado Xt en el tiempo t, para t=0,1,..

El costo promedio esperado por unidad de tiempo (a la larga), est dado por:

j 0

C ( j)

1 n

lim E C ( X i )
n
n i 1

Ejemplo 1:
Considere el problema de inventario de cmaras y suponga que la tienda de
cmaras encuentra que se debe asignar un cargo por almacenamiento por cada
cmara que permanece en la tienda al final de la semana. El costo se carga
como sigue:

C (x

si

X1 = 0

si

X1 = 1

si

X1 = 2

18

P (8)

0.285
0.285

0.285

0.285

0.285 0.264 0.166

0.285 0.264 0.166
0.285 0.264 0.166

0.285 0.264 0.166

si X1 = 3

El costo promedio esperado por semana, a la larga, por mantener el inventario,

se puede obtener de la ecuacin:

El costo promedio esperado por semana, a la larga, por mantener el inventario,

se puede obtener de la ecuacin:

1 n

lim E C ( X i )
n
n i 1

= 0(0.285) + 2(0.285) + 8(0.264) + 18(0.166) = 5.67

Ejemplo 2:
Una empresa utiliza camiones para el transporte de materiales y
escombros. Se sabe que el problema ms comn de los camiones es
que se les obstruye el filtro de aire.
El filtro puede estar limpio, parcialmente obstruido o completamente
obstruido. El costo de reparacin de un camin con filtro obstruido
totalmente es M$120/ da. La probabilidad de tener problemas se
encuentran en la matriz siguiente:

0 ,1 0 ,8 0 ,1
0 0 ,5 0 ,5
P
1 0
0

a) Cul ser el costo de mantenimiento correctivo de los camiones ( filtro

obstruido)?

Solucin:
Estados posibles: 0= limpio; 1= parcialmente obstruido; 2= obstruido
Calculo de probabilidad de estado estable j, j=0,1,2.
0= 0,286
1= 0,457
2= 0,257.25,7% de las veces filtro del camin estar
obstruido.
Costo de mantenimiento correctivo: 0,257 * 120= M$ 30,84/da.

b) Existe la posibilidad de hacer mantenimiento preventivo. En este caso se opera

en los camiones cuyo filtro esta parcialmente obstruido a un costo de M$ 20/
camin por da. Calcular el costo promedio esperado a futuro para realizar el
programa de mantenimiento.
0 ,1 0 ,8 0 ,1
1
0
0
P
1
0
0

Solucin:

En este caso tendremos cambios en la matriz original ya que el cambio de

estado ser de parcialmente obstruido a limpio.
Resolviendo las ecuaciones de estado estable

0= 0,53
1= 0,42 ..42% de las veces
preventivo.

2= 0,05

filtro del camin estar sujeto a mantenimiento

Luego: Costo promedio esperado por unidad de tiempo=

j 0

C ( j)

Costo de mantenimiento por da= 0,42 * 20 + 0,05* 120 (M$/camin)

= 14,4 M$/ camin

Estados absorbentes
El estado k se llama estado absorbente si Pkk=1, de manera que una vez que la
cadena llega al estado k, permanece ah para siempre.
Si k es un estado absorbente y el proceso comienza en el estado i, la
probabilidad de llegar en algn momento a k se llama probabilidad de
absorcin al estado k dado que el sistema empez en i, y se denota F(i,k)
Si la cadena de Markov tiene dos o ms estados absorbentes es deseable
encontrar las probabilidades de absorcin. Estas probabilidades se hallan al
resolver un sistema de ecuaciones lineales
M

F (i, k ) Pij F (ij ,, kj )

j 0

para i=0,1,2.M
sujeto a
F(k,k)=1
F(i,k)=0
si el estado i es recurrente e ik

Ejemplo Estados Absorbentes.

Considere una tienda que clasifica el saldo de un cliente como pagado (estado
0), 1 a 30 das de retraso (estado 1), 31 a 60 das de retraso (estado 2) o mala
deuda (estado 3). Las cuentas se revisan mensualmente. Se entregan datos
histricos de la tienda y se obtiene la siguiente matriz de transicin:
0.2

0
0
0
1
0.7 0.2 0.1 0

P
0.5 0.1 0.2 0.2

0
0
1
0

0.7

1
0.1

0.1

0.2
2

0.2

0.5

En este caso, los estados absorbentes son los estados (0) y (3). La tienda se
interesa en determinar la probabilidad de que un cliente llegue a ser mala deuda
dado que actualmente es deudor (estado 1 o estado 2).
De esta manera, deben obtenerse las probabilidades F(1,3) y F(2,3)

F (i, k ) Pij F (ij ,, kj )

j 0

F (1,3) P1, j * F ( j ,3)

j 0

F (1,3) P10 * F (0,3) P11 * F (1,3) P12 * F (2,3) P13 * F (3,3)

Dado que : F(0,3) 0 y F(3,3) 1
F (1,3) P11 * F (1,3) P12 * F (2,3) P13
Despejando:
F (1,3) * (1 P11 ) P12 * F (2,3) P13
3

F (2,3) P2, j * F ( j ,3)

j 0

F (2,3) P20 * F (0,3) P21 * F (1,3) P22 * F (2,3) P23 * F (3,3)

Dado que F(0,3) 0 y F(3,3) 1
F (2,3) P21 * F (1,3) P22 * F (2,3) P23
Despejando:
F (2,3) * (1 P22 ) P21 * F (1,3) P23

Re emplazando:
F (1,3) * (1 P11 ) P12 * F (2,3) P13

Re emplazando:
F (2,3) * (1 P22 ) P21 * F (1,3) P23

F (1,3) * (1 0.2) 0.1 * F (2.3) 0

0 .1
F (1,3)
F (2,3)
0 .8
F (1,3) 0.125 * F (2,3)

F (2,3) * (1 0.2) 0.1 * F (1,3) 0,2

0 .8
0 .2
F (1,3)
F (2,3)
0 .1
0 .1
F (1,3) 8 * F (2,3) 2

Re solviendo :
F (1,3) 8 * F (2,3) 2
F (1,3) 0.125 * F (2,3)
8 * F (2,3) 2 0.125 * F (2,3)
F (2,3) * (8 0.125) 2
2
F (2,3)
8 0.125
F (2,3) 0,254
F (1,3) 0,032

Entonces, aproximadamente el 3% de
los clientes que deben entre 1 a 30 das
acaban siendo malos deudores,
mientras que el 25% de los clientes que
deben entre 31 a 60 das llegan a la
misma categora.