CADENAS DE MARKOV

Una cadena de Markov es una serie de eventos, en la cual la probabilidad de que ocurra un evento
depende del evento inmediato anterior. En efecto, las cadenas de este tipo tienen memoria.
Recuerda el ultimo evento y esto condiciona las posibilidades de los eventos futuros esta
dependencia del evento anterior distingue a las cadenas de Markov de las series de eventos
independientes, como tirar una moneda al aire o un dado.
El juego de Black Jack es un ejemplo en el que el pasado condiciona el futuro, conforme se van
jugando las cartas, las condiciones en las siguientes manos se van modificando, las posibilidades
en el juego dependen del estado o las condiciones donde se encuentre el monto.
En los negocios, las cadenas de Markov se han utilizado para analizar los patrones de compra de
los consumidores, para pronosticar las concesiones y deudores morosos, para planear las
necesidades del personal y para analizar el remplazo de equipo.
El anlisis de Markov, llamado as en honor de un matemtico Ruso que desarrollo el mtodo en
1907 permite encontrar la probabilidad de que un sistema se encuentre en un estado en particular
en un momento dado, ms importante an, permite encontrar el promedio a la larga o las
posibilidades de estado estable para las probabilidades de estado estable para las probabilidades.
Con esta informacin se puede predecir el comportamiento del sistema a travs del tiempo.
La tarea ms difcil es reconocer cuando puede aplicarse. La caracterstica ms importante que hay
que buscar es la memoria de un evento a otro.
PROBABILIDADES DE TRANSICIN
Una forma de describir una cadena de Markov es con un diagrama de estado como se muestra en
la figura, en esta se ilustra un sistema de markov con cuatro estados posibles 1 , 2 , 3 4 .
La probabilidad condicional o de transicin de moverse de un estado a otro se indican en el
diagrama. Para simplificar la notacin se usan subndices para el estado actual y el siguiente. Es
decir 14 = P (1 - 4 ). Las flechas muestran las trayectorias de transiciones que son posibles.
Ntese que no aparecen algunas trayectorias como la de 2 - 3 . Su ausencia significa que esas
trayectorias tienen probabilidades de ocurrencia = 0. Las flechas que van hacia adentro indican
incrementos mientras que las que van hacia afuera representan perdidas.

31

33
S3

S1
13
12

34

21

31

43

42
S2

S4
24

44

Una forma ms conveniente para facilitar los clculos matemticos es el uso de una matriz de
probabilidades de transicin.
Los renglones de la matriz indican retencin y la ganancia de los clientes y la perdida de los
mismos.
Matriz de Transicin
A:

De:

S1
S2
S3
S4

S1
0
P21
P31
0

S2
P12
0
0
P42

S3
P13
0
P33
P43

S4
0
P24
P34
P44

=1
=1
=1
=1

CALCULO DE LAS PROBABILIDADES DE TRANSICIN

Ahora que se sabe cmo presentar los datos de puede determinar un anlisis til para pronosticar
el estado del sistema despus de 1, 2, 3, o ms periodos. Esto se llama anlisis de transicin,
debido a que es a corto plazo y est enfocado a periodos cortos.
Considere la cadena de markov que se describe a continuacin. Esta podra representar una
copiadora de oficina, poco segura, si est funcionando un da, existe un 75% de posibilidades de
que al da siguiente funcione y un 25% de posibilidades de que no funcione. Pero si no est
funcionando hay un 75% de posibilidades de que tampoco funcione al da siguiente y solo un 25%
de que si lo haga (se lleva mucho tiempo la reparacin).
Para comenzar un anlisis de transicin se debe conocer el estado actual. Supngase que se est
comenzando y que hay un 75% de posibilidades de estar en el estado 1 y 25% de estar en el estado
2.
0.75
Estado 1: Funciona
PS1= 0.75
S1
Estado 2. No funciona
PS2=0.25
Matriz de Transicin
A:
S1
0.75
0.25

DE:
S1

S2
0.25
0.75

0.25

0.75

S2
S2
FORMULAS:
1) P(s1)= (Ps1)(P11)+(Ps2)(P21)
2) P(s2)=(Ps1)(P12)+(Ps2)(P22)

0.25

3) Ps1+Ps2=1
1. 1)Ps1= 0.75(0.75)+0.25(0.25)=0.625
3) Ps2= 1-Ps1= 1-0.625= 0.375

INICIO
0
1
2
3
4

2. 1)Ps1=0.625(0.75)+0.325(0.25)=0.562
3)Ps2=1- 0.625=0.438

P(s1)
0.75
0.625
0.562
0.531
0.515

P(s2)
0.25
0.375
0.438
0.469
0.488

3. 1) Ps1=0.562(0.75)+0.438(0.25)=0.531
3) Ps2= 1-0.531= 0.469

4. 1) Ps1=0.531(0.75)+0.469(0.25)=0.515
3)Ps2=1-0.515= 0.488

En los sistemas con ms estados, los clculos se vuelven ms largos, pero el procedimiento es el
mismo, considrese el sistema de 3 estados que se muestra en la figura, supngase que el estado
se encuentra en S1.

0.3

0.6
S3
0.1
0.1

0.1

0.3
S2

0.8

A:
S1
DE:

S1
S2

0.4
0.1

S2
0.3
0.8

S2
0.3
0.1

S3

0.1

0.3

0.6

0.4
S1

0.3

FORMULAS
P(s1)=Ps1 (P11)+ Ps2 (P21) + Ps3 (P31)
P(s2)= Ps1 (P12) + Ps2 (P22)+ Ps3 (P32)
P(s3)= Ps1 (P13) + Ps2 (P23) + Ps3 (P33)
Ps2+Ps2+Ps2=1

INICIO
0
1
2
3

Ps1
0.4
0.22

Ps2
0.3
0.45

1) Ps1= 0.4 (0.4) + 0.3 ( 0.1) + 0.3 (0.1) = 0.22

2) Ps2= 0.4 ( 0.3) + 0.3 (0.8) + 0.3 (0.3) = 0.45
4) Ps3= 1-0.22-0.45= 0.33

Ps3
0.3
0.33

METODO DE LA SUMA DE FLUJOS

Este mtodo eta basado en el concepto de que todo lo que entra debe salir. El diagrama de
estados se utiliza para presentar los flujos. En la figura se muestra de nuevo el ejemplo anterior de
2 estados. Para cada estado puede escribirse una ecuacin tal que para cada estado K se cumpla.
(1) = ()]
Para toda

0.75
S1

Obsrvese el estado S1 en la figura, pngale atencin solo en las flechas

entre los estados.

0.25

0.75

Para S1
0.25 P(s2) = 0.25 P(s1)

S2

Para s2
0.25 P(s1) = 0.25 P(s2)

0.25
0.25

Toda

P(s1) + P(s2) = 1

Esto proporciona 3 ecuaciones con 2 incgnitas que puede resolverse por eliminacin.
2 =

0.25 1
0.25

2 = 1
2 = 0.5 50%
Sustituir en la 3 ecuacin
1 + 2 = 1
1 + 1 = 1
2 1 = 1
1 =

1
2

1 = 0.5 50%
Conclusin: El 50% del tiempo la copiadora trabaja y el 50% restante no trabaja por lo tanto se
recomienda comprar otra.
EJEMPLO DE 3 ESTADOS
0.3

0.6

0.4
S1

S3
0.1
0.1

0.1
0.3

0.3
S2

0.8
Para S1
0.1 P(s2)+ 0.1 P(s3)=(0.3+0.3)Ps1
Para s2
0.2 P(s1)+0.3 P(s3)=(0.1+0.1)Pss2
Para s3

0.3 P(s1)+0.1 P(s2)=(0.3+0.4)Ps3

Ps1+Ps2+Ps3= 1

Paso 1. Igualar las ecuaciones de Ps1,

Ps2 y Ps3 a 0

-0.6P(s1)+0.2P(s2)+0.1P(s3)=0 (1)
0.3P(s2)-0.2P(s2)+0.3P(s3)=0 (2)
0.3P(s1)+0.1P(s2)-0.4P(s3)=0 (3)
P(s1) + P(s2) + P(s3) = 1

(4)

Paso 2. Despejar Ps1

1 =

0.1(2) 0.13
0.6

1 = 0.1666 (2) + 0.1666 3

Paso 3. Se sustituye en las 2 las ltimas ecuaciones, siempre en

la 3 y la 4

3)

0.3 (1) + 0.1 (2) 0.4(3) = 0

0.3(0.1666(2) + 0.1666(3) ) + 0.12 0.43 = 0
0.05 2 + 0.05 3 + 0.1 2 0.43 = 0
0.152 0.353 = 0
()

4)

1 + 2 + 3 = 1
0.1666(2) + 0.1666(3) + 2 + 3 = 1

1.16662 + 1.16663 = 1

(B)

Paso 4. Unir la ecuacin A y la B con el mtodo de eliminacin

simple

0.152 0.353 = 0
1.16662 + 1.16663 = 1

(1.1666)
(0.35)

0.0242 0.0583 = 0
0.0582 + 0.0583 = 0.35
0.082 2 = 0.35
2 =

0.35
= 0.6 60% 2
0.082

Paso 5. Sustituir el valor obtenido de Ps2 en las ecuaciones A o B

para obtener los valores de Ps1 0 Ps3

0.152 0.353 = 0

A)

0.15(0.6) 0.353 = 0
0.063 0.353 = 0
0.353 = 0.063
3 =

0.063
= 0.25 25% 3.
0.35

Paso 6. Sustituir los valores obtenidos en la ecuacin general.

1 + 2 + 3 = 1
1 = 0.16662 + 0.16663
1 = 0.1666(0.6) + 0.1666(0.25)
1 = 0.14 14% 1.

METODO DE LAS ECUCAIONES MATRICIALES

Otro mtodo para encontrar las probabilidades de estado estable utiliza la matriz de transicin
formalmente, se desarrolla un conjunto de n+1 ecuaciones simultaneas en la forma:

() = (1)
=1

() = 1
=

La primera expresin proporciona una ecuacin por cada columna de matriz de transicin.
Considere el ejemplo de 3 estados, en la tabla se muestra la matriz de transicin para este
ejemplo:

A:
S1
DE:

S1
S2
S3

0.4
0.1
0.1

S2
0.3
0.8
0.3

S2
0.3
0.1
0.6

(1) = 0.4 (1) + 0.1(2) + 0.1(3)

(2) = 0.3(1) + 0.8(2) + 0.3(3)
(3) = 0.3(1) + 0.1(2) + 0.6(3)
(1) + (2) + (3) = 1
Se siguen los mismos pasos del mtodo de Suma de Flujos
explicado anteriormente