U N I V E R S I DA D NA C I O NA L

E X P E R I M E N TA L

POLITCNICA ANTONIO JOS DE SUCRE VICERECTORADO BARQUISIMETO DIRECCIN DE INVESTIGACIN Y P O S T- G R A D O

Cadenas de Markov
Autores: I n g. H c t o r R . M a r t n e z I n g. O s k a r J . S n c h e z Facilitadora: MSc . Marienny A r rieche Barquisimeto, Noviembre 2012

CADENAS DE MARKOV
Definicin de Cadenas de Markov Probabilidades de Transicin Probabilidad para el n-simo estado. Ejemplos

Procesos Estocsticos: Cadenas de Markov

U.N.E.X.P.O

CADENAS DE MARKOV
Una CADENA es un proceso en tiempo discreto en el que una variable aleatoria Xn va cambiando con el paso del tiempo

X1

X2

X3

Xn

Procesos Estocsticos: Cadenas de Markov

U.N.E.X.P.O

CADENAS DE MARKOV
En cadenas de Markov, se obedece la propiedad de Markov, la cual establece que: La probabilidad de que Xn= j solo depende del estado inmediatamente anterior Xn-1

Se define una Cadena Homognea:

Cuando las probabilidades no dependen del tiempo en que se considere.

Matemticamente

Procesos Estocsticos: Cadenas de Markov

U.N.E.X.P.O

PROBABILIDADES DE TRANSICIN
En una cadena homognea finita de m posibles estados E1, E2, Em se introduce la notacin

Donde, i, j = 1,2,m si pij>0 De all que el estado E1 se puede comunicar con Ej. Entonces para cada i fijo, los valores de son una distribucin de probabilidad.

Sucede porque en cada paso, puede ocurrir algn suceso E1, E2Em. Los cuales son mutuamente excluyentes.

Procesos Estocsticos: Cadenas de Markov

U.N.E.X.P.O

PROBABILIDADES DE TRANSICIN
De all que, las probabilidades de transicin satisfacen que: Y esto a su vez, genera la matriz de transicin T = [pij], la cual es de tamao m x m y se define como:

Es importante destacar que, si en una situacin se tienen 2 matrices estocsticas A = [aij] y B=[bij], entonces C = AB tambin es estocstico

Procesos Estocsticos: Cadenas de Markov

U.N.E.X.P.O

PROBABILIDAD PARA EL N-SIMO ESTADO.

Se refiere a la probabilidad de llegar a Ej despus de n pasos, dada una distribucin de probabilidad. Se denota , para un sistema que ocupe inicialmente el estado Ei

Entonces: es la probabilidad de alcanzar Ej en un solo paso . De all que considerando el Teorema de la Probabilidad Total, resulta: Probabilidad Inicial

Probabilidad de alcanzar Ej en un solo paso

Procesos Estocsticos: Cadenas de Markov

U.N.E.X.P.O

PROBABILIDAD PARA EL N-SIMO ESTADO.

En forma Vectorial se representan:

Probabilidad Inicial

Probabilidad de alcanzar Ej en un solo paso

El segundo vector permite obtener:

Procesos Estocsticos: Cadenas de Markov

U.N.E.X.P.O

PROBABILIDAD PARA EL N-SIMO ESTADO.

Y de forma anloga, para un tercer estado:

Para el n-simo estado: En general:

Donde:

Procesos Estocsticos: Cadenas de Markov

U.N.E.X.P.O

TRANSICIN EN N PASOS.

Estado Inicial

Segundo Estado

Estado Final

Se refiere a cuando un proceso, que inicia en un estado Ei, debe pasar a un estado Ej, y durante su trayecto pasa por n cantidad de estados.
Esta analoga, se utiliza para procesos complejos, y variantes . De all que se justifica su estudio en el campo estocstico.

Procesos Estocsticos: Cadenas de Markov

U.N.E.X.P.O

10

TRANSICIN EN N PASOS.
Se define:
Es la probabilidad de que la cadena est en el estado Ej despus de n pasos, dado que la cadena empez con el estado Ei .

La distribucin de Probabilidad para este caso viene dada por: Analizando, a travs de la Probabilidad Markoviana

Procesos Estocsticos: Cadenas de Markov

U.N.E.X.P.O

11

TRANSICIN EN N PASOS.
Tomando como referencia 3 EVENTOS que cumplen con la propiedad combinacional
A B
C

De las identidad de la transicin en N pasos, se sustituyen:

Ecuacin de Chapman Kolmogorov

Procesos Estocsticos: Cadenas de Markov U.N.E.X.P.O 10

EJEMPLO 1
El rea de mantenimiento de los Servicios a la Navegacin Area, clasifica las fallas de los equipos en dos categoras, a saber: Clase A para las fallas que ocurren en forma intermitente, ms de la mitad del da y Clase B si lo hace con menos frecuencia. Esta clasificacin se obtiene de una secuencia estadstica de fallas. Por experiencia, si un da la falla es tipo B, es igual de probable que al da siguiente la falla tambin lo sea. Entonces, hipotticamente, si un da cualquiera la falla es tipo A, la probabilidad es de 2/3 de que sea tambin tipo A al da siguiente.

Esta situacin permite, representar un proceso de Markov, considerando su dependencia temporal, y no obstante, acadmicamente, se debe considerar que las fallas solo dependen del da anterior.

Procesos Estocsticos: Cadenas de Markov

U.N.E.X.P.O

10

EJEMPLO 1
De all que se identifican dos estados.

La matriz de transicin seria determinada por:

A A B De all que: 1/2 1/3 B 1/2 2/3

Procesos Estocsticos: Cadenas de Markov

U.N.E.X.P.O

10

EJEMPLO 2
Analizando el da actual :
Resulta lgico, considerando que solo una condicin se dar. El equipo puede falla clasificado Tipo A o B.

Si la falla es Tipo B, entonces por ejemplo se podra determinar como ser clasificada al tercer da, mediante la relacin:

De tal manera que:

La probabilidad de que al tercer da, sea tipo A es del 0.403 y del tipo B es de 0.597
Procesos Estocsticos: Cadenas de Markov U.N.E.X.P.O 15

EJEMPLO 3
En Venezuela existen 3 operadores principales de telefona mvil como lo son: Movilnet, movistar y digitel. Todas estas operadoras representan los estados. Los porcentajes estimados por cada operador en el mercado actual indican que movilnet tiene el 0.4, movistar posee el 0.25 y digitel el 0.35. Todo esto indica el estado inicial.

Procesos Estocsticos: Cadenas de Markov

U.N.E.X.P.O

15

EJEMPLO 3
Se tiene la siguiente informacin un usuario actualmente de movilnet tiene una probabilidad de permanecer en movilnet de 0.60, de cambiarse a movistar 0.2 y de pasar a digitel de 0.2; si en la actualidad un usuario el cliente de movistar tiene una probabilidad de mantenerse en la misma del 0.5, de que esta persona se cambie a movilnet 0.3 y que se pase a digitel 0.2; si el usuario es cliente en la actualidad de digitel la probabilidad de que permanezca en digitel es de 0.4 de que se cambie a movilnet de 0.3 y de que se cambie a movistar 0.3. Cabe destacar que el estudio se hace a lo largo de un semestre. Partiendo de esta informacin podemos elaborar la matriz de transicin. La suma de las probabilidades de cada estado debe ser igual a 1.

Procesos Estocsticos: Cadenas de Markov

U.N.E.X.P.O

15

EJEMPLO 3
Matriz de Transicin
Movilnet E1 E2 E3 Movilnet Movistar Digitel 0.6 0.3 0.3 Movistar 0.2 0.5 0.3 Digitel 0.2 0.2 0.4 =1 =1 =1

Se requiere graficar el comportamiento de la cadena de Markov a lo largo de 6 meses.

Procesos Estocsticos: Cadenas de Markov

U.N.E.X.P.O

15

EJEMPLO 3
Aplicando MATLAB se definen:
Ei=[.4, .25, .35]; % Estado Inicial T=[.6, .2, .2; .3 .5 .2; .3, .3, .4]; % Matriz de Transicin x=Ei*T^6; % Producto del vector Ei por la matriz de transicin definida con la letra T elevado a la potencia 6, debido a que el estudio es realizado en un semestre disp(Ei) % x = 0.4286 0.3214 0.2500; Resultado del producto

plot (x) % Graficar x

Procesos Estocsticos: Cadenas de Markov

U.N.E.X.P.O

15

EJEMPLO 3
Comportamiento de la Cadena de Markov 0.44 0.42

0.4

0.38

0.36
Probabilidad (P)

0.34

0.32

0.3

0.28

0.26

0.24

1.2

1.4

1.6

1.8

2 Tiempo (t)

2.2

2.4

2.6

2.8

Procesos Estocsticos: Cadenas de Markov

U.N.E.X.P.O

15

EJEMPLO 4
Suponga que una aeronave tiene 2 opciones (estados) para aterrizar con la ayuda de los sistemas de la radionavegacin area en el Aeropuerto Internacional de Barquisimeto, la primera de las opciones es el procedimiento ILS y la segunda es el procedimiento DVOR. El modelo de Markov utiliza: La probabilidad de que utilice el procedimiento ILS es 0.95 y la probabilidad de cola es 0.05. La probabilidad de que utilice el procedimiento DVOR es 0.90 y la probabilidad de cola es 0.10. La probabilidad que utilice uno de los procedimientos es 0.5. Dado a que la aeronave puede aterrizar por la 090 o por la 027 de la pista de aterrizaje, la probabilidad es 0.5.

Procesos Estocsticos: Cadenas de Markov

U.N.E.X.P.O

15

EJEMPLO 4

Matriz de Transicin

Se requiere graficar el comportamiento de la cadena de Markov a lo largo de 6 meses.

Procesos Estocsticos: Cadenas de Markov

U.N.E.X.P.O

15

EJEMPLO 4
Aplicando MATLAB se definen:
Ei=[.5, .5] % Estado Inicial T=[.95, .05; .90 .10]; % Matriz de Transicin x=Ei*T^2; % Producto del vector Ei por la matriz de transicin definida con la letra T elevado a la potencia 2, debido a que el estudio tiene 2 opciones. disp(Ei)

% x = 0.9463

0.0538; Resultado del producto

plot (x) % Graficar x

Procesos Estocsticos: Cadenas de Markov

U.N.E.X.P.O

15

EJEMPLO 4
Comportamiento de la Cadena de Markov 1 0.9 0.8

0.7

0.6
Probabilidad (P)

0.5

0.4

0.3

0.2

0.1

1.1

1.2

1.3

1.4

1.5 Tiempo (t)

1.6

1.7

1.8

1.9

Procesos Estocsticos: Cadenas de Markov

U.N.E.X.P.O

15

EJEMPLO 5
Considere que el departamento de electrnica clasifica las fallas de un RADAR primario de vigilancia trimestralmente a nivel de potencia, transmisin, recepcin y el grupo de antenas. Las probabilidades de que una de las secciones se avere son: Potencia 0.1. Transmisin 0.4. Recepcin 0.5.

Procesos Estocsticos: Cadenas de Markov

U.N.E.X.P.O

15

EJEMPLO 5
Matriz de Transicin

Potencia E1 E2 E3 Potencia Transmisin Recepcin 0.1 0.3 0.4

Transmisin 0.3 0.4 0.1

Recepcin 0.6 0.3 =1 0.5 =1

=1

Procesos Estocsticos: Cadenas de Markov

U.N.E.X.P.O

15

EJEMPLO 5
Aplicando MATLAB se definen:
Ei=[.4, .25, .35]; % Estado Inicial T=[.1, .3, .6; .3 .4 .3; .4, .1, .5]; % Matriz de Transicin x=Ei*T^3; % Producto del vector Ei por la matriz de transicin definida con la letra T elevado a la potencia 2, debido a que el estudio se realiza trimestralmente. disp(x)

% x = 0.2879

0.2279

0.4843; Resultado del producto

plot (x) % Graficar x

Procesos Estocsticos: Cadenas de Markov

U.N.E.X.P.O

15

EJEMPLO 5
Comportamiento de la Cadena de Markov 0.5

0.45

0.4

Probabilidad (P)

0.35

0.3

0.25

0.2

1.2

1.4

1.6

1.8

2 2.2 Tiempo (t)

2.4

2.6

2.8

Procesos Estocsticos: Cadenas de Markov

U.N.E.X.P.O

15

GRACIAS

Procesos Estocsticos: Cadenas de Markov

U.N.E.X.P.O

15