CADENAS DE MARKOV

I.

PROCESOS ESTOCASTICOS
Es una coleccin indexada de variables aleatorias { }. Donde t toma valores de un conjunto T dado, es la caracterstica de inters mesurable en el tiempo t. El inters es describir el comportamiento de un sistema en operacin durante algunos periodos. ESTRUCTURA: se tiene M+1 categoras mutuamente excluyentes, denotada como 0, 1, 2, 3,, M. El estado del sistema en el tiempo t es representado por , y sus valores posibles son: 0, 1, 2,, M.

II.

CADENAS DE MARKOV
Suposicin: el proceso estocstico es una cadena de Markov, que tiene la siguiente propiedad esencial: { | . } { | }

Para t = 0, 1, y toda sucesin

La probabilidad condicional de cualquier evento futuro solo depende del estado actual del proceso. { { , , | | } .. Probabilidades de transicin (de un paso) } ...Probabilidades de transicin de n pasos

para toda para toda

Matriz de transicin de n pasos:

III.

ECUACIONES DE CHAPMAN-KOLMOGOROV
Habamos dicho que Pij (n) es la probabilidad condicional de que la variable aleatoria X, comenzando en el estado i se encuentre en el estado j despus de n pasos Las ecuaciones de Chapman-Kolmogorov proporcionan un mtodo para calcular estas probabilidades de transicin de n pasos

Al ir del estado i al estado j en n pasos el proceso estar en algn estado k despus de exactamente m pasos. Es slo la probabilidad condicional de que, si se comienza en el estado i el proceso vaya al estado k despus de m pasos y despus al estado j en n-m pasos.

IV.

CLASIFICACIN DE ESTADOS EN CADENAS DE MARKOV

El estado j es alcanzable desde el estado i si existe n > 0 tal que p(n)i,j > 0 ; es decir es posible que el proceso llegue al estado j desde el estado i. DEFINICIN Si el estado j es accesible desde el estado i, y el estado i es accesible desde el estado j, entonces se dice que los estados i y j se comunican. PROPIEDADES DE LA COMUNICACIN 1. Cualquier estado se comunica consigo mismo 2. Si el estado i se comunica con el estado j, entonces el estado j se comunica con el estado i 3. Si el estado i se comunica con el estado j y el estado j se comunica con el estado k, entonces el estado i se comunica con el estado j

DEFINICIN. Cuando una cadena de Markov tiene slo una clase de equivalencia (todos los estados se comunican entre s) se dice que es irreducible. DEFINICIN. Sea para un estado i fii: la probabilidad de que el proceso regrese al estado i dado que comienza en el estado i. Estado Transitorio. Se dice que el estado i es transitorio si fii <1. Despus de haber entrado en este estado, el proceso nunca regresara a l.

Estado Recurrente. Se dice que el estado i es recurrente si fii =1. Despus de haber entrado en este estado, definitivamente regresara a este estado Estado absorbente. Un caso especial de un estado recurrente es un estado absorbente. Un estado es absorbente si una vez que se entra en l no se puede abandonar (pii = 1) Estado Peridico. El periodo de un estado i se define como el entero t (t>1) si Pii n =0 para todos los valores de n distintos de t, 2t, 3t....., y t es el entero ms grande con esa propiedad. El estado i slo puede ser visitado en pasos mltiplos de t

V.

PROPIEDADES A LARGO PLAZO DE LAS CADENAS DE MARKOV

PROBABILIDADES DE ESTADO ESTABLE: Para una cadena de Markov irreductible ergdica el independiente de i, ms an: , dado que es un vector, matricialmente tenemos: existe y es

Donde

satisface de manera nica las siguientes ecuaciones de estado estable: , para j = 0, 1,, M

Las se llaman probabilidades de estado estable de la cadena de Markov. El trmino probabilidad de estado estable significa que la probabilidad de encontrar el proceso en cierto estado, digamos j, despus de un nmero grande de transacciones tiende al valor , y es independiente de la distribucin de probabilidad inicial definida para los estados.

COSTO PROMEDIO ESPERADO POR UNIDAD DE TIEMPO:

Es posible demostrar que para una cadena de Markov irreductible con estados recurrentes positivos: ( Donde las )

satisfacen las ecuaciones de estado estable dadas anteriormente.

Este resultado es importante para calcular el costo promedio a largo plazo por unidad de El costo promedio esperado viene dado por: Se puede demostrar que:

La fraccin esperada del nmero de veces (a la larga) que el sistema se encuentra en el estado j est dada entonces por:

De igual manera, se puede interpretar tambin como la fraccin o porcentaje real (a largo plazo) del nmero de veces que el sistema se encuentra en el estado j. COSTO PROMEDIO ESPERADO POR UNIDAD DE TIEMPO PARA FUNCIONES DE COSTO COMPLEJAS: Supongamos una funcin de costo para el problema de inventarios que depende de la demanda en el tiempo t y el estado en el tiempo t: , en estas condiciones puede demostrarse que: ,

Donde

Esto se cumple siempre que.

1. Xt es una cadena de Markov irreductible (estado finito). 2. Asociada con esta cadena de Markov se tiene una sucesin de variables aleatorias (Dt), cada una de las cuales es independiente e idnticamente distribuida. 3. Para m fija, se incurre en un costo en el tiempo t, para t=0, 1, 2, 4. La sucesin X0, X1, X2, , Xt debe ser independiente de Dt+m.

VI.

TIEMPOS DE PRIMERA PASADA

Con frecuencia es conveniente hacer afirmaciones en trminos de probabilidades sobre el nmero de transiciones que hace el proceso al ir del estado i al estado j por primera vez. Este lapso se conoce como tiempo de primera pasada al ir del estado i al estado j. En general, los tiempos de primer paso son variables aleatorias y, por lo tanto, tienen una distribucin de probabilidad asociada a ellos. Estas distribuciones de probabilidad dependen de las probabilidades de transicin del proceso. En particular, denota la probabilidad de que el tiempo de primer paso del estado i al j sea igual a n. Se puede demostrar que estas probabilidades satisfacen las siguientes relaciones recursivas: , Para i y j fijos, las son nmeros no negativos tales que Para obtener el tiempo esperado de primer paso del estado i al estado j. Sea (esperanza matemtica), que se define como: , .

 Entonces satisface, de manera nica, la ecuacin: Cuando i=j, se llama tiempo esperado de recurrencia.

VII.

CADENAS DE MARKOV DE TIEMPO CONTINUO

Existen ciertos casos en los que se requiere un parmetro t de tiempo continuo, debido a que la evolucin del proceso se observa de manera continua a travs del tiempo. Qu propiedades debe de cumplir un proceso estocstico para ser una CM de tiempo continuo? Los estados deben de formar un conjunto numerable. Si X(t) es el evento (en el instante t el sistema se encuentra en el estado j) , se debe cumplir:

(Probabilidad de transicin estacionaria) Notacin resumida: