4.4 a) Estados absorbentes b) Probabilidad de transicin estacionaria de estados estables. c) Tiempos de primer pas. Definicin 1.

- Un estado absorbente es aquel que tiene una probabilidad de ser abandonado igual a cero, o sea que, una vez comenzado es imposible dejarlo igual a cero y el proceso o se detiene completamente o se detiene para luego comenzar a partir de algn otro estado. Definicin 2.- Una cadena de Markov es absorbente si: (1) tiene por lo menos un estado absorbente y (2) es posible ir desde cada estado no absorbente hasta por lo menos un estado absorbente. No es necesario tener la posibilidad de alcanzar cada estado absorbente a partir de cualquier estado no absorbente. La descripcin de los procesos o sistemas que cesan (o por lo menos vuelven a comenzar) despus de alcanzar determinadas condiciones se utiliza un caso especial de cadenas de Markov. Por ejemplo, despus de hallar un numero predeterminado de partes aceptables o defectuosas, se suspende una inspeccin secuencial; despus de x horas de funcionamiento se detiene una mquina para repararla o remplazarla, etc. Tales procesos pueden modelarse como una cadena de Markov absorbente. Ejemplo.- Se supone que se inspecciona componentes de un producto segn el plan de inspeccin secuencial: seleccionar e inspeccionar artculo por artculo hasta hallar un defectuoso (rechazos) o hasta encontrar 5 partes buenas (aceptables). Los posibles estados de este problema son:
Descripcin Fsica:

Estado

# de partes Buenas S1 (0,0) 0 S2 (1,0) 1 S3 (2,0) 2 S4 (3,0) 3 S5 (4,0) 4 S6(5,0) 5 S7 (0,1) 0 S8 (1,1) 1 S9 (2,1) 2 S10 (3,1) 3 S11 (4,1) 4

# de partes Defectuosas 0 Precisamente 0 Al comenzar 0 0 0 0 1 Absorbente 1 1 1 1

Si se espera que el 90% de las partes sean aceptables, la matriz de transicin es:

S1 S2 S3 S4 S5 S6 S7 S8 S9 S10 S11

S1 S2 S3 S4 S5 S6 S7 S8 S9 S10 S11 0.9 0.1 0.9 0.1 0.9 0.1 0.9 0.1 0.9 0.1 1 1 1 1 1 1

Se observa que una vez alcanzados los estados S6 hasta S11 , la probabilidad de que el proceso permanezca en el respectivo estado es 1. Por tanto es imposible (probabilidad cero) ir desde cualquiera de los estados hasta otro estado. Fsicamente esto se debe a que el inspector podr tomar una decisin de aceptacin y/o rechazo en ese momento y terminar la inspeccin. A partir del anlisis de esta clase de cadena pueden obtenerse diversas clases de informacin pertinente. Es posible determinar los siguientes datos: 1) El numero esperado de pasos antes de que el proceso sea absorbido 2) El nmero esperado de veces que el proceso est en cualquier estado dado no absorbente. 3) La probabilidad de absorcin por cualquier estado absorbente dado. El primer paso del anlisis es reagrupar la matriz de transicin de manera que haya cuatro submatrices: I 0 P= A N

Estas matrices ms pequeas contienen elementos de probabilidad pero si se consideran individualmente no constituyen una matriz de transicin. Consideradas individualmente contienen la siguiente informacin con respecto a las probabilidades. Se supone que hay a estados absorbentes, n estados no absorbentes y a+n=m estados totales. I=Una matriz identidad a x a representa las probabilidades de permanecer dentro de un estado absorbente. (Esta matriz no se utiliza en clculos posteriores). 0=Una matriz cero a x n indica las probabilidades de ir desde un estado absorbente hasta un estado no absorbente. A=Una matriz n x a contiene las probabilidades de ir desde cualquier estado no absorbente hasta un estado absorbentes) N= una matriz n x n contiene las probabilidades de ir desde cualquier estado ---no absorbente. La matriz de transicin revisada es:

(5,0) (0,1) (1,1) (2,1) (3,1) (4,1) (0,0) S6 S7 S8 S9 S10 S11 S1 S6(5,0) 1 0 S7(0,1) 1 0 S8(1,1) 1 0 S9(2,1) 1 0 S10(3,1) 1 0 S11(4,1) 1 0 S1(0,0) 0 0.1 0 0 0 0 0 S2(1,0) 0 0 0.1 0 0 0 0 S3(2,0) 0 0 0 0.1 0 0 0 S4(3,0) 0 0 0 0 0.1 0 0 S5(4,0) 0.9 0 0 0 0 0.1 0

(1,0) S2 0 0 0 0 0 0 0.9 0 0 0 0

(2,0) S3 0 0 0 0 0 0 0 0.9 0 0 0

(3,0) S4 0 0 0 0 0 0 0 0 0.9 0 0

(4,0) S5 0 0 0 0 0 0 0 0 0 0.9 0

Antes de comenzar el anlisis, es importante comprender muy bien el significado y la utilidad de las dos matrices N y A. Donde N da las probabilidades de ir desde cualquier estado no absorbente hasta otro estado no absorbente en un paso exactamente. La matriz de transicin P,N2 da las probabilidades de ir desde cualquier estado no absorbente hasta otro estado no absorbente en dos pasos exactamente. N3 da esta misma informacin para n pasos exactamente. Adems, N0 puede representar la probabilidad de estar en un estado precisamente ahora. Puesto que esta informacin se conoce y como el estado no puede dejarse en ceros pasos, N 0 realmente una matriz identidad de nxn. Estar en un estado no absorbente j es la suma de los siguientes trminos. El numero esperado de veces en j=1X probabilidad de estar en j al comienzo +1X probabilidad de estar en j despus de 1 paso + 1X probabilidad en j despus de 2 pasos + =1N0+1N+1N2 +1N3 +.. =1N0 +1N+N2 +N3 + La matriz N se compone de fracciones decimales pij, donde 0pij1 A medida que aumenta la potencia n, Nn tiende a cero. Puede demostrarse que esta serie de matrices se comporta como una serie de potencia y que el lmite de su suma es: N0 +1N+N2 +N3 +=(I-N)-1 I es la matriz identidad nxn. Esto es anlogo a la serie algebraica de potencias I+x+x2+x3+= donde | |1 Para un estado inicial dado, La matriz (I-N)-1 da el nmero esperado de veces que un proceso est en cada estado no absorbente antes de la absorcin.

4.4.b) Probabilidades de transicin estacionaria de estados estables.

Teorema Sea P la matriz de transicin de una cadena de M estados . Existe entonces un vector tal que

Se establece que para cualquier estado inicial i ,

El vector a menudo se llama distribucin de estado estable, o tambin distribucin de equilibrio para la cadena de Markov. Para encontrar la distribucin de probabilidades de estacionario para una cadena dada cuya matriz de transicin es P, segn el teorema, para n grande y para toda i , (1) n Como Pij (n + 1) = ( rengln i de P )(columna j de P), podemos escribir (2)

Ejemplo:
Suponga que toda la industria de refrescos produce dos colas. Cuando una persona ha comprado la cola 1, hay una probabilidad de 90 % de que su siguiente compra se de cola 1. Si una persona compr cola 2, hay un 80 % de probabilidades que su prxima compra sea de cola 2.

Entonces : Al reemplazar la segunda ecuacin por la condicin Obtenemos el sistema ,

Al despejar resulta que Por lo tanto, despus de largo tiempo, hay probabilidad 2/3 de que una persona dada compre cola 1 y 1/3 de probabilidad de que una persona compre cola 2.

4.4.c) Tiempos de primer paso.

Con frecuencia es conveniente poder hacer afirmaciones en trminos de probabilidades sobre el nmero de transiciones que hace el proceso al ir de un estado i a un estado j por primera vez . este lapso se llama tiempos de primer paso al ir del estado i al estado j. cuando J=i, esta tiempo de primer paso es justo el nmero de transiciones hasta que el proceso regresa al estado inicial i. En este caso, el tiempo de primer paso se llama tiempo de recurrencia para el estado i. Para ilustrar estas definiciones, reconsidrese el ejemplo siguiente : Una tienda de cmaras tiene en almacn un modelo especial de cmara que se puede ordenar cada semana. Sean D1, D2, ... las demandas de esta cmara durante la primera, segunda, ... , semana, respectivamente. Se supone que las D i son variables aleatorias independientes e idnticamente distribuidas que tienen una distribucin de probabilidad conocida. Sea X0 el nmero de cmaras que se tiene en el momento de iniciar el proceso, X1 el nmero de cmaras que se tienen al final de la semana uno, X2 el nmero de cmaras al final de la semana dos, etc. Suponga que X0 = 3 . El sbado en la noche la tienda hace un pedido que le entregan el lunes en el momento de abrir la tienda. La tienda hace un pedido que le entregan el lunes en el momento de abrir la tienda. La tienda usa la siguiente poltica ( s, S)1 para ordenar : si el nmero de cmaras en inventario al final de la semana es menor que s =1 (no hay cmaras en la tienda), ordenar (hasta) S=3. De otra manera, no coloca la orden (si se cuenta con una o ms cmaras en el almacn, no se hace el pedido). Se supone que las ventas se pierden cuando la demanda excede el inventario. Entonces, {X1} para t = 0, 1, .. es un proceso estocstico de la forma que se acaba de describir. Los estados posibles del proceso son los enteros 0, 1, 2, 3 que representan el nmero posible de cmaras en inventario al final de la semana. Donde Xt es el nmero de cmaras en inventario al final de la semana t y se comienza con , Suponga que ocurri lo siguiente:

En este caso, el tiempo de primer paso para ir al estado 3 al estado 1 es dde 2 semanas, el tiempo de primer paso para ir del estado 3 al estado 0 es de 3 semanas y el tiempo de recurrencia del estado 3 es de 4 semanas. En general, los tiempos de primer paso son variables aleatorias y, por lo tanto, tienen una distribucin de probabilidad asociada a ellos. Estas distribuciones de probabilidad dependen de las probabilidades de transicin del proceso. En particular, denota la probabilidad de que el tiempo de primer paso del estado i al j sea igual a n. Se puede demostrar que estas probabilidades satisfacen las siguientes relaciones recursivas:

Entonces se puede calcular la probabilidad de un tiempo de primer paso del estado i al j en n pasos, de manera recursiva, a partir de las probabilidades de transicin de un paso. En el ejemplo, la distribucin de probabilidad de los tiempos de primer paso del estado 3 al estado 0 se obtiene como sigue:

Para i y j fijos, las

son nmeros no negativos tales que

Esta suma puede ser menor que 1, lo que significa que un proceso que el iniciar se encuentra en el estado i puede no llegar nunca al estado j . Cuando la suma es igual a 1, las pueden considerarse como una distribucin de probabilidad para la variable aleatoria, el tiempo de primer pas. Para obtener el tiempo esperado de primer paso del estado i al estado j. Sea , que se define como:

entonces

satisface, de manera nica, la ecuacin:

Cuando i=j,

se llama tiempo esperado de recurrencia.

Al aplicarlo al ejemplo del inventario, estas ecuaciones se pueden usar para calcular el tiempo esperado hasta que ya no se tengan cmaras en el almacn, suponiendo que el proceso inicia cuando se tienen tres cmaras; es decir, se puede obtener el tiempo esperado de primer paso . Como todos los estados son recurrentes, el sistema de ecuaciones conduce a las expresiones

La solucin simultnea de este sistema es

De manera que el tiempo esperado hasta que la tienda se queda sin cmaras es de 3.50 semanas.