INSTITUTO TECNOLGICO DE SAN JUAN DEL RO

INVESTIGACIN DE OPERACIONES II

INTRODUCCIN El anlisis de Markov es una forma de analizar el movimiento actual de una variable, a fin de pronosticar el movimiento futuro de la misma en particular, los procesos de Markov son descriptivos por que buscan determinar en forma secuencial las probabilidades de que ocurran o no ocurran ciertos eventos. En este sentido, son muy similares a los modelos de lneas de espera, el nombre de procesos de Markov (en honor a A. A. Markov) , quien formalizo por primera vez la teora que se refiere a eventos cuya condicin actual depende tan solo de su condicin un periodo antes. Estos eventos se denominan Markovianos y son similares a la condicin a la carencia de memoria de los modelos de lneas de espera. De hecho, la condicin Markoviana en lneas de espera es igual a la condicin que se analiza en este tema. La principal diferencia radica en el uso de esa condicin .

PROCESOS DE MARKOV: CONSIDERACIONES Y TERMINOLOGIA

Los procesos de Markov, al igual que la mayora de los modelos tienen su propia terminologa. En este caso, muchos de los trminos significan lo mismo que para la programacin dinmica, las condiciones inciales y finales de un proceso de Markov se denominan estados. Las ocurrencias repetidas del evento que se estudia se llaman ensayos y la probabilidad de pasar de un estado actual al siguiente se conoce como probabilidad de transicin. Para simplificar un poco el anlisis, se hacen tres condiciones adicionales: 1.- Existe un nmero finito de estados 2.- Existen probabilidades constantes de transicin 3.- Ocurren periodos iguales

CASO La Move U Rental se especializa en el arrendamiento de camiones a personas que desean realizar sus propias mudanzas. El gerente de distribucin de la compaa, esta considerando aplicar un cargo por traslado para cubrir el costo de enviar camiones desde las reas en las que hay sobrantes a otros lugares en los que se necesitan. Antes de decidir si debe aplicar el cargo por traslado al costo del arrendamiento de los camiones que se dirigen a reas en las que hay sobrantes, desea determinar la proporcin del nmero total de camiones que a largo plazo, acabaran en cada una de las reas de renta. Si las proporciones son aproximadamente las mismas, el cargo por traslado ser innecesario. Si no es as, el cargo depender de la proporcin del total que termine en cada regin.
4

El gerente ha dividido la parte de los estados unidos que atiende la compaa en tres regiones : norte, central y sur, de registro previos se ha determinado que de los camiones que se rentan cada mes en el norte, 20% van a una ciudad del norte, 30% terminan en la regin central y 50% se devuelven a la compaa en la regin del sur. De manera similar, la compaa ha determinado que , cada mes, 40% de los camiones que se rentan en al regin central se devuelven en la misma, 30% se devuelven en el norte y el 30% restante se devuelven en el sur. Por ultimo, de los camiones que se rentan cada mes en la regin sur, 20% se devuelven en el norte y 40% se devuelven en la regin central. En este momento 40% de los camiones se encuentran en el norte, 30% en la parte central y 30% estn en la regin sur .
5

Dado el patrn del movimiento de los camiones, la Move U Company esta interesada en saber lo siguiente. 1.- Qu proporcin de los camiones se encontrara en cada regin despus de un mes? despus de dos meses? 2.- Qu proporcin de los camiones estar en cada regin despus de un periodo largo? Anlisis del caso Se elabora una tabla como la siguiente para resumir la informacin referente a la proporcin de camiones que tienen una regin de origen y llegan a otro destino. Tabla 1. proporcin de camiones que se regresan a cada regin
Regin Regin donde se renta Norte Central Sur Norte 0.2 0.3 0.2 Donde se Central 0.3 0.4 0.4 Devuelve Sur 0.5 0.3 0.4
6

Anlisis del caso En esta tabla la regin donde se renta el camin se lista en el extremo izquierdo y la regin en donde se devuelve el camin aparece en la parte superior. Por ejemplo, observando el primer rengln de la tabla y la primera columna, puede verse que 20% de los camiones que se rentan en el norte se devuelven en el mismo norte. Otra forma de plantear esta relacin , es que existe una probabilidad de 0.2 de que un camin rentado en el norte sea regresado en la misma regin.

Observar que para cualquier rengln la suma de las probabilidades es uno. Esto significa que un camin rentado debe ir a algn lado. Notar tambin que la regin en la que se regresa un camin depende solo de la regin en la que se rento, en otras palabras, el estado final del camin depende de su estado ms reciente . Si un camin fue rentado alguna vez en la regin central, no afecta el lugar en que se le regrese si ahora se renta en el norte. El hecho de que haya una probabilidad asociada con el lugar en el que se devolvern los camiones y que esta regin en la que se devuelven dependa solo de la regin en la que se rente significa que esta situacin satisface las consideraciones bsicas de los procesos de Markov.
8

Una consideracin adicional para los problemas de este tipo es que habr ocurrencias repetidas del evento bajo estudio. Las principales consideraciones de los procesos de Markov aplicadas al ejemplo es: 1.- Hay incertidumbre con respecto a la regin en la que se devolvern los camiones y es posible medir est incertidumbre a travs de probabilidades. 2.- La regin en la que se devuelven un camin depende solo de la regin en la que fue rentado. 3.- Habr ocurrencias repetidas, o ensayos, es decir, se rentan camiones bajo las mismas circunstancias.

Presentacin de cadenas de Markov a travs de un rbol En la siguiente se muestra el diagrama de rbol para un camin que se renta en la regin norte en el mes 0. los nodos en el rbol son las ubicaciones en los meses 0, 1 y 2 y en las ramas del rbol aparecen las probabilidades de cada transicin.

10

Ubicacin en el mes 0

Ubicacin en el mes 1

Ubicacin en el mes 2 Norte

Probabilidad de cada ubicacin en el mes 2 0.04

Norte Central 0.3 Sur Norte Norte 0.3 0.4 Central Sur Norte Central 0.12 0.09 + 0.10 0.10 + 0.09 0.06

Sur
0.4 Central 0.20

Sur

0.20 +

11

Ubicacin en el mes 0

Ubicacin en el mes 1

Ubicacin en el mes 2 Norte

Probabilidad de cada ubicacin en el mes 2 0.15

Norte Central 0.5 Sur Norte Norte 0.2 0.3 Central Sur Norte Central 0.06 0.06 + 0.12 0.06 0.10 + 0.08 0.25

Sur
2do ejemplo cambio de probabilidades

0.2

Central

Sur

0.12 +

11a

Las probabilidades de encontrarse en cada uno de los estados en el mes 2 se calculan multiplicando las probabilidades individuales de transicin. Ejemplo, la probabilidad de estar en el norte en cada uno de los tres meses esta dado por (0.2)(0.2) = 0.04 Para determinar la probabilidad de que un camin se encuentre en el norte despus de dos meses, se suman las tres probabilidades de encontrarlo en el norte: (de estar en el norte en el mes 2 dado que se encontraba en el norte en el mes 0) = 0.04 + 0.09 + 0.10 = 0.23, de manera similar () P (de estar en la regin central en el mes 2 dado que estaba en el norte en el mes 0) = 0.06 + 0.12 + 0.20 = 0.38, () y P(de estar en el sur en el mes 2 dado que estaba en el norte en el mes 0) = 0.10 + 0.09 + 0.20 = 0.39; (+) 0.23 + 0.38 + 0.39 = 1.0
Nota valores del primer ejemplo

12

Las probabilidades de encontrarse en cada uno de los estados en el mes 2 se calculan multiplicando las probabilidades individuales de transicin. Ejemplo, la probabilidad de estar en el norte en cada uno de los tres meses esta dado por (0.2)(0.2) = 0.04 Para determinar la probabilidad de que un camin se encuentre en el norte despus de dos meses, se suman las tres probabilidades de encontrarlo en el norte: (de estar en el norte en el mes 2 dado que se encontraba en el norte en el mes 0) = 0.15 + 0.08 + 0.12 = 0.35, de manera similar () P (de estar en la regin central en el mes 2 dado que estaba en el norte en el mes 0) = 0.25 + 0.06 + 0.060 = 0.37, () y P(de estar en el sur en el mes 2 dado que estaba en el norte en el mes 0) = 0.10 + 0.06 + 0.12 = 0.28; (+) 0.35 + 0.37 + 0.28 = 1.0
Valores del segundo ejemplo

12a

Si se utiliza notacin de matrices, los clculos para el mes 1 aparecen de la siguiente manera:
N [ 1 C 0 S 0]

N C S 0.2 0.3 0.5 0.3 0.4 0.3 0.2 0.4 0.4

Matriz de transicin de un mes

N = [ 0.2

C 0.3

S 0.5 ]

Vector de probabilidad para comenzar en el norte

Vector de probabilidad despus de un mes

Para el segundo mes, se repiten los clculos:

N [ 0.2 C S 0.3 0.5 ] N C S 0.2 0.3 0.5 0.3 0.4 0.3 0.2 0.4 0.4 N [ 0.23 C 0.38 S 0.39 ]

Vector de probabilidad despus de un mes

Matriz de transicin de un mes

Vector de probabilidad despus de dos meses 13

Valores del primer ejemplo

Si se utiliza notacin de matrices, los clculos para el mes 1 aparecen de la siguiente manera:
N [ 1 C 0 S 0]

N C S 0.3 0.5 0.2 0.4 0.3 0.3 0.4 0.2 0.4

Matriz de transicin de un mes

N = [ 0.3

C 0.5

S 0.2 ]

Vector de probabilidad para comenzar en el norte

Vector de probabilidad despus de un mes

Para el segundo mes, se repiten los clculos:

N [ 0.3 C S 0.5 0.2 ] N C S 0.3 0.5 0.2 0.4 0.3 0.3 0.4 0.2 0.4 N [ 0.37 C 0.34 S 0.29 ]

Vector de probabilidad despus de un mes

Matriz de transicin de un mes

Vector de probabilidad despus de dos meses 13b

Valores del segundo ejemplo

Observar que estas series de clculos pueden combinarse en uno solo de la siguiente manera:
N [ 1 . C 0 N C S S 0.2 0.3 0.5 0 ] 0.3 0.4 0.3 0.2 0.4 0.4 N C S 0.2 0.3 0.5 0.3 0.4 0.3 0.2 0.4 0.4 N = [ 0.23 C 0.38 S 0.39 ]

Vector de probabilidad para comenzar en el norte

Matriz de transicin de un mes

Matriz de transicin de un mes

Vector de probabilidad despus de dos meses

Valores del primer ejemplo

14

El calculo del vector de probabilidad despus de dos meses depende del vector de probabilidad en el mes 0 y de la matriz de transicin de un mes. En los clculos anteriores, se utilizo un vector de probabilidad inicial que representaba un camin que haba comenzado en el norte. Para calcular la proporcin de camiones que se encontraban en cada regin despus de dos meses, simplemente se sustituye la proporcin original de camiones que se encuentran en cada regin (40% de los camiones se encuentran en el norte, 30% en la parte central y 30% estn en la regin sur) y se considera como el vector inicial de probabilidad, es decir [ 0.4 0.3 0.3 ].

15

Los clculos se convierten en : N C S 0.3 0.5 0.2 0.4 0.3 0.3 0.4 0.2 0.4 N 0.3 0.4 0.4 C S 0.5 0.2 0.3 0.3 0.2 0.4

N [ 0.4

C 0.3

S 0.3 ]

N C S = 0.364 0.3430 0.293

Proporcin de camiones en el mes 0

Matriz de transicin de un mes

Matriz de transicin de un mes

Proporcin de camiones en el mes 2

16

En estos clculos, se observa que despus de dos meses que 23.6% de todos los camiones se encontraban en el norte, 37.7% estaban en la regin central y 38.7% en el sur.
Desarrollo matemtico Puede resumirse el anlisis anterior utilizando la notacin siguiente: P i j = probabilidad de cambiar del estado i al estado j en un paso P = matriz formada por los valores Pi j (matriz de transicin) S i (t ) = probabilidad de encontrarse en el estado i en el estado j en el periodo t S (t) = vector de probabilidades de estado en el periodo t

17

Por ejemplo : P11 = 0.2, P23 = 0.3, S1 (0) = 0.4, S (0) = [ 0.4 0.3 0.3 ] Utilizando esta notacin, es posible plantear varios resultados clave . En primer lugar, se tiene que la suma de las probabilidades de estado debe ser igual a 1:
1 S1 (t) + S2 (t) + S3(t) + . . . . Sn (t) = 1 - - - - - - - Para un caso con n estados De manera similar, para cada rengln de la matriz de transicin, P, se tiene la suma: Pi 1 + Pi2 + Pi3 + . . . . Pin = 1 - - - - - - - 2 2 para i = 1, 2, 3,. . . . . . . N. recordar que esto implica que debe hacerse alguna transicin hacia un estado en cada paso. La transicin de un periodo al siguiente se encuentra incluida en la siguiente ecuacin:

18

S ( t + 1) = S (t) P - - - - - - - -

Para el primer periodo, esto se convierte en S (1) = S (0) P - - - - - - Y para el segundo periodo se tiene
S (2) = S (1) P = S (0) P - - - - - En general, este resultado se convierte en S (t) = S (0) P - - - - - - - Ahora, para la condicin de estado estacionario, se tiene

5 6

S = S ( t + 1) = S (t) - - - - - - 7 Donde S = vector de probabilidad de estado estacionario, que es el mismo sin importar el periodo. Esto implica que: 8 S=SP ------------

19

Es decir, el vector de estado estacionario sigue siendo igual despus de una transicin de una etapa, para el ejemplo expuesto, esto da como resultado:
S = [S1 S2 S3] = [S1 S2 S3] 0.2 0.3 0.3 0.4 0.2 0.4 0.5 0.3 0.4

Terminando los clculos, se lleva a un sistema de ecuaciones:

S1 = 0.2S1 + 0.3S2 + 0.2S3 - - - - - - - - - S2 = 0.3S1 + 0.4S2 + 0.4S3 - - - - - - - - - - S3 = 0.5S1 + 0.3S2 + 0.4S3 - - - - - - - - - - 9 10

11

Se sabe tambin que la suma de estas probabilidades es igual a 1, por lo que se tiene 1 = S1 + S2 + S3 - - - - - - - - - - - 12
20

Si se resuelven los valores de S1, S2, y S3 utilizando las ecuaciones del 9 al 12 se llega a las probabilidades del estado estacionario: S1 = 0.238, S2 = 0.376 S3 = 0.386

Dado que se tienen cuatro ecuaciones con tres incgnitas, es posible utilizar dos cualesquiera de las tres primeras ecuaciones, junto con la ultima, para encontrar el valor de las tres incgnitas . Un detalle que resulta importante tomar en cuenta con respecto a esta condicin de estado estacionario es que no depende del estado inicial. Si se comenzara con un vector de proporciones de [ 0.5 0.25 0.25 ] uno de [ 0.33 0.33 0.34 ], a largo plazo siempre se terminara con el mismo vector de proporciones de estado estacionario [0.238 0.376 0.386 ].

21

Resumiendo , el desarrollo de las cadenas de Markov, si existe una matriz de transicin de una etapa P = [ Pi j ] y un vector de estado para el periodo t1 S (t), entonces se tiene que n S = SP y Si = 1 i=1 Para determinar los valores apropiados de Si que forma S, el vector de equilibrio.

22

Aplicaciones de los procesos de Markov El Helderberg Junior College es una escuela financiada por el estado que ofrece grados intermedios en un curso de dos aos. Los administradores del HJC estn interesados en saber cuantos estudiantes se graduarn cada ao, cuantos continuaran en la escuela y cuantos renunciaran a ella. Esta informacin es til para planear las necesidades futuras de profesores y para obtener fondos del estado. Dado que HJC es una escuela con duracin de dos aos, los estudiantes que terminan su primer ao pueden continuar en la escuela pasar a otra (a un estudiante que renuncia se le considera como transferencia).
23

Si los estudiantes continan en la escuela, pueden asistir a cursos del segundo ao repetir cursos del primero, los estudiantes que terminan el segundo ao escolar se gradan con un grado intermedio, continan en la escuela para terminar los requisitos del grado bien se transfieren a otra escuela sin terminar los cursos necesarios para obtener el grado intermedio. en cualquier caso, la condicin de un estudiante en el siguiente ao escolar (el HJC no tiene clases en verano y no acepta transferencias) depende por completo de la condicin que tiene este ao.

24

Con base en datos anteriores, el jefe de la oficina de inscripciones del HJC ha determinado la proporcin de estudiantes que cae en cada categora, dependiendo de la condicin en la que se encontraban el ao anterior, esta informacin se muestra en la siguiente matriz de transicin.
1er ao 1er ao 2do ao 0.1 0 2do ao 0.7 0.2 Graduados 0 0.6 Transferencia 0.2 0.2

Graduados
Transferencia

0
0

0
0

1
0

0
1

Esta matriz de transicin es diferente al del problema introductorio del arrendamiento de camiones. Por las siguientes condiciones. En primer lugar, no es posible pasar a todos los dems estados a partir de uno especifico, por ejemplo, un estudiante que alcanza el estado de graduado el de transferido no puede a ningn otro estado.
25

Por esta razn , estos estados (graduado y transferido) se conocen como estados absorbentes por que una vez que se alcanzan no pueden abandonarse . En una cadena de Markov con estados absorbentes, la pregunta ya no es que proporcin del total alcanzar un estado determinado, puesto que del total todos se encontraran en algn momento en uno de dos estados absorbentes. En otras palabras , la condicin de estado estacionario contendr todo en un estado absorbente . Dado est resultado, la pregunta se convierte entonces en: Qu proporcin de los estados originales no absorbentes terminaran en cada uno de los estados absorbentes ? En el ejemplo del HJC la pregunta se convierte en:

26

Qu proporcin de estudiantes de primer o segundo ao se graduarn, y que proporcin se transferirn a otra escuela la abandonaran? para calcular estas proporciones, es necesario definir primero una matriz especial que se denomina matriz fundamental Q. esta matriz se encuentra por medio del siguiente procedimiento. En el ejemplo del HJC la pregunta se convierte en: Qu proporcin de estudiantes de primer o segundo ao se graduarn, y que proporcin se transferirn a otra escuela la abandonaran? para calcular estas proporciones, es necesario definir primero una matriz especial que se denomina matriz fundamental Q. esta matriz se encuentra por medio del siguiente procedimiento.
27

1.- Eliminar los renglones correspondientes a los estados absorbentes originales 2.- Dividir la matriz restante en estados absorbentes y no absorbentes. Denominar, G a la parte de la matriz bajo absorbentes, y a la parte bajo estados no absorbentes, H . 3.- Calcular Q = (I H) , en donde I = matriz identidad (unos en la diagonal principal, y ceros en las dems posiciones) y el exponente -1 se refiere al inverso de una matriz. Paso 1.- eliminar los renglones absorbentes

1er ao 1er ao 0.1

2do ao 0.7

Graduados transferencia 0.0 0.2

2do ao

0.2

0.6

0.2

Paso 2.- Dividir los renglones restantes en estados absorbentes y no absorbentes 0 G= 0.6 0.2 0.2 H= 0 0.2
28

0.1

0.7

Paso 3.- Calcular Q = (I H)

(1 0.1) (0
(1

- 0.7)
- 0.2)

0.9

- 0.7
0.8

1.111
0

0.972
1.250

Q=
(0 - 0)

=
0

= Q

Utilizando Q . Puede calcularse la proporcin de estudiantes que alcanzarn cada uno de los estados absorbentes, si esta matriz de proporciones se denota R, en donde r i j = proporcin de estudiantes en un estado i que algn momento pasan a un estado j. por tanto
R = QG En nuestro ejemplo 1.111 Q= 0 1.250 0.972 y G= 0.6 0.2 0 0.2

29

1.111

0.972 1.250

0 0.6

0.2

0.583

0.417 0.250

R =
0 0.2

=
0.750

Los valores que aparecen en la matriz R pueden interpretarse como sigue: r = 0.583 = proporcin de estudiantes que se encuentran en el primer ao y que en algn momento se graduaran r = 0.417 = proporcin de estudiantes que en su primer ao y que se transferirn a alguna otra escuela r = 0.750 = proporcin de estudiantes que se encuentran en su segundo ao y que se graduaran r = 0.250 = proporcin de estudiantes que se encuentran en un segundo ao y que se transferirn
30

Si ahora existen 1000 estudiantes de primer ao en el Helderber Junior College y 800 estudiantes de segundo ao, es de esperarse que (0.583) (1000) = 583 estudiantes de primer ao que en algn momento se graduaran (0.417) (1000) = 417 estudiantes de primer ao que se transferirn (0.750) (1000) = 750 estudiantes de segundo ao que se graduaran (0.250) (1000) = 250 estudiantes de segundo ao que se transferirn
Si los administradores del Helderberg Junior College desean que se graden en promedio 700 estudiantes, entonces ser necesario aumentar el nmero de alumnos de primer ao a (700 0.583) = 1201 estudiantes (suponiendo que los nuevos estudiantes que se admiten provengan de la misma poblacin que los estudiantes admitidos antes).

31

Puede interpretarse aun ms la matriz fundamental Q utilizando el siguiente resultado: las entradas de la matriz fundamental Q proporcionan el nmero promedio de periodos que el sistema estar en cada uno de los no absorbentes.

En el caso del Helderberg Junior College esto significa que el estudiante promedio de primer ao pasara 1.111 aos en el primer ao, antes de abandonar la escuela pasar al segundo ao. De la misma manera, el estudiante promedio de primer ao pasara 0.972 de ao en el segundo ao. Tambin, el estudiante promedio de segundo ao no invertir tiempo en el primer ao (tal como era de esperarse), pero invertir 1.250 aos en el segundo ao
32

Otro resultado que puede obtenerse Q es que la suma de los renglones da el nmero promedio de periodos hasta que ocurra la observacin en uno de los estados absorbentes . En el caso del Helderberg, esto significa que si un estudiante se encuentra en el primer ao, necesitara en promedio 2.083 aos para graduarse abandonar la escuela (transferirse). Si un estudiante se encuentra en el segundo ao, el tiempo promedio para graduarse abandonar la escuela es de 1.250 aos

33

Tiempos de la primera transicin En el problema anterior (caso de la escuela Helderberg Junior College) se hablo de (cadenas de Markov con y sin estados absorbentes). Otro calculo que con frecuencia resulta interesante es el tiempo promedio que transcurre antes de cambiar de un estado a otro por primera vez. Este tiempo se conoce como tiempo de la primera transicin. Por ejemplo, en el caso de la Move U Truck Rental Company, podra estar interesado en el tiempo promedio que se requerira para que un camin rentado en el norte llegue a la regin central.

34

El camin puede ir a otras regiones y volver al norte antes de pasar a la regin central, pero todo lo que interesa de momento es el nmero promedio de periodos que se requieren en al actualidad para que un camin que se encuentra en la regin del norte pase a la regin central. para calcular el tiempo promedio de la primera transicin del estado i al estado j, en primer lugar se determinara f ij que es el primer tiempo de transicin de i a j. entonces se calculara este valor utilizando la formula.

i j = 1+ p i k k j
kj
35

En donde P i j = probabilidad de pasar de i a j

Recordar que la matriz de transicin para el caso de la Move U es 0.2 0.3 0.5 0.3 0.4 0.3 0.2 0.4 0.4
Para hacer el calculo de la primera transicin del norte a la regin central (i= 1 a j = 2), se tiene la ecuacin que sigue: = 1 + P + P = 1 + 0.2 + 0.4
36

Si se resuelven estas dos ecuaciones simultaneas para determinar los valores de y . Se obtiene que en promedio el primer tiempo de transicin de la regin del norte (estado 1) a la regin central (estado 2) es 1.896 meses. Tambin se determina que el primer tiempo de transicin de la regin del sur (estado 3) a la regin central es de 1.034 meses. Con base en esta informacin, el gerente de distribucin de la Move U Rental Company , puede esperar que un camin que sale de la regin del norte requiera en promedio casi dos meses (1.896 meses) para ser entregado en al regin central.

37