TALLER DE INVESTIGACION DE OPERACIONES II

CADENAS DE MARKOV

JAIDER ANDRES ARANGO MARTINEZ HERNAN CAMILO FRANCO NOVOA MARIO FRANCISCO MARTINEZ CAMPO JUAN CAMILO VERGARA SALAZAR

PRESENTADO A: NESTOR CAICEDO SOLANO

UNIVERSIDAD DEL MAGDALENA FACULTAD DE INGENIERIA PROGRAMA DE INGENIERIA INDUSTRIAL SANTA MARTA 2012

2. Considere un jugador que apuesta sucesivas veces en el mismo juego. En cada jugada existe una probabilidad p de ganar una unidad y una probabilidad 1 p de perder una unidad. Se asume que las jugadas sucesivas son independientes. El jugador comienza con una cantidad de i, 1 < i < N y juega hasta que pierde todo o llega a N . a) Construya una cadena de Markov que describa la fortuna del jugador en cada instante. Incluya las probabilidades de transicin. b) El jugador al llegar a N cambia su estrategia y decide apostar doble o nada, de manera que con probabilidad p su riqueza es 2N (y se retira), mientras con probabilidad 1 p pierde todo (y su riqueza se reduce a cero). Modele esta nueva situacin. c) Si en la situacin de la parte (a), la probabilidad de ganar es p = 1/2, De que depende que nuestro jugador finalmente gane o pierda? Sin hacer clculos entregue valores especficos cuando se pueda e intrprete sus resultados. d) Resuelva el problema para el caso general, es decir, encuentre las probabilidades de terminar ganando o perdiendo el juego si se empieza con una cantidad de i, 1 < i < N .Se juega hasta que pierde todo o llega a N , con p = (1 p).

Sol: a)

b)

c) Si en la situacin de la parte (a), la probabilidad de ganar es p = 1/2, De qu depende que nuestro jugador finalmente gane o pierda?. Sin hacer clculos entregue valores especficos cuando se pueda e intrprete sus resultados.

Sol: De acuerdo al tems anterior, sea: fi =P (Ganar a partir de i unidades) Si f0=0 fN=1

( Despejando,

d) Resuelva el problema para el caso general, es decir, encuentre las probabilidades de

terminar ganando o perdiendo el juego si se empieza con una cantidad de i, 1 < i <N. Se juega hasta que pierde todo o llega a N, con p _= (1 p).

( (

) )

Donde

3. A un estudiante en prctica de este departamento le fue encargado que estudiase el comportamiento de largo plazo de un determinado sistema (el cual no se describe por tratarse de informacin confidencial de la empresa). Despus de un arduo trabajo neuronal nuestro estudiante logr determinar que el fenmeno se poda modelar como una cadena de Markov con 6 estados y una matriz de transicin M. Con ayuda de la planilla de clculo multiplic muchas veces M por si misma, notando que su resultado se haca cada vez ms parecido a cierta matriz A. Faltaban slo 15 minutos para la reunin en la que tena que dar cuenta de sus resultados, cuando apareci en su pantalla un mensaje de error, el cual result irreparable y tuvo que reiniciar su computador. Con espanto se dio cuenta que no tena ningn registr de sus clculos, pero sin desanimarse tom un papel y anot todos los datos que recordaba de la matriz A, obteniendo lo siguiente: 1 a c 2 b 3 0 0 4 0 d 5 0 e e 6 0 0 -

MATRIZ A =

1 2 3 4 5 6

Donde el signo - indica que no recuerda lo que iba en esa posicin, y las cantidades a, b, c, d y e son positivas. Cmo podramos ayudar a nuestro compaero? (conteste las siguientes preguntas y lo sabr). a) Cul(es) de los grafos mostrados en la figura 2 es (son) candidato(s) a representar la cadena de Markov en cuestin? b) Complete la matriz A, explicando claramente su respuesta.

Sol: a) Los grafos que ms se asemejan y tienen menos errores son:

b) Probabilidad grafo 2 1 2 3 4 5 6

1 a 1 c 0 0 0

2 b 0 0 0 0 0

3 0 0 0 0 0 0

4 0 0 d 0 1-q 0

5 0 0 p e q e

6 0 0 0 0 0 0

Esta matriz se construyo con base en la matriz A y los datos del grafo II, tomando los valores con letras p y q. Probabilidad grafo 4 1 2 3 4 5 6

1 a 1 c 0 0 0

2 b 0 p 0 0 0

3 0 0 0 0 0 0

4 0 0 d 0 1-q 0

5 0 0 1-p e q e

6 0 0 0 0 0 0

Al igual que el anterior, esta matriz se construyo con base en la matriz A y los datos del grafo II, tomando los valores con letras p y q.

. Un ex-auxiliar de este curso ha decidido dedicarse a la musica, y junto a unos amigos formo el grupo Jorge y los Markovianos. Actualmente se limitan a tocar los fines de semana en algunos pub capitalinos, siendo una de tantas bandas desconocidas que existen en el pas. Cada mes existe una probabilidad q que un empresario de algn sello musical nacional los escuche y decida apoyarlos para grabar y realizar giras para cantar en todo el pas. Si tal cosa ocurre pasaran a ser una banda conocida a nivel nacional. Una banda que es conocida a nivel nacional corre el riesgo de perder el apoyo del sello nacional que la patrocina, con lo cual volvera a ser una banda desconocida. Cada mes, la probabilidad que esto ocurra es r. Por otro lado, una banda conocida a nivel nacional puede llegar a llamar la atencion del representante de un sello musical internacional, el cual podra decidir patrocinarlos. De ser as la banda pasara a ser conocida a nivel internacional. Cada mes existe una probabilidad s que esto ocurra (s + r < 1).
4.

Una banda que es conocida internacionalmente nunca dejar de serlo. Sin embargo podemos distinguir dos categoras entre ellas: las que estan de moda y las que no. Una banda internacionalmente conocida que esta de moda en un mes dado seguir estando de moda al mes siguiente con probabilidad t. Una banda conocida a nivel internacional que no esta de moda en un mes dado pasara a estar de moda al mes siguiente con probabilidad u . El primer mes que una banda se hace conocida a nivel internacional nunca esta de moda. Una banda solo percibe utilidades (equivalentes a K [$]) en los meses que es conocida internacionalmente y esta de moda (parte de esas utilidades corresponden a una satisfaccion de su ego). Hint: Suponga 0 < x < 1 Vi {q,r,s,t,u}. a) Construya una cadena de Markov que represente la trayectoria de la banda de Jorge y que permita predecir si en un mes dado percibirn utilidades o no (defina estados adecuados, dibuje el grafo indicando las probabilidades de transicin o bien escriba la matriz de prob. de transicin). b) Llegaran Jorge y los Markovianos a tener xito algn da? c) Admite la cadena una ley de probabilidades estacionarias? d) Que estados tienen necesariamente una probabilidad estacionaria igual a 0? Calcule las probabilidades estacionarias. e) Cual es (aprox.) el valor esperado de las utilidades percibidas por Jorge y los Markovianos en febrero del ao 2048?

Sol:

a.) 1. 2. 3. 4. Banda reconocida Banda conocida nacionalmente Banda conocida internacionalmente sin moda Banda conocida internacionalmente con moda

b.) si ya que existe la probabilidad de que esta alcance su mximo estado.

c.) (

) ( 1. 2. 3. 4. 5. ( ) ( ( ( ) )) ( ) ) [
( )

En (2)

( ( (

) ) ( ) ( )))

En (3) Igualamos (2) y (3) ( ) (

Entonces asi queda (1) En (5) ( )

Remplazamos (5) en (1)

Entonces en 1

d.) las probabilidades estacionarias igual a 0, son x y y. puesto que estas siempre buscaran fama y moda internacional.

^
e.) En el 2048 la funcin de utilidad seria esta : K ($) u=Wk ($) 8. Un inversionista extranjero desea invertir su capital en el mercado accionario nacional. De

acuerdo a un estudio que realiz, el comportamiento mensual de este mercado puede clasificarse en 3 categoras: En alza (A), estable (E) y en baja (B). Adems, este comportamiento mensual es una variable aleatoria que depende nicamente del comportamiento en el mes anterior. La siguiente matriz representa las probabilidades de transicin en el mercado accionario:

A E B

A 0.7 0.3 0.1

E 0.2 0.5 0.4

B 0.1 0.2 0.5

Como el inversionista tiene la posibilidad de ubicar su capital en otro pa s, por lo que ha decidido observar el mercado nacional. La poltica de inversin que seguir es tal que si durante 3 meses consecutivos observa al mercado nacional en alza, invierte sin retirar su dinero, sin embargo, si durante 2 meses consecutivos observa que el mercado est en baja invierte en el extranjero sin la posibilidad de reconsiderar su decisin. Si invierte en el mercado accionario nacional obtendr un ingreso esperado mensual de MA [$], ME [$] o MB [$], si el comportamiento es en alza, estable o baja respectivamente. Si inicialmente el mercado accionario nacional se encuentra estable, responda: a) Explique por qu este problema de inversi n puede formularse como una cadena de Markov. Represntelo con un grafo, identifique y clasifique sus estados. b) Existen probabilidades estacionarias? c) Suponga que el inversionista finalmente invierte en el mercado nacional, Cmo cambia su respuesta de la parte anterior?, Cul es el ingreso promedio mensual que espera obtener el inversionista en esta situacin?

Sol: a). 0.7 0.2 A

0.3
0.1 0.4

0.5

0.1

0.2 B

0.5

A [

B ]

b). si existen probabilidades estacionarias y estas salen del siguiente grupo de ecuaciones:

Y por Excel tenemos que los valores de x, y, z son:

c). Calculando p2 y p3 y: ; No van a cambiar el mercado nacional.

10. En una ciudad el 9% de los das soleados son seguidos por otro da soleado y el 80 % de los das
nublados son seguidos por otro da nublado. Modele este problema como una cadena de Markov. Suponga ahora que el estado del tiempo en un da cualquiera depende del estado del tiempo en los ltimos dos das, de la siguiente forma: Si los dos ltimos das han sido soleados entonces con una probabilidad de 95 % hoy tambin estar nublado. Si ayer estuvo nublado y hoy soleado, hay una probabilidad de un 70 % de que maana est soleado. Si ayer estuvo soleado y hoy nublado entonces 60 % de las veces maana estar nublado. Si han pasado dos das con el cielo cubierto de nubes, hay una probabilidad de un 80 % de que las nubes quieran quedarse un da ms. a) Con esa informacin modele el estado del tiempo en la ciudad como una cadena de Markov. b) Si ayer estuvo nublado y hoy soleado, Cul es el nmero promedio de das nublados antes del prximo da soleado? c) Si el tiempo en un da dado dependiera del estado del tiempo en los ltimos n das Cuntos Estados se necesitaran para modelar el tiempo como una cadena de Markov?

Sol: a) P(S) = 0.9 P(N) = 0.8 SSN = 0.9*0.9*0.95 = 0.7695 NNS = 0.8*0.9*0.7 = 0.504 SNN = 0.9*0.8*0.6 = 0.432 NNN = 0.8*0.8*0.8 = 0.512 La cadena de markov queda modelada de la siguiente manera:

SS SS SN NS NN 0,2305 0 0,448 0

SN 0,7695 0 0,552 0

NS 0 0,568 0 0,488

NN 0 0,432 0 0,512

b). La Probabilidad de que si ayer estuvo nublado y hoy soleado es:

) (

( )

c). Si el estado del tiempo depende de n das, se necesitarn n+1 estados para modelar la cadena de markov. 13.Un individuo posee r paraguas, que usa para ir caminando de su casa a la oficina y viceversa. Si el est en su casa al comienzo del da y est lloviendo, entonces, si al menos hay un paragua en la casa, el tomar uno para ir a su oficina. Anlogamente, si el est en su oficina, tomar uno para ir a su casa. Si no est lloviendo no toma ningn paragua. Suponga, que independiente del pasado, llueve al comienzo (final) del da con probabilidad p. a) Defina una cadena de Markov de r+1 estados que ayude a determinar qu proporcin del tiempo el individuo se moja. b) Encuentre las probabilidades estacionarias. c) Qu fraccin del tiempo (porcentaje de caminatas) el individuo se moja?

Sol: a). Para definir la cadena debemos especificar los estados de la misma y las probabilidades de transicin entre cada par de estado (elementos de la matriz de transicin). Utilizando la indicacin del enunciado la cadena es la que se muestra en la figura:

Entonces, de acuerdo al grfico anterior:

La definicin de la matriz de transicin se completa con: ( ) {

b) Encuentre las probabilidades estacionarias. ( ( ( ( ) ) ) )

Utilizando las r primeras ecuaciones descubrimos que: ( )

Si utilizamos esto en la ltima ecuacin llegamos a que: ( )

c) Qu fraccin del tiempo (porcentaje de caminatas) el individuo se moja?

( )

Fraccin que se moja =

15. Suponga que al inicio de cada perodo, cada uno de los N individuos de una poblacin pueden encontrarse en 3 condiciones de salud distintas: Sano, Infeccioso e Infectado. En cada perodo se forman N/2 parejas al azar (suponga N par), cada una de las cuales puede mantener un contacto peligroso con probabilidad p (independiente de lo que hagan las dems). Al final del perodo todas las parejas se desarman pudindose formar otra vez. Si una pareja que mantuvo un contacto peligroso est formada por un individuo que est Sano y por uno Infeccioso, quien estaba sano contraer la enfermedad pasando a estar Infeccioso al inicio del siguiente perodo. Un individuo Infeccioso permanece en ese estado durante slo 1 perodo despus de lo cual pasa a ser un individuo Infectado. Los individuos Infectados nunca abandonan esta condicin, bajo la cual no pueden contagiar a nadie durante un contacto peligroso, y la que los hace inmunes a un nuevo contagio (porque ya tiene anticuerpos en su organismo).

a) Considere a un individuo particular de esta poblacin, que actualmente se encuentra sano. Si hay i individuos infecciosos, Cul es la probabilidad de que este individuo se contagie durante el siguiente perodo?. Llame a esta probabilidad qi. b) Si consideramos Xt como el nmero de individuos infecciosos al inicio del perodo t, Es posible modelar la situacin descrita utilizando cadenas de Markov con Xt como variable de estado? c) Considere Xt, e Yt como el nmero de individuos infecciosos y sanos, respectivamente, al inicio del perodo t. Modele la situacin descrita como una cadena de Markov. Clasifique los estados, caracterice las clases y encuentre la matriz de transicin de 1 perodo. Hint: No es necesario que dibuje todo el grafo, basta con identificar las transiciones de los distintos tipos de estado.

d) Existir una ley de probabilidades estacionarias?, Cambia su respuesta si permitimos que un individuo pueda mejorar, es decir, pasar de infectado a sano con probabilidad r en un perodo?

Sol: a). Lo primordial en este caso, es identificar los Si las parejas son formadas al azar, se tiene N-1 individuos candidatos a poder emparejarse con otro individuo en particular (casos totales), de los cuales existen i infecciosos. Si existe una pareja conformada con un infeccioso la probabilidad de contagio es p y por lo tanto se tiene: b). No es posible moldear la situacin descrita utilizando cadenas de Markov, debido a que solo se tiene el numero de infecciosos y no se hace posible determinarlo. c). Caso 1

[(

)(

)]

( )

j>i>k>0

Caso 2

[(

)(

)]

( )

Caso 3

Ij=0

Caso 4

d). Debido a existen mltiples clases recurrentes no se hace posible tener una ley de probabilidades estacionarias en el problema original, lo que significa que la evolucin del sistema en el largo plazo no ser independiente de las condiciones iniciales. Si se permite que la gente con alguna probabilidad se mejore, se lograrn encontrar muchos estados que pertenecan a clases distintas, crendose una clase transigente

formada por los estados (0,X), con 0 X < N la que confluye a la clase recurrente formada por el estado (0,N), es decir toda la poblacin sin enfermedades, sana. En el caso de iniciar con i individuos infectados estaremos en una clase transigente, y necesariamente luego de algn nmero finito de das se estar frente a un estado de la clase (0,X) (porque no existen transiciones a estados tipo (j,X) con j > i). Como en el largo plazo la probabilidad que se encuentre en un estado transigente es 0, con probabilidad 1 estaremos en la nica clase recurrente de esta cadena.

Es por esto, que si permitimos que la gente eventualmente mejore en el largo plazo esta enfermedad se habr acabado completamente, y existir una ley de probabilidades estacionarias. 20. Una unidad productiva de una empresa minera tiene un nmero muy grande (iguala a T) de mini retro excavadoras para la extraccin del mineral. Estas mquinas se utilizan durante el da y al caer la tarde se guardan para ser utilizadas en la maana siguiente. Sin embargo, existe una probabilidad q que una mquina en operacin falle durante un da, independiente de cuntos das consecutivos lleve operando. En estos casos la mini retro excavadora ser enviada al taller de reparacin al final del da en el que falla, donde su mantenimiento siempre se realiza al da siguiente. De esta manera, una mquina que falla un da t estar lista para su utilizacin en la maana del da t + 2 independiente de lo que pase con las dems.

a) Justifique por qu es posible modelar como una cadena de Markov en tiempo discreto el nmero de mini retro excavadoras buenas al inicio de cada da. Cul es la probabilidad que un da fallen si mquinas si esa maana haba j buenas?. Llame a esta probabilidad s(i, j). b) Modele la situacin descrita como una cadena de Markov en tiempo discreto. Encuentre expresiones generales para las probabilidades de transicin en funcin de s(i, j), clasifique los estados en clases y caractercelas. Argumente la existencia de una ley de probabilidades estacionarias. c) Suponga que la cadena anterior admite probabilidades estacionarias y que usted conoce el vector . Adems se sabe que si la mina al final de un da cualquiera cuenta con menos de L mquinas buenas y es inspeccionada por la gerencia de produccin debe pagar una multa de C [$]. Segn informacin histrica en un da cualquiera existe un probabilidad r de que se produzca una revisin. Sin embargo, si al momento de producirse la inspeccin cuenta con la totalidad de estas mquinas en buen estado la unidad recibir un incentivo econmico de F [$]. Entregue una expresin para los beneficios diarios en largo plazo por concepto de multas y estmulos por revisin del organismo de seguridad.

Considere que esta unidad de la mina modifica su poltica de envo de mquinas a mantencin de manera que las enviar al taller slo en lotes de J mquinas que necesitan reparacin. Todas las mquinas enviadas al taller sern reparadas el da siguiente y estarn disponibles en la maana del da subsiguiente del que fueron enviadas a mantencin. La probabilidad que una mquina que est en funcionamiento una maana cualquiera falle ese da seguir siendo q. d) Modele esta nueva situacin como una cadena de Markov en tiempo discreto. Dibjela con los respectivos estados, encuentre expresiones generales para las probabilidades de transicin en funcin de s(i, j). e) Suponga que la cadena anterior admite probabilidades estacionarias y que usted conoce el vector , y que la gerencia de operaciones realiza revisiones como las descritas en la parte (3) con las mismas probabilidades, costos y beneficios. Suponga adems que cada vez que esta unidad enva mquinas al taller incurre en un costo fijo K [$], (independiente de cuntas mquinas enve). Entregue una expresin para los beneficios diarios en largo plazo por concepto de multas y estmulos por revisin del organismo de seguridad. Sol: a). Si se hace posible modelar el nmero de mquinas buenas al comienzo de un da. Esto se logra ya que el estado posee informacin que resume todo lo que se necesita saber: Si existen i mquinas buenas al comienzo del da, entonces (dado que las maquinas solo pueden estar buenas o malas) obligatoriamente tengo T i maquinas malas las cuales estarn disponibles al comienzo del prximo da, si no fuese as no estaran malas (dado que solo pueden fallar durante el transcurso de un da). Por lo tanto se determinara as:

{( )

b).

pi

c). [ ( ) ( )( ) ( ) ]

d). ( { )

e). [( )

( )(