Unidad II: Procesos Estocsticos

Investigacin de Operaciones II
Ing. Paulina Gonzlez Martnez
Contacto: clasesdii@gmail.com

Unidad II: Procesos Estocsticos
Procesos Estocsticos.

Cadenas de Markov. Ecuaciones de Chapman-Kolmogorov.

Clasificacin de estados de una cadena de Markov.

Tiempos de primera pasada.

Propiedades de lago plazo de las cadenas de Markov.

Cadenas de Markov en tiempo continuo.

AUTOESTUDIO:

- Cap. Taha, Cadenas de Markov
- Cap. Hillier-Liberman, Cadenas de Markov


En ocasiones nos interesa conocer como cambia una variable aleatoria a
travs del tiempo.

Consideremos las siguientes situaciones:

-Evolucin del precio de las acciones en el mercado burstil da a da

- Demanda diaria de un producto en un local de ventas

- Nivel de inventario diario, semanal, mensual de un determinado producto

- Cambios mes a mes en las preferencias de los clientes por un producto

En todas ellas se trata de una sucesin de eventos que se desarrollan en el
tiempo y en el cual el resultado en cualquier etapa contiene algn elemento
que depende del azar. Se dice entonces que se trata de procesos aleatorios
estocsticos.

PROCESO ESTOCASTICO
En todos los ejemplos anteriores se observa alguna caracterstica de un
sistema en puntos discretos del tiempo t ( t =0, t =1, t =2...... ).

Sea X(t) el valor de la caracterstica observada, en el tiempo t . Dado que, en
la generalidad de los casos, no se conoce el valor de X(t) antes del tiempo t,
se tiene que las X(t) son variables aleatorias.

Un Proceso Estocstico de tiempo discreto es un modelo para sistemas que
evolucionan en el tiempo de manera probabilstica. Ms formalmente un
Proceso Estocstico es una coleccin sucesin de variables aleatorias
X(t), t T

Si T ={0,1, 2,3,.....} el proceso es de tiempo discreto

Si T = [0 , ) el proceso es de tiempo continuo

PROCESO ESTOCASTICO
Por lo tanto, un proceso estocstico se define como una coleccin indexada
de variables aleatorias (Xt), donde el ndice t toma valores de un conjunto T
dado.

Con frecuencia T se toma como el conjunto de enteros no negativos, y Xt
representa una caracterstica de inters mesurable en el tiempo t.

El inters de los procesos estocsticos es describir el comportamiento de
un sistema en operacin durante algunos periodos.


PROCESO ESTOCASTICO
EJEMPLOS DE PROCESOS ESTOCASTICOS
Serie mensual de ventas de
un producto
Estado de una mquina al
final de cada semana
(funciona/averiada)
Nmero de clientes
esperando en una fila cada
30 segundos
Marca de detergente que
compra un consumidor cada
vez que se hace la compra.
Se supone que existen 7
marcas diferentes
Nmero de unidades en
almacn al finalizar la
semana
En puntos especficos del tiempo t el sistema se encuentra exactamente en
uno de un nmero finito de categoras ESTADOS mutuamente excluyentes
etiquetados por conveniencia de notacin como 1, 2,3, .......,M

Por lo tanto el Proceso estocstico {Xt} t T = {X0, X1, X2, ., Xn} es una
representacin matemtica de cmo evoluciona el sistema fsico en el
tiempo.

ESTRUCTURA DEL PROCESO ESTOCASTICO
EJEMPLO 1: Ruina del jugador
Tengo inicialmente 2 dlares. Para t = 0, 1, 2, 3, ......
participo en un juego en el que apuesto 1 dlar en
cada jugada. Gano 1 dlar con probabilidad p y
pierdo 1 dlar con probabilidad 1 p. El juego
termina si acumulo 4 dlares si quiebro.
EJEMPLO 1: Ruina del jugador
Sea Xt= capital luego del juego en el tiempo t .

Por lo tanto los estados del sistema son: 0; 1, 2, 3, 4 y
en consecuencia M = 5 estados.


EJEMPLO 2: Mdulos de atencin
Se dispone de 4 mdulos de atencin que se van
activando secuencialmente a medida que la cantidad
de usuarios que deben ser atendidos aumenta.
Cada mdulo tiene un mximo de usuarios a los que
se les puede entregar servicio.
Cuando un mdulo est completamente utilizado,
entra en servicio el siguiente mdulo.
Si un mdulo deja de ser utilizado, el mdulo se
desactiva temporalmente, quedando en servicio los
mdulos anteriores.
EJEMPLO 2
La definicin de estados sera:
Estado 1: El mdulo 1 est siendo utilizado.
Estado 2: El mdulo 2 est siendo utilizado.
Estado 3: El mdulo 3 est siendo utilizado.
Estado 4: El mdulo 4 est siendo utilizado.

EJEMPLO 3: Cantidad de alumnos
Si consideramos los siguientes porcentajes, para pasar de curso, repetir o
retirarse cada ao:

Repetir 1ao: 2%
Pasar a 2 ao: 97%
Retirarse al final del 1 ao: 1%

Repetir 2ao: 3%
Pasar a 3 ao: 95%
Retirarse al final del 2 ao: 2%

Repetir 3ao: 4%
Pasar a 4 ao: 92%
Retirarse al final del 3 ao: 4%

Repetir 4ao: 1%
Egresar: 96%
Retirarse al final del 4 ao: 3%


EJEMPLO 3
Definicin de estados:

Estado 1: Estar en 1 ao.
Estado 2: Estar en 2 ao
Estado 3: Estar en 3 ao
Estado 4: Estar en 4 ao
Estado 5: Egresar
Estado 6: Retirarse del establecimiento.


ACTIVIDAD: Representar grficamente los estados


EJEMPLO 4
El clima de La Serena puede cambiar con rapidez de un da a
otro. Sin embargo, las posibilidades de tener un clima seco
(sin lluvia) maana es de alguna forma mayor si hoy est seco,
es decir, no llueve. Estas probabilidades no cambian si se
considera la informacin acerca del clima en los das
anteriores a hoy.
EJEMPLO 4
SOLUCIN:

La evolucin del clima da tras da en La Serena es un proceso estocstico.
Si se comienza en algn da inicial (etiquetado como el da 0). El clima se
observa cada da t, puede ser:

Estado 0: da seco
Estado 1: da t es lluvioso

As, para t=0, 1, 2 la variable aleatoria Xt toma los valores:
Xt 0 s da t es seco
1 s da t es lluvioso
De esta manera se proporciona una representacin matemtica de la forma
como se comporta el clima de La Serena a travs del tiempo.
DEFINICIN

El paso de un estado i a un estado j es una transicin del estado i al
estado j y la probabilidad condicional
se llama probabilidad de transicin (de un paso) del estado i al
estado j y se denota por Pij .


PROPIEDAD MARKOVIANA
Nos dice que el futuro depende nicamente del valor
del estado del presente y es independiente del
pasado
Es una propiedad que posee los procesos aleatorios y de
ramificacin, es decir, sus valores en el n-simo paso slo dependen
de los valores en el (n-1)-simo paso, y no de los anteriores. Esta
propiedad, conocida como la propiedad Markoviana es de gran
importancia en el estudio de estos procesos, y en el estudio general de
la teora de procesos estocsticos.
PROPIEDAD MARKOVIANA
La probabilidad condicional P(Xn+1 = j | Xn = i), de que la cadena estar en el
estado j en el tiempo n + 1 si est en el estado i en el tiempo n se conoce como
una probabilidad de transicin. Si para una cadena de Markov esta probabilidad
de transicin tiene el mismo valor para todo los tiempos n (n = 1, 2, 3, ... )
decimos que la cadena tiene probabilidades de transicin estacionarias.

Es decir una cadena de Markov tiene probabilidades de transicin estacionarias
si para cualquier estados i y j existe una probabilidad de transicin pij tal que
P(Xn+1 = j | Xn = i) = pij para n =1, 2, 3,...
Probabilidad de transicin de un paso del estado i al
estado j
Probabilidad de transicin de n
pasos
EJERCICIOS
1. Suponga que un jugador tiene $1 y que cada jugada
gana $1 con probabilidad p>0 o pierde $1 con
probabilidad 1-p. El juego termina cuando el jugador
acumula $3 o bien cuando quiebra

2. Una partcula se mueve sobre un crculo por puntos
marcados 0, 1, 2, 3, 4 (en el sentido de las manecillas
del reloj). La partcula comienza en el punto 0. en cada
paso tiene una probabilidad de 0,5 de moverse un
punto en el sentido de las manecillas del reloj (0 sigue
a 4) y una probabilidad de 0,5 de moverse a un punto
en el sentido opuesto a las manecillas del reloj.
Encuentre la matriz de transicin de un paso.


EJERCICIOS


3.- Suponga que toda la industria de gaseosas produce solo 2 colas: Coca-Cola
y Pepsi. Cuando una persona ha comprado CC hay una posibilidad de 90% de
que siga comprndola la vez siguiente; si una persona compr Pepsi, hay 80%
de que repita la vez siguiente.
a) Si una persona actualmente es comprador de Pepsi cul es la
probabilidad de que compre CC pasadas 2 compras a partir de hoy?
b) Si en la actualidad una persona es comprador de CC cul es la
probabilidad de que compre CC pasadas 3 compras a partir de hoy?
c) Supongamos que el 60% de toda la gente toma hoy CC y el 40% Pepsi, a 3
compras a partir de ahora, qu fraccin de los compradores estar
tomando CC?
d) Determine el estado estable del mercado.
EJERCICIOS
4.- Un fabricante de grabadoras est tan seguro de su calidad que est
ofreciendo garanta de reposicin total si el aparato falla en dos aos.
Basndose en datos compilados la compaa ha notado que solo el 1 % de
las grabadoras falla durante el primer ao y 5 % durante el segundo. La
garanta no cubre grabadoras ya reemplazadas.
Modele el sistema como una cadena de Markov.


Solucin:

1) Definir cuantos estados existen

2) Escribir claramente los estados

3) Construir el sistema
Estados:
E1: Grabadoras funcionando durante el 1 ao
E2: Grabadoras funcionando durante el 2 ao
E3: Grabadoras reemplazadas por garanta
E4: Finaliza la garanta

0 0.99 0.01 0
0 0 0.05 0.95
0 0 1 0
0 0 0 1
Nota:
Como solo falla el 1% de las grabadoras el 1 ao, el 99% restante
corresponde a las grabadoras funcionando el 2 ao y adems es la cantidad
de grabadoras reemplazadas por derecho de garanta.

EJERCICIOS
5.- Un taxi efecta sus servicios en las ciudades R y
S. si el taxi est en R, la probabilidad de que un
pasajero quiera ir a S es de 0.8. si est en S, la
probabilidad de ir a R es de 0.3.
Se sabe adems que el beneficio esperado por
carrera es:
Dentro de R: $1000
Dentro de S: $1200
Entre R y S: $2000
a) Obtener la probabilidad, a largo plazo de estar en
R
b) Suponiendo que realiza 10 viajes, calcular, a
largo plazo, el beneficio esperado por carrera.

EJERCICIOS
6.-La produccin de uvas en una empresa del Valle del Limar se
clasifican segn la cantidad y calidad de sol recibida durante el ao y
estas pueden ser A, B C. la uva de tipo A, se destina a la produccin
de licores aejados, la de tipo B para vinos de seleccin y la tipo C
para producir licores econmicos. Por los antecedentes del ao
anterior se determin que si la cosecha de uvas fue de tipo A, las
probabilidades de tener durante la cosecha siguiente, una cosecha de
uvas igual es de 0,4, y se espera una cosecha de uvas de tipo C de
0,3. Si la cosecha de uvas fue del tipo B, entonces se espera contar
con uva del tipo A en una probabilidad de 0,6 y B de 0,4. Si durante el
ao la cosecha de uva es de tipo C, entonces para el ao siguiente, se
espera que la produccin sea de tipo C con una probabilidad de 0,4 y
de tipo B de 0,6.
En promedio se producen anualmente 125000 kgs. De uva, y el ultimo
ao se produjo solo uva del tipo B.
Se le solicita que apoye al ingeniero a cargo del programa de
produccin en la elaboracin del programa de produccin para los
prximos 5 aos y establezca la produccin que se espera para 10
aos ms.

EJERCICIOS
7.- Ante la problemtica actual de la crisis energtica, el gobierno ha decidido
analizar el uso de las energas disponibles para generar energa elctrica, con el fin
de destinar recursos para investigar aquellas que son alternativas sustentables
(Elica). El Ministerio de Transporte y Energa le solicita a Ud. determinar cuales
sern las proporciones de uso de dicha energa en un horizonte de 10 aos. Las
energas actualmente en uso son: Petrleo, Carbn, Hidrulica y Elica. Por estudios
realizados, se ha establecido que en la actualidad se utiliza el 60% en energa
Hidrulica, 15% en Petrleo y 20% en Carbn. Por otra parte se analiz que: de la
energa Hidrulica el 95% se mantiene usando la misma energa y el 5% cambia a
Elica; del uso del Carbn, el 25% se cambia a Hidrulica, un 45% contina usando
Carbn y un 5% cambia a Petrleo; del uso de Petrleo, un 40% se mantiene usando
Petrleo, un 15% se cambia a Carbn y un 30% se cambia a Hidrulica; tambin se
sabe que quienes usan energa Elica lo siguen haciendo. Se le solicita a Ud.:
a) Matriz inicial del caso
b) Matriz de Transicin para resolver la situacin planteada
c) Diagrama de Transicin
d) Proporcin de uso para los prximos 3 aos
e) Es conveniente de acuerdo a la tendencia del uso de los medios de generar
energa elctrica que se realice investigacin en energa alternativa (Elica) o
buscar mejores mecanismos para obtener petrleo, Carbn o Hidrulica a mas
bajos costos?