UNIVERSIDAD PRIVADA DEL NORTE

DOCENTE: Ing. Samir Augusto Arvalo Vidal

CIP 177 295

CURSO: Investigacin de Operaciones II

Lima-Per
2015
 PROGRAMACIN DINMICA

OBJETIVOS:

Conocer los fundamentos de la programacin dinmica probabilstica.

Formular programaciones dinmicas probabilstica para resolver situaciones reales
con propiedades que satisfacen soluciones ptimas.
Determinar una poltica ptima que de como resultado el mejor rendimiento ptimo.
Dar soluciones factibles a los problemas que se suscitan en el mbito de la
ingeniera relacionados con las proyecciones probabilsticas.
PROCESOS ESTOCSTICOS DE DECISIN DE N ETAPAS

Un proceso de decisin de n etapas es dinmico si el rendimiento asociado con al

menos una decisin del proceso aleatorio. Esta aleatoriedad se presenta en una de
dos formas. O los estados son determinados exclusivamente por las decisiones, pero
los rendimientos asociados con uno o ms de los estados son inciertos, o los
rendimientos son determinados exclusivamente por los estados, pero los estados
que se presentan a partir de una o ms de las decisiones son inciertas.
 TABLAS DE POLTICAS

Para los procesos en los cuales la aleatoriedad existe en los estados asociados
con las decisiones, una poltica puede exhibirse como una tabla de polticas
similar a la siguiente tabla N01.
( ) = 1,2, , ; = 1,2,
Denota la decisin en la etapa j si el proceso se encuentra en un estados .

a1 a2 a3

1 d1(a1) d1(a2) d1(an)

Tabla 2 d2(a1) d2(a2) d2(an)
N01
n dn(a1) dn(a2) dn(an)
 PROBLEMA 01

Se va a distribuir entre 3 tiendas ocho barricas de naranjas. La demanda de naranjas

en cada tiendas en aleatoria, de acuerdo con las distribuciones probabilsticas
mostradas en la siguiente tabla N01. El beneficio por barrica vendida en las
tiendas 1, 2, y 3 es de $18, 20 y $21, respectivamente. Determine el nmero de
barricas ( con la condicin de que sea entero) que deberan asignarse a cada tienda
para maximizar el beneficio total esperado.
 PROBABILIDADES DE DEMANDA
BARRICAS
TIENDA 1 TIENDA 2 TIENDA 3
0 0.1 0 0.1
1
2
0.2
0.3
0.2
0.6
0.3
0.2
3 0.2 0 0.2
4 0.1 0.2 0
5 0.1 0 0.2

Este proceso de decisin de tres etapas. Los estados son u=0, 1, 2, , 8,

representando el nmero de barricas disponibles para envo a una tienda. No hay
aleatoriedad en cuanto al estado resultante de cualquier decisin- Si se asignan 2
barricas a una tienda, entonces esta tienda almacenar 2 barricas- pero hay
aleatoriedad en cuanto al rendimiento de cada uno de los estados.
En consecuencia lo que se maximiza es el beneficio esperado, ms que el beneficio
total, se define lo siguiente:

=

= , .
=
f x 0 1 2 3 4 5 6 7 8

f1(x) 0,00 16,60 28,80 36,00 39,60 41,40 41,40 41,40 41,40
f2(x) 0,00 20,00 36,00 40,00 44,00 44,00 44,00 44,00 44,00
f3(x) 0,00 18,90 31,50 39,90 44,10 48,30 48,30 48,30 48,30

TABLA N02

Con 3 barricas asignadas, la tienda 1 obtiene un beneficio de $0 su vende 0

barricas, $18 si se vende 1, $36 si venden 2, $54 si venden 3. Las probabilidades
respectivas de los 3 primeros de estos eventos son, a partir de la TABLA N01 y
son 0,1; 0,2 y 0,3. La probabilidad del cuarto evento es la probabilidad de que la
demanda sea igual o mayor a 3 barricas, 0,2 + 0,1+ 0,1= 0,4. Entonces:

f1(3)=0x0,1 + 18x0,2 + 36x0,3 + 54x0,4= 36

f2(5)=20x0 + 20x0,2 + 40x0,6 + 60x0+ 80x0,2+100x0= 44

Etapa 1, U=1,2,8
f1(1)= 0 x 0,1 + 18 x 0,9 = 16,20
f1(2)= 0 x 0,1 + 18 x 0,2 + 36 x 0,7 = 28,80
f1(3)= 0x 0,1 + 18 x 0,2 + 36 x 0,3 + 54 x 0,4 = 36,00
f1(4)= 0x 0,1 + 18 x 0,2 + 36 x 0,3 + 54 x 0,2 + 72 x 0,2 = 39,60
f1(5)= 0x 0,1 + 18 x 0,2 + 36 x 0,3 + 54 x 0,2 + 72 x 0,1 + 90 x 0,1 = 41,40
f1(6)= 0x 0,1 + 18 x 0,2 + 36 x 0,3 + 54 x 0,2 + 72 x 0,1 + 90 x 0,1 = 41,40
f1(7)= 0 x 0,1 + 18 x 0,2 + 36 x 0,3 + 54 x 0,2 + 72 x 0,1 + 90 x 0,1 = 41,40
f1(8)= 0 x 0,1 + 18 x 0,2 + 36 x 0,3 + 54 x 0,2 + 72 x 0,1 + 90 x 0,1 = 41,40

Etapa 2, U=1,2,8
f2(1)= 0x 0 + 20 x 1 = 20,00
f2(2)= 0x 0 + 20 x 0,2 + 40 x 0,8 = 36,00
f2(3)= 0x 0 + 20 x 0,2 + 40 x 0,6 + 60 x 0,2 = 40,00
f2(4)= 0x 0 + 20 x 0,2 + 40 x 0,6 + 60 x 0 + 80 x 0,2 = 44,00
f2(5)= 0x 0 + 20 x 0,2 + 40 x 0,6 + 60 x 0 + 80 x 0,2 + 100 x 0 = 44,00
f2(6)= 0x 0 + 20 x 0,2 + 40 x 0,6 + 60 x 0 + 80 x 0,2 + 100 x 0 = 44,00
f2(7)= 0x 0 + 20 x 0,2 + 40 x 0,6 + 60 x 0 + 80 x 0,2 + 100 x 0 = 44,00
f2(8)= 0x 0 + 20 x 0,2 + 40 x 0,6 + 60 x 0 + 80 x 0,2 + 100 x 0 = 44,00
Etapa 3, U=1,2,8
f3(1)= 0x 0,1 + 21 x 0,9 = 18,90
f3(2)= 0x 0,1 + 21 x 0,3 + 42 x 0,6 = 31,50
f3(3)= 0x 0,1 + 21 x 0,3 + 42 x 0,2 + 63 x 0,4 = 39,90
f3(4)= 0x 0,1 + 21 x 0,3 + 42 x 0,2 + 63 x 0,2 + 84 x 0,2 = 44,10
f3(5)= 0x 0,1 + 21 x 0,3 + 42 x 0,2 + 63 x 0,2 + 84 x 0 + 105 x 0,2 = 48,30
f3(6)= 0x 0,1 + 21 x 0,3 + 42 x 0,2 + 63 x 0,2 + 84 x 0 + 105 x 0,2 = 48,30
f3(7)= 0x 0,1 + 21 x 0,3 + 42 x 0,2 + 63 x 0,2 + 84 x 0 + 105 x 0,2 = 48,30
f3(8)= 0x 0,1 + 21 x 0,3 + 42 x 0,2 + 63 x 0,2 + 84 x 0 + 105 x 0,2 = 48,30

Para completar la siguiente TABLA N 03, se siguen los siguientes pasos:

n= 3 u= 8

m3(8) = max ( f3 ( 0 ) + f3 ( 1 ) + f3 ( 2 ) + f3 ( 3 ) + f3 ( 4 ) + f3 ( 5 ) + f3 ( 6 ) + f3 ( 7 ) + f3 ( 8 ) )
max ( 0,00 + 18,90 + 31,50 + 39,90 + 44,10 + 48,30 + 48,30 + 48,30 + 48,30 )
max ( 48,30 )
d3(8) = 5

m3(7) = max ( f3 ( 0 ) + f3 ( 1 ) + f3 ( 2 ) + f3 ( 3 ) + f3 ( 4 ) + f3 ( 5 ) + f3 ( 6 ) + f3 ( 7 ) )
max ( 0,00 + 18,90 + 31,50 + 39,90 + 44,10 + 48,30 + 48,30 + 48,30 )
max ( 48,30 )
d3(7) = 5
m3(6) = max ( f 3 ( 0 ) + f3 ( 1 ) + f3 ( 2 ) + f3 ( 3 ) + f3 ( 4 ) + f3 ( 5 ) + f3 ( 6 ) )
max ( 0,00 + 18,90 + 31,50 + 39,90 + 44,10 + 48,30 + 48,30 )
max ( 48,30 )
d3(6) = 5

m3(5) = max ( f 3 ( 0 ) + f3 ( 1 ) + f3 ( 2 ) + f3 ( 3 ) + f3 ( 4 ) + f3 ( 5 ) )
max ( 0,00 + 18,90 + 31,50 + 39,90 + 44,10 + 48,30 )
max ( 48,30 )
d3(5) = 5

m3(4) = max ( f 3 ( 0 ) + f3 ( 1 ) + f3 ( 2 ) + f3 ( 3 ) + f3 ( 4 ) )
max ( 0,00 + 18,90 + 31,50 + 39,90 + 44,10 )
max ( 44,10 )
d3(4) = 4

m3(3) = max ( f 3 ( 0 ) + f3 ( 1 ) + f3 ( 2 ) + f3 ( 3 ) )
max ( 0,00 + 18,90 + 31,50 + 39,90 )
max ( 39,90 )
d3(3) = 3

m3(2) = max ( f 3 ( 0 ) + f3 ( 1 ) + f3 ( 2 ) )
max ( 0,00 + 18,90 + 31,50 )
max ( 31,50 )
d3(2) = 2
m3(1) = max ( f3 ( 0 ) + f3 ( 1 ) )
max ( 0,00 + 18,90 )
max ( 18,90 )
d3(1) = 1

m3(0) = max ( f3 ( 0 ) )
max ( 0,00 )
max ( 0,00 )
d3(0) = 0
 n= 2 u= 8

m2(8) = max ( f2 ( 0 ) + m3 ( 8 - 0 ); f2 ( 1 ) + m3 ( 8 - 1 ); f2 ( 2 ) + m3 ( 8 - 2 ); f 2 ( 3 ) + m3 ( 8 - 3 ); f2 ( 4 ) + m3 ( 8 - 4 ); f2 ( 5 ) + m3 ( 8 - 5 ); f2 ( 6 ) + m3 ( 8 - 6 ); f2 ( 7 ) + m3 ( 8 - 7 ); f2 ( 8 ) + m3 ( 8 - 8 ) )
max ( 0,00 + 48,30 ; 20,00 + 48,30 ; 36,00 + 48,30 ; 40,00 + 48,30 ; 44,00 + 44,10 ; 44,00 + 39,90 ; 44,00 + 31,50 ; 44,00 + 18,90 ; 44,00 + 0,00 )
max ( 88,30 )
d2(8) = 3

m2(7) = max ( f2 ( 0 ) + m3 ( 7 - 0 ); f2 ( 1 ) + m3 ( 7 - 1 ); f2 ( 2 ) + m3 ( 7 - 2 ); f 2 ( 3 ) + m3 ( 7 - 3 ); f2 ( 4 ) + m3 ( 7 - 4 ); f2 ( 5 ) + m3 ( 7 - 5 ); f2 ( 6 ) + m3 ( 7 - 6 ); f2 ( 7 ) + m3 ( 7 - 7 ) )
max ( 0,00 + 48,30 ; 20,00 + 48,30 ; 36,00 + 48,30 ; 40,00 + 44,10 ; 44,00 + 39,90 ; 44,00 + 31,50 ; 44,00 + 18,90 ; 44,00 + 0,00 )
max ( 84,30 )
d2(7) = 2

m2(6) = max ( f2 ( 0 ) + m3 ( 6 - 0 ); f2 ( 1 ) + m3 ( 6 - 1 ); f2 ( 2 ) + m3 ( 6 - 2 ); f 2 ( 3 ) + m3 ( 6 - 3 ); f2 ( 4 ) + m3 ( 6 - 4 ); f2 ( 5 ) + m3 ( 6 - 5 ); f2 ( 6 ) + m3 ( 6 - 6 )
max ( 0,00 + 48,30 ; 20,00 + 48,30 ; 36,00 + 44,10 ; 40,00 + 39,90 ; 44,00 + 31,50 ; 44,00 + 18,90 ; 44,00 + 0,00 )
max ( 80,10 )
d2(6) = 2

m2(5) = max ( f2 ( 0 ) + m3 ( 5 - 0 ); f2 ( 1 ) + m3 ( 5 - 1 ); f2 ( 2 ) + m3 ( 5 - 2 ); f2 ( 3 ) + m3 ( 5 - 3 ); f2 ( 4 ) + m3 ( 5 - 4 ); f2 ( 5 ) + m3 ( 5 - 5 )
max ( 0,00 + 48,30 ; 20,00 + 44,10 ; 36,00 + 39,90 ; 40,00 + 31,50 ; 44,00 + 18,90 ; 44,00 + 0,00 )
max ( 75,90 )
d2(5) = 2

m2(4) = max ( f2 ( 0 ) + m3 ( 4 - 0 ); f2 ( 1 ) + m3 ( 4 - 1 ); f2 ( 2 ) + m3 ( 4 - 2 ); f2 ( 3 ) + m3 ( 4 - 3 ); f2 ( 4 ) + m3 ( 4 - 4 )
max ( 0,00 + 44,10 ; 20,00 + 39,90 ; 36,00 + 31,50 ; 40,00 + 18,90 ; 44,00 + 0,00 )
max ( 67,50 )
d2(4) = 2

m2(3) = max ( f2 ( 0 ) + m3 ( 3 - 0 ); f2 ( 1 ) + m3 ( 3 - 1 ); f2 ( 2 ) + m3 ( 3 - 2 ); f2 ( 3 ) + m3 ( 3 - 3 )
max ( 0,00 + 39,90 ; 20,00 + 31,50 ; 36,00 + 18,90 ; 40,00 + 0,00 )
max ( 54,90 )
d2(3) = 2
m2(2) = max ( f2 ( 0 ) + m3 ( 2 - 0 ); f2 ( 1 ) + m3 ( 2 - 1 ); f2 ( 2 ) + m3 ( 2 - 2 )
max ( 0,00 + 31,50 ; 20,00 + 18,90 ; 36,00 + 0,00 )
max ( 38,90 )
d2(2) = 1

m2(1) = max ( f2 ( 0 ) + m3 ( 1 - 0 ); f2 ( 1 ) + m3 ( 1 - 1 )
max ( 0,00 + 18,90 ; 20,00 + 0,00 )
max ( 20,00 )
d2(1) = 1

m2(0) = max ( f2 ( 0 ) + m3 ( 1 - 0 )
max ( 0,00 + 0,00 )
max ( 0,00 )
 n= 1 u= 8

m1(8) = max ( f1 ( 0 ) + m3 ( 8 - 0 ); f1 ( 1 ) + m3 ( 8 - 1 ); f1 ( 2 ) + m3 ( 8 - 2 ); f1 ( 3 ) + m3 ( 8 - 3 ); f1 ( 4 ) + m3 ( 8 - 4 ); f1 ( 5 ) + m3 ( 8 - 5 ); f1 ( 6 ) + m3 ( 8 - 6 ); f1 ( 7 ) + m3 ( 8 - 7 ); f1 ( 8 ) + m3 ( 8 - 8 ) )
max ( 0,00 + 88,30 ; 16,60 + 84,30 ; 28,80 + 80,10 ; 36,00 + 75,90 ; 39,60 + 67,50 ; 41,40 + 54,90 ; 41,40 + 38,90 ; 41,40 + 20,00 ; 41,40 + 0,00 )
max ( 111,90 )
d1(8) = 3

TABLA N03
u
0 1 2 3 4 5 6 7 8
m3(u) 0,00 18,90 31,50 39,90 44,10 48,30 48,30 48,30 48,30
d3(u) 0 1 2 3 4 5 5 5 5
m2(u) 0,00 20,00 389,00 54,90 67,50 75,90 80,10 84,30 88,30
d2(u) 0 1 1 2 2 2 2 2 3
m1(u) 111,90
d1(u) 3
 X1*= d1(8)= 3
La poltica X2*= d2(8-X1*)= 2
PTIMA: X3*= d3(8-X1*-X2*)= 3
PROGRAMACIN DINMICA
PROBABILSTICA
En la programacin dinmica probabilstica, la transicin al estado de una etapa
siguiente no se determina por el estado de la decisin poltica en la etapa actual.
Despus de la decisin, quiz la transicin al estado de la etapa siguiente dependa del
azar; esto es, de una variable aleatoria que sigue una distribucin de probabilidad y
que puede estar condicionada por el estado, etapa y decisin poltica de la etapa
actual. O simplemente, en j=t(n,i,k), la funcin t es una variable aleatoria en el
sentido de que la transicin (n,i,k) -> (n+1,j), que se representa en el siguiente
esquema, tiene la probabilidad , , .
ETAPA N+1
ETAPA N
Transicin
1 , , 1 f*(n+1,1) probabils
tica de un
Decisin K (n,i,k 2 , ,
i 2 f*(n+1,2) problema
C(n,i,k) )
de
programa
, , dinmica.
m f*(n+1,m)
Cuando se expande el diagrama para incluir todos los estados y decisiones posibles en
todas las etapas, se obtiene un rbol de decisin del problema.

En el caso de aditividad simple, la relacin recursiva podr describirse por la siguiente

ecuacin:
, , = , , + , , ( + 1, )
=1

En la expresin, la sumatoria representa el valor esperado de la funcin de

recurrencia en la etapa posterior n+1, para todos los estados posibles de
transicin. Finalmente, est debe sumarse al costo o contribucin subsecuente
de la decisin que tom en (n,i).
 PROBLEMA 02
Una unidad de cierto producto puede fabricarse en una semana. El comprador hace
un pedido de una unidad que deber entregarse al final de la primera semana y
otro de ms de una unidad que se entregar al final de la segunda. Al ser entregado
el artculo al final de la primera semana, el comprador lo somete a un control de
calidad. De acuerdo con el control realizado, el comprado decide adquirirlo y pagar
la cantidad de 600 u.m. en la siguiente semana. En caso de no superar el
procedimiento de control, lo rechazar, lo cual constituir una prdida total para el
productor.

Para la produccin de un artculo en una semana, quiz se utilice 1 o 2 unidades de

produccin, cada una de ellas a un costo total de 100 u.m. (maquinaria, mano de
obra, materia prima, entre otros), y son independientes entre s. Una unidad de
produccin tiene la probabilidad igual a 0,5 para fabricar un artculo que supere un
control de calidad del comprador. Estos datos de costo y probabilidad se refieren a
las condiciones actuales para la produccin de la primera semana.

Para la segunda semana, las unidades de produccin sufrirn un ajuste tecnolgico

que elevar la probabilidad de conformidad, para cada una, a 0,65 y tambin
elevar el costo total de una unidad de proceso al 50%.
Represente el diagrama del problema y determine la mejor decisin poltica al inicio
de cada semana de produccin y en todas las situaciones.
MODELACIN Y SOLUCIN DEL PROBLEMA

La decisin k representa el nmero de unidades de producto a la semana. Cada etapa es

el inicio de una semana. Los estados representan el nmero de artculos aceptados por
el comprador, referidos a la produccin de la semana anterior.

As en la semana 0 hay apenas un costo de 100 u.m. en el cas de que se utilice una
unidad de proceso, o de 200 u.m. si se usan dos unidades de proceso. Para la semana
posterior los costos se elevan a 150 u.m. si K=1 y a 300 u.m si K=2. En la semana 1, si se
acepta el artculo producido la semana anterior, debe considerarse la contribucin o
efecto adicional de 600 u.m. menos el costo de las unidades utilizadas, lo cual resulta en
una contribucin positiva.

Al final, en el inicio de la semana 2, el valor de la funcin de recurrencia refleja la

frmula adicional de venta del artculo producido en la semana 1, que puede ser 0
600 u.m., en caso de que el artculo haya sido rechazado o aceptado, respectivamente.
 (0,7 1 300 (0,877 1 600
K= 5) K= 5)
-200 (0,2 450 (0,122
0 5) 5)
-100 (0,5 (0,6
-300
0) 5)
K= 0 K=
(0,5 -150 0 0
(0,3
0) 5)
Programacin dinmica
probabilstica
En relacin con la distribucin de probabilidad, cuando n=0, i=0 y k=2, entonces el
artculo no ser aceptado si ambas unidades de proceso no consigue el artculo
correcto, esto es,
1 2 =
0,500,50 = 0,25 1 0,25 = 0,75

Se aplica un razonamiento anlogo para n=1, K=2. De acuerdo con la ecuacin vista ,
ello resulta:

1,1,1 = 450 + 0,65600 + 0,350 = 840

1,1,2 = 300 + 0,8775600 + 0,12250 = 826,50
1,1 = 840; 826,50 = 840 = 1
f(1,i,k)
i/k 1 2 K* f*(1,i)
De la misma manera se trabaja para los dems casos.
0 Por240,00
lo tanto226,50
obtenemos
1 el 240,00
1 840,00 826,50 1 840,00
siguiente cuadro:

f(1,i,k)
f(1,i,k)
i/k 1 2 K* f*(1,i)
i/k 1 2 K* f*(1,i)
0 240,00 226,50 1 240,00
0 440,00 490,00 2 490,00
1 840,00 826,50 1 840,00

As las decisiones ptimas son ubicar dos unidades de produccin para la primera
f(1,i,k)
ronda
i/k
(semana
1
0)2 y nicaK*unidadf*(1,i)
de produccin para la siguiente (semana 1), el
margen
0 de que 490,00
440,00 el artculo2 sea aceptado
490,00 o no.
En una urna para sorteo contiene 5 bolas, 4 verdes y 1 roja. Un candidato del auditorio gana
160 u.m. por participar y el presentador le explica que puede quedarse con el dinero si
desistir del juego o participar en el sorteo y elegir una bola de la urna. Si acepta, el
participante pierde el dinero que ya gan si saca la bola roja, o gana 50% ms sobre el valor
de lo que ya tiene si sale la verde. En este ltimo caso, el participante decidir de nuevo
entre desistir o continuar con las mismas condiciones. La bola que ya extrajo no se repone.

Este proceso puede repetirse varias veces. Represente el diagrama del problema del
candidato y determine la mejor decisin poltica para l en cada momento que debe tomar
una decisin (vase el siguiente diagrama).

2 160 2 0 240 2 360 2 0 540 2 0

A
D D D D
P (1/5) P (1/4) P (1/3) P (1/2)

1 1 1 1 1
C G (4/5) C G (3/4) C G (2/3) C G (1/2)
ETAPA 1 ETAPA 2 ETAPA 3 ETAPA 4 ETAPA 5
SOLUCIN

Cada etapa n representa la n-sima respuesta que el candidato debe dar al

presentador para decidir entre continuar (C) o desistir (D) del juego. As, las decisiones
C o D.
Los estados de cada etapa, a partir de n=2, son dos:

1. El candidato juego y toma una decisin (C o D).

2. El candidato sale del juego en la etapa anterior.

As, por ejemplo, la funcin de recurrencia en n=4 e i=1 se calcula con:

f(4,1,D)= 540
f(4,1,C)= 0,5x810+0,5x0= 405
4,2 = 0 f(4,i,k)
C D K* f*(4,i)
1 405 540 D 540
ETAPA 4 2 - 0 D 0

f(3,i,k)
C D K* f*(3,i)
ETAPA 3 1 360 360 DoC 360
2 - 0 D 0
 f(3,1,D)= 360 f(1,1,D)= 160
f(3,1,C)= 1/3x0+2/3x540= 360 f(1,1,C)=
3,2 = 0 1/5x0+4/5x540= 432
f(2,1,D)= 240 1,2 = 0
f(2,1,C)= 1/4x0+3/4x360= 270
2,2 = 0 f(2,i,k)
C D K* f*(2,i)
1 270 240 C 270
ETAPA 2 2 - 0 D 0

f(1,i,k)
C D K* f*(1,i)
1 216 160 C 216
ETAPA 1 2 - 0 D 0

As, las decisiones ptimas son continuar en el juego en las dos primeras etapas,
indiferencia entre continuar o desistir en la tercera y desistir en la cuarta decisin.
 BIBLIOGRAFIA

INVESTIGACION DE OPERACIONES Aplicaciones y Algoritmos, Wayne L. Winston.

INVESTIGACION DE OPERACIONES, Hamdy Taha.