Control ptimo y Optimizacin

Dinmica

Problemas de Control ptimo

Proceso de solucin consiste en encontrar los
perfiles de la variable de control vs tiempo de
modo que se optimice un ndice particular de
medida de desempeo del sistema

Maximizar

Sujeto a:

L=

k (x , ) dt + S (T )
T

dx
= f (x , )
dt

x(0) = x0

Mtodos de Solucin Convencionales

El Principio del Mximo
Programacin Dinmica
Clculo de Variacin

Problemas Histricos

La reina Dido plante el problema isoperimtrico:

isoperimtrico Encuentre el
rea mayor que puede ser cubierta con un cordel de longitud fija
(L)
X

A = y ( x) dx
o

L = ds =

(dy ) + (dx )
2

=
0

y x1
xt

dy
1 + dx
dx

Maximize

A = x1 (t ) dt
o

dx1
=u
dt

x1 (0) = 0 x1 (T ) = 0
T

L = 1 + u 2 dt
0

dx2
= 1+ u2
dt

x2 (0) = 0

x2 (T ) = L

Problemas Isoperimtrico

Maximize A = x1 (t ) dt
o

dx1
=u
dt

dx2
= 1+ u2
dt

x1 (0) = 0

x2 (0) = 0

x1 (T ) = 0

x2 (T ) = L

Brachistochrone (Tiempo Mas Corto)

Galileo

Bernoulli

Ingeniera Qumica: Problema de

Destilado Mximo
Maximizar
Rt
Sujeto a:

L=

T
dD
V
dt =
dt
0
dt
Rt + 1

dxt1
V
=
dt
Rt + 1

x01 = Bo = F

dxt2
V ( xt2 xD(1) )
=
dt
Rt + 1
xt1

Pureza
promedio

x =
*
D

V
dt
Rt + 1
V
dt
Rt + 1

xD(1)

x02 = xF(1)

El Principio del Mximo

La funcin objetivo se reformula en la forma lineal de

Mayer
Requiere la incorporacin de ecuaciones diferenciales
ordinarias adicionales (ecuaciones adjuntas)
adjuntas que
representan la dinmica de las variables adjuntas
(tambin agregadas al problema)
Se define una funcin Hamiltoniana (invariante en el
tiempo)
El perfil ptimo se obtiene derivando la funcin
Hamiltoniana con respecto a la variable de control
El sistema resultante es un problema de valores en la
frontera

El Principio del Mximo

Forma Lineal
Maximizar

Maximizar

L = k (x, ) dt

dx
=f
dt

J = c x (T ) = ci xi (T )
T

i =1

dx
= f
dt

x(0) = x0

Hamiltoniano

x(0) = x0

H = f = i f i
T

i =1

Ecuaciones y
Variables Adjuntas

d
=
dt

fx =
j =1

dx
=f
dt

xi

x(0) = x0

(T ) = c

Problem a de Destilado
M ximo: Principio del
M ximo
Funcin objetivo es
re-escrita en forma Maximizar
Rt
Lagrangiana

L=

)]

V
1 xD* xD(1) dt
Rt + 1

Sujeto a:

dxt1
V
=
dt
Rt + 1

x01 = Bo = F

dxt2
V ( xt2 xD(1) )
=
dt
Rt + 1
xt1

x02 = xF(1)

Problem a de Destilado
M ximo: Principio del
M ximo
V
Para obtener forma
[1 (x x )]dt
x =
R +1
t
3

lineal de Mayer

*
D

(1)
D

Maximize
Rt

x3T

Sujeto a:

dxt1
V
=
dt
Rt + 1

x01 = Bo = F

dxt2
V ( xt2 xD(1) )
=
dt
Rt + 1
xt1

x02 = xF(1)

dx t3
V
1 x D* x D(1 )
=
dt
Rt + 1

)]

Hamiltoniano

Problem a de Destilado
M ximo: Principio del
M ximo
V (x x )
V
V
[1 (x
H =
+
+
t

1
t

Ecuaciones y
Variables Adjuntas

)
( )

2
(1)
dt1
2 V xt x D
= t
, T1 = 0
2
dt
(Rt + 1) xt1

Rt +1

2
t

2
t

(Rt +1) x

3
t

Rt +1

*
D

xD(1)

)]

Perfil ptimo
t2 2

(1)
1
*
(1)

+
x
x
x
x
1
(
)
(
)
D
t
D
D
x1 t

t
1
Rt =
2
(1)

xD
t1
Rt
xt

xD(1)
V 1 2
2
xt
V xD(1)
d t
2
3
2

,
= t

=0

t
T
1
2

(Rt + 1) xt
(Rt + 1) xt
dt

dt3
= 0 , T3 = 1
dt

(1)
D
1
t

H
=0
Rt

Programacin Dinmica

Condicin de Optimalidad:
Optimalidad Aplicacin del Principio
de Optimalidad de Bellman da como resultado una
ecuacin diferencial parcial conocida como Ecuacin
Hamilton-Jacobi-Bellman (HJB)
Maximize
0=
t
0=

L
L dx ti
+ k ( x t , t ) +

i
dt
t

i
t

L
k
(
x
,
)
f

+
+
t
i i

t
t

i xt

Maximize
t
0=

Maximize
t

[L t + k + L x f ]

Ecuacin HJB
L Maximize
0=
+
Rt
t

Problem a de Destilado
M ximo: Program a cin
Din mica
V
L V L
*
(1)
x
x
1

+ 2
D
D
1
R
x
R
1
1
+

+
t
t
t
xt

)]

V ( xt2 xD(1) )

1
R
x
1
+
t
t

Perfil ptimo

V xD(1) L 1 xD(1)
V
L L xt2 xD(1)
*
(1)

+
0 = 1 ( xD xD ) 1 + 2
R x 2 x1 R
1
2
(
1
)
1
x
x
x
R
R

+
+
t
t
t
t
t
t
t
t

t

2
(1)

x
x

t
D
L 2
xt xt1
Rt =

L
1 (x D* x D(1) ) + 1
xt
1
L 2

(1)
xt
x D

Rt
xt1

Mismo perfil que en el principio

del mximo si las variables
adjuntas son iguales a las
derivadas de la funcin objetivo
(L) con respecto a las variables
de estado (x)

Problemas Estocsticos
de Control ptimo

No es posible despreciar incertidumbres en algunas

aplicaciones prcticas de problemas de control ptimo:
9
9

En parmetros del modelo

En condiciones iniciales

El problema estocstico de control ptimo resultante

puede ser analizado utilizando Teora de Opcin
Real:
Real
9

9
9

Caracterizando incertidumbres dependientes del tiempo como

Procesos de Ito
Usando el Lema de Ito
Usando las condiciones de optimalidad de Programacin
Dinmica Estocstica

Procesos de Ito

Las variables estocsticas cambian con el tiempo en una forma

incierta
El denominado proceso Wiener se utiliza como base para modelar
una amplia gama de procesos estocsticos ms complicados.
Posee 3 propiedades:
9
9
9

Satisface la propiedad de Markov

Presenta incrementos independientes
Sus cambios en el tiempo se distribuyen normalmente

Un proceso de Ito representa el incremento de una variable

estocstica en el tiempo de acuerdo con:

dx = a( x, t ) dt + b( x, t )dz
a y b son funciones conocidas y dz es el incremento de un
proceso Wiener. Note que E[dz]=0 y E[dz2]=dt

Procesos de Ito
Algunos parmetros ingenieriles pueden representarse como
procesos de Ito:

Movimiento Browniano

dx = dt + dz

Mean reverting process

dx = xavg x dt + dz

Movimiento Geomtrico Browniano

dx = x dt + x dz

Lema de Ito

Teorema Fundamental del Clculo Estocstico

Permite derivar e integrar funciones de variables estocsticas que
se comportan como procesos de Ito

dx = a( x, t ) dt + b( x, t )dz
1 2F
F
F
2
(
)
dF =
dt +
dx +
dx
t
x
2 x 2
F
F 1 2
2 F
dF = + a( x, t ) + b ( x, t ) 2
x 2
x
t

F
dt + b( x, t ) dz
x

No se desprecian algunas contribuciones de segundo orden dado

que E[dz2]=dt

Programacin Dinmica Estocstica

Se ha desarrollado una extension a las condiciones de

optimalidad de programacin dinmica para el caso
estocstico:
Maximize
T
L = 0 k (x t , t ) dt
t

Sujeto a:
Condiciones de
Optimalidad:
Optimalidad

dx ti = f i x t , t dt + i dz

0=

Procesos de Ito

Maximize
1

k
(
x
E
(
dL
)
t ,t ) +

t
dt

Maximize L
i2 2 L
2L
L
0=
+ i j i j
+ k ( xt , t ) + i fi ( xt , t ) +
i 2
t
2
t

(xt ) i j
xt xt
i xt
i

Principio del Mximo para Problemas

Estocsticos

Con base en las condiciones de optimalidad para programacin

dinmica, se pudieron derivar las expresiones correspondientes al
mtodo del principio del mximo
Las variables adjuntas () en el principio del mximo son equivalentes
a las derivadas parciales de la funcin objetivo con respecto a las
variables de estado (Lx) de programacin dinmica
El principal resultado del anlisis es la derivacin de las ecuaciones
adjuntas
Las derivadas de segundo orden de la funcin objetivo con especto
a las variables de estado (Lxx) en programacin dinmica
estocstica tiene que ser tambin incluidas y se incorporan en la
formulacin a travs de las variables adjuntas adicionales,

Principio del Mximo para Problemas

Estocsticos

Se utiliza representacin escalar aunque el anlisis es vlido para

el caso vectorial
H = f

dx
=f
dt
d
= fx
dt

x(0) = x0
(T ) = c

2
H = f +
2

dx = f dt + dz

x ( 0 ) = x0

( )

1
d

= fx
2
dt

( )

d
1

= 2 f x f xx
dt
2

Determinstico

xx

Estocstico

(T ) = c

(T ) = 0

Versin Estocstica del Problema

de Destilado Mximo
Maximize
Rt

dD
T V
L=
dt = 0
dt
dt
Rt + 1
T
0

Sujeto a:

V
x
0 Rt + 1 dt *
= T
= xD
V
0 Rt + 1 dt
T

xDave

dxt1
V
=
dt
Rt + 1

(1)
D

Restriccin externa usada

como criterio de
convergencia

dx t2

x01 = Bo = F

V ( x t2 x D(1) )
dt + x t2 2 dz 2
=
1
Rt + 1
xt

Proceso Ito

x 02 = x F(1)

R e lativ e V o latility

Volatilidad Relativa como un

Proceso de Ito
3.2
3.15
3.1
3.05
3
2.95
2.9
2.85
2.8
2.75

R igorous
S im ulation
P ath 1
P ath 2
P ath 3

T im e (H rs)

Ocasiona un comportamiento incierto en las

variables de estado

Principio del Mximo

(

2
(1)
d
2 V xt x D
=
2
dt
(Rt + 1) xt1

Ecuaciones
Adjuntas

Perfil
ptimo

( )

x D(1)
V 1 2
xt
2 2

2 xt
(Rt + 1) xt1

2 xD(1)
xD(1)
V
V 1 2
2 2

x
V xt2 xD(1)
d
t
2

t
+
= 2
2
1
1
2
dt
(Rt + 1) xt
(Rt + 1) xt
(Rt + 1) xt1

( )

Rt =

xt1

xt2
xD(1)
Rt

xD(1)

( )

( )

R
(
1
)
+

xt1 2 2 xt2 t

R
V

1
+
xD(1)

Rt

Perfil ptimo de la Razn de Reflujo

Se requieren valores de reflujo ms grandes debido a la

disminucin en el valor de la volatilidad relativa con el tiempo
La desviacin respecto al caso determinstico tambin cambia
con el tiempo debido al efecto de las incertidumbres

Nuevamente el Problema Isoperimtrico

Considere ahora la versin estocstica del problema

isoperimtrico
Determinstico

Movimiento Browniano

Maximize
x3 (T )
u

dx1
=u
dt

x1 (0) = 0

x1 (T ) = 0

dx2
x2 (0) = 0 x2 (T ) = L
= 1+ u2
dt
dx3
x3 (0) = 0
= x1
dt

L = 16

Estocstico

dx1 = u dt + dz

x1 (0) = 0 x1 (T ) = 0

= 0.5

Suposicin meramente
acadmica

Soluciones al Problema Isoperimtrico

1 = t + c1
2 = c2
3 = 1
=0
u
1 +
2 = 0
2
1+ u

Bibliografa
1. Teora de optimizacin (determinstica) y
Aplicaciones en Ingeniera Qumica
a) Practical Methods of Optimization; R. Fletcher, 2nd. Ed., Wiley
b) Optimization of Chemical Processes; Edgar, Himmelblau and Larson,
2nd. Ed., McGraw-Hill
c) Nonlinear Programming, Theory and Algorithms; Bazaraa, Sherali and
Shetty, Wiley
d) Systematic Methods for Chemical Process Design; Biegler, Grossmann
and Westerberg, Prentice Hall
e) Linear Programming; Chvatal Vasek, Ed. W. H. Freeman and Co.

2. Programacin MultiObjetivo
a) Introduction to Applied Optimization, Diwekar, Kluwer Academic
Publishers

Bibliografa
3. Programacin Estocstica
a) Stochastic Programming, Kall and Wallace, Wiley

4. Control ptimo
a) Batch Distillation, Simulation, Optimal Design and Control; Diwekar, Ed.
Taylor and Francis
b) Optimal Control Theory; Sethi and Thompson, Kluwer Academic
Publishers
c) Investment Under Uncertainty; Dixit and Pindyck, Princeton University
Press