Repblica Bolivariana de Venezuela

Ministerio del Poder Popular para la Defensa

Universidad Nacional Experimental de las Fuerzas Armadas

Extensin Santa Teresa del Tuy

Ncleo Miranda

Optimizacin No Lineal

6to Semestre

Mtodos
de
Optimiza
cin
Profesora: Alumnos:

Florangela Angulo Maria De Ose C.I. 23.652.239

Raidenis Piango C.I. 23.658.902

17/11/2016
 Mtodo de optimizacin de funciones sin restriccin

El mtodo sin restricciones puede ayudar en gran manera a la solucin de

ciertas clases de problemas complejos en el rea de ingeniera causando un
impacto significativo en la solucin de ciertos problemas.

Optimizacin de funciones sin restriccin

Optimizar una funcin es el proceso que permite encontrar el valor

mximo y/o mnimo que puede tomar una funcin, as como aquellos valores de la
variable independiente que hacen que la funcin sea ptima.

Una buena tcnica de optimizacin de variables es fundamental por al menos

tres razones:

En muchos problemas las restricciones se pueden incluir dentro de la

funcin objetivo, por lo que la dimensionalidad del problema se reduce a
una variable.
Algunos problemas sin restricciones, inherentemente incluyen una nica
variable.
Las tcnicas de optimizacin con y sin restricciones, generalmente
incluyen pasos de bsqueda unidireccional en sus algoritmos.
En optimizacin sin restricciones se minimiza una funcin objetivo que
depende de variables reales sin restricciones sobre los valores de esas
variables.

La formulacin matemtica es:

(OSR) = _minx

f(x) IRn

Donde f es una funcin suficientemente regular.

Mtodo del gradiente

 El mtodo del gradiente consiste en un algoritmo especfico para la
resolucin de modelos de PNL (Programacin no lineal) sin restricciones,
perteneciente a la categora de algoritmos generales de descenso, donde la
bsqueda de un mnimo est asociado a la resolucin secuencial de una serie de
problemas unidimensionales.

Los pasos asociados a la utilizacin del mtodo del gradiente o descenso

ms pronunciado consisten en:

Mtodo de Newton

El mtodo de Newton (conocido tambin como el mtodo de Newton-

Raphson) es un algoritmo para encontrar aproximaciones de los ceros o races de
una funcin real. Tambin puede ser usado para encontrar el mximo o mnimo de
una funcin, encontrando los ceros de su primera derivada.

El mtodo de Newton-Raphson es un mtodo abierto, en el sentido de que

no est garantizada su convergencia global. La nica manera de alcanzar la
convergencia es seleccionar un valor inicial lo suficientemente cercano a la raz
buscada. As, se ha de comenzar la iteracin con un valor razonablemente cercano
al cero (denominado punto de arranque o valor supuesto). La relativa cercana del
punto inicial a la raz depende mucho de la naturaleza de la propia funcin; si sta
presenta mltiples puntos de inflexin o pendientes grandes en el entorno de la
raz, entonces las probabilidades de que el algoritmo diverja aumentan, lo cual
exige seleccionar un valor puesto cercano a la raz. Una vez que se ha hecho esto,
el mtodo linealiza la funcin por la recta tangente en ese valor supuesto. La
abscisa en el origen de dicha recta ser, segn el mtodo, una mejor aproximacin
de la raz que el valor anterior. Se realizarn sucesivas iteraciones hasta que el
mtodo haya convergido lo suficiente.

Sea f: [a, b] -> R funcin derivable definida en el intervalo real [a, b].
Empezamos con un valor inicial X0 y definimos para cada nmero natural n

f (X n )
X n +1= X n
f ' ( Xn)

Donde f ' denota la derivada de f.

Mtodo del gradiente

El mtodo del gradiente conjugado es un algoritmo para resolver

numricamente los sistemas de ecuaciones lineales cuyas matrices son simtricas
y definidas positivas. Es un mtodo iterativo, as que se puede aplicar a los
sistemas dispersos que son demasiado grandes para ser tratados por mtodos
directos como la descomposicin de Cholesky. Tales sistemas surgen
frecuentemente cuando se resuelve numricamente las ecuaciones en derivadas
parciales.

El mtodo del gradiente conjugado se puede utilizar tambin para resolver

los problemas de optimizacin sin restricciones como la minimizacin de la
energa.

El mtodo del gradiente conjugado proporciona una generalizacin para

matrices no simtricas. Varios mtodos del gradiente conjugado no lineales buscan
los mnimos de las ecuaciones no lineales.

Mtodo Quasi-Newton

Los mtodos Quasi-Newton, se utilizan si la derivada de la funcin

objetivo es difcil de calcular, o sta viene dada de forma numrica. Se basan en
sustituir las derivadas por aproximaciones en diferencias finitas.
 La idea fundamental de los mtodos Quasi-Newton es intentar construir
una aproximacin de la inversa del Hessiano, usando informacin obtenida
durante el proceso de descenso Estos mtodos son similares a los mtodos de
gradiente conjugado en el sentido de que se basan principalmente en propiedades
de las funciones cuadrticas. Sin embargo, en el mtodo del gradiente conjugado,
la principal fortaleza de la bsqueda se deriva del uso de las direcciones
conjugadas de bsqueda, mientras que los mtodos de Quasi-Newton estn
diseados para imitar ms directamente las caractersticas positivas del mtodo de
Newton, pero usando solo informacin de primer orden.

Ejemplo de Mtodo de Quasi-Newton

Etapa 1: (Punto inicial). Se toma

Por tanto, coincide con el mtodo de la mxima pendiente, resultando

t=2y

Etapa 2: (Generacin de la direccin de bsqueda). Para usar la frmula de

DFP se necesitan los vectores y matrices:
 Ejemplo del Mtodo del Gradiente

Considere el siguiente modelo de programacin no lineal sin restricciones.

Aplique 2 iteraciones del mtodo del gradiente a partir del punto inicial X0 = (1,1).

Min f(x1, x2) = x12 + 2x22 + 4x1 4x2

1era Iteracin

a) Punto Inicial x0 = (1,1). Hacer k=0.

b) Escoger una direccin de descenso d0 = - f(x0) = -(2x1+4,4x2-

4) = (-6,0).
c) Realizar una bsqueda lineal que seleccione un paso
a. g0(0) = f(x0+ 0d0) < f(x0) = gk(0)
b. g0(0) = f((1,1) + 0(-6,0)) = f(1- 60,1)

Que al Evaluar en la funcin objetivo original se obtiene 0

=

d) Hacer x0+1 = x0 + 0d0 = (1,1) + (-6,0) = (-2,1).

2da Iteracin

a) Punto inicial x1 = (-2,1). Hacer k=1.

b) Escoger una direccin de descenso d1 = - f(x1) = -(2x1 + 4, 4x2 - 4) =

(0,0)

Luego de realizar la segunda iteracin se verifica que se cumplen las

condiciones necesarias de primer orden (d1 = (0,0)). Adicionalmente se puede
comprobar que la funcin objetivo resulta ser convexa y en consecuencia las
condiciones de primer orden resultan ser suficientes para afirmar que la
coordenada (x1, x2) = (-2,1) es el ptimo o mnimo global del problema.

Ejemplo del Mtodo de Newton

Consideremos el problema de encontrar un nmero positivo x tal que

cos(x) = x3. Podramos tratar de encontrar el cero de f(x) = cos(x) - x3.

Sabemos que f '(x) = -sin(x) - 3x2. Ya que cos(x) 1 para todo x y x3 > 1
para x>1, deducimos que nuestro cero est entre 0 y 1. Comenzaremos probando
con el valor inicial x0 = 0,5

Los

dgitos correctos estn subrayados. En particular, x6 es correcto para el nmero de

decimales pedidos. Podemos ver que el nmero de dgitos correctos despus de la
coma se incrementa desde 2 (para x3) a 5 y 10, ilustrando la convergencia
cuadrtica.

Mtodo de optimizacin con restricciones

La optimizacin con restricciones es el proceso de optimizacin de una

funcin objetivo con respecto a algunas variables con restricciones en las mismas.
La funcin objetivo es, o bien una funcin de coste o funcin de energa que debe
ser minimizada, o una funcin de recompensa o funcin de utilidad, que ha de ser
maximizado. Las restricciones pueden ser tanto restricciones duras que establecen
condiciones para las variables que se requieren para estar satisfecha, o
restricciones blandas que tienen algunos valores de las variables que estn
penalizados en la funcin objetivo si, y basados en la medida en que, las
condiciones en las variables no son satisfecho.

Funcin de Lagrange

La idea principal en el desarrollo de condiciones necesarias y suficientes,

para los problemas de optimizacin no lineal con restricciones es, el de
transformar estos problemas sin restricciones y aplicar las condiciones necesarias
y suficientes para los problemas sin restricciones. Una transformacin involucra la
introduccin de una funcin auxiliar, llamada la funcin de Lagrange

L(x , , ) definida como:

L ( x , , )=f ( x ) + t h ( x ) + g ( x ) , 0,

Donde t = ( 1 , 2 , , n ) y t = ( 1 , 2 , , n ) son los

multiplicadores de Lagrange asociados con las restricciones de igualdad y

desigualdad, respectivamente. Los multiplicadores , asociados can las

igualdades h ( x )=0 no tienen restricciones de signo, mientras que los

multiplicadores de , asociados con las desigualdades g ( x ) 0 deben ser no

negativos.

La transformacin a problemas sin restricciones comienza

encontrando el punto estacionario de la funcin de Lagrangiana:

min L ( x , , )=f ( x )+ t h ( x )+ g ( x ) , 0
x, , 0

Los multiplicadores de Lagrange proveen informacin sobre la

sensibilidad de la funcin objetivo con respecto al vector de perturbacin b al

punto ptimo x . La existencia de los multiplicadores de Lagrange de penden

de la forma de las restricciones y no siempre est garantizada.

Condiciones de Karush-Kuhn-Tucker

Son condiciones necesarias y suficientes para que la solucin de un

problema de programacin matemtica sea ptima. Es una generalizacin del
mtodo de los multiplicadores de Lagrange.

Dado que las condiciones KKT son el resultado analtico ms importante

en programacin no lineal, se desarrollarn estas condiciones en dos pasos por
conveniencia de exposicin. En primer lugar, se analizan las condiciones de no
negatividad, para en el paso posterior desarrollar un problema con las condiciones
de desigualdad tanto para maximizacin como para minimizacin

Condiciones de no negatividad: Como primer paso se considera un

problema simple de optimizacin de la funcin z=f ( x 1 ) sujeta a la restriccin

que la variable de eleccin sea no negativa, es decir , x 1 0 . Naturalmente esta

condicin es equivalente a x 1 0 , entonces incorporando una variable

deholgura s 0 y llamando al multiplicador de lagrange, la funcin

lagrangiana resulta:

F( x 1, , s)=f ( x 1)+ (x 1+ s)=0

Las condiciones necesarias son:

F/ x 1=df / dx 1 =0 F/ =x 1+ s=0 F/ s=s=0

De la primera se desprende que =df /dx 1 . Entonces se pueden dar

solamente tres tipos de extremos:

 a) Extremo local interno lo que implica que x1 ptimo ( x 1 ) es

positivo y su derivadaes nula, es decir que =0 .

b) Extremo local de frontera lo que implica que x 1 es igual a cero y su

derivada es nula.
c) Punto de frontera lo que implica que x 1 0 y su derivada es positiva

si es un problema de minimizacin, o negativa si es un problema de

maximizacin.

Condiciones de desigualdad: En este segundo paso se reconsidera el

problema con la incorporacin de una restriccin de desigualdad y otra variable de
eleccin. Adems, dado que tradicionalmente los problemas de maximizacin se
presentan con desigualdades del signo contrario a las de los problemas de
minimizacin, se determinarn las condiciones para mximo y para mnimo a
partir de problemas distintos.

Maximizar z=f (x 1 , x 2) Minimizar

z=f ( x 1 , x 2)
sujeto a g1 (x 1 , x 2) r 1 sujeto a

x j 0 j: 1, 2 g1 (x 1 , x 2) r 1

x j 0 j :1, 2

La restriccin de desigualdad puede transformarse en una igualdad

incorporando una variable de holgura o de excedente apropiada. Para este caso, la

condicin para mximo queda satisfecha sumando a g( x 1 , x 2) r 1 una variable

de holgura no negativa s 1 ; asimismo para el problema de minimizacin se

satisface restando a la funcin g una variable de excedente s no negativa.

De esta manera, las funciones de Lagrange sin considerar las restricciones de no

negatividad sern:

F( x 1 , x 2 , 1 , s 1)=f ( x 1 , x 2)+ 1 [r 1 g (x 1 , x 2) s1 ][ Maximizacin ]

F( x 1 , x 2 , 1 , s 1)=f (x 1 , x 2)+ 1 [r 1 g ( x1 , x2 ) + s1 ][Minimizacin]

Y las condiciones necesarias de extremo se obtienen igualando a cero las

derivadas parciales de F:

F/ x 1=( f / x 1)+ 1 ( g / x 1 )=0

F/ x 2=( f / x 2)+ 1 ( g / x2 )=0

F/ 1=0 F / s1=0

Y dado que las variables s1 y xj deben ser no negativas, de acuerdo

a lo hallado en el punto a) relativo a las condiciones de no negatividad, se pueden

re expresar estas condiciones como:
 Luego, dado que F/ s1= 1 para mximo y F/ s1=1 para

mnimo, la segunda lnea determina que 1 0 para ambos tipos de

problema, adems s 1 es no negativo y por lo tantodicha lnea de condiciones es

igual a

Pero a su vez la tercera lnea implica que s 1=r 1 g para mximo y

s 1=r 1 + g . Por consiguiente, considerando la anterior se puede combinar la

segunda con la tercera lnea de tal forma que

r g( x 1 , x 2 ) 0 1 0 1 [r g(x 1 , x 2)]=0 [Maximizacin ]

r g(x 1 , x 2 ) 0 1 0 1 [r g(x 1 , x 2)]=0 [Minimizacin]

Esto permite expresar las condiciones de KKT sin las variables artificiales.

F/ x j 0 x j 0 x j ( F / x j )=0 j:1, 2

F/ 1 0 1 0 1 ( F / 1 )=0 [Maximizacin ]
 F/ x j 0 x j 0 x j F / x j=0 j:1, 2

F/ 1 0 1 0 1 ( F / 1 )=0 [Minimizacin]

Entonces para el caso general de n variable de eleccin y m

restricciones, las funciones langragianas respectivas sern:

Bibliografa

Modelos matemticos de optimizacin

Septiembre 2010
http://www.doi.icai.upcomillas.es/intro_simio.htm

Mtodo del Gradiente

 http://www.investigaciondeoperaciones.net/metodo_del_gradiente.html

Investigacin de Operaciones II
Venezuela, Julio, 2.012
http://operaciones2iupsm.blogspot.com/2012/07/metodo-quasi-
newton.html