OPTIMIZACIN SIN RESTRICCIONES

IVAN GIL 201003 STEFANO ROJAS 201110 MATEO ROMERO 201023

AGENDA
Teora clsica de la optimizacin.
Problemas sin restriccin. Condiciones necesarias y suficientes para establecer mximos o mnimos.
Univariado.

El mtodo Newton-Raphson.

Algoritmos de programacin no lineal sin restricciones.

Mtodo de la bsqueda directa. Mtodo del gradiente.

TEORA CLSICA DE LA OPTIMIZACIN

Se usa el calculo diferencial para determinar puntos extremos, mximos y mnimos, para funciones sin restricciones. La teora bsica proporciona el fundamento de la mayor parte de los algoritmos de programacin no lineal. Se establecen las condiciones necesarias y suficientes para determinar puntos extremos no restringidos.

PROBLEMAS SIN RESTRICCIN

Un punto extremo de una funcin f(X) define un mximo o un mnimo de ella. Matemticamente un punto X0 = (X 10, , X j0, , X n0 ) es mximo si F(X 0+h) F(X o) para toda h= (h1,,hj,,hn) y hj! Es suficientemente pequeo para todo j. X0 es mnimo si F(X 0+h) F(X o).

PUNTOS EXTREMOS GLOBALES Y LOCALES

El Mximo de ellos ser el Mximo Global o absoluto, los dems sern Mximos locales o relativos . El Mnimo de ellos ser el Mnimo Global o absoluto.. los dems sern Mnimos locales o relativos.

PUNTOS CRTICOS

La primera derivada o pendiente de f es igual a 0. Todos los puntos extremos son puntos crticos de f (teorema de Fermat). Si un punto con pendiente (gradiente) cero no es un extremo (mximo o mnimo),debe ser un punto de inflexin o de silla.

CONDICIONES NECESARIAS Y SUFICIENTES

Se supone que las derivadas primera y segunda de f( X) son continuas en todo el dominio de X. Una condicin necesaria para que X 0 sea un punto extremo de f (X) es que gradiente de f(X 0) = 0 Como las condicione necesarias tambin queda satisfecha con los puntos de inflexin y de silla, los puntos obtenidos con la solucin de gradiente de f(X 0) = 0 se llaman puntos estacionarios o crticos.

MATRIZ HESSIANA

Si todas las segundas derivadas parciales de f existen, se define la matriz hessiana de f como: Hf (x) , donde:

CONDICIONES NECESARIAS Y SUFICIENTES

Una condicin suficiente para que un punto estacionario X 0 sea un punto extremo es que la matriz hessiana H evaluada en X 0 satisfaga las siguientes condiciones: 1. Que H sea definida positiva si X 0 es un punto mnimo. 2. Que H sea definida negativa si X 0 es un punto mximo. 3. En general, si H (X0) es indefinida, X 0 debe ser un punto de silla.

MATRIZ DEFINIDA POSITIVA

M se dice definida positiva si cumple con : Todos los determinantes de los menores principales de M son positivos, es decir:
la superior izquierda de M de dimensin 1x1 la superior izquierda de M de dimensin 2x2 la superior izquierda de M de dimensin 3x3 ... la superior izquierda de M de dimensin (n-1)x(n-1) M en s misma

 A es definida negativa si y solo si los menores son todos ellos no nulos y de signo alterno, siendo siempre el primero negativo. Si todos los menores son estrictamente positivos salvo el ltimo que es nulo, entonces la matriz A es semidefinida positiva. Si los menores son todos de no nulos, salvo el ltimo, y adems de signo alterno, siendo el primero negativo, entonces la matriz A es semidefinida negativa.

CONDICIN DE SUFICIENCIA PARA FUNCIONES DE UNA VARIABLE

Las condiciones de suficiencia establecidas por el teorema 2 se aplica a funciones de una variable. Si y 0) es un punto estacionario, entonces: 1. y 0 es un mximo si f (y 0) < o 2. y 0 es un mnimo si f (y 0) > o

CONDICIN DE SUFICIENCIA PARA FUNCIONES DE UNA VARIABLE

Si en caso de una variable f (y 0) = 0 se debe investigar variables de orden superior. Dado y 0 un punto estacionario de f (y), si las primeras (n-1) derivadas son cero y si f(n) (y 0) 0, entonces: 1. y 0 es un punto de inflexin si n es impar 2. y 0 es un punto mnimo si n es par y f(n) (y 0) > 0 3. y 0 es un punto mximo si n es par y f(n) (y 0) < 0

MTODO NEWTON-RAPHSON

En general, las ecuaciones de condiciones necesarias, gradiente f(X) = 0, puede ser difcil de resolver numricamente. Este mtodo es un procedimiento iterativo para resolver ecuaciones simultaneas no lineales. Este mtodo es parte de los mtodos de gradiente para optimizar numricamente funciones no restringidas .

MTODO NEWTON-RAPHSON

Se tienen las ecuaciones simultaneas: fi (X) = 0, i = 1,2,, m Sea Xk un punto dado, y usando el desarrollo de Taylor: fi (X) fi (Xk ) + f(Xk)(X Xk), i = 1,2,, m. Las ecuaciones originales se pueden aproximar as: fi (Xk ) + f(Xk)(X Xk) = 0, i = 1,2,, m. En forma matricial se puede escribir: Ak + Bk( X Xk) = 0 Si Bk es no singular, entonces: X = Xk Bk-1Ak

MTODO NEWTON-RAPHSON

La idea del mtodo es comenzar en n punto inicial X0. Al aplicar la ecuacin anterior se determina un punto nuevo Xk+1 a partir de Xk. El procedimiento termina en Xm como punto de solucin, cuando XmXm+1

MTODO NEWTON-RAPHSON

La relacin entre Xk y Xk+1 para una funcin f(X) de una variable se reduce a : Xk+1 = Xk f(Xk)/f '(Xk) O bien: f '(Xk) = f(Xk) / (Xk Xk+1 )

ALGORITMOS DE PROGRAMACIN NO LINEAL

Los mtodos de solucin de programacin no lineal se pueden clasificar, de manera general, en algoritmos directos o indirectos. Directos: mtodo del gradiente, donde se busca el mximo (mnimo) de un problema siguiendo la mayor tasa de aumento (disminucin) de la funcin objetivo. Indirectos el problema original se sustituye por otro ( p.e. Programacin cuadrtica, separable y estocstica)

ALGORITMOS SIN RESTRICCIONES

Para problemas no restringidos se puede hablar de 2 algoritmos: 1. Algoritmo de bsqueda directa. 2. Algoritmo de gradiente.

MTODO DE LA BSQUEDA DIRECTA

Se aplican a funciones unimodales de una variable. La optimizacin en funciones de una variable juega un papel fundamental para el desarrollo de algoritmos de ms variables, ms generales. La idea de los mtodos de bsqueda directa es identificar el intervalo de incertidumbre I que comprenda al punto de solucin optimo. El procedimiento localiza el optimo estrechando progresivamente el intervalo de incertidumbre hasta el grado de exactitud deseado.

MTODO DE LA BSQUEDA DIRECTA

PASO GENERAL Sea Ii-1 = (XL, XR), en la iteracin 0 (XL= a y XR = b) Se definen X1 y X2 tales que: XL < X1 < X2 < XR El siguiente intervalo de incertidumbre Ii se define de la siguiente forma: 1. Si f(X1) > f(X2), entonces XL < X*< X2. Se definen XR =X2 e Ii = (XL, X2). 2. Si f(X1) < f(X2), entonces X1 < X*< XR. Se definen XL =X1 e Ii = (X1, XR). 3. Si f(X1) = f(X2), entonces X1 < x*< X2. Se definen XL =X1, XR =X2 e Ii = (X1, X2)

MTODO DE LA BSQUEDA DIRECTA

La manera en como se determinan X1 y X2 debe garantizar que Ii < Ii-1. El algoritmo termina en la iteracin k si Ik , donde es el grado de exactitud definido por el usuario. La diferencia entre los distintos mtodos es la manera en como se determinan X1 y X2 (mtodo dictomo y mtodo de la seccin dorada)

MTODO DE LA BSQUEDA DIRECTA

En el mtodo dictomo los valores X1 y X2, se encuentran simtricos respecto del punto medio del actual intervalo. Ii= 0,5 (Ii-1 + ). El mtodo de la seccin dorada propone ahorrar clculos mediante el reso del valor descartado en la iteracin inmediata siguiente. 0<<1 X1 = XR (XR XL) X2 = XL + (XR XL) Ii+1 = Ii El mtodo de la seccin dorada converge mas rpido al nivel de exactitud y adems requiere la mitad de los clculos, por que recicla los clculos de las iteraciones anteriores

MTODO DEL GRADIENTE

Permite optimizar funciones doblemente continuamente diferenciables. El mtodo Newton-Raphson es un mtodo de gradiente para ecuaciones simultaneas. El mtodo del Ascenso (o descenso) mas inclinado o de la pendiente mas inclinada. El final de este mtodo se encuentra cuando el vector gradiente se anula (condicin de optimalidad) Sin embargo la optimalidad no se puede comprobar a menos que se sepa si la funcin f(X) es cncava o convexa.

MTODO DEL GRADIENTE

Supongamos que se busca el mximo de f(X). Sea X0 el punto inicial donde inicia el algoritmo, y se define f(Xk) como el gradiente de f en el punto Xk Se determina una trayectoria p a lo largo de la cual f/p se maximice en un punto dado. Esto se logra si se seleccionan los puntos Xk y Xk+1 de la siguiente forma: Xk+1 = Xk + r kf(Xk) Donde r k es el tamao de paso ptimo en Xk

MTODO DEL GRADIENTE

El tamao de paso r k se determina de tal modo que el siguiente punto Xk+1,conduzca al mayor mejoramiento de la funcin f. Esto equivale a determinar r = r k que maximice la funcin: h(r) = f[ Xk + rf(Xk) ] h(r) es una funcin de una variable por lo cual se puede utilizar el mtodo de bsqueda directa para determinar el punto ptimo si h(r) es unimodal.

MTODO DEL GRADIENTE

El procedimiento termina cuando 2 puntos sucesivos de prueba, Xk y Xk+1 sean aproximadamente iguales. Esto equivale a rkf(Xk) 0 Ya que rk 0, la condicin necesaria f(Xk) = 0 se satisface en Xk

GRACIAS