Método multiplicadores de Lagrange.

La técnica de los multiplicadores de Lagrange es una forma de resolver problemas de optimización con restricciones. Este método nos permite encontrar el máximo o el mínimo de una función multivariable, f(x, y,…) , cuando hay alguna restricción en los valores de entrada que se puede usar. 
Esta técnica solo se aplica a restricciones que se ven así: g(x, y,…)= C, donde es otra función
multivariable con el mismo espacio de entrada que f y c es alguna constante.

Por ejemplo, si el espacio de entrada es bidimensional, la gráfica de f con la línea que representa
g(x, y,…) = C proyectada sobre ella podría verse así:

Fig. 1. Gráfica de una entrada bidimensional

Imagen tomada de la web libre

El objetivo es encontrar el punto más alto en esa línea roja. La idea central es buscar puntos en donde  las curvas de nivel de f y g sean tangentes entre si. Esto es lo mismo que encontrar puntos en donde los vectores de los gradientes f y g sean paralelos entre sí. Todo el proceso puede reducirse a hacer el gradiente de una cierta función, llamada el lagrangiano, igual al vector cero.

Método del gradiente.

En muchos problemas de optimización requieren tratar con más de una variable, y si bien es posible extender en muchos casos técnicas de búsqueda sobre intervalo, como el método de Fibonacci, o el de relación áurea, estos exigen realizar muchas búsquedas unidimensionales de un modo secuencial hasta la obtención del máximo (o mínimo) para cada dimensión.

Referencias

Villamil E. y García M., (2003), Introducción al proyecto de ingeniería, Buenos Aires, Argentina.
Capítulo 3: Optimización.