Condiciones suficientes y necesarias para la optimización global

Teorema

Sea f una función dos veces diferenciable. Si $ bar {x} $ es un mínimo local, entonces $ bigtriangledown f \left ( bar {x} \right) = 0 $ y la matriz de Hesse $ H \left ( bar {x} \right) $ es positivo semidefinito…

Evidencia

Sea $ d in mathbb {R} ^ n $. Dado que f es dos veces diferenciable en $ bar {x} $.

Como consecuencia,

$ f \left ( bar {x} + lambda d \right) = f \left ( bar {x} \right) + lambda bigtriangledown f \left ( bar {x} \right) ^ T d + lambda ^ 2d ^ TH \left ( bar {x} \right) d + lambda ^ 2d ^ TH \left ( bar {x} \right) d + $

$ lambda ^ 2 left | d right | ^ 2 beta \left ( bar {x}, lambda d \right) $

Pero $ bigtriangledown f \left ( bar {x} \right) = 0 $ y $ beta \left ( bar {x}, lambda d \right) rightarrow 0 $ como $ lambda rightarrow 0 $

$ \Rightarrow f \left ( bar {x} + lambda d \right) -f \left ( bar {x} \right) = lambda ^ 2d ^ TH \left ( bar {x} \right) d $

Como $ bar {x} $ es un mínimo local, hay $ delta> 0 $ tal que $ f \left (x \right) leq f \left ( bar {x} + lambda d \right), forall lambda in \left (0, delta \right) $

Teorema

Sea $ f: S rightarrow mathbb {R} ^ n $, donde $ S subset mathbb {R} ^ n $ es dos veces diferenciable sobre S. Si $ bigtriangledown f \left (x \right) = 0 $ y $ H \left ( bar {x} \right) $ es positivamente semidefinido para todo $ x en S $, entonces $ bar {x} $ es la solución global óptima.

Evidencia

Dado que $ H \left ( bar {x} \right) $ es positivamente semidefinido, f es una función convexa sobre S. Dado que f es diferenciable y convexa en $ bar {x} $

$ bigtriangledown f \left ( bar {x} \right) ^ T \left (x- bar {x} \right) leq f \left (x \right) -f \left ( bar {x} \right), forall x in S $

Desde $ bigtriangledown f \left ( bar {x} \right) = 0, f \left (x \right) geq f \left ( bar {x} \right) $

Por lo tanto, $ bar {x} $ es el óptimo global.

Teorema

Suponga que $ bar {x} in S $ es una solución local óptima al problema $ f: S rightarrow mathbb {R} $, donde S es un subconjunto no vacío de $ mathbb {R} ^ n $ y S es convexo. $ min : f \left (x \right) $, donde $ x en S $.

Más tarde:

  • $ bar {x} $ es la solución óptima global.

  • Si $ bar {x} $ es un mínimo estrictamente local, o f es una función estrictamente convexa, entonces $ bar {x} $ es la única solución óptima global, además de unos mínimos locales fuertes.

Evidencia

Sea $ bar {x} $ otra solución óptima global al problema, tal que $ x neq bar {x} $ y $ f \left ( bar {x} \right) = f \left ( hat { x} \right) $

Como $ hat {x}, bar {x} en S $ y S es convexo, $ \frac { hat {x} + bar {x}} {2} en S $ yf es estrictamente convexo.

$ \Rightarrow f \left ( \frac { hat {x} + bar {x}} {2} \right)

Ésta es una contradicción.

Por lo tanto, $ hat {x} $ es la única solución óptima global.

Consecuencia

Sea $ f: S subset mathbb {R} ^ n rightarrow mathbb {R} $ una función diferenciable convexa, donde $ phi neq S subset mathbb {R} ^ n $ es un conjunto convexo. Considere el problema $ min f \left (x \right), x in S $, entonces $ bar {x} $ será la solución óptima si $ bigtriangledown f \left ( bar {x} \right) ^ T \left (x- bar {x} \right) geq 0, forall x in S. $

Evidencia

Sea $ bar {x} $ la solución óptima, es decir $ f \left ( bar {x} \right) leq f \left (x \right), forall x in S $

$ \Rightarrow f \left (x \right) = f \left ( bar {x} \right) geq 0 $

$ f \left (x \right) = f \left ( bar {x} \right) + bigtriangledown f \left ( bar {x} \right) ^ T \left (x- bar {x} \right) + izquierda | x- bar {x} right | alpha \left ( bar {x}, x- bar {x} \right) $

donde $ alpha \left ( bar {x}, x- bar {x} \right) rightarrow 0 $ as $ x rightarrow bar {x} $

$ \Rightarrow f \left (x \right) -f \left ( bar {x} \right) = bigtriangledown f \left ( bar {x} \right) ^ T \left (x- bar {x } \right) geq 0 $

Consecuencia

Sea f una función convexa diferenciable en $ bar {x} $, entonces $ bar {x} $ es un mínimo global si y solo si $ bigtriangledown f \left ( bar {x} \right) = 0 $

Ejemplos de

  • $ f \left (x \right) = \left (x ^ 2-1 \right) ^ {3}, x in mathbb {R} $.

    $ bigtriangledown f \left (x \right) = 0 Rightarrow x = -1,0,1 $.

    $ bigtriangledown ^ 2f \left ( pm 1 \right) = 0, bigtriangledown ^ 2 f \left (0 \right) = 6> 0 $.

    $ f \left ( pm 1 \right) = 0, f \left (0 \right) = – 1 $

    Por lo tanto, $ f \left (x \right) geq -1 = f \left (0 \right) Rightarrow f \left (0 \right) leq f \left (x \right) forall x in mathbb {R} $

  • $ f \left (x \right) = x log x $ se define en $ S = left {x in mathbb {R}, x> 0 right } $.

    $ {f} ‘x = 1 + log x $

    $ {f} » x = \frac {1} {x}> 0 $

    Por tanto, esta función es estrictamente convexa.

  • $ f \left (x \right) = e ^ {x}, x in mathbb {R} $ es estrictamente convexo.

🚫