Introducción a la optimización estática (Sesión V)

Taller de matemáticas II
Christian Eduardo Lastire Olmedo
Tarea
Matrices positivas definidas y negativas definidas
Conceptos previos: Formas cuadráticas

➢Una forma cuadrática general de 𝑛 variables es una función 𝑄 = 𝑄(𝑥1 , 𝑥2 , … , 𝑥𝑛 ) dada por la suma doble:
𝑛 𝑛

𝑄 = ෍ ෍ 𝑎𝑖𝑗 𝑥𝑖 𝑥𝑗
𝑖=1 𝑗=1
= 𝑎11 𝑥12 + 𝑎12 𝑥1 𝑥2 + ⋯ + 𝑎𝑖𝑗 𝑥𝑖 𝑥𝑗 + ⋯ + 𝑎𝑛𝑛 𝑥𝑛2 … (1)

➢ La expresión en (1), puede representarse en forma matricial. Para ello, supongamos las siguientes matrices:
𝑥1
𝑎11 ⋯ 𝑎1𝑛
𝑥2
𝒙= … ; 𝑨= ⋮ ⋱ ⋮ … (2)
𝑎𝑛1 ⋯ 𝑎𝑛𝑛
𝑥𝑛
➢Así, de la definición de matrices se sigue que:
𝑄 𝑥1 , 𝑥2 , … , 𝑥𝑛 = 𝑄 𝒙 = 𝒙′ 𝑨𝒙 … (3)

➢ Dos aspectos sobre la matriz 𝑨:

➢ Es una matriz cuadrada
➢ Es simétrica
Matrices positivas definidas y negativas definidas
Conceptos previos: Formas cuadráticas

➢Para pasar de la expresión (1) a la (3) puede considerarse lo ➢ Ejemplo 1. Encontrar la matriz asociada a la siguiente forma cuadrática: 3𝑥12 − 𝑥22 + 2𝑥32 + 5𝑥1 𝑥2 − 6𝑥1 𝑥3 .
siguiente:
5
3 −3 𝑥1
2
1. Los coeficientes de los cuadrados en el polinomio son los 𝑥1 𝑥2 𝑥3 5 𝑥2
elementos de la diagonal de la matriz asociada. −1 0
2 𝑥3
−3 0 2
2. El elemento 𝑎𝑖𝑗 multiplicará a 𝑥𝑖 y a 𝑥𝑗 , es decir, en el
polinomio aparecerá: 𝑎𝑖𝑗 𝑥𝑖 𝑥𝑗 .

3. El elemento 𝑎𝑗𝑖 multiplicará a 𝑥𝑗 y a 𝑥𝑖 , es decir, en el ➢ Ejemplo 2. Escribir 𝑄 𝑥1 , 𝑥2 , 𝑥3 = 5𝑥12 + 𝑥1 𝑥2 − 3𝑥1 𝑥3 + 3𝑥2 𝑥1 + 𝑥22 − 2𝑥2 𝑥3 + 5𝑥3 𝑥1 + 2𝑥3 𝑥2 + 𝑥32 .
polinomio aparecerá: 𝑎𝑗𝑖 𝑥𝑗 𝑥𝑖 .
➢ Forma no simétrica:
4. Como son números reales, 𝑥𝑖 𝑥𝑗 = 𝑥𝑗 𝑥𝑖 (por la propiedad 5 1 −3 𝑥1
conmutativa) y, por tanto, lo que en realidad aparecerá 𝑥1 𝑥2 𝑥3 3 1 −2 𝑥2
como consecuencia de los dos apartados anteriores será 5 2 1 𝑥3
𝑎𝑖𝑗 + 𝑎𝑗𝑖 ∗ 𝑥𝑖 𝑥𝑗 .

5. Para obtener la matriz simétrica asociada a la forma ➢ Forma simétrica:

cuadrática a partir del polinomio, se divide por 2 el 5 2 1 𝑥1
coeficiente asociado a cada 𝑥𝑖 𝑥𝑗 y poner el resultado en la 𝑥1 𝑥2 𝑥3 2 1 0 𝑥2
fila 𝑖, columna 𝑗 y en la fila 𝑗, columna 𝑖. 1 0 1 𝑥3
Matrices positivas definidas y negativas definidas
Definición

1. Matriz positiva definida: Considérese una matriz real simétrica A de orden 𝑛 × 𝑛. Diremos que es una matriz positiva definida si y solo sí:
𝒙′ 𝑨𝒙 > 𝟎 ∀𝒙 ∈ ℝ𝒏

2. Matriz positiva semidefinida: Considérese una matriz real simétrica A de orden 𝑛 × 𝑛. Diremos que es una matriz positiva semidefinida si y
solo sí:
𝒙′ 𝑨𝒙 ≥ 𝟎 ∀𝒙 ∈ ℝ𝒏

3. Matriz negativa definida: Considérese una matriz real simétrica A de orden 𝑛 × 𝑛. Diremos que es una matriz negativa definida si y solo sí:
𝒙′ 𝑨𝒙 < 𝟎 ∀𝒙 ∈ ℝ𝒏

4. Matriz negativa semidefinida: Considérese una matriz real simétrica A de orden 𝑛 × 𝑛. Diremos que es una matriz negativa semidefinida si
y solo sí:
𝒙′ 𝑨𝒙 ≤ 𝟎 ∀𝒙 ∈ ℝ𝒏
Matrices positivas definidas y negativas definidas
Ejercicio

E1. Condición necesaria de segundo orden.

➢ Sea 𝑓(𝒙) una función doblemente diferenciable (i.e., 𝐶 2 ) :
i. Si 𝑓(𝒙) alcanza un máximo interior local en 𝒙∗ , entonces la matriz hessiana, 𝐇 𝒙∗ es negativa semidefinida.
෥, entonces la matriz hessiana, 𝐇 𝒙
ii. Si 𝑓(𝒙) alcanza un mínimo interior local en 𝒙 ෥ es positiva semidefinida.

Solución

1. Partiremos de saber que se cumple el siguiente teorema:

Sea f(x) una función 𝐶 2 de una variable. Entonces 𝑓(𝑥) alcanza un interior local:
a. Máximo en 𝑥 ∗ : ⟹ 𝑓 ′ 𝑥 ∗ = 0
⟹ 𝑓 ′′ 𝑥 ∗ ≤ 0

b. Mínimo en 𝑥෤ ∶⟹ 𝑓 ′ 𝑥෤ = 0
⟹ 𝑓 ′′ 𝑥෤ ≥ 0
2. Defínase una función:
𝑔 𝑡 = 𝑓 𝒙 + 𝑡𝒛 … (1)
𝑛
para 𝒛 ∈ ℝ y 𝒙 un punto crítico de 𝑓. Observamos que si 𝑓 alcanza un punto crítico en 𝒙, entonces 𝑔 𝑡 alcanza un punto crítico en 𝑡 = 0.
Matrices positivas definidas y negativas definidas
Ejercicio

3. Diferenciamos (1) con respecto a 𝑡 y por regla de la cadena se obtiene:

𝑛
𝑑𝑓(𝒙 + 𝑡𝒛)
𝑔′ 𝑡 = ෍ 𝑧𝑖 … (2)
𝑑𝑥𝑖
𝑖=1

4. Diferenciando ahora (2) nuevamente con respecto a 𝑡 y utilizando nuevamente la regla de la cadena:
𝑛 𝑛
𝑑𝑓(𝒙 + 𝑡𝒛)
𝑔′ ′ 𝑡 = ෍ ෍ 𝑧𝑖 𝑧𝑗 … (3)
𝑑𝑥𝑖 𝑥𝑗
𝑗=1 𝑖=1
∗
5. Ahora supongamos que 𝒇 se maximiza en 𝒙 = 𝒙 . Por el teorema mencionado en el punto 1, esto implica que 𝑔 evaluada en 𝑡 = 0 será
𝑔′ ′ 0 ≤ 0. Esto implica que:
𝑛 𝑛
′
𝑑𝑓(𝒙∗ )
𝑔 ′ 0 = ෍෍ 𝑧 𝑧 ≤ 0 … (4)
𝑑𝑥𝑖 𝑥𝑗 𝑖 𝑗
𝑗=1 𝑖=1
6. Notar que el término de la suma es la expresión de una forma cuadrática. De esta manera, (4) se puede expresar como:
𝑔′ ′ 0 = 𝒛′ 𝑯 𝒙∗ 𝒛 ≤ 0 … (5)

Donde 𝑯 𝒙∗ es la matriz de segundas derivadas parciales (la matriz hessiana) y dado que 𝒛 es un vector arbitrario, esto significa que 𝑯 𝒙∗
es negativa semidefinida.
Matrices positivas definidas y negativas definidas
Ejercicio

෥, entonces la matriz hessiana,

5. Falta la otra parte de la proposición, que es demostrar que si 𝑓(𝒙) alcanza un mínimo interior local en 𝒙
∗ ෥. Por el teorema mencionado en el punto 1, esto
𝐇 𝒙 es positiva semidefinida. Para ello, suponemos ahora que 𝒇 se minimiza en 𝒙 = 𝒙
′
implica que 𝑔 evaluada en 𝑡 = 0 será 𝑔 ′ 0 ≥ 0. Esto implica que:
𝑛 𝑛
𝑑𝑓(෥𝒙)
𝑔′ ′ 0 = ෍ ෍ 𝑧 𝑧 ≥ 0 … (6)
𝑑𝑥𝑖 𝑥𝑗 𝑖 𝑗
𝑗=1 𝑖=1

6. Por el procedimiento mencionado previamente:

𝑔 ′ ′ 0 = 𝒛′ 𝑯 𝒙
෥ 𝒛 ≥ 0 … (7)

෥ es positiva semidefinida.
Por tanto, 𝑯 𝒙
Optimización con igualdad de restricciones
Optimización con igualdad de restricciones
Condiciones suficientes de segundo orden para 2 variables: Teorema de
Lagrange

Condiciones suficientes de segundo orden: Sean 𝑓 y ℎ funciones 𝐶 2 . Considera el problema de un óptimo local:

max 𝑚𝑖𝑛 𝑓(𝑥1 , 𝑥2 ) 𝑠. 𝑡. 𝑔 𝑥1 , 𝑥2 = 𝑏 … (1)

Forma el lagrangiano: 𝐿 𝑥1 , 𝑥1 , 𝜆 = 𝑓 𝑥 + 𝜆 ∗ 𝑏 − 𝑔 𝑥 . Sean 𝑥10 , 𝑥20 , 𝜆0 los puntos críticos que satisfacen las ecuaciones de Lagrange. Define el
determinante de la matriz hessiana orlada D(𝑥1 , 𝑥2 , 𝜆) como:
𝑑𝑔 𝑑𝑔
0
𝑑𝑥1 𝑑𝑥2
2
𝑑𝑔 𝑑 𝐿 𝑑2𝐿
𝐷 𝑥1 , 𝑥2 , 𝜆 =
𝑑𝑥1 𝑑𝑥12 𝑑𝑥2 𝑥1
𝑑𝑔 𝑑2𝐿 𝑑2𝐿
𝑑𝑥2 𝑑𝑥1 𝑥2 𝑑𝑥22

1. Si 𝐷 𝑥10 , 𝑥20 , 𝜆0 > 0, entonces (𝑥10 , 𝑥20 ) resuelven el problema de un máximo local.
2. Si 𝐷 𝑥10 , 𝑥20 , 𝜆0 < 0, entonces (𝑥10 , 𝑥20 ) resuelven el problema de un mínimo local.
Optimización con igualdad de restricciones
Formas de resolverlo: Teorema de Lagrange

Ejemplo: Supóngase el siguiente problema:

max −𝑎𝑥12 − 𝑏𝑥22 𝑠. 𝑎. 𝑥1 + 𝑥2 − 1 = 0

Donde 𝑎 > 0; 𝑏 > 0.

Solución:

1. Primero, se forma la función lagrangiana:

𝐿 𝑥1 , 𝑥2 , λ = −𝑎𝑥12 − 𝑏𝑥22 − 𝜆 𝑥1 + 𝑥2 − 1 … (𝐿. 1)

2. Se forman las ecuaciones lagrangianas:

𝑑𝐿
= −2𝑎𝑥1 − 𝜆 = 0 … (𝐿. 2)
𝑑𝑥1

𝑑𝐿
= −2𝑏𝑥2 − 𝜆 = 0 … (𝐿. 3)
𝑑𝑥2

𝑑𝐿
= 𝑥1 + 𝑥2 − 1 = 0 … (𝐿. 4)
𝑑𝜆
Optimización con igualdad de restricciones
Formas de resolverlo: Teorema de Lagrange

3. Se resuelve el sistema de tres ecuaciones (L.2-L.4) con tres incógnitas para obtener los puntos críticos. Para resolver para las tres incógnitas, notamos que
𝐿. 2 𝑦 𝐿. 3 implican que:
2𝑎𝑥1 = 2𝑏𝑥2 … 𝐿. 5
𝑏𝑥2
⟹ 𝑥1 = … (𝐿. 6)
𝑎
Sustituyendo (𝐿. 6) en (𝐿. 4) obtenemos:
𝑎
𝑥2 = … (𝐿. 7)
𝑎+𝑏
Ahora sustituimos (𝐿. 7) en (𝐿. 6):
𝑏
𝑥1 = … (𝐿. 8)
𝑎+𝑏
Finalmente, para encontrar 𝜆 se puede sustituir (L.8) en (L.2). Así, los valores críticos de las variables de control y la restricción son:
𝑏 𝑎 −2𝑎𝑏
𝒙𝟏 = ; 𝒙𝟐 = ; 𝜆= … (𝐿. 9)
𝑎+𝑏 𝑎+𝑏 𝑎+𝑏
Optimización con igualdad de restricciones
Formas de resolverlo: Teorema de Lagrange

4. Se construye la matriz hessiana orlada:

𝑑𝑔 𝑑𝑔
0
𝑑𝑥1 𝑑𝑥2
𝑑𝑔 𝑑2𝐿 𝑑2𝐿 0 1 1
𝐷 𝑥1 , 𝑥2 , 𝜆 = = 1 −2𝑎 0 … (𝐿. 10)
𝑑𝑥1 𝑑𝑥12 𝑑𝑥2 𝑥1
1 0 −2𝑏
𝑑𝑔 𝑑2𝐿 𝑑2𝐿
𝑑𝑥2 𝑑𝑥1 𝑥2 𝑑𝑥22

5. El siguiente paso sería evaluar el determinante con los valores críticos de (𝐿. 9). No obstante, en este caso la matriz hessiana orlada no tiene términos asociados
con las variables de control, por lo que se obtiene el determinante de (𝐿. 10). Así, 𝐷 𝒙𝟏 , 𝒙𝟐 , 𝝀 = 2b + 2a > 0, dado que 𝑎 > 0; 𝑏 > 0.

6. Por lo establecido para determinar las condiciones necesarias de segundo orden, los puntos críticos encontrados son los de un máximo.
Optimización con igualdad de restricciones
Teorema de Lagrange: Temas adicionales (condiciones de regularidad)

Definición (Matriz Jacobiana): Sea 𝒇: ℝ𝑛 ⟹ ℝ𝑚 una función cuyas derivadas parciales de primer orden existen en todo ℝ𝑛 y denotemos 𝑓1 , 𝑓2 , … , 𝑓𝑚 a sus componentes escalares.
Se define la matriz jacobiana de 𝒇 en un punto 𝑥 ∈ ℝ𝑛 como:

𝑑𝑓1 𝑑𝑓1 𝑑𝑓1

𝑥 𝑥 ⋯ 𝑥
𝑑𝑥1 𝑑𝑥2 𝑑𝑥𝑛
∇𝑓1 (𝑥)
𝑑𝑓2 𝑑𝑓2 𝑑𝑓2
𝑥 𝑥 ⋯ 𝑥 ∇𝑓2 (𝑥)
𝐷𝑓 𝑥 = 𝑑𝑥1 𝑑𝑥2 𝑑𝑥𝑛 =
⋮
⋮ ⋮ ⋱ ⋮ ∇𝑓𝑚 (𝑥)
𝑑𝑓𝑚 𝑑𝑓𝑚 𝑑𝑓𝑚
𝑥 𝑥 ⋯ 𝑥
𝑑𝑥1 𝑑𝑥2 𝑑𝑥𝑛

Ejemplo: Considérense las siguientes matrices y determine Solución:

su rango.
Definición (Rango de una matriz): El rango de una matriz
1 2 1. Matriz A: Ya que la segunda fila es el doble
es el número de columnas o filas linealmente A= de la primera, el rango de esta matriz es 1.
independientes dentro de una matriz. Es decir se refiere a 2 4
2. Matriz B: La tercera fila es la suma de la
cuántas filas o columnas de una matriz no son el
resultado de operaciones entre ellas. 2 1 −1 primera y la segunda fila. Las dos primeras
𝐵 = 0 −1 2 son linealmente independientes entre sí, por
2 0 1 lo que el rango de esa matriz es 2.
3. Matriz C: Todas las filas son linealmente
2 1 1 independientes, por lo que el rango de esta
matriz es 3.
C= 0 2 1
0 0 −1
Optimización con igualdad de restricciones
Teorema de Lagrange: Temas adicionales (condiciones de regularidad)

➢Calificación de restricción no degenerada (Nondegenerate constraint qualification –NDCQ-): Es una condición de regularidad que se debe satisfacer para que el
lagrangiano tenga solución.

➢Esta condición puede ser no satisfecha de dos formas en el método de Lagrange:

1. Que una de las filas de la matriz jacobiana de las restricciones tenga todos sus elementos en cero cuando es evaluado en punto crítico.
2. Si una de las filas puede ser expresada como una combinación convexa de las otras (i.e., no tiene rango completo).

Ejemplo: Este es un ejemplo que muestra que si la NDCQ no se satisface, entonces las ecuaciones de Lagrange quizá no determinen el óptimo.
Resolver el problema: max 𝑥
𝑠. 𝑡. : 𝑥 3 + 𝑦 2 = 0
Mediante el método de Lagrange.

Solución:

1. Escribimos el lagrangiano:
𝐿 𝑥, 𝑦, 𝜆 = 𝑥 − 𝜆 𝑥 3 + 𝑦 2 … (𝑁𝐷𝐶𝑄. 1)

2. Obtenemos las ecuaciones lagrangianas:

𝐿𝑥 = 1 − 3𝜆𝑥 2 = 0 … 𝑁𝐷𝐶𝑄. 2 𝐿𝑦 = −2𝜆𝑦 = 0 … 𝑁𝐷𝐶𝑄. 3 𝐿𝜆 = −𝑥 3 − 𝑦 2 = 0 … 𝑁𝐷𝐶𝑄. 4

Optimización con igualdad de restricciones
Teorema de Lagrange: Temas adicionales (condiciones de regularidad)

3. De la expresión anterior, observamos que 𝟏 − 𝟑𝝀𝒙𝟐 = 𝟎; implica que 𝑥 ≠ 0. Asimismo, la ecuación (−𝒙𝟑 −𝒚𝟐 = 𝟎) también implica que y ≠ 0. Esto
implica que 𝜆 = 0. No obstante, si introducimos este valor en la ecuación 𝑁𝐷𝐶𝑄. 2 , vemos que se genera una contradicción, por lo que el sistema de
ecuaciones de Lagrange no tiene una solución.
4. La razón de esto se debe a que la matriz jacobiana de la restricción es 𝐷𝑔 𝑥, 𝑦 = (3𝑥 2 , 2𝑦), que evaluada en los puntos críticos (𝑥 = 𝑦 = 0), implica que
𝐷𝑔 𝑥, 𝑦 = 0,0 .