Tag Archives: Hessian 矩陣

本文的閱讀等級：中級 約束最佳化 (constrained optimization) 是指在一個或多個束縛條件下，尋找一個多變數函數的極值 (極大值或極小值)。舉例來說，我們希望得到 的極小值，但前提是 與 必須滿足束縛條件 。最直截了當的作法是解出束縛條件，如此 可表示為 的函數，譬如 。將上式代入 可得單變數無約束目標函數 ，求導並設為零即得極值的必要條件 。這個方法的主要缺點在於束縛條件未必存在代數解，也就是說 無法寫成 的函數。此外，當變數的數量增多或有多個束縛條件時，縱使能夠得到代數解，無約束目標函數的表達式也可能相當複雜。與上述作法比較，拉格朗日乘數法 (method of Lagrange multipliers) 或稱未定乘數法 (undetermined multipliers) 不須解出束縛條件，因而保留了變數之間的對稱性。由於兼具簡單與典雅兩個優點，Lagrange 乘數法是目前最常被使用於約束最佳化問題的方法。令 Lagrangian 函數為 ， 其中 稱為 Lagrange 乘數。計算 對所有變數的偏導數並設為零： ， 這個方程組即為最佳解的必要條件。本文採用較富直覺的幾何觀點解說 Lagrange 乘數法的基本原理，預備知識包括正交補餘和正交投影 (見“正交補餘與投影定理”)。