Tag Archives: 約束最佳化

Karush-Kuhn-Tucker (KKT) 條件

本文的閱讀等級:中級 在優化理論,Karush-Kuhn-Tucker (KKT) 條件是非線性規劃 (nonlinear programming) 最佳解的必要條件[1]。KKT 條件將 Lagrange 乘數法 (Lagrange multipliers) 所處理涉及束縛等式的約束優化問題推廣至不等式。在實際應用上,KKT 條件 (方程組) 一般不存在代數解,許多優化算法可供數值計算選用[2]。這篇短文從 Lagrange 乘數法推導 KKT 條件並舉一個簡單的例子說明解法。

Posted in 特別主題 | Tagged , , | 5 Comments

特徵向量是甚麽物,恁麽來?

本文的閱讀等級:初級 《南嶽懷讓禪師傳》記載: 祖問:「甚麽處來?」 曰:「嵩山來。」 祖曰:「甚麽物,恁麽來?」師無語,經八載忽然有悟,乃白祖曰:「某甲有個會處。」 祖曰:「作麽生?」 師曰:「説似一物即不中。」 唐代懷讓禪師為尋訪善知識跑去嵩山謁見惠安國師,惠安指點他參訪曹溪六祖。禮拜畢,六祖問:「你從何處來?」懷讓回:「我從嵩山來。」六祖又問:「你是甚麼東西?怎麼來的?」懷讓當下無言以對,經過八年參究,一天豁然開悟,便對六祖說:「我想通了。」六祖問:「怎麼樣?」懷讓回:「說是甚麼東西都不對。」   特徵向量甚麽處來?問既一般,答亦相似,翻開課本就可以找到答案,定義有兩種版本。 線性變換版:令 為一個向量空間, 是一個線性變換。若非零向量 滿足 ,則 稱為對應特徵值 的特徵向量。 矩陣版:令 為一個 階矩陣。若非零向量 滿足 ,則 稱為對應特徵值 的特徵向量。 若繼續追問:特徵向量是甚麽物,恁麽來?「説似一物即不中」提點我們不要死執一法 (定義),所以何妨「說似多物」,即便亂槍打鳥不中或許亦不遠矣。

Posted in 特徵分析, 線性代數專欄 | Tagged , , , , , , , | 6 Comments

仿射投影

本文的閱讀等級:中級 令 為一個有限維內積空間。考慮 的平移變換 , 其中 是一個非零向量。平移變換 並非線性變換,而是一個仿射變換 (見“仿射變換”)。設 為 的一個子空間, 自原點平移 後所構成的集合稱為仿射空間 (affine space),表示為 。 除非 ,否則 不包含零向量,因此 不是 的子空間。雖然如此,在仿射空間中仍可以實現正交投影,這篇短文解說如何將一般子空間投影轉換至仿射空間投影,另外並介紹一個基於最佳化理論的計算方法。(本文源於網友 Liang Dai 留言,以下的例子也是由他所提供。)

Posted in 線性代數專欄, 仿射幾何 | Tagged , , , , , | 4 Comments