Tag Archives: 梯度

梯度、散度與旋度的恆等式

本文的閱讀等級:初級 令 是一開集, 是連續可微函數,且 是連續可微向量函數。純量函數 的梯度 (grad),向量函數 的散度 (div) 和旋度 (curl) 定義如下 (見“梯度、散度與旋度”): 。 本文整理出一些梯度、散度與旋度的恆等式,並提供證明。

Posted in 特別主題 | Tagged , , , , | 3 Comments

二梯度的外積的散度為零之證明

網友林聖興: 老師您好,看見有人對於“梯度、散度與旋度”第14條公式有疑問 (註:),我一時好奇,試著推演看看,答案是 ,沒錯! 以MathType打字,附檔裡面有彩色,我不大會用LaTeX的方式操作網頁回覆,寄給您參考。 div(grad f cross grad g)

Posted in 特別主題, 網友分享 | Tagged , | Leave a comment

答張盛東──關於 Hessian 矩陣與多變量函數的泰勒展開式

網友張盛東留言: 老師,其實能否將 Hessian 矩陣看作 gradient 算子與自身的外積 (outer product)[1] 再乘以函數 ?如果可以,是否可能將多變數函數的 Taylor 展開式前兩項之後的項都像這樣表示成 gradient 算子與自身的外積?

Posted in 特別主題, 答讀者問 | Tagged , , , | 2 Comments

梯度、散度與旋度

本文的閱讀等級:初級 向量算子是向量分析 (vector calculus 或 vector analysis) 的馱馬,最重要的算子包括梯度 (gradient)、散度 (divergence) 與旋度 (curl)。令 是一開集, 是一次連續可微函數 (以 表示),且 是定義於 的一 向量場 (vector field)。所謂向量場其實就是一個向量函數,例如, , 有些物理和微積分課本將向量場 表示為 , 其中 是 的標準單位向量 (線性代數慣用的對應記號為 )。為便利表達,我們將微分算子 (讀作nabla) 視為一向量: , 這裡 是偏微分算子。函數 的梯度 (grad),向量場 的散度 (div) 和旋度 … Continue reading

Posted in 特別主題 | Tagged , , , , , | 28 Comments

矩陣導數

本文的閱讀等級:中級 令 為一個多變量可導函數,或記為 ,其中 。我們定義 的梯度 (gradient) 為下列 維向量: , 其中 的第 元是 對變數 的一階偏導數 。如果給定 個多變量函數 ,則有 個梯度 。將所有 梯度合併成一個矩陣,取轉置,可得 階矩陣 , 稱為 Jacobian 矩陣。另一方面,如果 是二階可導函數,我們可以計算 的每一元 的梯度,如此可得 , 稱為 Hessian 矩陣。請注意,梯度 的 Jacobian 矩陣即為 的 Hessian 矩陣 (見“Jacobian … Continue reading

Posted in 特別主題 | Tagged , , , , , | 28 Comments

Jacobian 矩陣與行列式

本文的閱讀等級:中級 令 為一個向量函數。對於 維實向量 , 具有下列形式: , 其中 , 是 的定義域。例如,極座標至卡氏座標的轉換是一個向量函數: , 其中 ,。如果向量函數 的數學形式相當複雜,線性化是一個常用的簡化方法。針對單變量函數 ,在 附近我們可用直線 近似 。推廣至多變量函數,令 為一個仿射 (affine) 變換 (見“仿射變換”),表示如下: , 其中 是一個 階實矩陣,。下面解釋如何以仿射變換 近似向量函數 ,由此衍生 的導數矩陣,稱為 Jacobian 矩陣 (或簡稱 Jacobian),隨後介紹 Jacobian 行列式與其應用,以及 Jocabian 矩陣與 Hessian 矩陣的關係。

Posted in 線性代數專欄, 應用之道 | Tagged , , , , , , , , | 14 Comments

Lagrange 乘數法

本文的閱讀等級:中級 約束最佳化 (constrained optimization) 是指在一個或多個束縛條件下,尋找一個多變數函數的極值 (極大值或極小值)。舉例來說,我們希望得到 的極小值,但前提是 與 必須滿足束縛條件 。最直截了當的作法是解出束縛條件,如此 可表示為 的函數,譬如 。將上式代入 可得單變數函數 ,求導並設為零即得極值的必要條件 。這個方法的主要缺點在於束縛條件未必存在代數解,也就是說 無法寫成 的函數。此外,當變數的數量增多或有多個束縛條件時,縱使能夠得到代數解,無約束目標函數的表達式也可能相當複雜。與上述作法比較,拉格朗日乘數法 (method of Lagrange multipliers) 或稱未定乘數法 (undetermined multipliers) 不須解出束縛條件,因而保留了變數之間的對稱性。由於兼具簡單與典雅兩個優點,Lagrange 乘數法是目前最常被使用的一種求解約束最佳化方法:令 Lagrangian 函數為 , 其中 稱為 Lagrange 乘數。計算 對所有變數的偏導數並設為零: , 這個方程組即為最佳解的必要條件。本文採用較富直覺的幾何觀點解說 Lagrange 乘數法的基本原理,預備知識包括正交補餘和正交投影 (見“正交補餘與投影定理”)。

Posted in 特別主題 | Tagged , , , , , | 8 Comments

最佳化理論與正定矩陣

本文的閱讀等級:中級 最佳化理論 (優化理論,optimization theory) 提供許多應用於社會、自然與工程科學的數值算法。給定一個目標函數或稱成本函數 ,無約束優化 (unconstrained optimization) 是指找到 使得 有最小值,表示如下: 。 在一些應用場合,如果我們希望找到最大值,只要改變目標函數的正負號即可。對一般的目標函數 ,這是一個很困難的問題,通常我們願意接受局部最小值 (稍後詳述),意思是在某個範圍內的最小值。底下我們先考慮單變數的目標函數,隨後再推廣至多變數函數。本文的主旨在介紹無約束優化的一些基本概念並解釋正定矩陣於判定極值 (最大或最小) 存在性的用途。

Posted in 線性代數專欄, 二次型 | Tagged , , , , , | 5 Comments