搜尋(繁體中文或英文)
訊息看板
-
近期文章
線性代數專欄
其他主題專欄
每週問題
數據充分性問題
其他分類
Recent Comments
jianglong on Strassen 演算法──分治矩陣乘法 jianglong on Strassen 演算法──分治矩陣乘法 xmj on 內積的定義 Ning ChingSan on 線性代數的第一堂課──矩陣乘法的定義 momo on 兩岸線性代數用詞參照 訪客 on 克拉瑪公式的簡易幾何證明 近期最多人點閱
分類
Archives
標籤雲
- Cayley-Hamilton 定理
- Frobenius 範數
- Gram-Schmidt 正交化
- Gramian 矩陣
- Hermitian 矩陣
- Householder 矩陣
- Jordan 典型形式
- LU 分解
- QR 分解
- Schur 定理
- SVD
- Vandermonde 矩陣
- 三角不等式
- 不變子空間
- 么正矩陣
- 二次型
- 代數重數
- 伴隨矩陣
- 內積
- 冪矩陣
- 冪等矩陣
- 冪零矩陣
- 分塊矩陣
- 列空間
- 半正定矩陣
- 反對稱矩陣
- 可交換矩陣
- 可逆矩陣
- 向量空間
- 圖論
- 基底
- 基本列運算
- 奇異值
- 奇異值分解
- 實對稱矩陣
- 對角化
- 座標變換
- 微分方程
- 投影矩陣
- 排列矩陣
- 旋轉矩陣
- 最小多項式
- 最小平方法
- 正交性
- 正交投影
- 正交矩陣
- 正交補餘
- 正定矩陣
- 正規矩陣
- 特徵值
- 特徵向量
- 特徵多項式
- 特殊矩陣
- 相伴矩陣
- 相似
- 矩陣乘法
- 矩陣多項式
- 矩陣指數
- 矩陣範數
- 矩陣譜
- 秩
- 秩─零度定理
- 簡約列梯形式
- 組合數學
- 線性獨立
- 線性變換
- 線性變換表示矩陣
- 行列式
- 行空間
- 譜分解
- 跡數
- 逆矩陣
- 通解
- 零空間
- 高斯消去法
線代線上影音課程
線代學習網站
線代電子書
- A First Course in Linear Algebra (Robert A. Beezer)
- Fundamentals of Linear Algebra (James B. Carrell)
- Linear Algebra (Jim Hefferon)
- Linear Algebra Done Wrong (Sergei Treil)
- Linear Algebra Problems (Jerry L. Kazdan)
- Linear Algebra via Exterior Products (Sergei Winitzki)
- Linear Algebra, Theory and Applications (Kenneth Kuttler)
- Matrix Analysis and Applied Linear Algebra (Carl D. Meyer)
- Notes on Linear Algebra (Peter J. Cameron)
矩陣計算器
LaTeX
Blogroll
-
Join 691 other subscribers
Tag Archives: 梯度
梯度、散度與旋度的恆等式
本文的閱讀等級:初級 令 是一開集, 是連續可微函數,且 是連續可微向量函數。純量函數 的梯度 (grad),向量函數 的散度 (div) 和旋度 (curl) 定義如下 (見“梯度、散度與旋度”): 。 本文整理出一些梯度、散度與旋度的恆等式,並提供證明。
二梯度的外積的散度為零之證明
網友林聖興: 老師您好,看見有人對於“梯度、散度與旋度”第14條公式有疑問 (註:),我一時好奇,試著推演看看,答案是 ,沒錯! 以MathType打字,附檔裡面有彩色,我不大會用LaTeX的方式操作網頁回覆,寄給您參考。 div(grad f cross grad g)
答張盛東──關於 Hessian 矩陣與多變量函數的泰勒展開式
網友張盛東留言: 老師,其實能否將 Hessian 矩陣看作 gradient 算子與自身的外積 (outer product)[1] 再乘以函數 ?如果可以,是否可能將多變數函數的 Taylor 展開式前兩項之後的項都像這樣表示成 gradient 算子與自身的外積?
梯度、散度與旋度
本文的閱讀等級:初級 向量算子是向量分析 (vector calculus 或 vector analysis) 的馱馬,最重要的算子包括梯度 (gradient)、散度 (divergence) 與旋度 (curl)。令 是一開集, 是一次連續可微函數 (以 表示),且 是定義於 的一 向量場 (vector field)。所謂向量場其實就是一個向量函數,例如, , 有些物理和微積分課本將向量場 表示為 , 其中 是 的標準單位向量 (線性代數慣用的對應記號為 )。為便利表達,我們將微分算子 (讀作nabla) 視為一向量: , 這裡 是偏微分算子。函數 的梯度 (grad),向量場 的散度 (div) 和旋度 … Continue reading
矩陣導數
本文的閱讀等級:中級 令 為一個多變量可導函數,或記為 ,其中 。我們定義 的梯度 (gradient) 為底下的 維向量: , 其中 的第 元是 對變數 的一階偏導數 。如果給定 個多變量函數 ,則有 個梯度 。將所有 梯度合併成一個矩陣,再取轉置,可得 階矩陣 , 稱為 Jacobian 矩陣。另一方面,如果 是二階可導函數,我們可以計算 的每一元 的梯度,如此可得 , 稱為 Hessian 矩陣。請注意,梯度 的 Jacobian 矩陣即為函數 的 Hessian 矩陣 (見“Jacobian … Continue reading
Jacobian 矩陣與行列式
本文的閱讀等級:中級 令 為一個向量函數。對於 維實向量 , 具有下列形式: , 其中 , 是 的定義域。例如,極座標至卡氏座標的轉換是一個向量函數: , 其中 ,。如果向量函數 的數學形式相當複雜,線性化是一個常用的簡化方法。針對單變量函數 ,在 附近我們可用直線 近似 。推廣至多變量函數,令 為一個仿射 (affine) 變換 (見“仿射變換”),表示如下: , 其中 是一個 階實矩陣,。下面解釋如何以仿射變換 近似向量函數 ,由此衍生 的導數矩陣,稱為 Jacobian 矩陣 (或簡稱 Jacobian),隨後介紹 Jacobian 行列式與其應用,以及 Jocabian 矩陣與 Hessian 矩陣的關係。
Posted in 線性代數專欄, 應用之道
Tagged Hessian 矩陣, Jacobian 矩陣, Jacobian 行列式, 向量函數, 導數, 換元積分法, 梯度, 極座標, 仿射變換
14 Comments
Lagrange 乘數法
本文的閱讀等級:中級 約束最佳化 (constrained optimization) 是指在一個或多個束縛條件下,尋找一個多變數函數的極值 (極大值或極小值)。舉例來說,我們希望得到 的極小值,但前提是 與 必須滿足束縛條件 。最直截了當的作法是解出束縛條件,如此 可表示為 的函數,譬如 。將上式代入 可得單變數無約束目標函數 ,求導並設為零即得極值的必要條件 。這個方法的主要缺點在於束縛條件未必存在代數解,也就是說 無法寫成 的函數。此外,當變數的數量增多或有多個束縛條件時,縱使能夠得到代數解,無約束目標函數的表達式也可能相當複雜。與上述作法比較,拉格朗日乘數法 (method of Lagrange multipliers) 或稱未定乘數法 (undetermined multipliers) 不須解出束縛條件,因而保留了變數之間的對稱性。由於兼具簡單與典雅兩個優點,Lagrange 乘數法是目前最常被使用於約束最佳化問題的方法。令 Lagrangian 函數為 , 其中 稱為 Lagrange 乘數。計算 對所有變數的偏導數並設為零: , 這個方程組即為最佳解的必要條件。本文採用較富直覺的幾何觀點解說 Lagrange 乘數法的基本原理,預備知識包括正交補餘和正交投影 (見“正交補餘與投影定理”)。
最佳化理論與正定矩陣
本文的閱讀等級:中級 最佳化理論 (優化理論,optimization theory) 提供許多應用於社會、自然與工程科學的數值算法。給定一個目標函數或稱成本函數 ,無約束優化 (unconstrained optimization) 是指找到 使得 有最小值,表示如下: 。 在一些應用場合,如果我們希望找到最大值,只要改變目標函數的正負號即可。對一般的目標函數 ,這是一個很困難的問題,通常我們願意接受局部最小值 (稍後詳述),意思是在某個範圍內的最小值。底下我們先考慮單變數的目標函數,隨後再推廣至多變數函數。本文的主旨在介紹無約束優化的一些基本概念並解釋正定矩陣於判定極值 (最大或最小) 存在性的用途。