Tag Archives: Jacobian 矩陣

答黃胤凱──關於 Jacobian 矩陣與臨界點的定義

網友黃胤凱留言: 周老師您好!想請問周老師,當我們在定義 函數的 critical point 是指該點的 gradient=。但在 的函數上,為何定義卻變成是該點的 Jacobian matrix 不是滿秩即為 critical point?要如何理解這個條件?背後有沒有什麼原因造成這個條件呢? Advertisements

Posted in 答讀者問, 應用之道 | Tagged , | 2 Comments

保長、保角與共形映射

本文的閱讀等級:中級 令 為一 階實矩陣。我們可以將 視為一個從幾何向量空間 映至 的線性變換:,其中 。如果線性變換 不改變向量長度,則 稱為保長 (length-preserving) 映射或等距同構 (isometry)。保長映射 有下列等價的定義方式 (見“等距同構與么正矩陣”): 是一實正交矩陣 (orthogonal matrix),即 。 對於每一 ,。 對於任何 ,。 對於任何 ,。 保長映射的定義條件相當嚴苛,我們可以將它稍微放鬆。兩個實向量 和 的內積定義為 (見“內積的定義”) , 其中 是 和 的夾角。對於任意非零向量 ,若線性變換 不改變 和 的夾角,也就是說, , 則 … Continue reading

Posted in 線性代數專欄, 仿射幾何 | Tagged , , , , , , | 2 Comments

多變量常態分布

本文的閱讀等級:中級 在數學、統計學、物理和工程等領域,常態分佈 (normal distribution,Gaussian distribution) 是一個非常重要的連續型機率 (概率) 分布模型。本文將回答下列問題: 如何推導多變量常態分布的機率密度函數 (probability density function)? 怎麼證明服從常態分布的隨機向量的線性變換也為常態分布? 怎麼證明服從常態分布的多隨機變數的子集合亦為常態分布? 如何判別二組 (常態分布) 隨機變數集的獨立性? 具有常態分布的條件機率密度函數為何? 給定條件機率密度函數 ,如何計算 ? 為了避免繁瑣的積分運算,我們以動差生成函數 (moment generating function) 推演,這個方法的理論基礎在於動差生成函數唯一決定機率密度函數 (見“動差生成函數 (上)”)。下面先介紹標準多變量常態分布,隨後通過仿射變換 (affine transformation) 推廣至一般多變量常態分布。

Posted in 機率統計 | Tagged , , , , , , , , , | Leave a comment

答張盛東──關於 Hessian 矩陣與多變量函數的泰勒展開式

網友張盛東留言: 老師,其實能否將 Hessian 矩陣看作 gradient 算子與自身的外積 (outer product)[1] 再乘以函數 ?如果可以,是否可能將多變數函數的 Taylor 展開式前兩項之後的項都像這樣表示成 gradient 算子與自身的外積?

Posted in 特別主題, 答讀者問 | Tagged , , , | 2 Comments

牛頓法──非線性方程的求根方法

本文的閱讀等級:初級 牛頓法 (Newton’s method) 或稱牛頓─拉弗森法 (Newton-Raphson method) 是一個極有效的非線性方程 的求根方法。令 為一個連續可導函數。設 為 的一根的估計值,寫出泰勒級數 。 如果 足夠小,我們可以忽略截斷 (truncated) 誤差 。解線性方程 可得近似根: 。 上式的幾何意義是 為函數 於點 的切線與x-軸的交點。我們期待 比 更接近真實根,遂以迭代程序連續逼近:對於 , 。

Posted in 特別主題 | Tagged , , , | 9 Comments

梯度、散度與旋度

本文的閱讀等級:初級 向量算子是向量分析 (vector calculus 或 vector analysis) 的馱馬,最重要的算子包括梯度 (gradient)、散度 (divergence) 與旋度 (curl)。令 是一開集, 是一次連續可微函數 (以 表示),且 是定義於 的一 向量場 (vector field)。所謂向量場其實就是一個向量函數,例如, , 有些物理和微積分課本將向量場 表示為 , 其中 是 的標準單位向量 (線性代數慣用的對應記號為 )。為便利表達,我們將微分算子 (讀作nabla) 視為一向量: , 這裡 是偏微分算子。函數 的梯度 (grad),向量場 的散度 (div) 和旋度 … Continue reading

Posted in 特別主題 | Tagged , , , , , | 28 Comments

矩陣導數

本文的閱讀等級:中級 令 為一個多變量可導函數,或記為 ,其中 。我們定義 的梯度 (gradient) 為下列 維向量: , 其中 的第 元是 對變數 的一階偏導數 。如果給定 個多變量函數 ,則有 個梯度 。將所有 梯度合併成一個矩陣,取轉置,可得 階矩陣 , 稱為 Jacobian 矩陣。另一方面,如果 是二階可導函數,我們可以計算 的每一元 的梯度,如此可得 , 稱為 Hessian 矩陣。請注意,梯度 的 Jacobian 矩陣即為 的 Hessian 矩陣 (見“Jacobian … Continue reading

Posted in 特別主題 | Tagged , , , , , | 28 Comments

共變異數矩陣與常態分布

本文的閱讀等級:中級 常態分布 (normal distribution),也稱高斯分布 (Gaussian distribution),其機率密度函數為 , 其中 是平均數 (mean), 是變異數 (variance)。對於 ,多變量常態分布的形式如下 (見“ 多變量常態分布”): , 其中 是平均數向量, 是 階共變異數矩陣 (covariance matrix), 是 的行列式。常態分布是一種應用相當廣泛的連續型機率分布,原因之一是大自然產生的變數經常具有常態分布,譬如,某城市成年男子的身高,某田地產出的蘿蔔重量;另外,對於從母體隨機抽取出的樣本,當樣本數增大時,樣本平均數的分布逼近常態分布[1] (見“ 樣本平均數、變異數和共變異數”)。圖1為 的一個常態分布樣本。本文從線性代數觀點探討常態分布與共變異數矩陣的幾何涵義。

Posted in 機率統計 | Tagged , , , , , , , , , , , , , | 5 Comments

Jacobian 矩陣與行列式

本文的閱讀等級:中級 令 為一個向量函數。對於 維實向量 , 具有下列形式: , 其中 , 是 的定義域。例如,極座標至卡氏座標的轉換是一個向量函數: , 其中 ,。如果向量函數 的數學形式相當複雜,線性化是一個常用的簡化方法。針對單變量函數 ,在 附近我們可用直線 近似 。推廣至多變量函數,令 為一個仿射 (affine) 變換 (見“仿射變換”),表示如下: , 其中 是一個 階實矩陣,。下面解釋如何以仿射變換 近似向量函數 ,由此衍生 的導數矩陣,稱為 Jacobian 矩陣 (或簡稱 Jacobian),隨後介紹 Jacobian 行列式與其應用,以及 Jocabian 矩陣與 Hessian 矩陣的關係。

Posted in 線性代數專欄, 應用之道 | Tagged , , , , , , , , | 14 Comments

極分解

本文的閱讀等級:中級 任一 階實矩陣 都可以被分解為 , 稱為極分解 (polar decomposition),其中 是實正交 (orthogonal) 矩陣, 是實對稱半正定 (positive semidefinite) 矩陣。若 是一個複矩陣,則 是么正 (unitary) 矩陣, 是 Hermitian (共軛對稱) 半正定矩陣。

Posted in 線性代數專欄, 二次型 | Tagged , , , , , , , , | 5 Comments