Tag Archives: Jacobian 矩陣

答黃胤凱──關於 Jacobian 矩陣與臨界點的定義

Posted on 08/28/2015 by ccjou

網友黃胤凱留言： 周老師您好！想請問周老師，當我們在定義 函數的 critical point 是指該點的 gradient=。但在 的函數上，為何定義卻變成是該點的 Jacobian matrix 不是滿秩即為 critical point？要如何理解這個條件？背後有沒有什麼原因造成這個條件呢？

Posted in 答讀者問, 應用之道 | Tagged , | 2 Comments

保長、保角與共形映射

Posted on 06/25/2014 by ccjou

本文的閱讀等級：中級 令 為一 階實矩陣。我們可以將 視為一個從幾何向量空間 映至 的線性變換：，其中 。如果線性變換 不改變向量長度，則 稱為保長 (length-preserving) 映射或等距同構 (isometry)。保長映射 有下列等價的定義方式 (見“等距同構與么正矩陣”)： 是一實正交矩陣 (orthogonal matrix)，即 。 對於每一 ，。 對於任何 ，。 對於任何 ，。 保長映射的定義條件相當嚴苛，我們可以將它稍微放鬆。兩個實向量 和 的內積定義為 (見“內積的定義”) ， 其中 是 和 的夾角。對於任意非零向量 ，若線性變換 不改變 和 的夾角，也就是說， ， 則 … Continue reading →

Posted in 線性代數專欄, 仿射幾何 | Tagged , , , , , , | 2 Comments

多變量常態分布

Posted on 06/05/2014 by ccjou

本文的閱讀等級：中級 在數學、統計學、物理和工程等領域，常態分佈 (normal distribution，Gaussian distribution) 是一個非常重要的連續型機率 (概率) 分布模型。本文將回答下列問題： 如何推導多變量常態分布的機率密度函數 (probability density function)？ 怎麼證明服從常態分布的隨機向量的線性變換也為常態分布？ 怎麼證明服從常態分布的多隨機變數的子集合亦為常態分布？ 如何判別二組 (常態分布) 隨機變數集的獨立性？ 具有常態分布的條件機率密度函數為何？ 給定條件機率密度函數 ，如何計算 ？ 為了避免繁瑣的積分運算，我們以動差生成函數 (moment generating function) 推演，這個方法的理論基礎在於動差生成函數唯一決定機率密度函數 (見“動差生成函數 (上)”)。下面先介紹標準多變量常態分布，隨後通過仿射變換 (affine transformation) 推廣至一般多變量常態分布。

Posted in 機率統計 | Tagged , , , , , , , , , | Leave a comment

答張盛東──關於 Hessian 矩陣與多變量函數的泰勒展開式

Posted on 09/09/2013 by ccjou

網友張盛東留言： 老師，其實能否將 Hessian 矩陣看作 gradient 算子與自身的外積 (outer product)[1] 再乘以函數 ？如果可以，是否可能將多變數函數的 Taylor 展開式前兩項之後的項都像這樣表示成 gradient 算子與自身的外積？

Posted in 特別主題, 答讀者問 | Tagged , , , | 2 Comments

牛頓法──非線性方程的求根方法

Posted on 07/08/2013 by ccjou

本文的閱讀等級：初級 牛頓法 (Newton’s method) 或稱牛頓─拉弗森法 (Newton-Raphson method) 是一個極有效的非線性方程 的求根方法。令 為一個連續可導函數。設 為 的一根的估計值，寫出泰勒級數 。 如果 足夠小，我們可以忽略截斷 (truncated) 誤差 。解線性方程 可得近似根： 。 上式的幾何意義是 為函數 於點 的切線與x-軸的交點。我們期待 比 更接近真實根，遂以迭代程序連續逼近：對於 ， 。

Posted in 特別主題 | Tagged , , , | 9 Comments

梯度、散度與旋度

Posted on 06/27/2013 by ccjou

本文的閱讀等級：初級 向量算子是向量分析 (vector calculus 或 vector analysis) 的馱馬，最重要的算子包括梯度 (gradient)、散度 (divergence) 與旋度 (curl)。令 是一開集， 是一次連續可微函數 (以 表示)，且 是定義於 的一 向量場 (vector field)。所謂向量場其實就是一個向量函數，例如， ， 有些物理和微積分課本將向量場 表示為 ， 其中 是 的標準單位向量 (線性代數慣用的對應記號為 )。為便利表達，我們將微分算子 (讀作nabla) 視為一向量： ， 這裡 是偏微分算子。函數 的梯度 (grad)，向量場 的散度 (div) 和旋度 … Continue reading →

Posted in 特別主題 | Tagged , , , , , | 28 Comments

矩陣導數

Posted on 05/31/2013 by ccjou

本文的閱讀等級：中級 令 為一個多變量可導函數，或記為 ，其中 。我們定義 的梯度 (gradient) 為底下的 維向量： ， 其中 的第 元是 對變數 的一階偏導數 。如果給定 個多變量函數 ，則有 個梯度 。將所有 梯度合併成一個矩陣，再取轉置，可得 階矩陣 ， 稱為 Jacobian 矩陣。另一方面，如果 是二階可導函數，我們可以計算 的每一元 的梯度，如此可得 ， 稱為 Hessian 矩陣。請注意，梯度 的 Jacobian 矩陣即為函數 的 Hessian 矩陣 (見“Jacobian … Continue reading →

Posted in 特別主題 | Tagged , , , , , | 31 Comments

共變異數矩陣與常態分布

Posted on 01/11/2013 by ccjou

本文的閱讀等級：中級 常態分布 (normal distribution)，也稱高斯分布 (Gaussian distribution)，其機率密度函數為 ， 其中 是平均數 (mean)， 是變異數 (variance)。對於 ，多變量常態分布的形式如下 (見“ 多變量常態分布”)： ， 其中 是平均數向量， 是 階共變異數矩陣 (covariance matrix)， 是 的行列式。常態分布是一種應用相當廣泛的連續型機率分布，原因之一是大自然產生的變數經常具有常態分布，譬如，某城市成年男子的身高，某田地產出的蘿蔔重量；另外，對於從母體隨機抽取出的樣本，當樣本數增大時，樣本平均數的分布逼近常態分布[1] (見“ 樣本平均數、變異數和共變異數”)。圖1為 的一個常態分布樣本。本文從線性代數觀點探討常態分布與共變異數矩陣的幾何涵義。

Posted in 機率統計 | Tagged , , , , , , , , , , , , , | 5 Comments

Jacobian 矩陣與行列式

Posted on 11/26/2012 by ccjou

本文的閱讀等級：中級 令 為一個向量函數。對於 維實向量 ， 具有下列形式： ， 其中 ， 是 的定義域。例如，極座標至卡氏座標的轉換是一個向量函數： ， 其中 ，。如果向量函數 的數學形式相當複雜，線性化是一個常用的簡化方法。針對單變量函數 ，在 附近我們可用直線 近似 。推廣至多變量函數，令 為一個仿射 (affine) 變換 (見“仿射變換”)，表示如下： ， 其中 是一個 階實矩陣，。下面解釋如何以仿射變換 近似向量函數 ，由此衍生 的導數矩陣，稱為 Jacobian 矩陣 (或簡稱 Jacobian)，隨後介紹 Jacobian 行列式與其應用，以及 Jocabian 矩陣與 Hessian 矩陣的關係。

Posted in 線性代數專欄, 應用之道 | Tagged , , , , , , , , | 14 Comments

極分解

Posted on 09/09/2009 by ccjou

本文的閱讀等級：中級 任一 階實矩陣 都可以被分解為 ， 稱為極分解 (polar decomposition)，其中 是實正交 (orthogonal) 矩陣， 是實對稱半正定 (positive semidefinite) 矩陣。若 是一個複矩陣，則 是么正 (unitary) 矩陣， 是 Hermitian (共軛對稱) 半正定矩陣。

Posted in 線性代數專欄, 二次型 | Tagged , , , , , , , , | 5 Comments