Tag Archives: 譜分解

正規矩陣的等價條件

本文的閱讀等級:高級 令 為一個 階矩陣。若 ,也就是說 和 可交換,則 稱為正規矩陣 (normal matrix)。例如,實對稱矩陣 、Hermitian 矩陣 、反共軛對稱矩陣 ,以及么正 (unitary) 矩陣 皆為正規矩陣 (見“特殊矩陣 (2):正規矩陣”)。目前已知的正規矩陣等價條件大約有 90 個[1],其中很多條件引用的概念相近,另有少許冷僻艱澀。本文挑選 25 個 (文獻[2]列舉出 70 個) 有關於特徵值、特徵向量、奇異值、跡數、範數、二次型、可交換、不變子空間 (invariant subspace)、正定、譜分解 (spectral decomposition),以及極分解 (polar decomposition) 等較具代表性的等價條件,並給出證明 (部分已刊登的證明僅提供連結)。 Advertisements

Posted in 線性代數專欄, 二次型 | Tagged , , , , , , , , | Leave a comment

譜分解的簡易證明

網友 Meiyue Shao: I would like to share with you an alternative proof of the statement on the post 可對角化矩陣的譜分解──續篇(上) The proof is quite similar to yours. But likely mine is relatively simple to follow. As you might want to … Continue reading

Posted in 特徵分析, 網友分享, 線性代數專欄 | Tagged | Leave a comment

可對角化矩陣的譜分解──續篇(下)

本文的閱讀等級:中級 我們曾經在“可對角化矩陣的譜分解──續篇(上)”證明譜定理 (spectrum theorem) 的反向命題:若 階矩陣 可表示為 , 其中 為相異數, 是非零矩陣並滿足 ,,以及 ,則 可對角化 (若未註明階數,以下 表示 階單位矩陣 )。本文介紹一個採用建構式的證明,我們的思路是從給定條件先推論 是冪等 (idempotent) 矩陣,從而導出 的對角化形式 ,其中 ,每一 ,表明 是 的特徵值, 是特徵向量矩陣。這個證明所使用的線性代數定理與分析方法包括分塊矩陣的保秩變換、秩─零度定理、可對角化矩陣的成立條件、秩分解 (rank decomposition),以及透過相似變換用跡數來計算秩。為便於閱讀,我將證明分成幾個步驟。(本文的證明由網友Meiyue Shao提供,原始文本請見“Spectral_decomposition”。)

Posted in 特徵分析, 線性代數專欄 | Tagged , , , | 5 Comments

可對角化矩陣的譜分解──續篇(上)

本文的閱讀等級:中級 令 為一個 階可對角化矩陣, 為相異特徵值,也稱作矩陣譜 (spectrum)。若 是可對角化矩陣,譜定理 (spectrum theorem) 宣稱下列譜分解式唯一存在: , 其中 稱為對應特徵值 的譜投影算子 (矩陣),表達式為 (見“可對角化矩陣的譜分解”) , 並具有以下性質: 是沿著 的行空間 (column space) 至零空間 (nullspace) 的投影矩陣,即冪等矩陣 (idempotent matrix),滿足 (見“特殊矩陣 (5):冪等矩陣”); 若 ,; 。 本文證明譜定理的反向命題:若 ,其中 為相異數, 為非零矩陣並滿足 ,,及 ,則 是可對角化矩陣。為方便閱讀,我將證明過程切割成數個與譜投影矩陣 相關的性質。

Posted in 特徵分析, 線性代數專欄 | Tagged , , | 1 Comment

利用 Gramian 矩陣的譜分解推導奇異值分解

本文的閱讀等級:中級 LU 分解是高斯消去法的一種表達形式 (見“LU 分解”),QR 分解記錄 Gram-Schmidt 正交化的結果 (見“Gram-Schmidt 正交化與 QR 分解”)。那麼奇異值分解的根基又是甚麼?答案並非一個演算法,而是一個性質:Gramian 矩陣的譜分解 (spectral decomposition)。矩陣的特徵值也稱為譜,所謂譜分解就是將特徵值分解出來。設 為一 階矩陣,我們稱 階 和 階 為 Gramian 矩陣。不難確認 和 皆為 Hermitian 半正定矩陣 (見“特殊矩陣 (14):Gramian 矩陣”)。Hermitian 矩陣的譜分解稱作么正對角化 (unitary diagonalization):任一 階 Hermitian 矩陣 可表示為 ,其中 是么正矩陣,,且 是實矩陣, … Continue reading

Posted in 線性代數專欄, 二次型 | Tagged , , , | Leave a comment

特殊矩陣 (22):對合矩陣

本文的閱讀等級:中級 對合函數 (involution) 是逆函數等於自身的函數,也就是說,對合函數 的定義域中所有 滿足 。令 為一個定義於 或 的 階矩陣。若 ,即 ,則 稱為對合 (involutory) 矩陣。換句話說,對合矩陣是單位矩陣的所有平方根。常見的對合矩陣包括: 單位矩陣 和 反對角 (anti-diagonal) 排列矩陣 列交換矩陣,例如, 簽名 (signature ) 矩陣 Householder 矩陣 ,其中 (見“特殊矩陣 (4):Householder 矩陣”)。直接計算可驗證 下面我們介紹對合矩陣的構造法以及性質。

Posted in 特殊矩陣, 線性代數專欄 | Tagged , , , , , | 2 Comments

右特徵向量與左特徵向量

本文的閱讀等級:中級 令 為一個 階矩陣。若 ,,滿足 ,我們稱 是 的一個特徵向量, 是對應的特徵值。淺白地說,特徵向量 經過矩陣 (線性變換) 映射得到的像 (image) 不改變方向,惟長度伸縮了 倍。尼采在《查拉圖斯特拉如是說》裡說: 知識的擁護者必須不僅愛他的敵人,同樣地也必須能夠恨他的朋友。假如你總是自認是一位學生,那麼你從一位老師所獲得的將是非常貧乏的。 尼采的意思是,學生應當審問慎思,才能分辨老師和課本說的話究竟是教條戒律還是客觀真理。在線性代數中,我們總是默認向量是行向量 (column vector),故習以為常地在矩陣的右邊乘一行向量。倘若我們在矩陣的左邊乘一列向量 (row vector),是否也可以平行發展出一套特徵向量與特徵值理論?雖然教科書鮮少提及,但矩陣左乘一列向量並不是一個毫無意義的幼稚想法,下面我們就來探討這個問題。

Posted in 特徵分析, 線性代數專欄 | Tagged , , , , | 6 Comments

等距同構與么正矩陣

本文的閱讀等級:中級 考慮定義於 的線性變換,以 階變換矩陣 表示。哪些線性變換保留兩個向量之間的距離?精確地說,對於任意 維向量 ,我們想知道 必須具備甚麼條件方使得 。 滿足上述關係的線性變換稱為等距同構 (isometry)、正交變換 (orthogonal transformation) 或保距映射 (distance preserving)。相同的問題形式可以放在複數系來討論:哪些複數 使得 ,其中 ?明顯地, 必須滿足 ,或 。共軛複數 類比共軛轉置 ,倒數 類比逆矩陣 (見“矩陣與複數的類比”),則 可類比 ,稱之為么正矩陣 (unitary matrix,或酉矩陣,見“特殊矩陣 (3):么正矩陣 (酉矩陣)”)。如果 是一實矩陣,則 ,稱為正交矩陣 (orthogonal matrix)。下面證明等距同構與么正矩陣是等價的概念。

Posted in 線性代數專欄, 內積空間 | Tagged , , , | Leave a comment

主成分分析與奇異值分解

本文的閱讀等級:高級 給定一份樣本大小為 的數據 ,其中 是 維實向量,記錄 個變數的觀測值。所有的數據點 扣除平均數向量 可得 階離差矩陣 (deviation matrix) ,表示如下: , 其中 是第 個數據點的第 個變數值,也就是說, 的每一列 (row) 對應一個數據點,每一行 (column) 對應一個變數。假設 不存在常數行,即每個變數總是存在若干變異。如欲將數據予以標準化 (每一變數的平均數等於 ,變異數等於 ),將 的每一行的所有元除以該變數的樣本標準差 (樣本變異數的平方根),即有 , 其中 是第 個變數的樣本變異數, 是第 個變數的樣本平均數 (見“樣本平均數、變異數和共變異數”)。令 。標準化後的離差矩陣可表示為 。當數據集的變數總數 很大或變數具有相關性時,主成分分析 (principal … Continue reading

Posted in 線性代數專欄, 二次型 | Tagged , , , , , , , , , , | 4 Comments

線性變換觀點下的奇異值分解

本文的閱讀等級:中級 1960年代初以前,奇異值分解 (singular value decomposition,簡稱 SVD) 普遍被視為一個模糊的理論概念,原因在於當時並不具備實際可行的算法。自從美國計算機科學教授格魯布 (Gene Golub) 與卡韓 (William Kahan) 於1965年率先發表了第一個有效的算法後,奇異值分解的價值才逐漸受到學者肯定,至今已成為線性代數中應用最廣的矩陣分解式[1]。為甚麼奇異值分解這麼重要?這個問題可以從兩個層面加以剖析:奇異值分解的運作原理是甚麼?奇異值分解有哪些經典的應用?本文針對第一個問題提供部分解答。我們從線性變換觀點解釋奇異值分解的運算與意義,並藉此聯繫線性代數的一些核心概念,如值域、核、基本子空間、正交基底和座標變換。 (關於奇異值分解的推導和應用請參閱“奇異值分解專題”列舉的相關文章。)

Posted in 線性代數專欄, 二次型 | Tagged , , , , , , , , | 4 Comments