Tag Archives: 奇異值分解

每週問題 January 13, 2014

本週問題是利用奇異值分解表達最小平方近似解。 Let be an real matrix, , with . Suppose the singular value decomposition of is , where is an real orthogonal matrix, is an real orthogonal matrix, and is , with and for all . Show that the least … Continue reading

Posted in pow 二次型, 每週問題 | Tagged , | Leave a comment

矩陣的數值秩

本文的閱讀等級:高級 1879年,德國數學家弗羅貝尼烏斯 (Ferdinand Georg Frobenius) 提出秩 (rank) 作為矩陣所攜帶訊息量的一種測度。一矩陣 的秩,記作 ,定義為最大可逆子陣的階數,即最大非零餘子式 (minor) 的行列式階數,因此也稱為行列式秩。近代線性代數已捨棄行列式定義,改用較富幾何意義的向量空間定義:秩是矩陣的行空間 (column space) 維數,同樣也是列空間 (row space) 維數,換句話說,秩是最大的線性獨立行 (列) 向量數 (見“你不能不知道的矩陣秩”)。一般基礎線性代數教科書多以高斯消去法揭示矩陣秩 (見“利用行列式計算矩陣秩”),但實際數值計算卻不採用高斯消去法,原因在於 並非 的連續函數。舉例來說,。若 ,則 。若 ,則 。這個例子顯示極微小的擾動量便足以造成矩陣秩的跳躍。由於計算機的浮點運算難免引入誤差,我們必須審慎處理矩陣秩的數值計算問題。本文介紹奇異值分解在矩陣秩的擾動分析以及數值計算的應用,原因無他,奇異值分解是現今最可靠的數值秩算法 (另一個有效的算法是計算成本較低的 QR 分解[1])。

Posted in 線性代數專欄, 數值線性代數 | Tagged , , , , , | Leave a comment

利用 Gramian 矩陣的譜分解推導奇異值分解

本文的閱讀等級:中級 LU 分解是高斯消去法的一種表達形式 (見“LU 分解”),QR 分解記錄 Gram-Schmidt 正交化的結果 (見“Gram-Schmidt 正交化與 QR 分解”)。那麼奇異值分解的根基又是甚麼?答案並非一個演算法,而是一個性質:Gramian 矩陣的譜分解 (spectral decomposition)。矩陣的特徵值也稱為譜,所謂譜分解就是將特徵值分解出來。設 為一 階矩陣,我們稱 階 和 階 為 Gramian 矩陣。不難確認 和 皆為 Hermitian 半正定矩陣 (見“特殊矩陣 (14):Gramian 矩陣”)。Hermitian 矩陣的譜分解稱作么正對角化 (unitary diagonalization):任一 階 Hermitian 矩陣 可表示為 ,其中 是么正矩陣,,且 是實矩陣, … Continue reading

Posted in 線性代數專欄, 二次型 | Tagged , , , | Leave a comment

線代膠囊──奇異值分解

本文的閱讀等級:中級 令 為一個 階複矩陣。下式稱為 的奇異值分解 (singular value decomposition,簡稱 SVD): , 其中 是一個 階么正矩陣 (unitary matrix),滿足 , 稱為左奇異向量; 是一個 階么正矩陣,滿足 , 稱為右奇異向量; 是一個 階矩陣,, 和 ,,稱為奇異值。 若 是實矩陣,只要將 改為 即可,這時 和 稱為正交矩陣 (orthogonal matrix)。下面介紹一個簡短的奇異值分解推導法。

Posted in 線性代數專欄, 二次型 | Tagged , , | 3 Comments

每週問題 December 9, 2013

這是關於等價標準型和奇異值分解的應用問題。 Let be an matrix of rank . Prove that there exists an matrix of rank such that is invertible.

Posted in pow 向量空間, 每週問題 | Tagged , , | Leave a comment

每週問題 November 25, 2013

這是有關奇異值分解於最大化跡數的應用問題。 Let be an real matrix, and let be a singular value decomposition of . Note that and are real orthogonal matrices, and , where is the set of singular values of . Let be an real orthogonal matrix. Show … Continue reading

Posted in pow 二次型, 每週問題 | Tagged , , , | Leave a comment

正交 Procrustes 問題

本文的閱讀等級:高級 普洛克路斯忒斯 (Procrustes) 是希臘神話中海神波塞頓 (Poseidon) 的兒子。他在雅典到埃萊夫西納 (Eleusis) 的神聖之路 (The Sacred Way) 上開設一間黑店,向路過的旅人謊稱店內設有一張適合所有人的鐵床。旅客投宿時,普洛克路斯忒斯將身高者截斷雙足,身矮者則強行拉長,使之與床的長短相同。從來沒有一個人的身長與鐵床的長度相同而免於凌遲,因為他暗地裡準備了兩張床[1]。後人於是以 Procrustean 表示「削足適履,殺頭便冠」,意思是將不同的長度、大小或屬性安裝到一個任意的標準。 正交 Procrustes 問題:給定兩個 階實矩陣 和 ,求一個 階實正交矩陣 ,,使得 具有最小值[2],其中 是 Frobenius 範數。   正交 Procrustes 問題是一個最小平方矩陣近似問題,可以這麼解讀: 是旅人, 是鐵床,正交 Procrustean 變換 (包含旋轉和鏡射) 即為施予旅人的肢體酷刑。我們的問題是求出一酷刑使旅人變形後的身長與鐵床的長度最為吻合。以下討論限定於實矩陣。

Posted in 線性代數專欄, 二次型 | Tagged , , , , , , | 8 Comments

矩陣跡數與特徵值和奇異值的關係

本文的閱讀等級:高級 令 為一個 階複矩陣。矩陣 的主對角元之和稱為跡數 (trace),記作 。 矩陣的跡數與特徵值存在一個簡單的關係 (見“特徵多項式蘊藏的訊息”): , 其中 是 的特徵值。因為種種緣故,多數的基礎線性代數課程就此打住,不再深入探究。引用電影《一代宗師》宮二小姐的話:「寧可一思進,莫在一思停。」現在我們繼續往前進。根據定義,直接計算矩陣乘法可得 本文通過計算 、 和 來探討矩陣跡數與特徵值和奇異值之間的不等關係。

Posted in 特徵分析, 線性代數專欄 | Tagged , , , , , , , , , | 8 Comments

答Avis──關於行秩等於列秩的幾何背景

網友Avis留言: 老师你好,经常关注你的Blog“线性代数启示录”,很喜欢里面的内容。这里有一个问题想请教一下,是学习线性代数多年来觉得比较有意思的地方,为什么矩阵的行秩等于列秩?当然我这里问的不是怎么证明,而是想问是否有更为本质的几何和物理背景?对于几何背景不限于行空间的维数等于列空间维数这样的,而是更想知道到底是怎么样一种结构,使得行列空间秩相同。我之前一直把这个结论,认为是数学的一种“巧合”。在这样的“巧合”之下我们对于一个矩阵就只用定义一个秩 (因为行列秩相同)。

Posted in 答讀者問, 向量空間 | Tagged , , , , , , | 2 Comments

Moore-Penrose 偽逆矩陣

本文的閱讀等級:高級 若 為一個 階矩陣,且 ,則 稱為滿秩 (full rank),此時存在唯一一個 階矩陣 使得 ,我們稱 為 的逆矩陣或反矩陣 (inverse),記為 。方陣的逆矩陣如何延伸推廣至 階矩陣 ?最直接的方法是求一個 階矩陣 使 越接近零矩陣越好。這個概念可具體化為下列最佳化問題: , 其中 表示 Frobenius 範數 (見“矩陣範數”)。為了獲得唯一解,我們另主張 必須具有最小的 Frobenius 範數。將 以行向量 (column vector) 表示為 ,則 , 其中 是歐幾里得空間 的第 個標準單位向量 (第 … Continue reading

Posted in 線性代數專欄, 二次型 | Tagged , , , | 3 Comments