Tag Archives: SVD

本文的閱讀等級：中級 令 為一個 階複矩陣。下式稱為 的奇異值分解 (singular value decomposition，簡稱 SVD)： ， 其中 是一個 階么正矩陣 (unitary matrix)，滿足 ， 稱為左奇異向量； 是一個 階么正矩陣，滿足 ， 稱為右奇異向量； 是一個 階矩陣，， 和 ，，稱為奇異值。 若 是實矩陣，只要將 改為 即可，這時 和 稱為正交矩陣 (orthogonal matrix)。下面介紹一個簡短的奇異值分解推導法。

本文的閱讀等級：中級 1960年代初以前，奇異值分解 (singular value decomposition，簡稱 SVD) 普遍被視為一個模糊的理論概念，原因在於當時並不具備實際可行的算法。自從美國計算機科學教授格魯布 (Gene Golub) 與卡韓 (William Kahan) 於1965年率先發表了第一個有效的算法後，奇異值分解的價值才逐漸受到學者肯定，至今已成為線性代數中應用最廣的矩陣分解式[1]。為甚麼奇異值分解這麼重要？這個問題可以從兩個層面加以剖析：奇異值分解的運作原理是甚麼？奇異值分解有哪些經典的應用？本文針對第一個問題提供部分解答。我們從線性變換觀點解釋奇異值分解的運算與意義，並藉此聯繫線性代數的一些核心概念，如值域、核、基本子空間、正交基底和座標變換。 (關於奇異值分解的推導和應用請參閱“奇異值分解專題”列舉的相關文章。)

本文的閱讀等級：高級 理解線性變換 的一個有效方式是透過解釋其幾何意義來呈現從向量空間 經過線性變換 映射至向量空間 的變化性質。實際作法可由兩方面著手，第一個作法是在輸入空間 和輸出空間 中分別挑選出適當的基底，藉由基底之間的映射關係解析線性變換 ，這個結果稱為對角化；第二個作法是固定輸入向量 的某些幾何性質，從觀察輸出向量 的變化情況來瞭解 的作用。本文採用上述兩種方法解說奇異值分解 (singular value decomposition，簡稱 SVD) 的幾何意義 (見“奇異值分解 (SVD)”)。