Tag Archives: 正交矩陣

Cayley 變換

本文的閱讀等級:初級 令 為一個 階矩陣。若 可逆,英國數學家凱萊 (Arthur Cayley) 於1846年提出下列變換,稱為 Cayley 變換[1]: , 其中 與 是可交換矩陣 (證明見註解[2])。除非特別註明,以下考慮實矩陣。通過 Cayley 變換,反對稱矩陣 (anti-symmetric matrix) 或稱斜對稱矩陣 (skew-symmetric matrix) 與特殊的一類正交矩陣 (orthogonal matrix) 具有一對一的對應關係。 Advertisements

Posted in 線性變換, 線性代數專欄 | Tagged , , , , | Leave a comment

值域對稱矩陣

本文的閱讀等級:中級 令 為一 階實矩陣。若 ,則 可正交對角化為 ,其中 是實正交矩陣 (orthogonal matrix),滿足 ,, 是 的特徵值 (見“實對稱矩陣可正交對角化的證明”)。以下令 , 表示 的行空間 (column space,即值域), 表示 的零空間 (nullspace)。本文介紹一種涵蓋對稱矩陣的特殊矩陣,稱為值域對稱矩陣 (range symmetric matrix),具有下列等價的界定性質: ,其中 是一 階可逆分塊, 是一正交矩陣。 直白地說,值域對稱矩陣 的行空間等於列空間 (即 ),零空間等於左零空間 (即 ),行空間正交於零空間,且 正交相似於 ,其中 是可逆分塊。當值域對稱矩陣 退化為一對稱矩陣時, 即為非零特徵值所組成的對角矩陣。若 … Continue reading

Posted in 線性代數專欄, 內積空間 | Tagged , , , , , | Leave a comment

實矩陣的分塊三角化與分塊對角化

本文的閱讀等級:中級 實係數多項式未必存在實根,例如,。專業的數學語彙是實數體 並非一個代數閉體 (algebraically closed field)。這個事實表現在實矩陣可能不存在實特徵值,如下例, , 其中 和 是實數且 。不難驗證 有共軛特徵值 ,其中 。在矩陣理論中,Schur 定理表明任一 階矩陣 必可通過相似變換三角化為 ,其中 是一上三角矩陣, 是一么正 (unitary) 矩陣,滿足 (見“矩陣三角化的 Schur 定理”)。考慮 是實矩陣的情況。若 的特徵值都是實數,則 為實矩陣且 為實正交 (orthogonal) 矩陣,。以下實正交矩陣簡稱為正交矩陣。若 有複 (共軛) 特徵值,則 和 都是複矩陣。在此情況下,如果我們要求 是正交矩陣,則 不再是複上三角矩陣,本文將證明 可以簡化至一個實分塊上三角矩陣。更進一步,若 是可對角化矩陣,則存在一可逆矩陣 … Continue reading

Posted in 特徵分析, 線性代數專欄 | Tagged , , , | Leave a comment

每週問題 November 25, 2013

這是有關奇異值分解於最大化跡數的應用問題。 Let be an real matrix, and let be a singular value decomposition of . Note that and are real orthogonal matrices, and , where is the set of singular values of . Let be an real orthogonal matrix. Show … Continue reading

Posted in pow 二次型, 每週問題 | Tagged , , , | Leave a comment

正交 Procrustes 問題

本文的閱讀等級:高級 普洛克路斯忒斯 (Procrustes) 是希臘神話中海神波塞頓 (Poseidon) 的兒子。他在雅典到埃萊夫西納 (Eleusis) 的神聖之路 (The Sacred Way) 上開設一間黑店,向路過的旅人謊稱店內設有一張適合所有人的鐵床。旅客投宿時,普洛克路斯忒斯將身高者截斷雙足,身矮者則強行拉長,使之與床的長短相同。從來沒有一個人的身長與鐵床的長度相同而免於凌遲,因為他暗地裡準備了兩張床[1]。後人於是以 Procrustean 表示「削足適履,殺頭便冠」,意思是將不同的長度、大小或屬性安裝到一個任意的標準。 正交 Procrustes 問題:給定兩個 階實矩陣 和 ,求一個 階實正交矩陣 ,,使得 具有最小值[2],其中 是 Frobenius 範數。   正交 Procrustes 問題是一個最小平方矩陣近似問題,可以這麼解讀: 是旅人, 是鐵床,正交 Procrustean 變換 (包含旋轉和鏡射) 即為施予旅人的肢體酷刑。我們的問題是求出一酷刑使旅人變形後的身長與鐵床的長度最為吻合。以下討論限定於實矩陣。

Posted in 線性代數專欄, 二次型 | Tagged , , , , , , | 8 Comments

等距同構與么正矩陣

本文的閱讀等級:中級 考慮定義於 的線性變換,以 階變換矩陣 表示。哪些線性變換保留兩個向量之間的距離?精確地說,對於任意 維向量 ,我們想知道 必須具備甚麼條件方使得 。 滿足上述關係的線性變換稱為等距同構 (isometry)、正交變換 (orthogonal transformation) 或保距映射 (distance preserving)。相同的問題形式可以放在複數系來討論:哪些複數 使得 ,其中 ?明顯地, 必須滿足 ,或 。共軛複數 類比共軛轉置 ,倒數 類比逆矩陣 (見“矩陣與複數的類比”),則 可類比 ,稱之為么正矩陣 (unitary matrix,或酉矩陣,見“特殊矩陣 (3):么正矩陣 (酉矩陣)”)。如果 是一實矩陣,則 ,稱為正交矩陣 (orthogonal matrix)。下面證明等距同構與么正矩陣是等價的概念。

Posted in 線性代數專欄, 內積空間 | Tagged , , , | Leave a comment

線性變換觀點下的奇異值分解

本文的閱讀等級:中級 1960年代初以前,奇異值分解 (singular value decomposition,簡稱 SVD) 普遍被視為一個模糊的理論概念,原因在於當時並不具備實際可行的算法。自從美國計算機科學教授格魯布 (Gene Golub) 與卡韓 (William Kahan) 於1965年率先發表了第一個有效的算法後,奇異值分解的價值才逐漸受到學者肯定,至今已成為線性代數中應用最廣的矩陣分解式[1]。為甚麼奇異值分解這麼重要?這個問題可以從兩個層面加以剖析:奇異值分解的運作原理是甚麼?奇異值分解有哪些經典的應用?本文針對第一個問題提供部分解答。我們從線性變換觀點解釋奇異值分解的運算與意義,並藉此聯繫線性代數的一些核心概念,如值域、核、基本子空間、正交基底和座標變換。 (關於奇異值分解的推導和應用請參閱“奇異值分解專題”列舉的相關文章。)

Posted in 線性代數專欄, 二次型 | Tagged , , , , , , , , | 4 Comments

共變異數矩陣與常態分布

本文的閱讀等級:中級 常態分布 (normal distribution),也稱高斯分布 (Gaussian distribution),其機率密度函數為 , 其中 是平均數 (mean), 是變異數 (variance)。對於 ,多變量常態分布的形式如下 (見“ 多變量常態分布”): , 其中 是平均數向量, 是 階共變異數矩陣 (covariance matrix), 是 的行列式。常態分布是一種應用相當廣泛的連續型機率分布,原因之一是大自然產生的變數經常具有常態分布,譬如,某城市成年男子的身高,某田地產出的蘿蔔重量;另外,對於從母體隨機抽取出的樣本,當樣本數增大時,樣本平均數的分布逼近常態分布[1] (見“ 樣本平均數、變異數和共變異數”)。圖1為 的一個常態分布樣本。本文從線性代數觀點探討常態分布與共變異數矩陣的幾何涵義。

Posted in 機率統計 | Tagged , , , , , , , , , , , , , | 5 Comments

半正定矩陣的判別方法

本文的閱讀等級:中級 令 為一個 階實對稱矩陣。若任一非零向量 使得二次型 ,我們稱 是正定 (positive definite) 矩陣 (見“特殊矩陣 (6):正定矩陣”)。若任一 皆滿足 ,則 稱為半正定 (positive semidefinite) 矩陣。本文介紹半正定矩陣的一些判別方法。如欲將本文內容推廣至 Hermitian 複矩陣,僅須將實數系 替換為複數系 ,並且將轉置 替換為共軛轉置 即可。

Posted in 線性代數專欄, 二次型 | Tagged , , , , , , , | 2 Comments

偽逆矩陣與轉置矩陣的二三事

本文的閱讀等級:高級 令 為一個 階實矩陣且 。設矩陣 的奇異值分解為 ,其中 和 分別是 階和 階正交矩陣 (orthogonal matrix),滿足 和 , 階矩陣 包含可逆分塊 ,主對角元 為非零奇異值。偽逆矩陣 (pseudoinverse) 定義為下列 階矩陣 (見“Moore-Penrose 偽逆矩陣”): , 其中 是 階對角矩陣。偽逆矩陣 的表達式即為其奇異值分解。見下例 (取自“SVD 於剖析線性方程的應用”): 偽逆矩陣計算如下: 。 偽逆矩陣 與轉置矩陣 皆為 階,兩者同為 映至 的線性變換。下文以問答方式解說偽逆矩陣與轉置矩陣的一些性質。開始之前,請讀者先參閱背景文章:“奇異值分解(SVD)”和“通過推導偽逆矩陣認識線性代數的深層結構”。

Posted in 線性代數專欄, 二次型 | Tagged , , , , , | 2 Comments