Category Archives: 內積空間

約束最小平方問題

本文的閱讀等級:中級 令 為一個 階實矩陣,。如果線性方程 是不一致的 (即不存在解),實務的作法是將線性方程問題改為最小平方近似問題: , 其中 是2-範數 (見“向量範數”),即 與 的歐幾里得距離。根據正交原則,最小平方解 滿足正規方程 (normal equation) (見“從線性變換解釋最小平方近似”)。若 ,也就是說 的行向量 (column vector) 構成一個線性獨立集合,則存在唯一的最小平方解 。 如果最小平方解必須滿足某些束縛條件,則稱為約束最小平方問題 (constrained least-squares problem)。本文討論兩種常出現在多種應用場合的約束形式。線性約束最小平方問題是指束縛條件為線性方程[1]: , 其中 是一個 階實矩陣,。正則 (regularized) 最小平方問題限制未知向量的長度必須固定: 。

Posted in 線性代數專欄, 內積空間 | Tagged , , , , | 4 Comments

單範正交基底

本文的閱讀等級:中級 歐幾里得空間 和 是具有內積運算的向量空間 (見“歐幾里得空間的數學結構”),稱為內積空間。歐幾里得空間 的標準基底 由正交 (垂直) 的單位向量組成,即 且 。令 與 逆時針旋轉 徑度,所得的向量 與 是 的另一組基底。同樣地,基底 滿足 和 。我們稱 與 是歐幾里得空間 的單範正交基底[1] (orthonormal basis)。基底造出向量空間的結構,單範正交基底則造出內積空間的結構。若與非正交基底比較,單範正交基底的最大優勢在於具備清晰的幾何意義而且容易計算。通過討論一般內積空間的單範正交基底的等價條件可以幫助你了解這種特殊基底的應用價值。

Posted in 線性代數專欄, 內積空間 | Tagged , , , , | Leave a comment

內積與外積是怎麼來的?

本文的閱讀等級:初級 在歐幾里得空間 ,兩個向量的內積與外積是怎麼來的?從決定論 (determinism) 的觀點,內積與外積之所以如此定義,可以用先前的數學發展和事態來解釋。愛爾蘭數學家哈密頓 (William Rowan Hamilton) 於1843年提出四元數 (quaternion) 的概念。一個四元數是一個實數加上三個虛部 (見“四元數”),記為 ,其中 是實數,虛數單位 滿足基本公式 。1878年,英國數學家克利福德 (William Kingdon Clifford)[1] 出版 Elements of Dynamic,書中首次用純量積 (scalar product) 與向量積 (vector product) 表示兩個四元數的積。今天,我們習慣稱純量積為點積 (dot product) 或內積 (inner product),向量積則稱為外積或叉積 (cross product)。令 ,, 為 的標準單位向量。一個四元數可用純量─向量和表示為 ,其中 … Continue reading

Posted in 線性代數專欄, 內積空間 | Tagged , , , , | 3 Comments

答erofish──關於 Gramian 行列式不為零的充要條件

網友erofish留言: 老师您好!非常喜欢您在博客上讲述的与线代有关的知识。最近学习数值分析的课程遇到了 Gram 矩阵,书上仅仅从内积空间的4个性质 (正定,齐次,分配,交换) 就证明了 Gram 矩阵行列式不为 的充要条件是 线性无关。我自己做推导却怎么也推不出来。不知道您能否在这篇博文 (見“特殊矩陣 (14):Gramian 矩陣”) 里面讲的更加详细一点,谢谢!

Posted in 答讀者問, 內積空間 | Tagged , | 2 Comments

極小範數解

本文的閱讀等級:中級 令 為一個 階實矩陣。我們用 代表 的行空間 (值域,column space),即 。請注意, 是 的一個子空間。對於任一 ,線性方程 必定有解。在解集合中,有一個解最為特別,該特解位於 的列空間 (row space),即 的行空間 ,並具有最小的2-範數 (歐氏範數,見“向量範數”),稱為極小範數解 (minimum norm solution),記為 。這篇短文介紹極小範數解的性質與表達式。

Posted in 線性代數專欄, 內積空間 | Tagged , , , , | 13 Comments

矩陣的四個基本子空間的正交投影矩陣

本文的閱讀等級:中級 令 為幾何向量空間 的一個子空間,且 是 的正交補餘 (orthogonal complement),意思是 且 。換一個說法,任一 可唯一分解成 ,其中 ,,且 。令 表示映射至子空間 的 階正交投影矩陣。下列性質成立 (見“正交投影矩陣的性質與界定”): 對於每一 ,。 對於每一 ,。 是實對稱冪等矩陣,即 。 且 。 若 () 且 是 的一組基底,將所有的基底向量組成 階矩陣 ,正交投影矩陣 可由下列公式算得 (推導見“線代膠囊──正交投影矩陣”): 。 值得注意的是 不因所選擇的基底 (即 矩陣) … Continue reading

Posted in 線性代數專欄, 內積空間 | Tagged , , , , , , , , , | 5 Comments

值域對稱矩陣

本文的閱讀等級:中級 令 為一 階實矩陣。若 ,則 可正交對角化為 ,其中 是實正交矩陣 (orthogonal matrix),滿足 ,, 是 的特徵值 (見“實對稱矩陣可正交對角化的證明”)。以下令 , 表示 的行空間 (column space,即值域), 表示 的零空間 (nullspace)。本文介紹一種涵蓋對稱矩陣的特殊矩陣,稱為值域對稱矩陣 (range symmetric matrix),具有下列等價的界定性質: ,其中 是一 階可逆分塊, 是一正交矩陣。 直白地說,值域對稱矩陣 的行空間等於列空間 (即 ),零空間等於左零空間 (即 ),行空間正交於零空間,且 正交相似於 ,其中 是可逆分塊。當值域對稱矩陣 退化為一對稱矩陣時, 即為非零特徵值所組成的對角矩陣。若 … Continue reading

Posted in 線性代數專欄, 內積空間 | Tagged , , , , , | Leave a comment

平行四邊形恆等式

本文的閱讀等級:中級 令 為一內積空間。若 的向量範數 (長度) 由內積定義,,則有平行四邊形恆等式 (parallelogram identity),即任意 滿足 。 使用內積性質便可證明 (“內積的定義”),如下: 平行四邊形恆等式的命名來自當 ,如果採用歐氏範數,一個平行四邊形的兩條對角線長度的平方和等於它四邊長度的平方和 (見下圖)。反過來講,若平行四邊形恆等式成立,賦範向量空間 (定義了向量範數的向量空間) 必然是一內積空間嗎?答案是肯定的,下面將詳細說明。

Posted in 線性代數專欄, 內積空間 | Tagged , , , | Leave a comment

向量範數

本文的閱讀等級:中級 線性代數的許多概念與主題衍生自歐幾里得幾何。典型的一個作法是將 和 的幾何觀念推廣至高維座標空間 和 。譬如,畢氏定理可用來計算二維實向量 和三維實向量 的長度: , 稱為歐氏範數 (Euclidean norm)。類似地, 維向量長度也有相同的算式。對於 , 。 上式中,我們以向量內積來表達 維實向量的歐氏範數。同樣道理, 維複向量的歐氏範數應該用複向量內積表達。對於 ,歐氏範數定義為 。 若 ,其中 和 是實數,,則 ,即有 。所以, 確保複向量的歐氏範數 不為負值。

Posted in 線性代數專欄, 內積空間 | Tagged , , , , , | 4 Comments

左逆與右逆

本文的閱讀等級:初級 考慮線性方程 ,其中 為一 階矩陣。如果係數矩陣 存在一個 階左逆矩陣 使得 ,我們可以解出線性系統,如下: 不過,當你試圖反向推導時,卻遇到了麻煩: 我們並不能斷言 也是 的右逆矩陣,即 。問題出在那裡呢?

Posted in 線性代數專欄, 內積空間 | Tagged , | 10 Comments