Category Archives: 線性代數專欄

翻轉 LU 分解

本文的閱讀等級:初級 愛因斯坦說[1]:「邏輯可以將你由 A 點帶到 B 點,想像則可以帶你到任何地方。」在我想像的翻轉課堂,學生會先在家裡觀看交大出版社發行的線性代數《教學光碟》,沒有購買光碟的學生則到學校圖書館觀看。在教室的時間,學生跟老師一起交流互動,我們經常以問答方式討論課程內容,但學生與老師的角色對調。底下抄錄一段關於 LU 分解的對話,大家可以體驗翻轉課堂的學習情境。 Advertisements

Posted in 線性方程, 線性代數專欄 | Tagged , , | Leave a comment

主成分分析與低秩矩陣近似

本文的閱讀等級:高級 假設我們有一筆維數等於 ,樣本大小為 的數據 ,也就是說每一個數據點 包含 個變數的量測值。沿用統計學與數據科學的慣例 (見“數據矩陣的列與行”),定義 階數據矩陣 , 其中 代表第 個變數的第 個量測值,,。在不造成混淆的情況下,以下用 表示第 個變數。如果數據包含大量的變數 ( 很大) 或者變數之間存在顯著的共線性關係[1],你可以設計一個從向量空間 映至 的線性映射,,數據點 經映射後的像 (image) 構築另一筆變數較少且兩兩變數不存在線性相關性的新數據,這個方法稱為主成分分析 (principal components analysis)。從統計學的觀點,主成分分析的目的是找到少量的新變數,稱為降維 (dimension reduction),同時盡可能地保留變數的總變異量。從線性代數的觀點,主成分分析其實是一種矩陣近似法,我們希望得到一個最近似於原數據矩陣 的低秩 (low rank) 同尺寸矩陣。本文證明證明主成分分析與低秩矩陣近似在本質上是相同的問題。

Posted in 線性代數專欄, 應用之道 | Tagged , , , , | Leave a comment

約束最小平方問題

本文的閱讀等級:中級 令 為一個 階實矩陣,。如果線性方程 是不一致的 (即不存在解),實務的作法是將線性方程問題改為最小平方近似問題: , 其中 是2-範數 (見“向量範數”),即 與 的歐幾里得距離。根據正交原則,最小平方解 滿足正規方程 (normal equation) (見“從線性變換解釋最小平方近似”)。若 ,也就是說 的行向量 (column vector) 構成一個線性獨立集合,則存在唯一的最小平方解 。 如果最小平方解必須滿足某些束縛條件,則稱為約束最小平方問題 (constrained least-squares problem)。本文討論兩種常出現在多種應用場合的約束形式。線性約束最小平方問題是指束縛條件為線性方程[1]: , 其中 是一個 階實矩陣,。正則 (regularized) 最小平方問題限制未知向量的長度必須固定: 。

Posted in 線性代數專欄, 內積空間 | Tagged , , , , | 4 Comments

答DJWS──關於以鏡射變換實現矩陣轉置

網友DJWS留言: 想請教老師一個問題:給定矩陣 ,使用一連串的鏡射變換,變成其轉置 ,該如何做呢?

Posted in 答讀者問, 線性變換 | Tagged , , , , | Leave a comment

Cayley-Hamilton 定理的一個錯誤「證明」

本文的閱讀等級:初級 在線性代數中,Cayley-Hamilton 定理可謂最令學者感到驚奇的定理之一:任一 階矩陣 的特徵多項式 消滅 ,即 , 是零矩陣。以 為例, 的特徵多項式為 Cayley-Hamilton 定理宣稱 。

Posted in 特徵分析, 線性代數專欄 | Tagged , | 2 Comments

反對角矩陣的特徵值

本文的閱讀等級:初級 令 為一個 階反對角矩陣 (anti-diagonal matrix)。例如,若 , 。 如果不解出特徵多項式 的根,反對角矩陣是否有更快捷的特徵值算法?通過基底變換,我們可以設法使 的 個反主對角元「集中」於主對角線附近,精確地說, 相似於一個分塊對角矩陣。

Posted in 特徵分析, 線性代數專欄 | Tagged , | Leave a comment

不說廢話──克拉瑪公式的證明

本文的閱讀等級:初級 You know that I write slowly. This is chiefly because I am never satisfied until I have said as much as possible in a few words, and writing briefly takes far more time than writing at length. ― Carl Friedrich … Continue reading

Posted in 線性代數專欄, 行列式 | Tagged , | 2 Comments

答王昭晴──關於線性代數之“線性”一詞的涵義

網友王昭晴留言: 老師您好,我最近在回顧過去所學的線性代數時開始有了一些問題。這些事過去不曾仔細思考過就當作一個名詞走馬看花的過去了。尤其是關於“線性”兩個字。為何要特別叫“線性”呢?我的意思是線性代數中一些定義會加註線性兩個字,例如線性向量空間 (linear vector space) 與方程式或者向量的線性組合 (linear combination)。為何要特別稱此二者為線性?難道有非線性的向量空間與非線性的組合嗎?而“線性”二字是否有除了線性方程式以外更深層的意思呢?還是說僅僅只是因為線性代數的發展是從線性方程式開始研究起,就稱作線性了呢?

Posted in 答讀者問, 線性變換 | Tagged , , | 5 Comments

二階方陣的平方根

本文的閱讀等級:中級 設 是一個 階矩陣。若同階矩陣 使得 ,我們稱 為 的一個平方根。對角化是矩陣平方根的標準算法。若 可對角化為 ,其中 是一個可逆矩陣, 的主對角元 為 的特徵值。若 是 的一個平方根,,則 是 的一個平方根。若 有兩兩相異的非零特徵值,則存在 個平方根 。但如果 有相重特徵值或 ,取決於 的 Jordan 典型形式, 可能不存在平方根,存在少於 或無窮多個平方根。特別的, 階矩陣的平方根公式相當簡單,原因在於其逆矩陣、特徵值與特徵向量都有容易處理的代數式。

Posted in 特徵分析, 線性代數專欄 | Tagged , | Leave a comment

單範正交基底

本文的閱讀等級:中級 歐幾里得空間 和 是具有內積運算的向量空間 (見“歐幾里得空間的數學結構”),稱為內積空間。歐幾里得空間 的標準基底 由正交 (垂直) 的單位向量組成,即 且 。令 與 逆時針旋轉 徑度,所得的向量 與 是 的另一組基底。同樣地,基底 滿足 和 。我們稱 與 是歐幾里得空間 的單範正交基底[1] (orthonormal basis)。基底造出向量空間的結構,單範正交基底則造出內積空間的結構。若與非正交基底比較,單範正交基底的最大優勢在於具備清晰的幾何意義而且容易計算。通過討論一般內積空間的單範正交基底的等價條件可以幫助你了解這種特殊基底的應用價值。

Posted in 線性代數專欄, 內積空間 | Tagged , , , , | Leave a comment