Tag Archives: 偽逆矩陣

AXB=C 有解的充要條件──續篇

本文的閱讀等級:高級 令 是 階, 是 階, 是 階矩陣。考慮線性方程 , 其中 是 階未知矩陣。我們曾經在前文“AXB=C 有解的充要條件”介紹 有解的兩個充要條件。本文再補充一個基於 Moore-Penrose 偽逆矩陣 (pseudo-inverse) 的充要條件,並給出 的通解表達式。對於 階矩陣 ,存在唯一的 階矩陣 ,稱為 Moore-Penrose 偽逆矩陣,使得 ,, 且 (見“Moore-Penrose 偽逆矩陣”)。線性方程 存在解的三個等價充要條件整理於下: 存在矩陣 和 使得 且 ; 且 ; 。 Advertisements

Posted in 線性代數專欄, 二次型 | Tagged , | Leave a comment

極小範數解

本文的閱讀等級:中級 令 為一個 階實矩陣。我們用 代表 的行空間 (值域,column space),即 。請注意, 是 的一個子空間。對於任一 ,線性方程 必定有解。在解集合中,有一個解最為特別,該特解位於 的列空間 (row space),即 的行空間 ,並具有最小的2-範數 (歐氏範數,見“向量範數”),稱為極小範數解 (minimum norm solution),記為 。這篇短文介紹極小範數解的性質與表達式。

Posted in 線性代數專欄, 內積空間 | Tagged , , , , | 11 Comments

矩陣的四個基本子空間的正交投影矩陣

本文的閱讀等級:中級 令 為幾何向量空間 的一個子空間,且 是 的正交補餘 (orthogonal complement),意思是 且 。換一個說法,任一 可唯一分解成 ,其中 ,,且 。令 表示映射至子空間 的 階正交投影矩陣。下列性質成立 (見“正交投影矩陣的性質與界定”): 對於每一 ,。 對於每一 ,。 是實對稱冪等矩陣,即 。 且 。 若 () 且 是 的一組基底,將所有的基底向量組成 階矩陣 ,正交投影矩陣 可由下列公式算得 (推導見“線代膠囊──正交投影矩陣”): 。 值得注意的是 不因所選擇的基底 (即 矩陣) … Continue reading

Posted in 線性代數專欄, 內積空間 | Tagged , , , , , , , , , | 5 Comments

左逆與右逆

本文的閱讀等級:初級 考慮線性方程 ,其中 為一 階矩陣。如果係數矩陣 存在一個 階左逆矩陣 使得 ,我們可以解出線性系統,如下: 不過,當你試圖反向推導時,卻遇到了麻煩: 我們並不能斷言 也是 的右逆矩陣,即 。問題出在那裡呢?

Posted in 線性代數專欄, 內積空間 | Tagged , | 10 Comments

Moore-Penrose 偽逆矩陣

本文的閱讀等級:高級 若 為一個 階矩陣,且 ,則 稱為滿秩 (full rank),此時存在唯一一個 階矩陣 使得 ,我們稱 為 的逆矩陣或反矩陣 (inverse),記為 。方陣的逆矩陣如何延伸推廣至 階矩陣 ?最直接的方法是求一個 階矩陣 使 越接近零矩陣越好。這個概念可具體化為下列最佳化問題: , 其中 表示 Frobenius 範數 (見“矩陣範數”)。為了獲得唯一解,我們另主張 必須具有最小的 Frobenius 範數。將 以行向量 (column vector) 表示為 ,則 , 其中 是歐幾里得空間 的第 個標準單位向量 (第 … Continue reading

Posted in 線性代數專欄, 二次型 | Tagged , , , | 3 Comments

偽逆矩陣與轉置矩陣的二三事

本文的閱讀等級:高級 令 為一個 階實矩陣且 。設矩陣 的奇異值分解為 ,其中 和 分別是 階和 階正交矩陣 (orthogonal matrix),滿足 和 , 階矩陣 包含可逆分塊 ,主對角元 為非零奇異值。偽逆矩陣 (pseudoinverse) 定義為下列 階矩陣 (見“Moore-Penrose 偽逆矩陣”): , 其中 是 階對角矩陣。偽逆矩陣 的表達式即為其奇異值分解。見下例 (取自“SVD 於剖析線性方程的應用”): 偽逆矩陣計算如下: 。 偽逆矩陣 與轉置矩陣 皆為 階,兩者同為 映至 的線性變換。下文以問答方式解說偽逆矩陣與轉置矩陣的一些性質。開始之前,請讀者先參閱背景文章:“奇異值分解(SVD)”和“通過推導偽逆矩陣認識線性代數的深層結構”。

Posted in 線性代數專欄, 二次型 | Tagged , , , , , | 2 Comments

SVD 於剖析線性方程的應用

本文的閱讀等級:高級 考慮線性方程 ,其中 是 階實矩陣, 是 維向量,並設 。在一般情況下,高斯消去法是最普及的標準求解演算法,但假設我們已知矩陣 的奇異值分解 (SVD),那該如何運用這個優勢來計算方程式解?在“通過推導偽逆矩陣認識線性代數的深層結構”,我們曾經討論過這個問題,並從奇異值分解導出僞逆矩陣,本文則針對該文提出迴響及補充,用意是藉由奇異值分解產生的基底剖析線性方程的解。對奇異值分解陌生的讀者,請先參考“奇異值分解 (SVD)”。

Posted in 線性代數專欄, 二次型 | Tagged , , , , , , | 3 Comments

從線性變換解釋最小平方近似

本文的閱讀等級:初級 在整個線性代數領域,移動向量空間的線性變換以不同面貌貫穿許多重要的主題。線性代數初學者經常將線性變換侷限於單純的幾何變換,例如,旋轉、拉伸、鏡射等,實際情況是線性變換幾乎無所不在,線性變換就隱藏在矩陣向量的乘法運算。直白地說,矩陣向量乘法是線性變換的具體實現,而線性變換則是矩陣向量乘法的情境描述。下面我從線性變換觀點解釋最小平方近似問題的解決過程與意義,透過線性變換觀點不但可使原本抽象的內容變成容易理解的敘事情境,線性變換的映射機制也為線性代數理論與其應用搭建一座橋樑。

Posted in 線性代數專欄, 內積空間 | Tagged , , , , , , , | 13 Comments

利用偽逆矩陣解線性方程

本文的閱讀等級:高級 在“線性代數的原罪?”一文裡,我曾說: 長久以來我們的數學教育方式 (其他課目也差不了多少) 是先告訴學生有關「數學」的事,展示給他們看這個「數學」是如何運作的,下課前塞給學生一些問題,回家自己去練習。 這種學習方式是學校教育講求成本效率下的產物,誰也說不準到底有多少長遠效果。我認為的理想學習方式應該帶有濃厚的實驗與實踐色彩,也就是經由發現問題,嘗試提出解答,從而建立理論。

Posted in 線性代數專欄, 數值線性代數 | Tagged , , , , | 5 Comments

通過推導偽逆矩陣認識線性代數的深層結構

本文的閱讀等級:高級 長久以來,機械學習法一直是廣被採用的學習方法,好處是短時間可以看見成效,壞處是很難繼續往前邁進。學習線性代數尤其如此,使用機械學習法頂多只能熟悉幾個演算法,記住一些性質和定理,但絲毫無助於理解線性代數的核心概念與結構。通過推導偽逆矩陣 (pseudo inverse),我們運用線性代數的基本定理將其深層結構,譬如向量空間、線性變換、正交、基底、基底變換等,全部予以呈現出來。無須背誦經文照樣可以輕鬆掌握線性代數的重要概念與技巧,何樂而不為之。

Posted in 線性代數專欄, 二次型 | Tagged , , , , , , , | 6 Comments