Tag Archives: 奇異值分解

線性基函數模型

本文的閱讀等級:中級 在數理統計與機器學習,線性回歸 (linear regression) 是一種形式最簡單的回歸模型。令 表示輸入變數,或稱預測變數。輸入變數的線性組合再加上一個數即構成線性回歸: , 其中 是待決定的參數, 稱為偏權值 (bias), 是對應輸入變數 的權值 (weight)[1],。線性回歸既是權值 ,也是輸入變數 的一個線性函數,應用範疇因此受到很大的限制。在保留線性模型架構的前提下,如欲將線性回歸推廣為非線性函數,你可以考慮一組固定的非線性函數的線性組合: , 其中 稱為基函數 (basis function)。為簡化書寫,定義 。線性基函數模型 (linear basis function model) 的表達式如下: , 其中 , 是一個向量函數, 稱為基函數向量。由於 是權值 的線性函數,同時也是基函數 的線性函數,因此我們稱之為線性基函數模型。若 且 ,,線性基函數模型退化為線性回歸。如果使用非線性基函數, 實質上是輸入變數 的一個非線性函數。 Advertisements

Posted in 機器學習 | Tagged , , , , , , , , , , , | Leave a comment

主成分分析與低秩矩陣近似

本文的閱讀等級:高級 假設我們有一筆維數等於 ,樣本大小為 的數據 ,也就是說每一個數據點 包含 個變數的量測值。沿用統計學與數據科學的慣例 (見“數據矩陣的列與行”),定義 階數據矩陣 , 其中 代表第 個變數的第 個量測值,,。在不造成混淆的情況下,以下用 表示第 個變數。如果數據包含大量的變數 ( 很大) 或者變數之間存在顯著的共線性關係[1],你可以設計一個從向量空間 映至 的線性映射,,數據點 經映射後的像 (image) 構築另一筆變數較少且兩兩變數不存在線性相關性的新數據,這個方法稱為主成分分析 (principal components analysis)。從統計學的觀點,主成分分析的目的是找到少量的新變數,稱為降維 (dimension reduction),同時盡可能地保留變數的總變異量。從線性代數的觀點,主成分分析其實是一種矩陣近似法,我們希望得到一個最近似於原數據矩陣 的低秩 (low rank) 同尺寸矩陣。本文證明證明主成分分析與低秩矩陣近似在本質上是相同的問題。

Posted in 線性代數專欄, 應用之道 | Tagged , , , , | Leave a comment

約束最小平方問題

本文的閱讀等級:中級 令 為一個 階實矩陣,。如果線性方程 是不一致的 (即不存在解),實務的作法是將線性方程問題改為最小平方近似問題: , 其中 是2-範數 (見“向量範數”),即 與 的歐幾里得距離。根據正交原則,最小平方解 滿足正規方程 (normal equation) (見“從線性變換解釋最小平方近似”)。若 ,也就是說 的行向量 (column vector) 構成一個線性獨立集合,則存在唯一的最小平方解 。 如果最小平方解必須滿足某些束縛條件,則稱為約束最小平方問題 (constrained least-squares problem)。本文討論兩種常出現在多種應用場合的約束形式。線性約束最小平方問題是指束縛條件為線性方程[1]: , 其中 是一個 階實矩陣,。正則 (regularized) 最小平方問題限制未知向量的長度必須固定: 。

Posted in 線性代數專欄, 內積空間 | Tagged , , , , | 4 Comments

每週問題 December 5, 2016

給定正整數 ,證明任一矩陣 可分解為 。 Let be any complex matrix. Show that for each positive integer there exists a unique matrix such that .

Posted in pow 二次型, 每週問題 | Tagged | Leave a comment

每週問題 July 6, 2015

這是么正矩陣 (或稱酉矩陣,unitary matrix) 的一個界定性質。 Let be an matrix with all eigenvalues equal to 1 in absolute value. Show that is a unitary matrix if, for all , .

Posted in pow 二次型, 每週問題 | Tagged , , | Leave a comment

每週問題 April 13, 2015

方陣的特徵值積與奇異值積有何關係? Let be an matrix. Show that , where and are the eigenvalues and singular values of , respectively.

Posted in pow 二次型, 每週問題 | Tagged , , | Leave a comment

答Regan Yuan──關於主成分分析的奇異值分解算法

網友Regan Yuan留言: 老师您好,首先对您以往的支持和耐心详细的讲解,表示由衷的敬意和感谢!再次虚心请教老师一个问题,对于采用singular value decomposition的principal components analysis算法,最近总是有些搞不清,能否提供一个具体的例子呢?比如下面这个问题:五个学生 (5 cases or observations) 的跳高,跳远,乒乓球三门具有相关性的体育成绩 (3 variables or dimensions) 的 矩阵, , 用PCA进行降维度,具体解决方法如何?请明示,谢谢您!祝您开心每一天!

Posted in 答讀者問, 應用之道 | Tagged , , , | 31 Comments

答cwj──關於奇異值分解背後的涵義

網友cwj留言: 周老師,您好!我是大陸的學生,幾乎每週都到您的“線代啟示錄”上光顧至少2次 (我是翻牆過來的,大陸這邊網路把控得很嚴)。您學問廣博,同時嚴謹而認真,真是我學習的榜樣!今天給您寫信是有一個問題要問您,我在看文獻時碰到這樣的一段描述: Given a matrix , decompose into , and by SVD, assuming is . Normalize each column of . Each column unit vector becomes the new representation of the corresponding ( is the th column of ). This … Continue reading

Posted in 答讀者問, 二次型 | Tagged , , | 1 Comment

矩陣的四個基本子空間的正交投影矩陣

本文的閱讀等級:中級 令 為幾何向量空間 的一個子空間,且 是 的正交補餘 (orthogonal complement),意思是 且 。換一個說法,任一 可唯一分解成 ,其中 ,,且 。令 表示映射至子空間 的 階正交投影矩陣。下列性質成立 (見“正交投影矩陣的性質與界定”): 對於每一 ,。 對於每一 ,。 是實對稱冪等矩陣,即 。 且 。 若 () 且 是 的一組基底,將所有的基底向量組成 階矩陣 ,正交投影矩陣 可由下列公式算得 (推導見“線代膠囊──正交投影矩陣”): 。 值得注意的是 不因所選擇的基底 (即 矩陣) … Continue reading

Posted in 線性代數專欄, 內積空間 | Tagged , , , , , , , , , | 5 Comments

每週問題 February 10, 2014

這是有關么正等價 (unitarily equivalent) 的問題。 Let and be matrices. We say that and are unitarily equivalent if there exist unitary matrices and such that . Recall that a square matrix is called unitary if . Prove the following statements. (a) and … Continue reading

Posted in pow 二次型, 每週問題 | Tagged , , , | Leave a comment