Tag Archives: 奇異值分解

線性基函數模型

Posted on 01/23/2017 by ccjou

本文的閱讀等級：中級 在數理統計與機器學習，線性回歸 (linear regression) 是一種形式最簡單的回歸模型。令 表示輸入變數，或稱預測變數。輸入變數的線性組合再加上一個數即構成線性回歸： ， 其中 是待決定的參數， 稱為偏權值 (bias)， 是對應輸入變數 的權值 (weight)[1]，。線性回歸既是權值 ，也是輸入變數 的一個線性函數，應用範疇因此受到很大的限制。在保留線性模型架構的前提下，如欲將線性回歸推廣為非線性函數，你可以考慮一組固定的非線性函數的線性組合： ， 其中 稱為基函數 (basis function)。為簡化書寫，定義 。線性基函數模型 (linear basis function model) 的表達式如下： ， 其中 ， 是一個向量函數， 稱為基函數向量。由於 是權值 的線性函數，同時也是基函數 的線性函數，因此我們稱之為線性基函數模型。若 且 ，，線性基函數模型退化為線性回歸。如果使用非線性基函數， 實質上是輸入變數 的一個非線性函數。

Posted in 機器學習 | Tagged , , , , , , , , , , , | Leave a comment

主成分分析與低秩矩陣近似

Posted on 01/10/2017 by ccjou

本文的閱讀等級：高級 假設我們有一筆維數等於 ，樣本大小為 的數據 ，也就是說每一個數據點 包含 個變數的量測值。沿用統計學與數據科學的慣例 (見“數據矩陣的列與行”)，定義 階數據矩陣 ， 其中 代表第 個變數的第 個量測值，，。在不造成混淆的情況下，以下用 表示第 個變數。如果數據包含大量的變數 ( 很大) 或者變數之間存在顯著的共線性關係[1]，你可以設計一個從向量空間 映至 的線性映射，，數據點 經映射後的像 (image) 構築另一筆變數較少且兩兩變數不存在線性相關性的新數據，這個方法稱為主成分分析 (principal components analysis)。從統計學的觀點，主成分分析的目的是找到少量的新變數，稱為降維 (dimension reduction)，同時盡可能地保留變數的總變異量。從線性代數的觀點，主成分分析其實是一種矩陣近似法，我們希望得到一個最近似於原數據矩陣 的低秩 (low rank) 同尺寸矩陣。本文證明證明主成分分析與低秩矩陣近似在本質上是相同的問題。

Posted in 線性代數專欄, 應用之道 | Tagged , , , , | Leave a comment

約束最小平方問題

Posted on 12/20/2016 by ccjou

本文的閱讀等級：中級 令 為一個 階實矩陣，。如果線性方程 是不一致的 (即不存在解)，實務的作法是將線性方程問題改為最小平方近似問題： ， 其中 是2-範數 (見“向量範數”)，即 與 的歐幾里得距離。根據正交原則，最小平方解 滿足正規方程 (normal equation) (見“從線性變換解釋最小平方近似”)。若 ，也就是說 的行向量 (column vector) 構成一個線性獨立集合，則存在唯一的最小平方解 。 如果最小平方解必須滿足某些束縛條件，則稱為約束最小平方問題 (constrained least-squares problem)。本文討論兩種常出現在多種應用場合的約束形式。線性約束最小平方問題是指束縛條件為線性方程[1]： ， 其中 是一個 階實矩陣，。正則 (regularized) 最小平方問題限制未知向量的長度必須固定： 。

Posted in 線性代數專欄, 內積空間 | Tagged , , , , | 4 Comments

每週問題 December 5, 2016

Posted on 12/05/2016 by ccjou

給定正整數 ，證明任一矩陣 可分解為 。 Let be any complex matrix. Show that for each positive integer there exists a unique matrix such that .

Posted in pow 二次型, 每週問題 | Tagged | Leave a comment

每週問題 July 6, 2015

Posted on 07/06/2015 by ccjou

這是么正矩陣 (或稱酉矩陣，unitary matrix) 的一個界定性質。 Let be an matrix with all eigenvalues equal to 1 in absolute value. Show that is a unitary matrix if, for all , .

Posted in pow 二次型, 每週問題 | Tagged , , | Leave a comment

每週問題 April 13, 2015

Posted on 04/13/2015 by ccjou

方陣的特徵值積與奇異值積有何關係？ Let be an matrix. Show that , where and are the eigenvalues and singular values of , respectively.

Posted in pow 二次型, 每週問題 | Tagged , , | Leave a comment

答Regan Yuan──關於主成分分析的奇異值分解算法

Posted on 05/13/2014 by ccjou

網友Regan Yuan留言： 老师您好，首先对您以往的支持和耐心详细的讲解，表示由衷的敬意和感谢！再次虚心请教老师一个问题，对于采用singular value decomposition的principal components analysis算法，最近总是有些搞不清，能否提供一个具体的例子呢？比如下面这个问题：五个学生 (5 cases or observations) 的跳高，跳远，乒乓球三门具有相关性的体育成绩 (3 variables or dimensions) 的 矩阵， ， 用PCA进行降维度，具体解决方法如何？请明示，谢谢您！祝您开心每一天！

Posted in 答讀者問, 應用之道 | Tagged , , , | 31 Comments

答cwj──關於奇異值分解背後的涵義

Posted on 03/11/2014 by ccjou

網友cwj留言： 周老師，您好！我是大陸的學生，幾乎每週都到您的“線代啟示錄”上光顧至少2次 (我是翻牆過來的，大陸這邊網路把控得很嚴)。您學問廣博，同時嚴謹而認真，真是我學習的榜樣！今天給您寫信是有一個問題要問您，我在看文獻時碰到這樣的一段描述： Given a matrix , decompose into , and by SVD, assuming is . Normalize each column of . Each column unit vector becomes the new representation of the corresponding ( is the th column of ). This … Continue reading →

Posted in 答讀者問, 二次型 | Tagged , , | 1 Comment

矩陣的四個基本子空間的正交投影矩陣

Posted on 02/11/2014 by ccjou

本文的閱讀等級：中級 令 為幾何向量空間 的一個子空間，且 是 的正交補餘 (orthogonal complement)，意思是 且 。換一個說法，任一 可唯一分解成 ，其中 ，，且 。令 表示映射至子空間 的 階正交投影矩陣。下列性質成立 (見“正交投影矩陣的性質與界定”)： 對於每一 ，。 對於每一 ，。 是實對稱冪等矩陣，即 。 且 。 若 () 且 是 的一組基底，將所有的基底向量組成 階矩陣 ，正交投影矩陣 可由下列公式算得 (推導見“線代膠囊──正交投影矩陣”)： 。 值得注意的是 不因所選擇的基底 (即 矩陣) … Continue reading →

Posted in 線性代數專欄, 內積空間 | Tagged , , , , , , , , , | 5 Comments

每週問題 February 10, 2014

Posted on 02/10/2014 by ccjou

這是有關么正等價 (unitarily equivalent) 的問題。 Let and be matrices. We say that and are unitarily equivalent if there exist unitary matrices and such that . Recall that a square matrix is called unitary if . Prove the following statements. (a) and … Continue reading →

Posted in pow 二次型, 每週問題 | Tagged , , , | Leave a comment