Category Archives: 線性代數專欄

本文的閱讀等級：高級 假設我們有一筆維數等於 ，樣本大小為 的數據 ，也就是說每一個數據點 包含 個變數的量測值。沿用統計學與數據科學的慣例 (見“數據矩陣的列與行”)，定義 階數據矩陣 ， 其中 代表第 個變數的第 個量測值，，。在不造成混淆的情況下，以下用 表示第 個變數。如果數據包含大量的變數 ( 很大) 或者變數之間存在顯著的共線性關係[1]，你可以設計一個從向量空間 映至 的線性映射，，數據點 經映射後的像 (image) 構築另一筆變數較少且兩兩變數不存在線性相關性的新數據，這個方法稱為主成分分析 (principal components analysis)。從統計學的觀點，主成分分析的目的是找到少量的新變數，稱為降維 (dimension reduction)，同時盡可能地保留變數的總變異量。從線性代數的觀點，主成分分析其實是一種矩陣近似法，我們希望得到一個最近似於原數據矩陣 的低秩 (low rank) 同尺寸矩陣。本文證明證明主成分分析與低秩矩陣近似在本質上是相同的問題。