Tag Archives: Sherman-Morrison-Woodbury 公式

線性基函數模型

本文的閱讀等級:中級 在數理統計與機器學習,線性回歸 (linear regression) 是一種形式最簡單的回歸模型。令 表示輸入變數,或稱預測變數。輸入變數的線性組合再加上一個數即構成線性回歸: , 其中 是待決定的參數, 稱為偏權值 (bias), 是對應輸入變數 的權值 (weight)[1],。線性回歸既是權值 ,也是輸入變數 的一個線性函數,應用範疇因此受到很大的限制。在保留線性模型架構的前提下,如欲將線性回歸推廣為非線性函數,你可以考慮一組固定的非線性函數的線性組合: , 其中 稱為基函數 (basis function)。為簡化書寫,定義 。線性基函數模型 (linear basis function model) 的表達式如下: , 其中 , 是一個向量函數, 稱為基函數向量。由於 是權值 的線性函數,同時也是基函數 的線性函數,因此我們稱之為線性基函數模型。若 且 ,,線性基函數模型退化為線性回歸。如果使用非線性基函數, 實質上是輸入變數 的一個非線性函數。 Advertisements

Posted in 機器學習 | Tagged , , , , , , , , , , , | Leave a comment

每週問題 August 29, 2016

證明 Sherman-Morrison-Woodbury 公式的一個特例。 Let be an matrix, be an matrix and be an matrix. If and are symmetric positive definite, show the following identities. (a) (b)

Posted in pow 線性方程與矩陣代數, 每週問題 | Tagged | 1 Comment

Sherman-Morrison-Woodbury 公式

本文的閱讀等級:初級 考慮 階矩陣 與 。在一般情況下, 的逆矩陣並不存在有用的公式。但如果 是可逆矩陣,同時 具有某種特殊型態,則 確實有簡易的運算公式。最簡單的例子是 ,其中 和 是 維非零向量 (即 矩陣), 稱為秩-1矩陣。本文導出 的逆矩陣,再利用此結果推演 的計算公式,最後舉一例說明其應用。

Posted in 線性方程, 線性代數專欄 | Tagged , , , | 2 Comments