Tag Archives: 牛頓法

邏輯斯回歸

本文的閱讀等級:中級 假設我們有一筆維數等於 ,樣本大小為 ,包含 個類別的數據 。數據點 散布在 空間,以 標記類別或代表類別的指標集,例如, 表示 來自 (歸屬) 第 類。我們的問題是利用給定的樣本 ,設計一個分類器 (classifier);具體地說,給定一個數據點 ,判定它應歸於何類。貝氏定理 (Bayes’ theorem) 提供了分類問題的理論基礎 (見“貝氏定理──量化思考的利器”): , 其中 是類別 出現的機率,稱為先驗機率 (priori probability); 是條件密度函數,即給定類別 ,數據點 的機率密度函數,也稱為似然 (likelihood); 是數據點 的機率密度函數,稱為證據 (evidence),算式為 ; 是指在給定數據點 的情況下,該點屬於 的機率,稱為後驗機率 (posterior probability)。 … Continue reading

Posted in 機器學習 | Tagged , , , , , , , , | 4 Comments

牛頓法──非線性方程的求根方法

本文的閱讀等級:初級 牛頓法 (Newton’s method) 或稱牛頓─拉弗森法 (Newton-Raphson method) 是一個極有效的非線性方程 的求根方法。令 為一個連續可導函數。設 為 的一根的估計值,寫出泰勒級數 。 如果 足夠小,我們可以忽略截斷 (truncated) 誤差 。解線性方程 可得近似根: 。 上式的幾何意義是 為函數 於點 的切線與x-軸的交點。我們期待 比 更接近真實根,遂以迭代程序連續逼近:對於 , 。

Posted in 特別主題 | Tagged , , , | 9 Comments