Tag Archives: Jensen 不等式

高斯混合模型與最大期望算法

本文的閱讀等級:高級 假設你知道一個連續型隨機向量 的機率密度函數 (以下簡稱密度函數) 受一組參數 制約。譬如,常態分布 (高斯分布) 的密度函數 受期望值 與共變異數矩陣 制約,常態分布的參數為 (見“多變量常態分布”)。為了估計機率模型的參數,你需要取得該機率分布的樣本。假設我們有一筆大小為 的樣本 ,這些數據點是獨立的,而且服從相同的機率分布 。最大似然估計 (maximum likelihood estimation) 是一種常用的參數估計法。對於給定的樣本 ,參數 的似然函數 (likelihood) 定義為 , 也就是說似然函數是給定參數後,樣本的條件密度函數。在樣本 固定的情形下,我們將似然函數看作 的一個函數。顧名思義,最大似然估計的目標要找出 使得 有最大值: 。 對數 是一個單調遞增函數,可知 的最大值與 的最大值發生在同一個 。在實際應用時,我們通常考慮較易於計算的 。對於某些機率分布,最大似然估計很容易求得,譬如常態分布,計算 對 和 的偏導數並設為零,可得代數解 (見“多變量常態分布的最大似然估計”)。不過,對於一些形式較為複雜的機率分布,最大似然估計未必存在代數解,這時我們必須使用迭代法計算。

Posted in 機器學習 | Tagged , , , , , | 4 Comments

凸函數

本文的閱讀等級:中級 令 為一個非空凸集,也就是說,給定任意兩點 和 ,點 屬於 (見“凸組合、凸包與凸集”)。凸函數 (convex function) 是一個實函數 滿足下列性質:對於任意 且 , 。 若定義式等號僅發生於 和 ,我們稱 是一個嚴格凸函數。相反的,若 是一個 (嚴格) 凸函數,則 稱為 (嚴格) 凹函數。圖一顯示一個單變量凸函數 ,任一弦 (連結點 和 的紅色線段) 必位於函數 (藍色曲線) 的上方。下面列舉一些單變量凸函數:,, 和 。對於 ,仿射函數 和向量 -範數 ,,都是凸函數 (見“向量範數”)。本文將討論凸函數的一些性質和判別方法。

Posted in 線性代數專欄, 仿射幾何 | Tagged , , , , , , | 2 Comments