Tag Archives: 動差生成函數

多變量常態分布的最大似然估計

本文的閱讀等級:中級 令 為 維連續型隨機向量。若 服從 (非退化) 多變量常態分布,則機率 (概率) 密度函數完全由 維平均數向量 和 階共變異數矩陣 決定,如下: , 其中 (見“共變異數矩陣與常態分布”)。英國統計學家費雪 (Ronald Fisher) 認為機率分布只是一個抽象的數學模型,而我們所蒐集的數據僅能用來估計機率分布的參數。給定一筆取自常態分布的隨機樣本 ,如何估計模型參數,即平均數向量 和共變異數矩陣 ?本文介紹費雪提出的參數估計法,稱為最大似然估計 (maximum likelihood estimation)。根據共變異數矩陣的最大似然估計,我們引進皮爾生 (Pearson) 相關係數,並討論平均數向量的最大似然估計的分布。 Advertisements

Posted in 機率統計 | Tagged , , , , , | 3 Comments

多變量常態分布

本文的閱讀等級:中級 在數學、統計學、物理和工程等領域,常態分佈 (normal distribution,Gaussian distribution) 是一個非常重要的連續型機率 (概率) 分布模型。本文將回答下列問題: 如何推導多變量常態分布的機率密度函數 (probability density function)? 怎麼證明服從常態分布的隨機向量的線性變換也為常態分布? 怎麼證明服從常態分布的多隨機變數的子集合亦為常態分布? 如何判別二組 (常態分布) 隨機變數集的獨立性? 具有常態分布的條件機率密度函數為何? 給定條件機率密度函數 ,如何計算 ? 為了避免繁瑣的積分運算,我們以動差生成函數 (moment generating function) 推演,這個方法的理論基礎在於動差生成函數唯一決定機率密度函數 (見“動差生成函數 (上)”)。下面先介紹標準多變量常態分布,隨後通過仿射變換 (affine transformation) 推廣至一般多變量常態分布。

Posted in 機率統計 | Tagged , , , , , , , , , | Leave a comment

動差生成函數 (下)

本文的閱讀等級:中級 延續前文“動差生成函數 (上)”,本文將探討連續型隨機變數的動差生成函數。連續型隨機變數 的值域為全部實數或由一部分區間組成,即 ,其中 。連續型隨機變數 的機率分布一般以下面兩種方式表示: 機率密度函數 (probability density function) 滿足 。 累積分布函數 代表 。 連續型隨機變數 的期望值 和變異數 定義為 我們稱 的期望值為 的 次動差,表示如下: , 前提是上式必須收斂。連續型隨機變數 的動差生成函數定義為 , 其中最後一個等號係因 是隨機變數的線性算子。計算 在 的 次導數可得 ,因為 立得 。

Posted in 機率統計 | Tagged , , , , , , , , | 2 Comments

動差生成函數 (上)

本文的閱讀等級:中級 機率 (概率) 學的研究始於隨機實驗。考慮投擲一顆六面骰子,樣本空間是所有可能出現點數形成的集合。為了分析機率模型,我們定義隨機變數 為一個從樣本空間至實數系的函數。(本文沿用機率學的慣用符號,隨機變數以大寫斜體英文字母表示,矩陣則以大寫粗體英文字母表示。) 譬如,若骰子擲出 點,則設 ,因此 的值域為 。如果隨機變數 的值域為一有限集 或無限可數集 (包含無窮多個元素的集合,其中每一個元素唯一對應一個自然數),則 稱為離散型隨機變數。如果隨機變數 的值域為全部實數或由一部分區間組成,即 ,其中 ,則 稱為連續型隨機變數。本文討論內容限定於離散型隨機變數 (下篇將介紹連續型隨機變數的動差生成函數)。在機率學中,離散型隨機變數 的機率分布通常以兩種方式表示: 機率質量函數 (probability mass function) ,即 等於 的機率。在不造成混淆的情況下,我們經常稱機率質量函數為機率分布。 累積分布函數 (cumulative distribution function) ,即 不大於 的機率。顯然,。 本文將介紹第三種機率分布的描述方式,稱為動差生成函數或動差母函數 (moment generating function)。

Posted in 機率統計 | Tagged , , , , , , , | 4 Comments