Tag Archives: 變異數

多變量常態分布

本文的閱讀等級:中級 在數學、統計學、物理和工程等領域,常態分佈 (normal distribution,Gaussian distribution) 是一個非常重要的連續型機率 (概率) 分布模型。本文將回答下列問題: 如何推導多變量常態分布的機率密度函數 (probability density function)? 怎麼證明服從常態分布的隨機向量的線性變換也為常態分布? 怎麼證明服從常態分布的多隨機變數的子集合亦為常態分布? 如何判別二組 (常態分布) 隨機變數集的獨立性? 具有常態分布的條件機率密度函數為何? 給定條件機率密度函數 ,如何計算 ? 為了避免繁瑣的積分運算,我們以動差生成函數 (moment generating function) 推演,這個方法的理論基礎在於動差生成函數唯一決定機率密度函數 (見“動差生成函數 (上)”)。下面先介紹標準多變量常態分布,隨後通過仿射變換 (affine transformation) 推廣至一般多變量常態分布。

Posted in 機率統計 | Tagged , , , , , , , , , | Leave a comment

動差生成函數 (上)

本文的閱讀等級:中級 機率 (概率) 學的研究始於隨機實驗。考慮投擲一顆六面骰子,樣本空間是所有可能出現點數形成的集合。為了分析機率模型,我們定義隨機變數 為一個從樣本空間至實數系的函數。(本文沿用機率學的慣用符號,隨機變數以大寫斜體英文字母表示,矩陣則以大寫粗體英文字母表示。) 譬如,若骰子擲出 點,則設 ,因此 的值域為 。如果隨機變數 的值域為一有限集 或無限可數集 (包含無窮多個元素的集合,其中每一個元素唯一對應一個自然數),則 稱為離散型隨機變數。如果隨機變數 的值域為全部實數或由一部分區間組成,即 ,其中 ,則 稱為連續型隨機變數。本文討論內容限定於離散型隨機變數 (下篇將介紹連續型隨機變數的動差生成函數)。在機率學中,離散型隨機變數 的機率分布通常以兩種方式表示: 機率質量函數 (probability mass function) ,即 等於 的機率。在不造成混淆的情況下,我們經常稱機率質量函數為機率分布。 累積分布函數 (cumulative distribution function) ,即 不大於 的機率。顯然,。 本文將介紹第三種機率分布的描述方式,稱為動差生成函數或動差母函數 (moment generating function)。

Posted in 機率統計 | Tagged , , , , , , , | 6 Comments

共變異數矩陣與常態分布

本文的閱讀等級:中級 常態分布 (normal distribution),也稱高斯分布 (Gaussian distribution),其機率密度函數為 , 其中 是平均數 (mean), 是變異數 (variance)。對於 ,多變量常態分布的形式如下 (見“ 多變量常態分布”): , 其中 是平均數向量, 是 階共變異數矩陣 (covariance matrix), 是 的行列式。常態分布是一種應用相當廣泛的連續型機率分布,原因之一是大自然產生的變數經常具有常態分布,譬如,某城市成年男子的身高,某田地產出的蘿蔔重量;另外,對於從母體隨機抽取出的樣本,當樣本數增大時,樣本平均數的分布逼近常態分布[1] (見“ 樣本平均數、變異數和共變異數”)。圖1為 的一個常態分布樣本。本文從線性代數觀點探討常態分布與共變異數矩陣的幾何涵義。

Posted in 機率統計 | Tagged , , , , , , , , , , , , , | 5 Comments