Tag Archives: 期望值

多變量常態分布

本文的閱讀等級:中級 在數學、統計學、物理和工程等領域,常態分佈 (normal distribution,Gaussian distribution) 是一個非常重要的連續型機率 (概率) 分布模型。本文將回答下列問題: 如何推導多變量常態分布的機率密度函數 (probability density function)? 怎麼證明服從常態分布的隨機向量的線性變換也為常態分布? 怎麼證明服從常態分布的多隨機變數的子集合亦為常態分布? 如何判別二組 (常態分布) 隨機變數集的獨立性? 具有常態分布的條件機率密度函數為何? 給定條件機率密度函數 ,如何計算 ? 為了避免繁瑣的積分運算,我們以動差生成函數 (moment generating function) 推演,這個方法的理論基礎在於動差生成函數唯一決定機率密度函數 (見“動差生成函數 (上)”)。下面先介紹標準多變量常態分布,隨後通過仿射變換 (affine transformation) 推廣至一般多變量常態分布。 Advertisements

Posted in 機率統計 | Tagged , , , , , , , , , | Leave a comment

動差生成函數 (上)

本文的閱讀等級:中級 機率 (概率) 學的研究始於隨機實驗。考慮投擲一顆六面骰子,樣本空間是所有可能出現點數形成的集合。為了分析機率模型,我們定義隨機變數 為一個從樣本空間至實數系的函數。(本文沿用機率學的慣用符號,隨機變數以大寫斜體英文字母表示,矩陣則以大寫粗體英文字母表示。) 譬如,若骰子擲出 點,則設 ,因此 的值域為 。如果隨機變數 的值域為一有限集 或無限可數集 (包含無窮多個元素的集合,其中每一個元素唯一對應一個自然數),則 稱為離散型隨機變數。如果隨機變數 的值域為全部實數或由一部分區間組成,即 ,其中 ,則 稱為連續型隨機變數。本文討論內容限定於離散型隨機變數 (下篇將介紹連續型隨機變數的動差生成函數)。在機率學中,離散型隨機變數 的機率分布通常以兩種方式表示: 機率質量函數 (probability mass function) ,即 等於 的機率。在不造成混淆的情況下,我們經常稱機率質量函數為機率分布。 累積分布函數 (cumulative distribution function) ,即 不大於 的機率。顯然,。 本文將介紹第三種機率分布的描述方式,稱為動差生成函數或動差母函數 (moment generating function)。

Posted in 機率統計 | Tagged , , , , , , , | 4 Comments

海森堡不確定性原理的矩陣證明

本文的閱讀等級:高級 在量子力學裏,不確定性原理[1](uncertainty principle) 表明:粒子的位置與動量不可同時被確定,位置的不確定性 與動量的不確定性 遵守不等式 , 其中 , 是普朗克常數[2](Planck constant)。海森堡[3] (Werner Heisenberg) 在1927年發表的一篇論文裏,寫下 。 雖然他提到這公式可以從對易關係 (稍後將說明) 推導出來,但他並沒有寫出相關的數學論證,也沒有給予 和 確切的定義。同年,肯納德 (Earl Hesse Kennard) 首先證明不確定關係不等式,1929年羅伯森 (Howard Percy Robertson) 又從對易關係推導出相同的結論[4]。本文使用現代讀者熟悉的矩陣分析方法證明不確定性原理。由於我對量子力學幾乎一無所知,在提到相關知識的時候均盡量列舉引用出處以方便讀者參照查詢。文中若有錯誤,敬請不吝指正。

Posted in 線性代數專欄, 應用之道 | Tagged , , , , | 7 Comments

共變異數矩陣與常態分布

本文的閱讀等級:中級 常態分布 (normal distribution),也稱高斯分布 (Gaussian distribution),其機率密度函數為 , 其中 是平均數 (mean), 是變異數 (variance)。對於 ,多變量常態分布的形式如下 (見“ 多變量常態分布”): , 其中 是平均數向量, 是 階共變異數矩陣 (covariance matrix), 是 的行列式。常態分布是一種應用相當廣泛的連續型機率分布,原因之一是大自然產生的變數經常具有常態分布,譬如,某城市成年男子的身高,某田地產出的蘿蔔重量;另外,對於從母體隨機抽取出的樣本,當樣本數增大時,樣本平均數的分布逼近常態分布[1] (見“ 樣本平均數、變異數和共變異數”)。圖1為 的一個常態分布樣本。本文從線性代數觀點探討常態分布與共變異數矩陣的幾何涵義。

Posted in 機率統計 | Tagged , , , , , , , , , , , , , | 5 Comments

Hermitian 矩陣與實對稱矩陣的一些實例

本文的閱讀等級:初級 令 為一個 階矩陣。若 ,其中 ,即 ,我們稱 為 Hermitian 矩陣 (見“特殊矩陣 (9):Hermitian 矩陣”)。若所有 都是實數,則 ,實 Hermitian 矩陣即為實對稱矩陣。Hermitian 矩陣和實對稱矩陣是目前應用最廣的特殊矩陣,原因有二:它們具備許多美好的特徵分析性質 (見“實對稱矩陣可正交對角化的證明”,“Hermitian 矩陣特徵值的變化界定”),以及它們「天生地」出現在多樣應用場合。下面列舉一些實例,包括 Hessian 矩陣、共變異數矩陣、鄰接矩陣、二次型和雙線性形式。

Posted in 線性代數專欄, 二次型 | Tagged , , , , , , , , | Leave a comment

樣本平均數與樣本中位數,孰優孰劣?

本文的閱讀等級:初級 美國科學史家孔恩 (Thomas Kuhn) 在其名著《科學革命的結構》(The Structure of Scientific Revolutions) 中說道[1]: 一個科學研究傳統,不論多麼專門,學者加入這一科學社群參與研究,主要都是由研究它的典範 (paradigm) 入手。因為他所要加入的社群,其成員都是經由相同的模式習得這門科學的基礎,他加入之後的研究活動,很少會引起公開的對於本行基本前提的異議。研究者以共有的典範為基礎,就能信守相同的研究規則及標準。這種信守的態度及因而產生的明顯共識,是常態科學 (normal science),也就是某一特定研究傳統發生與延續的先決條件。 根據孔恩的解釋,「常態科學指的是以過去的科學成就為基礎所從事的研究,這些科學成就是在某一科學社群的成員在某一時期內所公認的進一步研究的基礎。」至於典範,他在書中序言簡明地說:「我所謂的典範,指的是公認的科學成就,在某一段時間內,它們對於科學家社群而言,是研究工作所要解決的問題與解答的範例。」一個科學社群的典範就是整體的理論、方法、目標、信念和專業導引。譬如,狹義地說,最小平方法──近代統計學、時間序列、訊號處理和一般線性系統最常採用的模型建置方法──即是工程科學的一個重要典範 (見“從線性變換解釋最小平方近似”)。最小平方法最早由高斯 (Carl Friedrich Gauss) 於公元1794年提出,之後發表於1809年出版的《天體運動論》中,法國數學家勒讓德 (Adrien-Marie Legendre) 亦於1806年獨立發現此法,但當時並不為人所知。最小平方法是一種最佳化技術,它通過最小化誤差平方之和來尋找數據的最佳配適 (fitting,或稱擬合) 函數。考慮下面這個簡單的例子:給定一組樣本數據 ,為了獲得這組數據的中心值 ,我們設定誤差平方之和為目標函數 。 理想的中心值 具有最小的目標函數值,因此滿足 , 此線性條件式有唯一解,我們習慣以 或 表示: , 稱為樣本平均數 (見“樣本平均數、變異數和共變異數”)。文末另外補充一個優雅的代數證法。   為甚麼不使用誤差絕對值,而要使用誤差平方作為目標函數?令 … Continue reading

Posted in 機率統計 | Tagged , , , , | 6 Comments

二次型與正定矩陣

本文的閱讀等級:中級 設 為 階實矩陣, 為 維實向量,具有以下形式的實函數稱為二次型 (quadratic form): 。

Posted in 線性代數專欄, 二次型 | Tagged , , , , , , , | 12 Comments