Tag Archives: 共變異數矩陣

答Yanjun Li──關於多隨機變數的兩個線性組合的共變異數

網友Yanjun Li留言: 近期拜讀了周老師寫的變異數矩陣,主成份分析,奇異值分解等專題,感覺對線性代數的一些知識有了重新認識。在閱讀過程中,產生了一些疑問,請周老師不吝賜教: 是兩兩互不相關的變量,另有 和 兩個變量,是 的線性組合: 如果 中的某一個係數明顯比其餘每一個係數大很多,同時 中的某一個係數明顯比其餘每一個係數大很多,並且兩組係數中,最大的 和 滿足 不等於 。當滿足上述條件時,是否可以認為, 和 的相關程度很低? 如果 中的某一個係數大於其餘每一個係數,同時 中的某一個係數大於其餘每一個係數,並且兩組係數中,最大的 和 滿足 不等於 。當滿足上述條件時,是否可以認為, 和 的相關程度不高? 與 之間的共變異數,是否可以用 和 ,以及 的變異數,計算出來? 感謝周老師在百忙之中閱讀我的問題! Advertisements

Posted in 答讀者問, 機率統計 | Tagged , | Leave a comment

多變量常態分布

本文的閱讀等級:中級 在數學、統計學、物理和工程等領域,常態分佈 (normal distribution,Gaussian distribution) 是一個非常重要的連續型機率 (概率) 分布模型。本文將回答下列問題: 如何推導多變量常態分布的機率密度函數 (probability density function)? 怎麼證明服從常態分布的隨機向量的線性變換也為常態分布? 怎麼證明服從常態分布的多隨機變數的子集合亦為常態分布? 如何判別二組 (常態分布) 隨機變數集的獨立性? 具有常態分布的條件機率密度函數為何? 給定條件機率密度函數 ,如何計算 ? 為了避免繁瑣的積分運算,我們以動差生成函數 (moment generating function) 推演,這個方法的理論基礎在於動差生成函數唯一決定機率密度函數 (見“動差生成函數 (上)”)。下面先介紹標準多變量常態分布,隨後通過仿射變換 (affine transformation) 推廣至一般多變量常態分布。

Posted in 機率統計 | Tagged , , , , , , , , , | Leave a comment

共變異數矩陣的性質

本文的閱讀等級:初級 令 為一個隨機向量,其中 是隨機變數。共變異數矩陣 (covariance matrix) 定義如下: , 其中 是期望值算子,。根據定義, 為 階矩陣,具有下列形式: 共變異數矩陣 的 元是 和 的共變異數 (covariance,或稱協方差) 。因為 ,共變異數矩陣的主對角元即為隨機變數 的變異數 (variance)。本文介紹共變異數矩陣的一些基本性質。

Posted in 機率統計 | Tagged , , | 6 Comments

主成分分析

本文的閱讀等級:高級 美國作家梭羅 (Henry D. Thoreau) 在《湖濱散記》談到他的幽居生活時,說道[1]: 我們的生活消耗在瑣碎之中。一個老實的人除了十指之外,便不必有更大的數字了,頂多加上十個足趾,其餘不妨勉強一下。簡單,簡單,簡單啊!我說,最好你的事祇兩三件,不要一百件或一千件;不必一百萬一百萬地計算,半打不夠計算嗎?總之,賬目可以記在大拇指甲上就好了。 我們也許不能複製梭羅在瓦爾登湖 (Walden) 的簡單生活,但是我們永遠可以通過化繁為簡來改善現況。處於資訊爆炸的時代,我們不免要面對變數很多且樣本數很大的資料。在分析高維度 (變數很多) 數據時,降維 (dimension reduction) 常是一個必要的前處理工作。主成分分析 (principal components analysis,簡稱 PCA) 由英國統計學家皮爾生 (Karl Pearson) 於1901年提出[2],是一種降低數據維度的有效技術。主成分分析的主要構想是分析共變異數矩陣 (covariance matrix) 的特徵性質 (見“共變異數矩陣與常態分布”),以得出數據的主成分 (即特徵向量) 與它們的權值 (即特徵值);透過保留低階主成分 (對應大特徵值),捨棄高階主成分 (對應小特徵值),達到減少數據集維度,同時保留最大數據集變異的目的。本文從線性代數觀點介紹主成分分析,並討論實際應用時可能遭遇的一些問題。

Posted in 機器學習 | Tagged , , , , , , , , , | 19 Comments

共變異數矩陣與常態分布

本文的閱讀等級:中級 常態分布 (normal distribution),也稱高斯分布 (Gaussian distribution),其機率密度函數為 , 其中 是平均數 (mean), 是變異數 (variance)。對於 ,多變量常態分布的形式如下 (見“ 多變量常態分布”): , 其中 是平均數向量, 是 階共變異數矩陣 (covariance matrix), 是 的行列式。常態分布是一種應用相當廣泛的連續型機率分布,原因之一是大自然產生的變數經常具有常態分布,譬如,某城市成年男子的身高,某田地產出的蘿蔔重量;另外,對於從母體隨機抽取出的樣本,當樣本數增大時,樣本平均數的分布逼近常態分布[1] (見“ 樣本平均數、變異數和共變異數”)。圖1為 的一個常態分布樣本。本文從線性代數觀點探討常態分布與共變異數矩陣的幾何涵義。

Posted in 機率統計 | Tagged , , , , , , , , , , , , , | 5 Comments

Hermitian 矩陣與實對稱矩陣的一些實例

本文的閱讀等級:初級 令 為一個 階矩陣。若 ,其中 ,即 ,我們稱 為 Hermitian 矩陣 (見“特殊矩陣 (9):Hermitian 矩陣”)。若所有 都是實數,則 ,實 Hermitian 矩陣即為實對稱矩陣。Hermitian 矩陣和實對稱矩陣是目前應用最廣的特殊矩陣,原因有二:它們具備許多美好的特徵分析性質 (見“實對稱矩陣可正交對角化的證明”,“Hermitian 矩陣特徵值的變化界定”),以及它們「天生地」出現在多樣應用場合。下面列舉一些實例,包括 Hessian 矩陣、共變異數矩陣、鄰接矩陣、二次型和雙線性形式。

Posted in 線性代數專欄, 二次型 | Tagged , , , , , , , , | Leave a comment

二次型與正定矩陣

本文的閱讀等級:中級 令 為一個 階實矩陣, 為 維實向量,具有以下形式的實函數稱為二次型 (quadratic form): 。

Posted in 線性代數專欄, 二次型 | Tagged , , , , , , , | 12 Comments