Tag Archives: 共變異數矩陣

答Yanjun Li──關於多隨機變數的兩個線性組合的共變異數

Posted on 10/19/2015 by ccjou

網友Yanjun Li留言： 近期拜讀了周老師寫的變異數矩陣，主成份分析，奇異值分解等專題，感覺對線性代數的一些知識有了重新認識。在閱讀過程中，產生了一些疑問，請周老師不吝賜教： 是兩兩互不相關的變量，另有 和 兩個變量，是 的線性組合： 如果 中的某一個係數明顯比其餘每一個係數大很多，同時 中的某一個係數明顯比其餘每一個係數大很多，並且兩組係數中，最大的 和 滿足 不等於 。當滿足上述條件時，是否可以認為， 和 的相關程度很低？ 如果 中的某一個係數大於其餘每一個係數，同時 中的某一個係數大於其餘每一個係數，並且兩組係數中，最大的 和 滿足 不等於 。當滿足上述條件時，是否可以認為， 和 的相關程度不高？ 與 之間的共變異數，是否可以用 和 ，以及 的變異數，計算出來？ 感謝周老師在百忙之中閱讀我的問題！

Posted in 答讀者問, 機率統計 | Tagged , | Leave a comment

多變量常態分布

Posted on 06/05/2014 by ccjou

本文的閱讀等級：中級 在數學、統計學、物理和工程等領域，常態分佈 (normal distribution，Gaussian distribution) 是一個非常重要的連續型機率 (概率) 分布模型。本文將回答下列問題： 如何推導多變量常態分布的機率密度函數 (probability density function)？ 怎麼證明服從常態分布的隨機向量的線性變換也為常態分布？ 怎麼證明服從常態分布的多隨機變數的子集合亦為常態分布？ 如何判別二組 (常態分布) 隨機變數集的獨立性？ 具有常態分布的條件機率密度函數為何？ 給定條件機率密度函數 ，如何計算 ？ 為了避免繁瑣的積分運算，我們以動差生成函數 (moment generating function) 推演，這個方法的理論基礎在於動差生成函數唯一決定機率密度函數 (見“動差生成函數 (上)”)。下面先介紹標準多變量常態分布，隨後通過仿射變換 (affine transformation) 推廣至一般多變量常態分布。

Posted in 機率統計 | Tagged , , , , , , , , , | Leave a comment

共變異數矩陣的性質

Posted on 06/03/2014 by ccjou

本文的閱讀等級：初級 令 為一個隨機向量，其中 是隨機變數。共變異數矩陣 (covariance matrix) 定義如下： ， 其中 是期望值算子，。根據定義， 為 階矩陣，具有下列形式： 共變異數矩陣 的 元是 和 的共變異數 (covariance，或稱協方差) 。因為 ，共變異數矩陣的主對角元即為隨機變數 的變異數 (variance)。本文介紹共變異數矩陣的一些基本性質。

Posted in 機率統計 | Tagged , , | 7 Comments

主成分分析

Posted on 04/15/2013 by ccjou

本文的閱讀等級：高級 美國作家梭羅 (Henry D. Thoreau) 在《湖濱散記》談到他的幽居生活時，說道[1]： 我們的生活消耗在瑣碎之中。一個老實的人除了十指之外，便不必有更大的數字了，頂多加上十個足趾，其餘不妨勉強一下。簡單，簡單，簡單啊！我說，最好你的事祇兩三件，不要一百件或一千件；不必一百萬一百萬地計算，半打不夠計算嗎？總之，賬目可以記在大拇指甲上就好了。 我們也許不能複製梭羅在瓦爾登湖 (Walden) 的簡單生活，但是我們永遠可以通過化繁為簡來改善現況。處於資訊爆炸的時代，我們不免要面對變數很多且樣本數很大的資料。在分析高維度 (變數很多) 數據時，降維 (dimension reduction) 常是一個必要的前處理工作。主成分分析 (principal components analysis，簡稱 PCA) 由英國統計學家皮爾生 (Karl Pearson) 於1901年提出[2]，是一種降低數據維度的有效技術。主成分分析的主要構想是分析共變異數矩陣 (covariance matrix) 的特徵性質 (見“共變異數矩陣與常態分布”)，以得出數據的主成分 (即特徵向量) 與它們的權值 (即特徵值)；透過保留低階主成分 (對應大特徵值)，捨棄高階主成分 (對應小特徵值)，達到減少數據集維度，同時保留最大數據集變異的目的。本文從線性代數觀點介紹主成分分析，並討論實際應用時可能遭遇的一些問題。

Posted in 機器學習 | Tagged , , , , , , , , , | 20 Comments

共變異數矩陣與常態分布

Posted on 01/11/2013 by ccjou

本文的閱讀等級：中級 常態分布 (normal distribution)，也稱高斯分布 (Gaussian distribution)，其機率密度函數為 ， 其中 是平均數 (mean)， 是變異數 (variance)。對於 ，多變量常態分布的形式如下 (見“ 多變量常態分布”)： ， 其中 是平均數向量， 是 階共變異數矩陣 (covariance matrix)， 是 的行列式。常態分布是一種應用相當廣泛的連續型機率分布，原因之一是大自然產生的變數經常具有常態分布，譬如，某城市成年男子的身高，某田地產出的蘿蔔重量；另外，對於從母體隨機抽取出的樣本，當樣本數增大時，樣本平均數的分布逼近常態分布[1] (見“ 樣本平均數、變異數和共變異數”)。圖1為 的一個常態分布樣本。本文從線性代數觀點探討常態分布與共變異數矩陣的幾何涵義。

Posted in 機率統計 | Tagged , , , , , , , , , , , , , | 5 Comments

Hermitian 矩陣與實對稱矩陣的一些實例

Posted on 11/08/2012 by ccjou

本文的閱讀等級：初級 令 為一個 階矩陣。若 ，其中 ，即 ，我們稱 為 Hermitian 矩陣 (見“特殊矩陣 (9)：Hermitian 矩陣”)。若所有 都是實數，則 ，實 Hermitian 矩陣即為實對稱矩陣。Hermitian 矩陣和實對稱矩陣是目前應用最廣的特殊矩陣，原因有二：它們具備許多美好的特徵分析性質 (見“實對稱矩陣可正交對角化的證明”，“Hermitian 矩陣特徵值的變化界定”)，以及它們「天生地」出現在多樣應用場合。下面列舉一些實例，包括 Hessian 矩陣、共變異數矩陣、鄰接矩陣、二次型和雙線性形式。

Posted in 線性代數專欄, 二次型 | Tagged , , , , , , , , | Leave a comment

二次型與正定矩陣

Posted on 10/21/2009 by ccjou

本文的閱讀等級：中級 令 為一個 階實矩陣， 為 維實向量，具有以下形式的實函數稱為二次型 (quadratic form)： 。

Posted in 線性代數專欄, 二次型 | Tagged , , , , , , , | 12 Comments