多變量常態分布的最大似然估計

本文的閱讀等級:中級

\mathbf{x} 為一 p 維連續型隨機向量。若 \mathbf{x} 服從 (非退化) 多變量常態分布,則機率 (概率) 密度函數完全由 p 維平均數向量 \boldsymbol{\mu}=E[\mathbf{x}]p\times p 階共變異數矩陣 \Sigma=\text{Cov}[\mathbf{x}] 決定,如下:

\displaystyle  \mathcal{N}(\mathbf{x}\vert\boldsymbol{\mu},\Sigma)=\frac{1}{(2\pi)^{p/2}\vert\Sigma\vert^{1/2}}\exp\left\{-\frac{1}{2}(\mathbf{x}-\boldsymbol{\mu})^T\Sigma^{-1}(\mathbf{x}-\boldsymbol{\mu})\right\}

其中 \vert\Sigma\vert=\det \Sigma>0 (見“共變異數矩陣與常態分布”)。英國統計學家費雪 (Ronald Fisher) 認為機率分布只是一個抽象的數學模型,而我們所蒐集的數據僅能用來估計機率分布的參數。給定一筆取自常態分布的隨機樣本 \mathcal{X}=\{\mathbf{x}_1,\ldots,\mathbf{x}_n\},如何估計模型參數,即平均數向量 \boldsymbol{\mu} 和共變異數矩陣 \Sigma?本文介紹費雪提出的參數估計法,稱為最大似然估計 (maximum likelihood estimation)。根據共變異數矩陣的最大似然估計,我們引進皮爾生 (Pearson) 相關係數,並討論平均數向量的最大似然估計的分布。

繼續閱讀

張貼在 特別主題, 主題專欄 | 標記 , , , , | 發表迴響

回歸均值

本文的閱讀等級:初級

《聖經》創世紀41(17-32)記載約瑟為法老解夢的故事。

法老對約瑟說:「我夢見我站在河邊,有七隻母牛從河裡上來,又肥壯又美好,在蘆荻中吃草。隨後又有七隻母牛上來,又軟弱又醜陋又乾瘦,在埃及遍地我沒有見過這樣不好的。這又乾瘦又醜陋的母牛吃盡了那以先的七隻肥母牛,吃了以後卻看不出是吃了,那醜陋的樣子仍舊和先前一樣。我就醒了。我又夢見一棵麥子,長了七個穗子,又飽滿又佳美。隨後又長了七個穗子,枯槁細弱,被東風吹焦了。這些細弱的穗子吞了那七個佳美的穗子。我將這夢告訴了術士,卻沒有人能給我解說。」

約瑟對法老說:「法老的夢乃是一個,神已將所要做的事指示法老了。七隻好母牛是七年,七個好穗子也是七年。這夢乃是一個。那隨後上來的七隻又乾瘦又醜陋的母牛是七年,那七個虛空、被東風吹焦的穗子也是七年,都是七個荒年。這就是我對法老所說,神已將所要做的事顯明給法老了。埃及遍地必來七個大豐年,隨後又要來七個荒年,甚至埃及地都忘了先前的豐收,全地必被饑荒所滅。因那以後的饑荒甚大,便不覺得先前的豐收了。至於法老兩回做夢,是因神命定這事,而且必速速成就。」

從古至今,世上每一個文明總會對「好景難常在,過眼韶華如箭」發出無奈的感嘆。然而,我們也都相信「柳暗花明又一村」,事情終有好轉的一天。「樂極生悲」和「否極泰來」真的是大自然的定則嗎?

繼續閱讀

張貼在 特別主題, 主題專欄 | 標記 , | 2 則迴響

每週問題 June 9, 2014

這是計算四階矩陣的特徵值的交互乘積 \sum_{i\neq j}\lambda_i\lambda_j 的問題,取自“2013年台大資工所碩士班招生考試試題”。

Let

\displaystyle  A=\begin{bmatrix}  1&2&3&4\\  8&7&6&5\\  1&4&5&8\\  2&3&6&7  \end{bmatrix}.

If \lambda_1,\lambda_2,\lambda_3,\lambda_4 are eigenvalues of A, determine \lambda_1\lambda_2+\lambda_1\lambda_3+\lambda_1\lambda_4+\lambda_2\lambda_3+\lambda_2\lambda_4+\lambda_3\lambda_4.

繼續閱讀

張貼在 pow 特徵分析, 每週問題 | 標記 , | 發表迴響

多變量常態分布

本文的閱讀等級:中級

在數學、統計學、物理和工程等領域,常態分佈 (normal distribution,Gaussian distribution) 是一個非常重要的連續型機率分布模型。本文將回答下列問題:

  • 如何推導多變量常態分布的機率 (概率) 密度函數 (probability density function)?
  • 怎麼證明服從常態分布的隨機向量的線性變換也為常態分布?
  • 怎麼證明服從常態分布的多隨機變數的子集合亦為常態分布?
  • 如何判別二 (常態分布) 隨機變數集的獨立性?
  • 具有常態分布的條件機率密度函數為何?

為了避免繁瑣的積分運算,我們採用動差生成函數 (moment generating function) 進行推演,這個方法的理論基礎在於動差生成函數唯一決定機率密度函數 (見“動差生成函數 (上)”)。下面先介紹標準化多變量常態分布,隨後通過仿射變換 (affine transformation) 推廣至一般多變量常態分布。

繼續閱讀

張貼在 特別主題, 主題專欄 | 標記 , , , , , , , , , | 發表迴響

共變異數矩陣的性質

本文的閱讀等級:初級

\mathbf{x}=(x_1,\ldots,x_p)^T 為一隨機向量,其中 x_1,\ldots,x_p 是隨機變數。共變異數矩陣 (covariance matrix) 定義為

\displaystyle  \text{Cov}[\mathbf{x}]=E\left[  (\mathbf{x}-E[\mathbf{x}])(\mathbf{x}-E[\mathbf{x}])^T\right]

其中 E[\cdot] 是期望值算子,E[\mathbf{x}]=(E[x_1],\ldots,E[x_p])^T。根據定義,\text{Cov}[\mathbf{x}] 為一 p\times p 階矩陣,結構如下:

\displaystyle\begin{aligned}  \text{Cov}[\mathbf{x}]&=E\begin{bmatrix}  (x_1-E[x_1])(x_1-E[x_1])&\cdots&(x_1-E[x_1])(x_p-E[x_p])\\  \vdots&\ddots&\vdots\\  (x_p-E[x_p])(x_1-E[x_1])&\cdots&(x_p-E[x_p])(x_p-E[x_p])  \end{bmatrix}\\  &=\begin{bmatrix}  E\left[(x_1-E[x_1])^2\right]&\cdots&E\left[(x_1-E[x_1])(x_p-E[x_p])\right]\\  \vdots&\ddots&\vdots\\  E\left[(x_p-E[x_p])(x_1-E[x_1])\right]&\cdots&E\left[(x_p-E[x_p])^2\right]  \end{bmatrix}\\  &=\begin{bmatrix}  \text{Var}[x_1]&\cdots&\text{Cov}[x_1,x_p]\\  \vdots&\ddots&\vdots\\  \text{Cov}[x_p,x_1]&\cdots&\text{Var}[x_p]  \end{bmatrix}.  \end{aligned}

共變異數矩陣 \text{Cov}[\mathbf{x}](i,j) 元是 x_ix_j 的共變異數 (covariance,或稱協方差) \text{Cov}[x_i,x_j]=E\left[(x_i-E[x_i])(x_j-E[x_j])\right]。因為 \text{Cov}[x_i,x_i]=\text{Var}[x_i],共變異數矩陣的主對角元為隨機變數 x_i 的變異數 (variance)。本文介紹共變異數矩陣的一些基本性質。

繼續閱讀

張貼在 特別主題, 主題專欄 | 標記 , , | 發表迴響

每週問題 June 2, 2014

這是求極小範數解的問題,取自“2014年台大資工所碩士班招生考試試題”。

Consider the following system of linear equations:

\displaystyle\begin{aligned}  2x+y+z&=4\\  4x+2y+2z&=8\\  5x+y&=19.  \end{aligned}

Find the solution (x,y,z) to the above system of linear equations that minimizes x^2+y^2+z^2.

繼續閱讀

張貼在 pow 內積空間, 每週問題 | 標記 | 發表迴響

逆矩陣的列和

本文的閱讀等級:初級

考慮 \mathbb{R}^3 的三個點 (0,3,-5)(1,0,2)(3,-1,7),求通過這三點的平面方程式。求解平面方程式的最簡單方法是找出平面的法向量 (另一個採用行列式的解法參見“利用行列式求直線、平面和圓方程式”)。在三維幾何空間中,外積 (cross product,亦稱向量積) 經常被用於計算法向量:先得到位於平面上的二個向量,譬如,(-1,3,-7)(-2,1,-5),計算它們的外積 (見“答張盛東──關於外積與行列式的關係”):

\displaystyle  (-1,3,-7)\times(-2,1,-5)=\left(\left|\!\!\begin{array}{cr}  3&-7\\  1&-5  \end{array}\!\!\right|,\left|\!\!\begin{array}{cc}  -7&-1\\  -5&-2  \end{array}\!\!\right|,\left|\!\!\begin{array}{cc}  -1&3\\  -2&1  \end{array}\!\!\right|\right)=(-8,9,5)

所求的平面方程式即為 -8(x-0)+9(y-3)+5(z+5)=0。下面介紹一個基於矩陣代數的法向量算法:將三點的座標合併成一矩陣

\displaystyle  A=\left[\!\!\begin{array}{crr}  0&3&-5\\  1&0&2\\  3&-1&7  \end{array}\!\!\right]

其中每一列 (row) 為一個點的座標。此例 A 是一可逆矩陣,

\displaystyle  A^{-1}=\left[\!\!\begin{array}{rrr}  1&-8&3\\  -\frac{1}{2}&\frac{15}{2}&-\frac{5}{2}\\[0.3em]  -\frac{1}{2}&\frac{9}{2}&-\frac{3}{2}  \end{array}\!\!\right]

算出 A^{-1} 的三個列和:

\displaystyle  \left[\!\!\begin{array}{r}  -4\\  \frac{9}{2}\\[0.3em]  \frac{5}{2}  \end{array}\!\!\right]

此即通過給定三點的平面的法向量。多數人或許初次聽聞這個奇特的方法,往下閱讀前,讀者不妨先自行嘗試證明。

繼續閱讀

張貼在 線性方程, 主題專欄 | 標記 , , | 發表迴響

每週問題 May 26, 2014

如果一個可逆方陣的奇異值都相同,這是甚麼特殊矩陣?

Let A be a nonsingular real matrix. If all singular values of A are equal, show that A=cU, where c is a real number and U is a real orthogonal matrix.

繼續閱讀

張貼在 pow 二次型, 每週問題 | 標記 , | 發表迴響

九宮圖的逆矩陣

本文的閱讀等級:初級

九宮圖 (Lo Shu square),又稱洛書,即三階幻方 (magic square)。南宋楊輝《續古摘奇演算法》記載三階幻方的構造法:「九子斜排,上下對易,左右相更,四維挺出,戴九履一,左三右七,二四為肩,六八為足[1]」。九宮圖的陣列表示如下:

\displaystyle  \begin{array}{ccc}  4&9&2\\  3&5&7\\  8&1&6  \end{array}

所謂 n 階幻方是指 n^2 個相異的數字排列成 n\times n 階陣列形式,其中每一列、行[2]、主對角線與反主對角線 (anti-diagonal) 上的數字和皆等於 \mu,稱為幻方常數 (magic constant)。如果限定組合數字為連續正整數 1,2,\ldots,n^2,則稱之為自然幻方,其幻方常數由階數 n 決定。因為 n 階自然幻方的數字總和 1+2+\cdots+n^2=\frac{n^2(n^2+1)}{2} 均分給 n 個列,可知 \mu=\frac{n^3+n}{2}。九宮圖是一個三階自然幻方,幻方常數為 \mu=15。如果將九宮圖視為 3\times 3 階矩陣 A,可以算出 \det A=360,逆矩陣為 (見“三階逆矩陣公式”)

\displaystyle  A^{-1}=\frac{1}{360}\left[\!\!\begin{array}{rrr}  23&-52&53\\  38&8&-22\\  -37&68&-7  \end{array}\!\!\right]

令人訝異的是,九宮圖的逆矩陣是一個幻方 (但非自然幻方),幻方常數恰為 \mu=1/15。下面我們利用矩陣運算來證明這個有趣的性質。

繼續閱讀

張貼在 線性方程, 主題專欄 | 標記 , , , , | 2 則迴響

極小範數解

本文的閱讀等級:中級

A 為一 m\times n 階實矩陣,並令 C(A) 代表 A 的行空間 (column space,值域),即 C(A)=\{A\mathbf{x}\vert\mathbf{x}\in\mathbb{R}^n\}。對於任一 \mathbf{b}\in C(A),線性方程 A\mathbf{x}=\mathbf{b} 存在至少一解。在解集合中,有一個解最為特別,該特解位於 A 的列空間 (row space),也就是 A^T 的行空間 C(A^T),並具有最小的2-範數 (歐氏範數,見“向量範數”),稱為極小範數解 (minimum norm solution),記為 \mathbf{x}^{+}。這篇短文介紹極小範數解的性質與表達式。

繼續閱讀

張貼在 內積空間, 主題專欄 | 標記 , , | 發表迴響