答Yanjun Li──關於多隨機變數的兩個線性組合的共變異數

Posted on 10/19/2015 by ccjou

網友Yanjun Li留言：

近期拜讀了周老師寫的變異數矩陣，主成份分析，奇異值分解等專題，感覺對線性代數的一些知識有了重新認識。在閱讀過程中，產生了一些疑問，請周老師不吝賜教：

A_1,A_2,\ldots,A_n 是兩兩互不相關的變量，另有 X 和 Y 兩個變量，是 A_1,A_2,\ldots,A_n 的線性組合：

\displaystyle\begin{aligned} X&=a_{11}A_1+a_{12}A_2+\ldots+a_{1n}A_n\\ Y&=a_{21}A_1+a_{22}A_2+\ldots+a_{2n}A_n. \end{aligned}

  1. 如果 a_{11},a_{12},\ldots,a_{1n} 中的某一個係數明顯比其餘每一個係數大很多，同時 a_{21},a_{22},\ldots,a_{2n} 中的某一個係數明顯比其餘每一個係數大很多，並且兩組係數中，最大的 a_{1i} 和 a_{2j} 滿足 i 不等於 j。當滿足上述條件時，是否可以認為，X 和 Y 的相關程度很低？
  2. 如果 a_{11},a_{12},\ldots,a_{1n} 中的某一個係數大於其餘每一個係數，同時 a_{21},a_{22},\ldots,a_{2n} 中的某一個係數大於其餘每一個係數，並且兩組係數中，最大的 a_{1i} 和 a_{2j} 滿足 i 不等於 j。當滿足上述條件時，是否可以認為，X 和 Y 的相關程度不高？
  3. X 與 Y 之間的共變異數，是否可以用 a_{11},a_{12},\ldots,a_{1n} 和 a_{21},a_{22},\ldots,a_{2n}，以及 A_1,A_2,\ldots,A_n 的變異數，計算出來？

感謝周老師在百忙之中閱讀我的問題！

 
答曰：

先考慮問題3。給定 X=a_{11}A_1+\cdots+a_{1n}A_n 和 Y=a_{21}A_1+\cdots+a_{2n}A_n，如何計算 X 和 Y 的共變異數 \hbox{cov}[X,Y]=E[(X-E[X])(Y-E[Y])]？為便利推導，令 \mathbf{a}_1=(a_{11},\ldots,a_{1n})^T 和 \mathbf{a}_2=(a_{21},\ldots,a_{2n})^T，並令 \mathbf{A}=(A_1,,\ldots,A_n)^T。因此，X=\mathbf{a}_1^T\mathbf{A} 且 Y=\mathbf{a}_2^T\mathbf{A}。使用恆等式 \mathbf{u}^T\mathbf{v}=\mathbf{v}^T\mathbf{u}，以及期望值 E[\cdot] 為線性算子，可得

\displaystyle\begin{aligned} \hbox{cov}[X,Y]&=\hbox{cov}[\mathbf{a}_1^T\mathbf{A},\mathbf{a}_2^T\mathbf{A}]\\ &=E\left[\left(\mathbf{a}_1^T\mathbf{A}-E[\mathbf{a}_1^T\mathbf{A}]\right)\left(\mathbf{a}_2^T\mathbf{A}-E[\mathbf{a}_2^T\mathbf{A}]\right)\right]\\ &=E\left[\mathbf{a}_1^T\left(\mathbf{A}-E[\mathbf{A}]\right)\mathbf{a}_2^T\left(\mathbf{A}-E[\mathbf{A}]\right)\right]\\ &=E\left[\mathbf{a}_1^T(\mathbf{A}-E[\mathbf{A}])(\mathbf{A}-E[\mathbf{A}])^T\mathbf{a}_2\right]\\ &=\mathbf{a}_1^TE\left[(\mathbf{A}-E[\mathbf{A}])(\mathbf{A}-E[\mathbf{A}])^T\right]\mathbf{a}_2\\ &=\mathbf{a}_1^T\hbox{cov}[\mathbf{A}]\mathbf{a}_2, \end{aligned}

其中 \hbox{cov}[\mathbf{A}] 是變量 A_1,\ldots,A_n 的 n\times n 階共變異數矩陣，(i,j) 元為 \hbox{cov}[A_i,A_j]。因為 A_1,\ldots,A_n 是兩兩互不相關的變量，即 \hbox{cov}[A_i,A_j]=0，i\neq j，推知 \hbox{cov}[\mathbf{A}] 是對角矩陣。令 \hbox{cov}[\mathbf{A}]=\hbox{diag}(\sigma_1^2,\ldots,\sigma_n^2)，其中 \sigma_i^2 是 A_i 的變異數。據此，\hbox{cov}[X,Y] 的計算公式為

\displaystyle \hbox{cov}[X,Y]=a_{11}a_{21}\sigma_1^2+a_{12}a_{22}\sigma_2^2+\cdots+a_{1n}a_{2n}\sigma_n^2。

直白地說，\hbox{cov}[X,Y] 由 A_k 的變異數 \sigma_k^2 構造而成，組合權重為 a_{1k}a_{2k}，k=1,\ldots,n。

 
我們經常使用相關係數 (correlation coefficient) 來度量 X 和 Y 的線性相關性 (見“共變異數矩陣的性質”)：

\displaystyle \rho_{XY}=\frac{\hbox{cov}[X,Y]}{\sigma_X\sigma_Y}，

其中 \sigma_X^2 和 \sigma_Y^2 分別是 X 和 Y 的變異數。套用 \hbox{cov}[X,Y] 的算式，

\displaystyle\begin{aligned} \sigma_X^2&=\hbox{cov}[X,X]=a_{11}^2\sigma_1^2+a_{12}^2\sigma_2^2+\cdots+a_{1n}^2\sigma_n^2\\ \sigma_Y^2&=\hbox{cov}[Y,Y]=a_{21}^2\sigma_1^2+a_{22}^2\sigma_2^2+\cdots+a_{2n}^2\sigma_n^2. \end{aligned}

使用以上結果，

\displaystyle \rho_{XY}=\frac{\sum_{k=1}^na_{1k}a_{2k}\sigma_k^2}{\sqrt{\sum_{k=1}^na_{1k}^2\sigma_k^2}\sqrt{\sum_{k=1}^na_{2k}^2\sigma_k^2}}。

請注意 -1\le \rho_{XY}\le 1。若 \rho_{XY}\approx 0，則 X 與 Y 的相關性很小。如果排除變異數 \sigma_k^2 此因素，假設 \sigma_1^2=\cdots=\sigma_n^2>0，相關係數可簡化為

\displaystyle \rho_{XY}=\frac{\sum_{k=1}^na_{1k}a_{2k}}{\sqrt{\sum_{k=1}^na_{1k}^2}\sqrt{\sum_{k=1}^na_{2k}^2}}=\frac{\mathbf{a}_1^T\mathbf{a}_2}{\Vert \mathbf{a}_1\Vert\,\Vert\mathbf{a}_2\Vert}。

令 \theta 表示 n 維實向量 \mathbf{a}_1 與 \mathbf{a}_2 的夾角。根據內積定義，\mathbf{a}_1^T\mathbf{a}_2=\Vert\mathbf{a}_1\Vert\,\Vert\mathbf{a}_2\Vert\cos\theta，推得 \rho_{XY}=\cos\theta。對於問題1，假設 \vert a_{1i}\vert\gg\vert a_{1k}\vert，k\neq i，以及 \vert a_{2j}\vert\gg\vert a_{2l}\vert，l\neq j，且 i\neq j。在此情況下，\theta\approx\frac{\pi}{2} (即 \mathbb{R}^n 空間中第 i 軸與第 j 軸的夾角)，故 \rho_{XY}\approx\cos\frac{\pi}{2}=0。問題2的條件無法確定夾角 \theta 的大小，譬如，即便 a_{1i} 與 a_{2j} 分別為最大元，但若 \mathbf{a}_1 與 \mathbf{a}_2 的所有元的數值皆相近，則 \theta\approx 0，即有 \rho_{XY}\approx 1。

 
後記：
重讀此文後我想起一個機率學課本的問題：若 X 與 Y 是不相關的兩個隨機變數並有相同的變異數 \sigma，則 X 與 X-Y 的相關係數近似 0.7。延用上文定義的符號，設 X=A_1 且 Y=A_2，則 X-Y=A_1-A_2。利用簡化後的相關係數表達式，

\displaystyle \rho_{X,X-Y}=\frac{(1,0)\cdot(1,-1)}{\sqrt{1^2+0^2}\sqrt{1^2+(-1)^2}}=\frac{1}{\sqrt{2}}\approx 0.7071。

上式的幾何解釋是向量 (1,0) 和 (1,-1) 的夾角為 45^\circ，故 \rho_{X,X-Y}=\cos 45^\circ=1/\sqrt{2}。類似地，因為 (1,1) 和 (1,-1) 垂直，X+Y 與 X-Y 的相關係數為零。

This entry was posted in 答讀者問, 機率統計 and tagged , . Bookmark the permalink.

Leave a comment