答Yanjun Li──關於多隨機變數的兩個線性組合的共變異數

網友Yanjun Li留言:

近期拜讀了周老師寫的變異數矩陣,主成份分析,奇異值分解等專題,感覺對線性代數的一些知識有了重新認識。在閱讀過程中,產生了一些疑問,請周老師不吝賜教:

A_1,A_2,\ldots,A_n 是兩兩互不相關的變量,另有 XY 兩個變量,是 A_1,A_2,\ldots,A_n 的線性組合:

\displaystyle\begin{aligned}  X&=a_{11}A_1+a_{12}A_2+\ldots+a_{1n}A_n\\  Y&=a_{21}A_1+a_{22}A_2+\ldots+a_{2n}A_n.  \end{aligned}

  1. 如果 a_{11},a_{12},\ldots,a_{1n} 中的某一個係數明顯比其餘每一個係數大很多,同時 a_{21},a_{22},\ldots,a_{2n} 中的某一個係數明顯比其餘每一個係數大很多,並且兩組係數中,最大的 a_{1i}a_{2j} 滿足 i 不等於 j。當滿足上述條件時,是否可以認為,XY 的相關程度很低?
  2. 如果 a_{11},a_{12},\ldots,a_{1n} 中的某一個係數大於其餘每一個係數,同時 a_{21},a_{22},\ldots,a_{2n} 中的某一個係數大於其餘每一個係數,並且兩組係數中,最大的 a_{1i}a_{2j} 滿足 i 不等於 j。當滿足上述條件時,是否可以認為,XY 的相關程度不高?
  3. XY 之間的共變異數,是否可以用 a_{11},a_{12},\ldots,a_{1n}a_{21},a_{22},\ldots,a_{2n},以及 A_1,A_2,\ldots,A_n 的變異數,計算出來?

感謝周老師在百忙之中閱讀我的問題!

 
答曰:

先考慮問題3。給定 X=a_{11}A_1+\cdots+a_{1n}A_nY=a_{21}A_1+\cdots+a_{2n}A_n,如何計算 XY 的共變異數 \hbox{cov}[X,Y]=E[(X-E[X])(Y-E[Y])]?為便利推導,令 \mathbf{a}_1=(a_{11},\ldots,a_{1n})^T\mathbf{a}_2=(a_{21},\ldots,a_{2n})^T,並令 \mathbf{A}=(A_1,,\ldots,A_n)^T。因此,X=\mathbf{a}_1^T\mathbf{A}Y=\mathbf{a}_2^T\mathbf{A}。使用恆等式 \mathbf{u}^T\mathbf{v}=\mathbf{v}^T\mathbf{u},以及期望值 E[\cdot] 為線性算子,可得

\displaystyle\begin{aligned}  \hbox{cov}[X,Y]&=\hbox{cov}[\mathbf{a}_1^T\mathbf{A},\mathbf{a}_2^T\mathbf{A}]\\  &=E\left[\left(\mathbf{a}_1^T\mathbf{A}-E[\mathbf{a}_1^T\mathbf{A}]\right)\left(\mathbf{a}_2^T\mathbf{A}-E[\mathbf{a}_2^T\mathbf{A}]\right)\right]\\    &=E\left[\mathbf{a}_1^T\left(\mathbf{A}-E[\mathbf{A}]\right)\mathbf{a}_2^T\left(\mathbf{A}-E[\mathbf{A}]\right)\right]\\    &=E\left[\mathbf{a}_1^T(\mathbf{A}-E[\mathbf{A}])(\mathbf{A}-E[\mathbf{A}])^T\mathbf{a}_2\right]\\    &=\mathbf{a}_1^TE\left[(\mathbf{A}-E[\mathbf{A}])(\mathbf{A}-E[\mathbf{A}])^T\right]\mathbf{a}_2\\    &=\mathbf{a}_1^T\hbox{cov}[\mathbf{A}]\mathbf{a}_2,  \end{aligned}

其中 \hbox{cov}[\mathbf{A}] 是變量 A_1,\ldots,A_nn\times n 階共變異數矩陣,(i,j) 元為 \hbox{cov}[A_i,A_j]。因為 A_1,\ldots,A_n 是兩兩互不相關的變量,即 \hbox{cov}[A_i,A_j]=0i\neq j,推知 \hbox{cov}[\mathbf{A}] 是對角矩陣。令 \hbox{cov}[\mathbf{A}]=\hbox{diag}(\sigma_1^2,\ldots,\sigma_n^2),其中 \sigma_i^2A_i 的變異數。據此,\hbox{cov}[X,Y] 的計算公式為

\displaystyle  \hbox{cov}[X,Y]=a_{11}a_{21}\sigma_1^2+a_{12}a_{22}\sigma_2^2+\cdots+a_{1n}a_{2n}\sigma_n^2

直白地說,\hbox{cov}[X,Y]A_k 的變異數 \sigma_k^2 構造而成,組合權重為 a_{1k}a_{2k}k=1,\ldots,n

 
我們經常使用相關係數 (correlation coefficient) 來度量 XY 的線性相關性 (見“共變異數矩陣的性質”):

\displaystyle  \rho_{XY}=\frac{\hbox{cov}[X,Y]}{\sigma_X\sigma_Y}

其中 \sigma_X^2\sigma_Y^2 分別是 XY 的變異數。套用 \hbox{cov}[X,Y] 的算式,

\displaystyle\begin{aligned}  \sigma_X^2&=\hbox{cov}[X,X]=a_{11}^2\sigma_1^2+a_{12}^2\sigma_2^2+\cdots+a_{1n}^2\sigma_n^2\\  \sigma_Y^2&=\hbox{cov}[Y,Y]=a_{21}^2\sigma_1^2+a_{22}^2\sigma_2^2+\cdots+a_{2n}^2\sigma_n^2.  \end{aligned}

使用以上結果,

\displaystyle  \rho_{XY}=\frac{\sum_{k=1}^na_{1k}a_{2k}\sigma_k^2}{\sqrt{\sum_{k=1}^na_{1k}^2\sigma_k^2}\sqrt{\sum_{k=1}^na_{2k}^2\sigma_k^2}}

請注意 -1\le \rho_{XY}\le 1。若 \rho_{XY}\approx 0,則 XY 的相關性很小。如果排除變異數 \sigma_k^2 此因素,假設 \sigma_1^2=\cdots=\sigma_n^2>0,相關係數可簡化為

\displaystyle  \rho_{XY}=\frac{\sum_{k=1}^na_{1k}a_{2k}}{\sqrt{\sum_{k=1}^na_{1k}^2}\sqrt{\sum_{k=1}^na_{2k}^2}}=\frac{\mathbf{a}_1^T\mathbf{a}_2}{\Vert \mathbf{a}_1\Vert\,\Vert\mathbf{a}_2\Vert}

\theta 表示 n 維實向量 \mathbf{a}_1\mathbf{a}_2 的夾角。根據內積定義,\mathbf{a}_1^T\mathbf{a}_2=\Vert\mathbf{a}_1\Vert\,\Vert\mathbf{a}_2\Vert\cos\theta,推得 \rho_{XY}=\cos\theta。對於問題1,假設 \vert a_{1i}\vert\gg\vert a_{1k}\vertk\neq i,以及 \vert a_{2j}\vert\gg\vert a_{2l}\vertl\neq j,且 i\neq j。在此情況下,\theta\approx\frac{\pi}{2} (即 \mathbb{R}^n 空間中第 i 軸與第 j 軸的夾角),故 \rho_{XY}\approx\cos\frac{\pi}{2}=0。問題2的條件無法確定夾角 \theta 的大小,譬如,即便 a_{1i}a_{2j} 分別為最大元,但若 \mathbf{a}_1\mathbf{a}_2 的所有元的數值皆相近,則 \theta\approx 0,即有 \rho_{XY}\approx 1

 
後記:
重讀此文後我想起一個機率學課本的問題:若 XY 是不相關的兩個隨機變數並有相同的變異數 \sigma,則 XX-Y 的相關係數近似 0.7。延用上文定義的符號,設 X=A_1Y=A_2,則 X-Y=A_1-A_2。利用簡化後的相關係數表達式,

\displaystyle  \rho_{X,X-Y}=\frac{(1,0)\cdot(1,-1)}{\sqrt{1^2+0^2}\sqrt{1^2+(-1)^2}}=\frac{1}{\sqrt{2}}\approx 0.7071

上式的幾何解釋是向量 (1,0)(1,-1) 的夾角為 45^\circ,故 \rho_{X,X-Y}=\cos 45^\circ=1/\sqrt{2}。類似地,因為 (1,1)(1,-1) 垂直,X+YX-Y 的相關係數為零。

This entry was posted in 答讀者問, 機率統計 and tagged , . Bookmark the permalink.

發表迴響

在下方填入你的資料或按右方圖示以社群網站登入:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out / 變更 )

Twitter picture

You are commenting using your Twitter account. Log Out / 變更 )

Facebook照片

You are commenting using your Facebook account. Log Out / 變更 )

Google+ photo

You are commenting using your Google+ account. Log Out / 變更 )

連結到 %s