## 特殊矩陣 (17)：組合矩陣

$A=\begin{bmatrix} x+y&y&\cdots&y\\ y&x+y&\cdots&y\\ \vdots&\vdots&\ddots&\vdots\\ y&y&\cdots&x+y \end{bmatrix}$

$\det A=\begin{vmatrix} x+y&y&\cdots&y\\ y&x+y&\cdots&y\\ \vdots&\vdots&\ddots&\vdots\\ y&y&\cdots&x+y \end{vmatrix}=\begin{vmatrix} x+y&-x&\cdots&-x\\ y&x&\cdots&0\\ \vdots&\vdots&\ddots&\vdots\\ y&0&\cdots&x \end{vmatrix}=\begin{vmatrix} x+ny&0&\cdots&0\\ y&x&\cdots&0\\ \vdots&\vdots&\ddots&\vdots\\ y&0&\cdots&x \end{vmatrix}$

\displaystyle\begin{aligned} \det A&=\det(xI+yJ)=\det\left(xI+(y\mathbf{e})\mathbf{e}^T\right)\\ &=\det\left(1+\mathbf{e}^T(xI)^{-1}(y\mathbf{e})\right)\det(xI)\\ &=\left(1+\frac{y}{x}\mathbf{e}^T\mathbf{e}\right)x^n=\left(1+\frac{ny}{x}\right)x^n\\ &=x^{n-1}(x+ny).\end{aligned}

\begin{aligned} (cI+dJ)(xI+yJ)&=cxI+(cy+dx)J+dyJ^2\\ &=cxI+(cy+dx+ndy)J.\end{aligned}

$cx=1$$cy+dx+ndy=0$，則 $c=1/x$$d=-y/x(x+ny)$。對於 $n\ge 2$，若 $x(x+ny)\neq 0$，則組合矩陣 $A$ 可逆， $A^{-1}$ 亦為組合矩陣：

$\displaystyle A^{-1}=\frac{1}{x}I-\frac{y}{x(x+ny)}J$

$(A^{-1})_{ij}=(-y+\delta_{ij}(x+ny))/x(x+ny)$。另外，我們也可以使用 Sherman-Morrison 公式計算 $A=xI+y\mathbf{e}\mathbf{e}^T$ 的逆矩陣 (見“Sherman-Morrison 公式”)，如下：

\begin{aligned}\displaystyle A^{-1}&=\left(xI+(y\mathbf{e})\mathbf{e}^T\right)^{-1}\\ &=(xI)^{-1}-\frac{(xI)^{-1}(y\mathbf{e})\mathbf{e}^T(xI)^{-1}}{1+\mathbf{e}^T(xI)^{-1}(y\mathbf{e})}\\ &=\frac{1}{x}I-\frac{y/x^2}{1+ny/x}J\\ &=\frac{1}{x}I-\frac{y}{x(x+ny)}J.\end{aligned}

$A(\hbox{adj}\,A)=(\det A)I$

$\hbox{adj}\,A=(\det A)A^{-1}$。代入 $\det A=x^{n-1}(x+ny)$$A^{-1}=(1/x)I-y(x(x+ny))^{-1}J$，可得

$\hbox{adj}\,A=x^{n-2}(x+ny)I-x^{n-2}yJ$

$A\mathbf{e}=(xI+y\mathbf{e}\mathbf{e}^T)\mathbf{e}=x\mathbf{e}+y\mathbf{e}\left(\mathbf{e}^T\mathbf{e}\right)=(x+ny)\mathbf{e}$

$A\mathbf{u}_i=(xI+y\mathbf{e}\mathbf{e}^T)\mathbf{u}_i=x\mathbf{u}_i+y\mathbf{e}\left(\mathbf{e}^T\mathbf{u}_i\right)=x\mathbf{u}_i,~~i=1,\ldots,n-1$

[1] Donald E. Knuth, The Art of Computer Programming, Volume 1: Fundamental Algorithms, 2nd edition, 1973, pp 36.

This entry was posted in 特殊矩陣, 線性代數專欄 and tagged , , , , , . Bookmark the permalink.

### 7 則回應給 特殊矩陣 (17)：組合矩陣

1. 陳威丞 說：

老師您好，這幾天煩惱於一個統計學上carl pearson 統計量的證明，好不容易網路上找到資料了，確卡在最後一個地方看不懂，可以麻煩老師幫我看一下下面這一篇文章中證明那一部份的最後一段空間變換的地方到底是在表達什麼，我完全理不出頭緒!
搜尋結果的第一項,篇名為:section10 chi-squared goodness of fit test

• ccjou 說：
2. 陳威丞 說：

頁碼是在66-67
疑問的部分是~~
座標系統中的P1,P2,P3代表的是什麼意思，因為文中的式子只有出現一個P
以及文中的V矩陣也不清楚它的意義所以也就不知道文中所提到的為什麼V*g中的每一個元素互相為iid standard normal

• ccjou 說：

從頁66第二式開始，令 $\mathbf{v}_1=(\mathbf{g}\cdot\mathbf{p})\mathbf{p}$$\mathbf{v}_2=\mathbf{g}-\mathbf{v}_1$，我們要計算向量長度平方 $\Vert \mathbf{v}_2\Vert^2$。我將文章的粗體大寫改成粗體小寫。這裡 $\mathbf{g}=(g_1,\ldots,g_r)^T$ 是參考標準基底 $\{\mathbf{e}_1,\ldots,\mathbf{e}_r\}$ 的座標向量，即有 $\mathbf{g}=g_1\mathbf{e}_1+\cdots+g_r\mathbf{e}_r$。因為 $\Vert\mathbf{p}\Vert=1$$\mathbf{v}_1=(\mathbf{g}\cdot\mathbf{p})\mathbf{p}$ 代表 $\mathbf{g}$ 至單位長向量 $\mathbf{p}$ 的指向軸的正交投影，見
因此 $\mathbf{v}_2$ 就是 $\mathbf{g}$ 扣除正交投影後的「殘餘量」，說明 $\mathbf{v}_2$ 正交於 $\mathbf{p}$，也可以說 $\mathbf{v}_2$ 屬於子空間 $\mathrm{span}\{\mathbf{p}\}$ 的「正交補集」(即所有與 $\mathbf{p}$ 垂直的向量形成的集合)，記為 $\mathrm{span}\{\mathbf{p}\}^{\perp}$，見 Figure 10.2。

等一下繼續……

接下來我們在正交補集 $\mathrm{span}\{\mathbf{p}\}^{\perp}$ 中建立一組標準正交 (orthonormal) 基底。因為 $\dim\mathrm{span}\{\mathbf{p}\}^{\perp}=r-1$，總共有 $r-1$ 個基底向量 $\{\mathbf{p}_2,\ldots,\mathbf{p}_r\}$，其中 $\mathbf{p}_i\cdot\mathbf{p}_j=1$$i=j$，否則 $\mathbf{p}_i\cdot\mathbf{p}_j=0$。顯然 $\{\mathbf{p},\mathbf{p}_2,\ldots,\mathbf{p}_r\}$ 構成 $\mathbb{R}^r$ 的一組標準正交基底。所以 $\mathbf{g}$ 可唯一表示成
$\mathbf{g}=g'_1\mathbf{p}+g'_2\mathbf{p}_2+\cdots+g'_r\mathbf{p}_r=\begin{bmatrix} \mathbf{p}&\mathbf{p}_2&\cdots&\mathbf{p}_r \end{bmatrix}\begin{bmatrix} g'_1\\ g'_2\\ \vdots\\ g'_r \end{bmatrix}=V\mathbf{g}'$
參照頁66最底下，怎麼剛好相反？因為作者(不是我，是他)寫錯了。這裡 $V$ 稱為正交矩陣 (orthogonal matrix)，$V^TV=VV^T=I$，你可以將它想成「座標系統旋轉」，標準基底向量 $\mathbf{e}_1$ 轉至 $\mathbf{p}$，其他各軸轉至 $\mathbf{p}_2,\ldots,\mathbf{p}_r$。但 $\mathbf{g}$ 維持不動，所以它的座標就變成 $\mathbf{g}'=(g'_1,g'_2,\ldots,g'_r)=V^T\mathbf{g}$。座標系統旋轉不改變座標向量長度，以及二向量之間的夾角，當然也不會改變分布的本質 (iid 標準常態等)，見
https://ccjou.wordpress.com/2013/01/11/%E5%85%B1%E8%AE%8A%E7%95%B0%E6%95%B8%E7%9F%A9%E9%99%A3%E8%88%87%E5%B8%B8%E6%85%8B%E5%88%86%E4%BD%88/

剩下的工作很簡單。使用 $\mathbf{g}$ 參考新基底的表達式，計算 $\mathbf{v}_1=(\mathbf{g}\cdot\mathbf{p})\mathbf{p}=g'_1\mathbf{p}$，則 $\mathbf{v}_2=\mathbf{g}-\mathbf{v}_1=g'_2\mathbf{p}_2+\cdots+g'_r\mathbf{p}_r$，所以 $\Vert\mathbf{v}_2\Vert^2=(g'_2\mathbf{p}_2+\cdots+g'_r\mathbf{p}_r)\cdot(g'_2\mathbf{p}_2+\cdots+g'_r\mathbf{p}_r)=(g'_2)^2+\cdots+(g'_r)^2$

3. ccjou 說：

本來想寫一篇從線性代數觀點介紹「卡方檢定」，因為事情多，等過完年開學時再說了。這裡我提供一個簡單的解釋：為甚麼 $\displaystyle \sum_{j=1}^r\frac{(\nu_j-np_j)^2}{np_j}$ 趨於 $\chi^2_{r-1}$ 分配？僅解釋自由度這部分。令 $Z_j=\displaystyle\frac{\nu_j-np_j}{\sqrt{np_j}}$，上面那篇 MIT OCW 的文章已經證明當 $n$ 增大時，$Z_j\sim N(0,1-p_j)$。我們的問題是確定 $S=Z_1^2+\cdots+Z_r^2$ 的分配。利用 $p_1+\cdots+p_r=1$，可知 $\nu_1+\cdots+\nu_r=n$ 等價於 $\sqrt{p_1}Z_1+\cdots+\sqrt{p_r}Z_r=0$。換句話說，向量 $(Z_1,\ldots,Z_r)^T$ 正交於 $(\sqrt{p_1},\ldots,\sqrt{p_r})^T$，這表示 $(Z_1,\ldots,Z_r)^T$ 屬於法向量是 $(\sqrt{p_1},\ldots,\sqrt{p_r})^T$ 的超平面，這個子空間的維度等於 $r-1$，也就是統計學說的自由度為 $r-1$

4. 陳威丞 說：

感謝老師的解釋，讓我有一點頭緒，我想我對於線性代書的一些較高維度的定理還不是非常地熟悉~~所以在面對一些多變數的證明會比較沒有概念~往後我想時間多一點的時候先去多讀一些線代的基本觀念應該會比較來的有效率一些~~~

• ccjou 說：

＜統計，改變了世界＞有這一段話：「自由度的新觀念是費雪發現的，這與他特有的幾何洞察力，以及他把數學問題轉化成多維空間幾何的能力有直接關係。」這裡多維空間幾何指的就是線性代數。