聯繫特徵值與奇異值的引線矩陣

Posted on 04/22/2011 by ccjou

本文的閱讀等級：高級

令 A 為一個 m\times n 階矩陣，A 的奇異值定義為 Gramian 矩陣 A^{\ast}A 或 AA^{\ast} 的特徵值的非負平方根 (見“奇異值分解(SVD)”)，並以遞減排序表示：\sigma_1\ge\cdots\ge\sigma_q\ge 0，q=\min\{m,n\}。我們知道任一方陣的特徵值可能是複數，但 Hermitian 矩陣的所有特徵值都是實數 (見“特殊矩陣(9)：Hermitian 矩陣”)，因此 Hermitian 矩陣的特徵值也可按遞減方式排列。本文介紹一個建立於任意 m\times n 階矩陣 A 的 (m+n)\times(m+n) 階 Hermitian 矩陣

\tilde{A}=\begin{bmatrix} 0&A\\ A^{\ast}&0 \end{bmatrix}

透過此矩陣，我們可將 Hermitian 矩陣的特徵值結果轉移至任意矩陣的奇異值上，所以視之為聯繫特徵值與奇異值的引線矩陣。

 
為方便討論，假設 m\ge n，以下推論方法同樣也適用於 m<n 的情況。Hermitian 矩陣 \tilde{A} 的特別之處在於其特徵值由 A 的奇異值決定，如下：

\sigma_1,\ldots,\sigma_n,0,\ldots,0,-\sigma_n,\ldots,-\sigma_1

裡面包含 m-n 個 0，但這並不表示 \tilde{A} 的零特徵值的相重數為 m-n，因為奇異值 \sigma_i 也可能是零。當 \mathrm{rank}A=r，A 有 r 個非零奇異值，\tilde{A} 的零特徵值相重數等於 m+n-2r。見下例，

A=\begin{bmatrix} 1&0\\ 0&3\\ 2&0 \end{bmatrix},~\tilde{A}=\begin{bmatrix} 0&0&0&1&0\\ 0&0&0&0&3\\ 0&0&0&2&0\\ 1&0&2&0&0\\ 0&3&0&0&0 \end{bmatrix}

顯然，\mathrm{rank}A=2，計算得到 A 的奇異值 \sigma_1=3，\sigma_2=\sqrt{5}，\tilde{A} 的特徵值即為 3, \sqrt{5}, 0, -\sqrt{5}, -3。

 
下面提供兩個計算 \tilde{A} 特徵值的方法。第一個方法直接求出 \tilde{A} 的特徵多項式 p_{\tilde{A}}(t)=\det(tI-\tilde{A})。令 \lambda 為 \tilde{A} 的特徵值，對應的特徵向量是 \begin{bmatrix} \mathbf{x}\\ \mathbf{y} \end{bmatrix}，\mathbf{x}\in\mathbb{C}^m，\mathbf{y}\in\mathbb{C}^n，則特徵方程為

\begin{bmatrix} 0&A\\ A^{\ast}&0 \end{bmatrix}\begin{bmatrix} \mathbf{x}\\ \mathbf{y} \end{bmatrix}=\lambda\begin{bmatrix} \mathbf{x}\\ \mathbf{y} \end{bmatrix}

將上式展開得到

\begin{aligned} A\mathbf{y}&=\lambda\mathbf{x}\\ A^{\ast}\mathbf{x}&=\lambda\mathbf{y}\end{aligned}

第一式左乘 A^{\ast}，並使用第二式，即有

A^{\ast}A\mathbf{y}=\lambda A^{\ast}\mathbf{x}=\lambda^2\mathbf{y}

得知 \lambda^2 是 A^{\ast}A 的特徵值，而 \tilde{A} 的其餘特徵值全為零 (見“分塊矩陣特徵值的計算方法”)，於是導出 \tilde{A} 的特徵多項式

p_{\tilde{A}}=p_{A^{\ast}A}(t^2)t^{m-n}

注意 p_{A^{\ast}A}(t^2) 是一個 2n 次多項式。根據奇異值的定義，n 階方陣 A^{\ast}A 的特徵值是 \sigma_1^2,\ldots,\sigma_n^2，故 \tilde{A} 的特徵值 (即 p_{\tilde{A}}(t) 的根) 包含 A^{\ast}A 的特徵值的平方根，由此斷定 \tilde{A} 的特徵值為 \pm\sigma_1,\ldots,\pm\sigma_n，因式 t^{m-n} 則給出 m-n 個零特徵值。

 
第二個方法是從 A 的奇異值分解出發。設 A=U\Sigma V^{\ast}，U 是 m\times m 階么正 (unitary) 矩陣，V 是 n\times n 階么正矩陣，\Sigma 是 m\times n 階奇異值矩陣：

\Sigma=\begin{bmatrix} D\\ 0 \end{bmatrix}

其中 D=\mathrm{diag}(\sigma_1,\ldots,\sigma_n)。將 U 表示為 U=\begin{bmatrix} U_1&U_2 \end{bmatrix}，其中 U_1 是 m\times n 階，U_2 是 m\times(m-n) 階，將 A 化簡為

A=\begin{bmatrix} U_1&U_2 \end{bmatrix}\begin{bmatrix} D\\ 0 \end{bmatrix}V^{\ast}=U_1DV^{\ast}

設計下列 (m+n)\times(m+n) 么正矩陣

W=\begin{bmatrix} \frac{1}{\sqrt{2}}U_1&-\frac{1}{\sqrt{2}}U_1&U_2\\ \frac{1}{\sqrt{2}}V_1&\frac{1}{\sqrt{2}}V_1&0 \end{bmatrix}

將上面二式代入計算 W^{\ast}\tilde{A}W，使用性質 U_1^{\ast}U_1=I_n，U_2^{\ast}U_2=I_{m-n} 和 U_1^{\ast}U_2=0，可得

\begin{aligned} W^{\ast}\tilde{A}W&=\begin{bmatrix} \frac{1}{\sqrt{2}}U_1^{\ast}&\frac{1}{\sqrt{2}}V_1^{\ast}\\ -\frac{1}{\sqrt{2}}U_1^{\ast}&\frac{1}{\sqrt{2}}V_1^{\ast}\\ U_2^{\ast}&0 \end{bmatrix}\begin{bmatrix} 0&U_1DV^{\ast}\\ VDU_1^{\ast}&0 \end{bmatrix}\begin{bmatrix} \frac{1}{\sqrt{2}}U_1&-\frac{1}{\sqrt{2}}U_1&U_2\\ \frac{1}{\sqrt{2}}V_1&\frac{1}{\sqrt{2}}V_1&0 \end{bmatrix}\\ &=\begin{bmatrix} D&~&~\\ ~&-D&~\\ ~&~&0 \end{bmatrix}\end{aligned}

這說明 \tilde{A} 相似於 \mathrm{diag}(\sigma_1,\ldots,\sigma_n,-\sigma_1,\ldots,-\sigma_n,0,\ldots,0)，兩相似矩陣有相同的特徵值，故證得原命題。

 
最後介紹一個引線矩陣的應用。設 A，B 為 p\times p 階 Hermitian 矩陣，令 A 和 B 的特徵值以遞減排序，\lambda_1(A)\ge\cdots\ge\lambda_p(A)，\lambda_1(B)\ge\cdots\ge\lambda_p(B)。對於 k=1,\ldots,p，以下關係成立：

\lambda_k(A)+\lambda_1(B)\ge\lambda_k(A+B)\ge\lambda_k(A)+\lambda_p(B)

這個結果稱為 Weyl 定理 (見“Courant-Fischer 定理的應用”)。運用引線矩陣技巧，Weyl 定理可延伸至任意矩陣的奇異值。設 A，B 為 m\times n 階矩陣，m\ge n，且 C=A+B。令 \tilde{A}=\begin{bmatrix} 0&A\\ A^{\ast}&0 \end{bmatrix}，\tilde{B}=\begin{bmatrix} 0&B\\ B^{\ast}&0 \end{bmatrix}。根據 Weyl 定理，對於 k=1,\ldots,m+n，

\lambda_k(\tilde{A})+\lambda_1(\tilde{B})\ge\lambda_k(\tilde{A}+\tilde{B})\ge\lambda_k(\tilde{A})+\lambda_{m+n}(\tilde{B})

對於 k=1,\ldots,n，

\begin{aligned} \lambda_k(\tilde{A})&=\sigma_k(A)\\ \lambda_k(\tilde{B})&=\sigma_k(B)\\ \lambda_k(\tilde{C})&=\sigma_k(C)\end{aligned}

又因為 \lambda_{m+n}(\tilde{B})=-\sigma_1(B)，就有

\sigma_k(A)+\sigma_1(B)\ge\sigma_k(A+B)\ge\sigma_k(A)-\sigma_1(B)

如果再考慮 m<n 的情形，可推論上式對所有 k=1,\ldots,q 皆成立，q=\min\{m,n\}。這個例子顯示了引線矩陣的實際功用，只要 Hermitian 矩陣特徵值擁有的性質都可轉移至任意矩陣的奇異值。

Advertisement
This entry was posted in 線性代數專欄, 二次型 and tagged , , , , . Bookmark the permalink.

Leave a Reply

Fill in your details below or click an icon to log in:

Gravatar
WordPress.com Logo

You are commenting using your WordPress.com account. ( Log Out /  Change )

Facebook photo

You are commenting using your Facebook account. ( Log Out /  Change )

Cancel

Connecting to %s