特徵值的代數重數與幾何重數

本文的閱讀等級：中級

令 $A$ 為一個 $n\times n$ 階矩陣。若存在一個非零向量 $\mathbf{x}$ 使得 $A\mathbf{x}=\lambda\mathbf{x}$ ，我們稱 $\lambda$ 是 $A$ 的一個特徵值， $\mathbf{x}$ 是對應 $\lambda$ 的特徵向量。將上式寫為 $(A-\lambda I)\mathbf{x}=\mathbf{0}$ ，可知 $A-\lambda I$ 的零空間 (nullspace) $N(A-\lambda I)$ (或稱對應 $\lambda$ 的特徵空間) 包含非零向量，故 $A-\lambda I$ 是不可逆矩陣，也就是說 $\det(A-\lambda I)=0$ 。因此，我們定義 $A$ 的特徵多項式為 $p(t)=\det (A-tI)$ ，特徵值 $\lambda$ 即為 $p(t)$ 的根。若 $A$ 有 $k$ 個相異特徵值 $\lambda_1,\ldots,\lambda_k$ ， $1\le k\le n$ ，特徵多項式可分解如下：

$\displaystyle p(t)=\det(A-tI)=(\lambda_1-t)^{\beta_1}\cdots(\lambda_k-t)^{\beta_k}$ ，

其中特徵值 $\lambda_i$ 的重根數 $\beta_i$ 稱為代數重數 (algebraic multiplicity)。因為 $n$ 次多項式 $p(t)$ 有 $n$ 個根 (包含重根)， $\beta_1+\cdots+\beta_k=n$ 。特徵空間 $N(A-\lambda_iI)$ 的維數 $\dim N(A-\lambda_iI)$ 稱為 $\lambda_i$ 的幾何重數 (geometric multiplicity)，也就是對應 $\lambda_i$ 的最大線性獨立的特徵向量數。以上是多數線性代數教科書採用的定義，其實代數重數還有另一個較為罕見的定義方式：特徵值 $\lambda_i$ 的代數重數等於 $\dim N((A-\lambda_i I)^n)$ 。採用此定義的一個優點是立刻可證明每一特徵值的幾何重數不大於代數重數 (見“幾何重數不大於代數重數的證明”)，即

$\dim N(A-\lambda_i I)\le \dim N((A-\lambda_i I)^n)$ 。

證明於下：若 $\mathbf{x}\in N(A-\lambda_iI)$ ，即 $(A-\lambda_iI)\mathbf{x}=\mathbf{0}$ ，也就有 $(A-\lambda_iI)^n\mathbf{x}=\mathbf{0}$ ，可知 $\mathbf{x}\in N((A-\lambda_iI)^n)$ ，因此 $N(A-\lambda_iI)\subseteq N((A-\lambda_iI)^n)$ ，取維數即得證。

假設 $n\times n$ 階矩陣 $A$ 的特徵值 $\lambda$ 於特徵多項式 $p(t)$ 的 (代數) 重數為 $\beta$ ， $1\le\beta\le n$ ，下面證明 $\dim N((A-\lambda I)^n)=\beta$ 。使用 Schur 定理 (見“矩陣三角化的 Schur 定理”)，設 $A$ 可三角化為 $A=UTU^\ast$ ，其中 $U$ 是么正 (unitary) 矩陣， $U^\ast=U^{-1}$ ，且 $T$ 為上三角矩陣，主對角元為 $A$ 的特徵值，表示如下：

$\displaystyle T=\begin{bmatrix} T_1&S\\ 0&T_2 \end{bmatrix}$ ，

上式中 $T_1$ 是 $\beta\times\beta$ 階上三角矩陣， $(T_1)_{ii}=\lambda$ ， $1\le i\le\beta$ ， $T_2$ 是 $(n-\beta)\times(n-\beta)$ 階上三角矩陣， $(T_2)_{jj}\neq \lambda$ ， $1\le j\le n-\beta$ 。因此，

$\displaystyle A-\lambda I=UTU^\ast-U(\lambda I)U^\ast=U\begin{bmatrix} T_1-\lambda I_\beta&S\\ 0&T_2-\lambda I_{n-\beta} \end{bmatrix}U^\ast$ ，

其中上三角矩陣 $T_1-\lambda I_\beta$ 的主對角元皆為零，上三角矩陣 $T_2-\lambda I_{n-\beta}$ 的所有主對角元則不為零。不難確認 $(T_1-\lambda I_\beta)^\beta=0$ 且 $\hbox{rank}(T_2-\lambda I_{n-\beta})=n-\beta$ 。計算冪矩陣可得

$\displaystyle \begin{aligned} (A-\lambda I)^n&=U(T-\lambda I)^nU^\ast\\ &=U\begin{bmatrix} T_1-\lambda I_\beta&S\\ 0&T_2-\lambda I_{n-\beta} \end{bmatrix}^nU^\ast\\ &=U\begin{bmatrix} (T_1-\lambda I_\beta)^n&\ast\\ 0&(T_2-\lambda I_{n-\beta})^n \end{bmatrix}U^\ast\\ &=U\begin{bmatrix} 0&\ast\\ 0&(T_2-\lambda I_{n-\beta})^n \end{bmatrix}U^\ast. \end{aligned}$

使用秩─零度定理，

$\displaystyle\begin{aligned} \dim N\left((A-\lambda I)^n\right)&=n-\hbox{rank}\left((A-\lambda I)^n\right)\\ &=n-\hbox{rank}((T-\lambda I)^n)\\ &=n-\hbox{rank}\begin{bmatrix} \ast\\ (T_2-\lambda I_{n-\beta})^n \end{bmatrix}\\ &=n-(n-\beta)=\beta.\end{aligned}$

這裡補充一個事實。證明過程表明 $\dim N((A-\lambda I)^m)=\dim N((A-\lambda I)^\beta)$ ， $m>\beta$ 。所以， $\beta=\dim N((A-\lambda I)^\beta)$ 。冪矩陣的零空間具有包容關係 $N((A-\lambda I)^\beta)\subseteq N((A-\lambda I)^m)$ ，推得 $N((A-\lambda I)^m)=N((A-\lambda I)^\beta)$ ， $m>\beta$ 。

另一個證法使用 Jordan 形式。設 $A$ 的 Jordan 形式為 (見“Jordan 形式大解讀 (上)”) $\displaystyle A=MJM^{-1}$ ，Jordan 矩陣為

$J=\begin{bmatrix} J_1&0\\ 0&J_2 \end{bmatrix}$ ，

其中 $J_1$ 是特徵值 $\lambda$ 的 Jordan 分塊 (見“Jordan 分塊”) 的直和 (direct sum) 構造的 $\beta\times \beta$ 階矩陣， $J_2$ 則由其餘特徵值 $\mu\neq\lambda$ 的 Jordan 分塊組成。注意 $(J_1)_{ii}=\lambda$ ， $1\le i\le\beta$ ，但 $(J_2)_{jj}\neq\lambda$ ， $1\le j\le n-\beta$ 。因此， $(J_1-\lambda I_\beta)^\beta=0$ 且 $\hbox{rank}(J_2-\lambda I_{n-\beta})=n-\beta$ 。計算冪矩陣：

$\begin{aligned} (A-\lambda I)^n&=M(J-\lambda I)^nM^{-1}\\ &=M\begin{bmatrix} J_1-\lambda I_\beta&0\\ 0&J_2-\lambda I_{n-\beta} \end{bmatrix}^nM^{-1}\\ &=M\begin{bmatrix} (J_1-\lambda I_\beta)^n&0\\ 0&(J_2-\lambda I_{n-\beta})^n \end{bmatrix}M^{-1}\\ &=M\begin{bmatrix} 0&0\\ 0&(J_2-\lambda I_{n-\beta})^n \end{bmatrix}M^{-1}. \end{aligned}$

同樣地，使用秩─零度定理，

$\displaystyle\begin{aligned} \dim N\left((A-\lambda I)^n\right)&=n-\hbox{rank}\left((A-\lambda I)^n\right)\\ &=n-\hbox{rank}\left((J-\lambda I)^n\right)\\ &=n-\hbox{rank}((J_2-\lambda I_{n-\beta})^n)\\ &=n-(n-\beta)=\beta.\end{aligned}$

看這個例子：

$\displaystyle A=\begin{bmatrix} 0&1&1\\ 0&0&2\\ 0&0&2 \end{bmatrix}$

的特徵值為 $0$ 和 $2$ 。對於特徵值 $0$ ，幾何重數為 $\dim N(A-0I)=1$ ，算出

$(A-0I)^3=\begin{bmatrix} 0&0&8\\ 0&0&8\\ 0&0&8 \end{bmatrix}$ ，

代數重數為 $\dim N((A-0I)^3)=2$ 。對於特徵值 $2$ ，幾何重數為 $\dim N(A-2I)=1$ ，算出

$(A-2I)^3=\left[\!\!\begin{array}{rrr} -8&12&-4\\ 0&-8&8\\ 0&0&0 \end{array}\!\!\right]$ ，

代數重數為 $\dim N((A-2I)^3)=1$ 。

對於 $n\times n$ 階矩陣 $A$ 的特徵值 $\lambda$ ， $N((A-\lambda I)^n)$ 稱為廣義特徵空間，所含的非零向量 $\mathbf{x}$ 稱為廣義特徵向量 (generalized eigenvector)，滿足 $(A-\lambda I)^n\mathbf{x}=\mathbf{0}$ ^[1]。若 $A$ 有相異特徵值 $\lambda_1,\ldots,\lambda_k$ ，則對應的特徵向量 $\{\mathbf{x}_1,\ldots,\mathbf{x}_k\}$ ， $\mathbf{x}_i\in N(A-\lambda_iI)$ ，為一線性獨立集 (見“相異特徵值對應線性獨立的特徵向量之簡易證明”)。類似地，對應相異特徵值 $\lambda_1,\ldots,\lambda_k$ 的廣義特徵向量 $\{\mathbf{y}_1,\ldots,\mathbf{y}_k\}$ ， $\mathbf{y}_i\in N((A-\lambda_iI)^n)$ ，也是一個線性獨立集 (見“拒絕行列式的特徵分析”)，即有 $N((A-\lambda_iI)^n)\cap N((A-\lambda_jI)^n)=\{\mathbf{0}\}$ ， $i\neq j$ 。因為 $\dim N((A-\lambda_1I)^n)+\cdots+\dim N((A-\lambda_kI)^n)=n$ ，以上結果說明

$N((A-\lambda_1I)^n)\oplus\cdots\oplus N((A-\lambda_kI)^n)=\mathbb{C}^n$ ，

其中 $\oplus$ 表示直和 (見“補子空間與直和”)。選擇適當的 $n$ 個廣義特徵向量 (廣義特徵空間基底) 組成一可逆矩陣 $M$ 可使 $J=M^{-1}AM$ 為 Jordan 矩陣 (見“Jordan 形式大解讀之尋找廣義特徵向量”)。唯當 $N(A-\lambda_iI)=N((A-\lambda_iI)^n)$ ， $1\le i\le k$ ，即每一個特徵值的幾何重數等於代數重數時才有

$N(A-\lambda_1I)\oplus\cdots\oplus N(A-\lambda_kI)=\mathbb{C}^n$ 。

在此情況下， $\dim N(A-\lambda_1I)+\cdots+\dim N(A-\lambda_kI)=n$ ，將 $n$ 個線性獨立特徵向量 (特徵空間基底) 組成一可逆矩陣 $S$ 可使 $D=S^{-1}AS$ 為對角矩陣，即 $A$ 可對角化 (見“可對角化矩陣與缺陷矩陣的判定”)。

最後舉一例說明。令 $P$ 為一個 $n\times n$ 階冪等 (idempotent) 矩陣， $P^2=P$ (見“特殊矩陣 (5)：冪等矩陣”)。設非零向量 $\mathbf{x}$ 滿足特徵方程 $P\mathbf{x}=\lambda\mathbf{x}$ ，則 $P^2\mathbf{x}=\lambda^2\mathbf{x}$ ，推得 $\lambda=\lambda^2$ ，故 $P$ 有相異特徵值 $0$ 與 $1$ 。寫出 $(I-P)^2=I-2P+P^2=I-P$ ，可知 $I-P$ 也是冪等矩陣。根據定義， $P^n=P^{n-1}=\cdots=P$ 且 $(I-P)^n=(I-P)^{n-1}=\cdots=I-P$ 。對於特徵值 $0$ ， $N(P^n)=N(P)$ ，代數重數等於幾何重數；對於特徵值 $1$ ， $N((P-I)^n)=N((I-P)^n)=N(I-P)=N(P-I)$ ，代數重數也等於幾何重數。所以，冪等矩陣 $P$ 可對角化。

註解
[1] 對應特徵值 $\lambda$ 的廣義特徵空間一般定義為所有的非零向量 $\mathbf{x}$ 使得

$(A-\lambda I)^k\mathbf{x}=\mathbf{0}$ ，

其中 $k$ 為滿足上式的最小正整數，稱為指標 (index)。

10 Responses to 特徵值的代數重數與幾何重數

erofish says:

11/19/2015 at 10:48 am

老师，很多公式显示不出来。

- ccjou says:
  
  11/19/2015 at 10:52 am
  
  你是爬梯子嗎？我的電腦可正常顯示。
  
  - erofish says:
    
    11/19/2015 at 10:53 am
    
    是的，可以了~
    
    - ccjou says:
      
      11/19/2015 at 11:08 am
      
      wordpress 之前更新了編輯器，反而出現許多莫名其妙的問題。
      
      很多公式都錯了。等web server穩定後我再將錯誤顯示的公式改正。
      
levinc417 says:

11/21/2015 at 10:44 pm

老師，有些式子還是出不來耶，”latex path not specified”

- ccjou says:
  
  11/22/2015 at 9:14 am
  
  WordPress已經承認這個bug，但他們沒有說何時修復(可能要等下一版更新)。
  在此之前，只能用貼圖取代未顯現的式子，非常耗工。
  
- ccjou says:
  
  11/22/2015 at 12:58 pm
  
  在我還沒找到更簡易的替代方法前將暫停貼文(除了每週問題)。
  
- oppoops says:
  
  11/22/2015 at 3:43 pm
  
  我嘗試換別的瀏覽器, 從Chrome改成Firefox可以暫時解決部分文章無法顯示的問題,
  但國外的sites還是有些會出問題.
  
  - ccjou says:
    
    11/22/2015 at 4:13 pm
    
    11/19起WP的latex rendering即出現問題(可能是caching的問題)，譬如，N(A-\lambda_iI) 可以顯示，但 N((A-\lambda_iI)^n) 卻不行。WP的反應有點慢：
    https://github.com/Automattic/jetpack/issues/3052
    
    現在上文之所以能正常顯示是因為我花了一個多小時貼圖(與瀏覽器無關)。
    
胡霖 says:

07/08/2018 at 2:44 pm

T1的对角线元素为\lambda是一种非常特殊的情况吧！如果考虑一个一般的上三角矩阵A，如果对角线元素中有\beta个零元素，那么当m \ge \beta，rank(A^m)=rank(A^beta)=n-\beta。感觉这个结论也是对的，但还不知道怎么证明。

	Liu Leaster on 樣本平均數、變異數和共變異數
	nekomoon404 on LU 分解
	偉晨 on 特殊矩陣 (8)：Vandermonde 矩陣
	Combination and Bino… on 二項式係數公式
	jimmyjoe5201 on 二項式係數公式
	bregg on 高斯混合模型與最大期望算法