特殊矩陣 (5):冪等矩陣

本文的閱讀等級:中級

P 為一個 n\times n 階矩陣。若 P^2=P,也就是 P(I-P)=0,我們稱之為冪等矩陣 (idempotent matrix),idempotent 源自拉丁文,idem 意相同,potent 指力量。以下考慮實矩陣與實向量,如欲延伸至複矩陣與複向量,僅需將轉置運算 (\cdot)^T 改為共軛轉置 (\cdot)^\ast 即可。冪等矩陣 P 的作用在將向量 \mathbf{x}\in\mathbb{R}^n 投影至 P 的行空間 (column space),記為 C(P),即線性變換 P 的值域。從相反方向推理,行空間 C(P) 中任意向量可表示為 P\mathbf{x},而

P(P\mathbf{x})=P^2\mathbf{x}=P\mathbf{x}

表明子空間 C(P) 內的向量 P\mathbf{x} 本身即為其投影。換句話說,投影一次 P\mathbf{x} 與投影兩次 P^2\mathbf{x} 的結果相同。

Projection

冪等矩陣即為投影矩陣

 
正交投影矩陣 P 除了必須是冪等矩陣還必須是對稱矩陣。見上圖,向量 \mathbf{x} 經正交投影後的殘餘向量 \mathbf{x}-P\mathbf{x}=(I-P)\mathbf{x} 必定與行空間 C(P) 正交,也就是對任意 \mathbf{x}, \mathbf{y}\in\mathbb{R}^n, 總有

0=(\mathbf{x}-P\mathbf{x})^TP\mathbf{y}=((I-P)\mathbf{x})^TP\mathbf{y}=\mathbf{x}^T(I-P)^TP\mathbf{y}=\mathbf{x}^T(P-P^TP)\mathbf{y}

上式成立的條件為 P=P^TP,但 (P^TP)^T=P^TP,也就證明 P=P^2=P^T。因為 \mathbf{x}=P\mathbf{x}+(I-P)\mathbf{x}P\mathbf{x}\perp (I-P)\mathbf{x},子空間 C(I-P)C(P) 的正交補餘 (orthogonal complement)。

 
舉一例,下面的矩陣將三維空間的點 \mathbf{x}=\begin{bmatrix}  x\\  y\\  z\end{bmatrix} 投影至 XY 平面:

P=\begin{bmatrix}  1&0&0\\    0&1&0\\    0&0&0    \end{bmatrix}

投影為 P\mathbf{x}=\begin{bmatrix}    x\\    y\\    0    \end{bmatrix},殘差 \mathbf{x}-P\mathbf{x}=\begin{bmatrix}  0\\  0\\  z\end{bmatrix} 和投影 P\mathbf{x} 正交,故 P 是一個正交投影矩陣。斜投影 (oblique projection) 是一種非正交投影,例如,

P=\begin{bmatrix}  1&a\\    0&0    \end{bmatrix}

不難確認 P 是冪等矩陣。任意二維實向量 \mathbf{x}=\begin{bmatrix}  x\\  y\end{bmatrix} 的投影即為

P\mathbf{x}=\begin{bmatrix}  1&a\\    0&0    \end{bmatrix} \begin{bmatrix}    x\\    y    \end{bmatrix}=\begin{bmatrix}    x+ay\\    0    \end{bmatrix}

明顯地,當 a=0 時,P 才是正交投影。

 
接著我們介紹冪等矩陣的一些性質,以下設 P 為一個 n\times n 階冪等矩陣,N(P) 表示 P 的零空間 (nullspace)。

 
(1) N(P)=C(I-P)C(P)=N(I-P)

\mathbf{x}\in N(P),則 P\mathbf{x}=\mathbf{0},故 \mathbf{x}=\mathbf{x}-P\mathbf{x}=(I-P)\mathbf{x},亦即 \mathbf{x}\in C(I-P);若 \mathbf{x}\in C(I-P),就有 \mathbf{x}=(I-P)\mathbf{y},故 P\mathbf{x}=P(I-P)\mathbf{y}=0\mathbf{y}=\mathbf{0},即 \mathbf{x}\in N(P)。合併以上結果證明 N(P)=C(I-P)。因為

(I-P)^2=I-2P+P^2=I-P

I-P 亦為冪等距陣,故 N(I-P)=C(I-(I-P))=C(P)。附帶一提,(P-I)^2=P^2-2P+I=I-P,除非 P=0,否則 P-I 不是一個冪等矩陣。

 
(2) C(P)\cap N(P)=\{\mathbf{0}\}

\mathbf{x}\in C(P)\cap N(P),就有 \mathbf{y}\in\mathbb{R}^n 使得 \mathbf{x}=P\mathbf{y},由 (1) 得知存在 \mathbf{z} 使得 \mathbf{x}=(I-P)\mathbf{z}。因此 \mathbf{z}=P\mathbf{y}+P\mathbf{z},等號兩邊左乘 P,立得

P\mathbf{z}=P^2\mathbf{y}+P^2\mathbf{z}=P\mathbf{y}+P\mathbf{z}

\mathbf{x}=P\mathbf{y}=\mathbf{0}

 
(3) \mathrm{rank}P=\mathrm{dim}N(I-P)\mathrm{rank}(I-P)=\mathrm{dim}N(P)

使用 (1),

\begin{aligned}  \mathrm{rank}P&=\dim C(P)=\dim N(I-P),\\  \mathrm{rank}(I-P)&=\dim C(I-P)=\dim N(P).\end{aligned}

 
(4) \mathrm{rank}P+\mathrm{rank}(I-P)=n

根據秩—零度定理 \dim C(P)+\dim N(P)=n 與 (1) N(P)=C(I-P),就有 \dim C(P)+\dim C(I-P)=n,即得證。

 
(5) 冪等矩陣 P 可對角化為 \mathrm{diag}(1,\ldots,1,0,\ldots,0)

P 的特徵值為 \lambda,對應的特徵向量為 \mathbf{x}。考慮 P\mathbf{x}=\lambda\mathbf{x},就有 P^2\mathbf{x}=\lambda^2\mathbf{x},但 P^2=P,推論 \lambda^2=\lambdaP 的特徵值必為 \lambda=01,故 \det P=01。對應 \lambda=1 的特徵空間為 N(P-I),對應 \lambda=0 的特徵空間為 N(P),由 (3) 和 (4) 可知 N(I-P) 的基底合併 N(P) 的基底足以生成 \mathbb{R}^n,故 P 可對角化為 \mathrm{diag}(1,\ldots,1,0,\ldots,0),其中特徵值 1 的代數重數為 \mathrm{rank}P,特徵值 0 的代數重數為 \mathrm{rank}(I-P)

 
(6) \mathrm{rank}P=\mathrm{trace}P

因為 \mathrm{trace}P 即為所有特徵值之和,也就是特徵值 1 的代數重數 \mathrm{rank}P

繼續閱讀:
廣告
本篇發表於 特殊矩陣, 線性代數專欄 並標籤為 , , , , 。將永久鏈結加入書籤。

6 Responses to 特殊矩陣 (5):冪等矩陣

  1. aocwind 說道:

    請問一下老師,關於lambda=0的時候,有辦法討論其特徵空間維度的維度以及P可對角化嗎?

    謝謝

  2. ccjou 說道:

    針對你的提問,已補充改寫本文。

    投影矩陣 P 總是可對角化為
    P=S\begin{bmatrix} I_r&0\\ 0&0 \end{bmatrix}S^{-1}

  3. pentiumevo 說道:

    Typo:
    下面介紹一些冪等矩陣的性質,設P為n x n階實冪"零"矩陣

    Should be read:
    下面介紹一些冪等矩陣的性質,設P為n x n階實冪等矩陣

  4. ccjou 說道:

    謝謝指正,已訂正。

  5. Zhiyuan 說道:

    非常感谢老师的文章,很有收获!
    有一处不知道是不是错误,本篇文章图片下方,以0=开头的等式中,第二个和第三个等号之间表达式结尾处,是否为Py而不是Px?

發表迴響

在下方填入你的資料或按右方圖示以社群網站登入:

WordPress.com Logo

您的留言將使用 WordPress.com 帳號。 登出 / 變更 )

Twitter picture

您的留言將使用 Twitter 帳號。 登出 / 變更 )

Facebook照片

您的留言將使用 Facebook 帳號。 登出 / 變更 )

Google+ photo

您的留言將使用 Google+ 帳號。 登出 / 變更 )

連結到 %s