直和與投影

本文的閱讀等級：中級

設向量空間 $\mathcal{V}$ 為子空間 $\mathcal{X}$ 與其補空間 $\mathcal{Y}$ 的直和，記為 $\mathcal{V}=\mathcal{X}\oplus\mathcal{Y}$ 。對於任意向量 $\mathbf{z}\in\mathcal{V}$ ，直和的意義是僅存在唯一方式分解 $\mathbf{z}$ 為 $\mathcal{X}$ -成分與 $\mathcal{Y}$ -成分之和。“補子空間與直和”曾舉一例， $\mathbb{R}^3=\mathcal{P}\oplus\mathcal{L}$ ，其中 $\mathcal{P}$ 為一平面， $\mathcal{L}$ 為平面外的一直線。對於三維空間中的任意向量 $\mathbf{z}=\mathbf{x}+\mathbf{y}$ ，我們可以想像 $\mathbf{x}\in\mathcal{P}$ 就是將向量 $\mathbf{z}$ 沿著與 $\mathcal{L}$ 平行的直線投影至平面 $\mathcal{P}$ ，見下圖。注意，直線 $\mathcal{L}$ 上的向量至平面 $\mathcal{P}$ 的投影量為零。

沿著 L 至 P 的投影

在移動子空間的線性變換中，投影是一個威力強大的工具，主要用途即在於剖析子空間直和 (動漫用語是「次元切割」)。我們將上例推廣至一般狀況，設 $\mathcal{V}=\mathcal{X}\oplus\mathcal{Y}$ ，對於 $\mathbf{z}\in\mathcal{V}$ ，有唯一 $\mathbf{x}\in\mathcal{X}$ ， $\mathbf{y}\in\mathcal{Y}$ ，使得 $\mathbf{z}=\mathbf{x}+\mathbf{y}$ ，其中 $\mathbf{x}$ 稱為向量 $\mathbf{z}$ 沿著 $\mathcal{Y}$ 至 $\mathcal{X}$ 的投影，而 $\mathbf{y}$ 則稱為 $\mathbf{z}$ 沿著 $\mathcal{X}$ 至 $\mathcal{Y}$ 的投影。如果子空間 $\mathcal{X}$ 正交於 $\mathcal{Y}$ ，則稱之為正交投影 (orthogonal projection)。本文所說的投影指的是一般情況，有時我們稱之為斜投影 (oblique projection) 以便與正交投影區別。

如果 $\mathbb{R}^n=\mathcal{X}\oplus\mathcal{Y}$ ，對於任意 $\mathbf{z}\in\mathbb{R}^n$ ，要如何計算 $\mathbf{z}$ 沿著 $\mathcal{Y}$ 至 $\mathcal{X}$ 的投影分量呢？我們可以設計一 $n$ 階方陣 $P$ ，稱為投影算子 (projector)， $P\mathbf{z}$ 即為 $\mathbf{z}$ 沿著 $\mathcal{Y}$ 至 $\mathcal{X}$ 的投影。下面使用一個簡單的例子來發展演算法，考慮三維實數空間 $\mathbb{R}^3=\mathcal{X}\oplus\mathcal{Y}$ ，其中子空間 $\mathcal{X}$ 的基底為 $\{\mathbf{x}_1,\mathbf{x}_2\}$ ，

$\mathbf{x}_1=\begin{bmatrix} 1\\ 2\\ 3 \end{bmatrix},~\mathbf{x}_2=\begin{bmatrix} 1\\ 1\\ 3 \end{bmatrix}$

子空間 $\mathcal{Y}$ 的基底為 $\{\mathbf{y}_1\}$ ，

$\mathbf{y}_1=\begin{bmatrix} 1\\ 0\\ 2 \end{bmatrix}$

將這二組基底向量 $\mathbf{x}_1,\mathbf{x}_2,\mathbf{y}_1$ 合併成一方陣：

$A=\begin{bmatrix} 1&1&1\\ 2&1&0\\ 3&3&2 \end{bmatrix}$

因為 $\mathrm{dim}\mathbb{R}^3=\mathrm{dim}\mathcal{X}+\mathrm{dim}\mathcal{Y}$ ，方陣 $A$ 的行向量可為 $\mathbb{R}^3$ 的一組基底，因此 $A$ 是可逆的。投影算子 $P$ 將 $\mathbb{R}^3$ 向量沿著 $\mathcal{Y}$ 投影至 $\mathcal{X}$ ，所以滿足 $P\mathbf{x}_i=\mathbf{x}_i$ ， $i=1,2$ ，且 $P\mathbf{y}_1=\mathbf{0}$ ，或以矩陣乘法表示為

$\begin{aligned} PA&=P\begin{bmatrix} \mathbf{x}_1&\mathbf{x}_2&\mathbf{y}_1 \end{bmatrix}=\begin{bmatrix} P\mathbf{x}_1&P\mathbf{x}_2&P\mathbf{y}_1 \end{bmatrix}=\begin{bmatrix} \mathbf{x}_1&\mathbf{x}_2&\mathbf{0} \end{bmatrix}\end{aligned}$

上式右乘 $A^{-1}$ 可解出投影算子，

$\begin{aligned} P&=\begin{bmatrix} \mathbf{x}_1&\mathbf{x}_2&\mathbf{0} \end{bmatrix}A^{-1}=A\begin{bmatrix} 1&0&0\\ 0&1&0\\ 0&0&0 \end{bmatrix}A^{-1}\end{aligned}$

代入上例 $A$ ，計算得到

$P=\left[\!\!\begin{array}{rcc} -2&0&1\\ 0&1&0\\ -6&0&3 \end{array}\!\!\right]$

下面我整理出投影算子的算法並解說其性質。設 $\mathcal{V}=\mathcal{X}\oplus\mathcal{Y}$ ， $\mathcal{X}$ 的基底為 $\{\mathbf{x}_1,\ldots,\mathbf{x}_k\}$ ， $\mathcal{Y}$ 有基底 $\{\mathbf{y}_1,\ldots,\mathbf{y}_{n-k}\}$ 。令 $n\times k$ 階矩陣 $X=\begin{bmatrix} \mathbf{x}_1&\cdots&\mathbf{x}_k \end{bmatrix}$ ， $n\times(n-k)$ 階矩陣 $Y=\begin{bmatrix} \mathbf{y}_1&\cdots&\mathbf{y}_{n-k} \end{bmatrix}$ ， $A=\begin{bmatrix} X&Y \end{bmatrix}$ 為 $n$ 階可逆方陣。投影算子 $P$ 的計算公式為

$\begin{aligned} P&=\begin{bmatrix} X&0 \end{bmatrix}A^{-1}=A\begin{bmatrix} I_k&0\\ 0&0 \end{bmatrix}A^{-1}\end{aligned}$

在 $\mathbb{R}^n$ 中，沿著 $\mathcal{Y}$ 至 $\mathcal{X}$ 僅存在唯一的投影算子嗎？假設 $P_1$ 和 $P_2$ 為二個合法投影算子，就有

$\begin{aligned} P_iA&=P_i\begin{bmatrix} X&Y \end{bmatrix}=\begin{bmatrix} P_iX&P_iY \end{bmatrix}=\begin{bmatrix} X&0 \end{bmatrix}\end{aligned}$

上式對 $i=1,2$ 皆成立，故 $P_1A=P_2A$ ，等號兩邊右乘 $A^{-1}$ 便得到 $P_1=P_2$ ，所以確實僅有唯一的投影算子。

既然直和由二個補子空間形成，也就有補投影算子的概念。考慮

$\begin{aligned} I-P&=AIA^{-1}-A\begin{bmatrix} I_k&0\\ 0&0 \end{bmatrix}A^{-1}\\ &=A\begin{bmatrix} 0&0\\ 0&I_{n-k} \end{bmatrix}A^{-1}=\begin{bmatrix} 0&Y \end{bmatrix}A^{-1}\end{aligned}$

因為

$\begin{aligned} \mathbf{x}&=P\mathbf{z}=\begin{bmatrix} X&0 \end{bmatrix}A^{-1}\mathbf{z}\end{aligned}$

從 $\mathbf{z}=\mathbf{x}+\mathbf{y}=P\mathbf{z}+\mathbf{y}$ 可得

$\begin{aligned} \mathbf{y}&=(I-P)\mathbf{z}=\begin{bmatrix} 0&Y \end{bmatrix}A^{-1}\mathbf{z}\end{aligned}$

上面二式指出 $\mathbf{x}$ 屬於 $X$ 的行空間 (column space)，記為 ${C}(X)=\mathcal{X}$ ，而 $\mathbf{y}$ 屬於 $Y$ 的行空間 ${C}(Y)=\mathcal{Y}$ 。投影分量 $\mathbf{x}$ 和 $\mathbf{y}$ 分屬補子空間，我們稱 $I-P$ 為 $P$ 的補投影算子。根據投影算子性質，可以推導出子空間 $\mathcal{X}$ 和 $\mathcal{Y}$ 與投影算子 $P$ 和 $I-P$ 的行空間和零空間關係：

$\begin{aligned} \mathcal{X}&={C}(X)={C}(P)={N}(I-P)\end{aligned}$

而且

$\begin{aligned} \mathcal{Y}&={C}(Y)={C}(I-P)={N}(P)\end{aligned}$

因此，由 $P\mathbf{x}=\mathbf{x}$ ，亦即 $(I-P)\mathbf{x}=\mathbf{0}$ ，可解出子空間 $\mathcal{X}$ 。同樣地，由 $P\mathbf{y}=\mathbf{0}$ 則可解出子空間 $\mathcal{Y}$ 。

再來我們討論投影算子的判定方法：若 $P$ 是冪等 (idempotent) 矩陣， $P^2=P$ ，則線性變換 $P$ 為投影算子，反向陳述也為真 (見“特殊矩陣 (5)：冪等矩陣”)。先證明反向陳述，如果 $P$ 是沿著 $\mathcal{Y}$ 至 $\mathcal{X}$ 的投影算子，對於任意 $\mathbf{z}\in\mathcal{V}$ ，設 $\mathbf{x}=P\mathbf{z}$ ，就有

$\begin{aligned} P^2\mathbf{z}&=P(P\mathbf{z})=P\mathbf{x}=\mathbf{x}=P\mathbf{z}\end{aligned}$

因為 $\mathbf{z}$ 是任意向量，可知 $P^2=P$ 。正向陳述的證明稍微麻煩些，想法是從 $P^2=P$ 證出 $\mathcal{V}={C}(P)\oplus{N}(P)$ 。任意 $\mathbf{z}\in\mathcal{V}$ 可以表示為

$\begin{aligned} \mathbf{z}&=(P+I-P)\mathbf{z}=P\mathbf{z}+(I-P)\mathbf{z}\end{aligned}$

其中 $P\mathbf{z}\in{C}(P)$ 。如果 $P^2=P$ ，則 $P(I-P)\mathbf{z}=(P-P^2)\mathbf{z}=\mathbf{0}$ ，故 $(I-P)\mathbf{z}\in{N}(P)$ ，於是就有 $\mathcal{V}={C}(P)+{N}(P)$ 。下一步是證明 ${C}(P)\cap{N}(P)=\mathcal{O}$ 。假設 $\mathbf{w}\in{C}(P)\cap{N}(P)$ ，即知 $\mathbf{w}=P\mathbf{w}$ 且 $P\mathbf{w}=\mathbf{0}$ 。因為 $P^2=P$ ，可得 $\mathbf{w}=P\mathbf{w}=P^2\mathbf{w}$ ，但 $\mathbf{0}=P\mathbf{w}=P^2\mathbf{w}$ ，故 $\mathbf{w}=\mathbf{0}$ 。

最後我們將本文得到的結果整理於下。直和是向量空間的一種有效分解方式，投影為直和提供代數計算與幾何解釋。設 $\mathcal{V}=\mathcal{X}\oplus\mathcal{Y}$ ， $P$ 為沿著 $\mathcal{Y}$ 至 $\mathcal{X}$ 的投影算子，有下面幾個性質：

(1) $P^2=P$ ， $P$ 是冪等矩陣。

(2) 若 $\mathcal{V}=\mathbb{R}^n$ ， $\mathrm{dim}\mathcal{X}=k$ ，則

$P=\begin{bmatrix} X&Y \end{bmatrix}\begin{bmatrix} I_k&0\\ 0&0 \end{bmatrix}\begin{bmatrix} X&Y \end{bmatrix}^{-1}$

其中 $n\times k$ 階矩陣 $X$ 的行向量為 $\mathcal{X}$ 的基底， $n\times(n-k)$ 階矩陣 $Y$ 的行向量為 $\mathcal{Y}$ 的基底。

(3) 由投影算子 $P$ 可計算出子空間 $\mathcal{X}$ 和 $\mathcal{Y}$ ： $\mathcal{X}={C}(P)={N}(I-P)$ ， $\mathcal{Y}={N}(P)={C}(I-P)$ 。

(4) $I-P$ 為 $P$ 的補投影算子使得 $P(I-P)=(I-P)P=0$ 。 $P$ 是沿著子空間 $N(P)=C(I-P)$ 至 $C(P)=N(I-P)$ 的投影算子， $I-P$ 則是沿著子空間 $N(I-P)=C(P)$ 至 $C(I-P)=N(P)$ 的投影算子。

7 Responses to 直和與投影

Vahi Chen says:

06/10/2015 at 6:38 am

在补投影算子 I-P 的推导过程中，最后漏了一个等号

- ccjou says:
  
  06/10/2015 at 7:03 am
  
  謝謝，已修訂。
  
雲耕子 says:

03/14/2017 at 3:41 pm

老師您好，請問……若是一個vector space拆解為兩個以上subspace的direct sum，我們是否還能夠發展出一個projector來求出vector至各個subspace的投影呢?

- ccjou says:
  
  03/14/2017 at 3:55 pm
  
  可以啊，譜分解就是了
  https://ccjou.wordpress.com/2010/08/23/%E5%8F%AF%E5%B0%8D%E8%A7%92%E5%8C%96%E7%9F%A9%E9%99%A3%E7%9A%84%E8%AD%9C%E5%88%86%E8%A7%A3/
  
  你應該也會對不變子空間有興趣
  https://ccjou.wordpress.com/2011/01/29/%E4%B8%8D%E8%AE%8A%E5%AD%90%E7%A9%BA%E9%96%93-%E8%A7%A3%E6%A7%8B%E7%B7%9A%E6%80%A7%E7%AE%97%E5%AD%90%E7%9A%84%E5%88%A9%E5%99%A8/
  
雲耕子 says:

03/14/2017 at 3:44 pm

會這麼問，是因為jordam form其實就是把一個vector space拆解成多個subspace的direct sum而來……懇請老師賜教，謝謝您

GGT says:

11/20/2017 at 8:03 pm

請問我可以怎麼證明投影變換T必存在於任意向量空間V的子空間W?

daLsouelifh says:

02/10/2018 at 1:31 pm

您好：
請問倒數第二段末的證明中是否應為

即知 \mathbf{w}=P\mathbf{v} 且 P\mathbf{w}=\mathbf{0}。因為 P^2=P，可得 \mathbf{w}=P\mathbf{v}=P^2\mathbf{v}，但 \mathbf{0}=P\mathbf{w}=P^2\mathbf{v}，故 \mathbf{w}=\mathbf{0}。

因為已知僅有P = P^2，還不知道P為投影算子。這樣是否更為嚴謹？謝謝。

	TIGER on 特殊矩陣 (6)：正定矩陣
	tsao on 線性變換與矩陣的用語比較
	123 on 奇異值分解 (SVD)
	小鎮馬 on Lagrange 乘數法
	johnson on 特殊矩陣 (3)：么正矩陣 (酉矩陣)
	AnneLULU on Gapminder 讓資料說故事