直和與投影

本文的閱讀等級:中級

設向量空間 \mathcal{V} 為子空間 \mathcal{X} 與其補空間 \mathcal{Y} 的直和,記為 \mathcal{V}=\mathcal{X}\oplus\mathcal{Y}。對於任意向量 \mathbf{z}\in\mathcal{V},直和的意義是僅存在唯一方式分解 \mathbf{z}\mathcal{X}-成分與 \mathcal{Y}-成分之和。“補子空間與直和”曾舉一例,\mathbb{R}^3=\mathcal{P}\oplus\mathcal{L},其中 \mathcal{P} 為一平面,\mathcal{L} 為平面外的一直線。對於三維空間中的任意向量 \mathbf{z}=\mathbf{x}+\mathbf{y},我們可以想像 \mathbf{x}\in\mathcal{P} 就是將向量 \mathbf{z} 沿著與 \mathcal{L} 平行的直線投影至平面 \mathcal{P},見下圖。注意,直線 \mathcal{L} 上的向量至平面 \mathcal{P} 的投影量為零。

沿著 L 至 P 的投影

 
在移動子空間的線性變換中,投影是一個威力強大的工具,主要用途即在於剖析子空間直和 (動漫用語是「次元切割」)。我們將上例推廣至一般狀況,設 \mathcal{V}=\mathcal{X}\oplus\mathcal{Y},對於 \mathbf{z}\in\mathcal{V},有唯一 \mathbf{x}\in\mathcal{X}\mathbf{y}\in\mathcal{Y},使得 \mathbf{z}=\mathbf{x}+\mathbf{y},其中 \mathbf{x} 稱為向量 \mathbf{z} 沿著 \mathcal{Y}\mathcal{X} 的投影,而 \mathbf{y} 則稱為 \mathbf{z} 沿著 \mathcal{X}\mathcal{Y} 的投影。如果子空間 \mathcal{X} 正交於 \mathcal{Y},則稱之為正交投影 (orthogonal projection)。本文所說的投影指的是一般情況,有時我們稱之為斜投影 (oblique projection) 以便與正交投影區別。

 
如果 \mathbb{R}^n=\mathcal{X}\oplus\mathcal{Y},對於任意 \mathbf{z}\in\mathbb{R}^n,要如何計算 \mathbf{z} 沿著 \mathcal{Y}\mathcal{X} 的投影分量呢?我們可以設計一 n 階方陣 P,稱為投影算子 (projector),P\mathbf{z} 即為 \mathbf{z} 沿著 \mathcal{Y}\mathcal{X} 的投影。下面使用一個簡單的例子來發展演算法,考慮三維實數空間 \mathbb{R}^3=\mathcal{X}\oplus\mathcal{Y},其中子空間 \mathcal{X} 的基底為 \{\mathbf{x}_1,\mathbf{x}_2\}

\mathbf{x}_1=\begin{bmatrix}    1\\    2\\    3    \end{bmatrix},~\mathbf{x}_2=\begin{bmatrix}    1\\    1\\    3    \end{bmatrix}

子空間 \mathcal{Y} 的基底為 \{\mathbf{y}_1\}

\mathbf{y}_1=\begin{bmatrix}    1\\    0\\    2    \end{bmatrix}

將這二組基底向量 \mathbf{x}_1,\mathbf{x}_2,\mathbf{y}_1 合併成一方陣:

A=\begin{bmatrix}    1&1&1\\    2&1&0\\    3&3&2    \end{bmatrix}

因為 \mathrm{dim}\mathbb{R}^3=\mathrm{dim}\mathcal{X}+\mathrm{dim}\mathcal{Y},方陣 A 的行向量可為 \mathbb{R}^3 的一組基底,因此 A 是可逆的。投影算子 P\mathbb{R}^3 向量沿著 \mathcal{Y} 投影至 \mathcal{X},所以滿足 P\mathbf{x}_i=\mathbf{x}_ii=1,2,且 P\mathbf{y}_1=\mathbf{0},或以矩陣乘法表示為

\begin{aligned}  PA&=P\begin{bmatrix}    \mathbf{x}_1&\mathbf{x}_2&\mathbf{y}_1    \end{bmatrix}=\begin{bmatrix}    P\mathbf{x}_1&P\mathbf{x}_2&P\mathbf{y}_1    \end{bmatrix}=\begin{bmatrix}    \mathbf{x}_1&\mathbf{x}_2&\mathbf{0}    \end{bmatrix}\end{aligned}

上式右乘 A^{-1} 可解出投影算子,

\begin{aligned}  P&=\begin{bmatrix}    \mathbf{x}_1&\mathbf{x}_2&\mathbf{0}    \end{bmatrix}A^{-1}=A\begin{bmatrix}    1&0&0\\    0&1&0\\    0&0&0    \end{bmatrix}A^{-1}\end{aligned}

代入上例 A,計算得到

P=\left[\!\!\begin{array}{rcc}    -2&0&1\\    0&1&0\\    -6&0&3    \end{array}\!\!\right]

 
下面我整理出投影算子的算法並解說其性質。設 \mathcal{V}=\mathcal{X}\oplus\mathcal{Y}\mathcal{X} 的基底為 \{\mathbf{x}_1,\ldots,\mathbf{x}_k\}\mathcal{Y} 有基底 \{\mathbf{y}_1,\ldots,\mathbf{y}_{n-k}\}。令 n\times k 階矩陣 X=\begin{bmatrix}    \mathbf{x}_1&\cdots&\mathbf{x}_k    \end{bmatrix}n\times(n-k) 階矩陣 Y=\begin{bmatrix}    \mathbf{y}_1&\cdots&\mathbf{y}_{n-k}    \end{bmatrix}A=\begin{bmatrix}    X&Y    \end{bmatrix}n 階可逆方陣。投影算子 P 的計算公式為

\begin{aligned}  P&=\begin{bmatrix}    X&0    \end{bmatrix}A^{-1}=A\begin{bmatrix}    I_k&0\\    0&0    \end{bmatrix}A^{-1}\end{aligned}

\mathbb{R}^n 中,沿著 \mathcal{Y}\mathcal{X} 僅存在唯一的投影算子嗎?假設 P_1P_2 為二個合法投影算子,就有

\begin{aligned}  P_iA&=P_i\begin{bmatrix}    X&Y    \end{bmatrix}=\begin{bmatrix}    P_iX&P_iY    \end{bmatrix}=\begin{bmatrix}    X&0    \end{bmatrix}\end{aligned}

上式對 i=1,2 皆成立,故 P_1A=P_2A,等號兩邊右乘 A^{-1} 便得到 P_1=P_2,所以確實僅有唯一的投影算子。

 
既然直和由二個補子空間形成,也就有補投影算子的概念。考慮

\begin{aligned}  I-P&=AIA^{-1}-A\begin{bmatrix}    I_k&0\\    0&0    \end{bmatrix}A^{-1}\\  &=A\begin{bmatrix}    0&0\\    0&I_{n-k}    \end{bmatrix}A^{-1}=\begin{bmatrix}    0&Y    \end{bmatrix}A^{-1}\end{aligned}

因為

\begin{aligned}  \mathbf{x}&=P\mathbf{z}=\begin{bmatrix}    X&0    \end{bmatrix}A^{-1}\mathbf{z}\end{aligned}

\mathbf{z}=\mathbf{x}+\mathbf{y}=P\mathbf{z}+\mathbf{y} 可得

\begin{aligned}  \mathbf{y}&=(I-P)\mathbf{z}=\begin{bmatrix}    0&Y    \end{bmatrix}A^{-1}\mathbf{z}\end{aligned}

上面二式指出 \mathbf{x} 屬於 X 的行空間 (column space),記為 {C}(X)=\mathcal{X},而 \mathbf{y} 屬於 Y 的行空間 {C}(Y)=\mathcal{Y}。投影分量 \mathbf{x}\mathbf{y} 分屬補子空間,我們稱 I-PP 的補投影算子。根據投影算子性質,可以推導出子空間 \mathcal{X}\mathcal{Y} 與投影算子 PI-P 的行空間和零空間關係:

\begin{aligned}  \mathcal{X}&={C}(X)={C}(P)={N}(I-P)\end{aligned}

而且

\begin{aligned}  \mathcal{Y}&={C}(Y)={C}(I-P)={N}(P)\end{aligned}

因此,由 P\mathbf{x}=\mathbf{x},亦即 (I-P)\mathbf{x}=\mathbf{0},可解出子空間 \mathcal{X}。同樣地,由 P\mathbf{y}=\mathbf{0} 則可解出子空間 \mathcal{Y}

 
再來我們討論投影算子的判定方法:若 P 是冪等 (idempotent) 矩陣,P^2=P,則線性變換 P 為投影算子,反向陳述也為真 (見“特殊矩陣 (5):冪等矩陣”)。先證明反向陳述,如果 P 是沿著 \mathcal{Y}\mathcal{X} 的投影算子,對於任意 \mathbf{z}\in\mathcal{V},設 \mathbf{x}=P\mathbf{z},就有

\begin{aligned}  P^2\mathbf{z}&=P(P\mathbf{z})=P\mathbf{x}=\mathbf{x}=P\mathbf{z}\end{aligned}

因為 \mathbf{z} 是任意向量,可知 P^2=P。正向陳述的證明稍微麻煩些,想法是從 P^2=P 證出 \mathcal{V}={C}(P)\oplus{N}(P)。任意 \mathbf{z}\in\mathcal{V} 可以表示為

\begin{aligned}  \mathbf{z}&=(P+I-P)\mathbf{z}=P\mathbf{z}+(I-P)\mathbf{z}\end{aligned}

其中 P\mathbf{z}\in{C}(P)。如果 P^2=P,則 P(I-P)\mathbf{z}=(P-P^2)\mathbf{z}=\mathbf{0},故 (I-P)\mathbf{z}\in{N}(P),於是就有 \mathcal{V}={C}(P)+{N}(P)。下一步是證明 {C}(P)\cap{N}(P)=\mathcal{O}。假設 \mathbf{w}\in{C}(P)\cap{N}(P),即知 \mathbf{w}=P\mathbf{w}P\mathbf{w}=\mathbf{0}。因為 P^2=P,可得 \mathbf{w}=P\mathbf{w}=P^2\mathbf{w},但 \mathbf{0}=P\mathbf{w}=P^2\mathbf{w},故 \mathbf{w}=\mathbf{0}

 
最後我們將本文得到的結果整理於下。直和是向量空間的一種有效分解方式,投影為直和提供代數計算與幾何解釋。設 \mathcal{V}=\mathcal{X}\oplus\mathcal{Y}P 為沿著 \mathcal{Y}\mathcal{X} 的投影算子,有下面幾個性質:

(1) P^2=PP 是冪等矩陣。

(2) 若 \mathcal{V}=\mathbb{R}^n\mathrm{dim}\mathcal{X}=k,則

P=\begin{bmatrix}    X&Y    \end{bmatrix}\begin{bmatrix}    I_k&0\\    0&0    \end{bmatrix}\begin{bmatrix}    X&Y    \end{bmatrix}^{-1}

其中 n\times k 階矩陣 X 的行向量為 \mathcal{X} 的基底,n\times(n-k) 階矩陣 Y 的行向量為 \mathcal{Y} 的基底。

(3) 由投影算子 P 可計算出子空間 \mathcal{X}\mathcal{Y}\mathcal{X}={C}(P)={N}(I-P)\mathcal{Y}={N}(P)={C}(I-P)

(4) I-PP 的補投影算子使得 P(I-P)=(I-P)P=0P 是沿著子空間 N(P)=C(I-P)C(P)=N(I-P) 的投影算子,I-P 則是沿著子空間 N(I-P)=C(P)C(I-P)=N(P) 的投影算子。

Advertisements
本篇發表於 線性代數專欄, 向量空間 並標籤為 , , , , 。將永久鏈結加入書籤。

5 則回應給 直和與投影

  1. Vahi Chen 說道:

    在补投影算子 I-P 的推导过程中,最后漏了一个等号

  2. 雲耕子 說道:

    老師您好,請問……若是一個vector space拆解為兩個以上subspace的direct sum,我們是否還能夠發展出一個projector來求出vector至各個subspace的投影呢?

  3. 雲耕子 說道:

    會這麼問,是因為jordam form其實就是把一個vector space拆解成多個subspace的direct sum而來……懇請老師賜教,謝謝您

發表迴響

在下方填入你的資料或按右方圖示以社群網站登入:

WordPress.com Logo

您的留言將使用 WordPress.com 帳號。 登出 / 變更 )

Twitter picture

您的留言將使用 Twitter 帳號。 登出 / 變更 )

Facebook照片

您的留言將使用 Facebook 帳號。 登出 / 變更 )

Google+ photo

您的留言將使用 Google+ 帳號。 登出 / 變更 )

連結到 %s