仿射投影

本文的閱讀等級:中級

\mathcal{V} 為一向量空間,\mathbf{z}\neq\mathbf{0} 屬於 \mathcal{V}。考慮 \mathbf{x}\in\mathcal{V} 的平移變換

T(\mathbf{x})=\mathbf{x}+\mathbf{z}

平移變換 T 並非線性變換,而是一個仿射變換 (見“仿射變換”)。設 \mathcal{W}\mathcal{V} 的一子空間,\mathcal{W} 自原點平移 \mathbf{z} 後所構成的集合稱為仿射空間 (affine space),表示為

\mathcal{S}=\mathcal{W}+\mathbf{z}\overset{\underset{\mathrm{def}}{}}{=}\{\mathbf{x}+\mathbf{z}\vert\mathbf{x}\in\mathcal{W}\}

除非 \mathbf{z}\in\mathcal{W},否則 \mathcal{S} 不包含零向量,所以 \mathcal{S} 並不是 \mathcal{V} 的子空間。雖然如此,在仿射空間中仍可以實現正交投影,這篇短文解說如何將一般子空間投影轉換至仿射空間投影,另外並介紹一種基於最佳化理論的計算方法。(本文源於網友 Liang Dai 留言,以下的例子也是由他所提供。)

 
類似一般子空間正交投影問題,我們在仿射空間 \mathcal{S}=\mathcal{W}+\mathbf{z} 中尋找與 \mathbf{y}\in\mathcal{V} 距離最小的向量 \mathbf{x},此即 \mathbf{y}\mathcal{S} 的正交投影。最直接的作法是將向量 \mathbf{y} 和仿射空間 \mathcal{S} 都減去 \mathbf{z},如此一來,所有的物件又回到子空間 (見下圖):

\begin{aligned}  \mathbf{z}&\to\mathbf{0}\\  \mathbf{y}&\to\mathbf{y}-\mathbf{z}\\  \mathbf{x}&\to\mathbf{x}-\mathbf{z}\end{aligned}

既然 \mathbf{x}\mathbf{y} 至仿射空間 \mathcal{S} 的正交投影, 那麼 \mathbf{x}-\mathbf{z} 也就是 \mathbf{y}-\mathbf{z} 至子空間 \mathcal{W} 的正交投影。令 P 代表至子空間 \mathcal{W} 的正交投影矩陣,就有

\mathbf{x}-\mathbf{z}=P(\mathbf{y}-\mathbf{z})

由此解出仿射投影向量

\mathbf{x}=P(\mathbf{y}-\mathbf{z})+\mathbf{z}

仿射投影與正交投影

 
看下面這個例子。設 Am\times n 階實矩陣,m0,這指出對於任一非零向量 \mathbf{b}\in\mathbb{R}^mA\mathbf{x}=\mathbf{b} 存在無窮多組解,但由於解集合不含零向量因此不是 \mathbb{R}^n 的子空間 (見“Ax=b 和 Ax=0 的解集合有什麼關係?”)。

 
根據正交原則,\mathbf{y} 至解集合 \mathcal{S}=\{\mathbf{x}\vert A\mathbf{x}=\mathbf{b}\} 的正交投影使 \Vert\mathbf{y}-\mathbf{x}\Vert 最小。令 A\mathbf{x}=\mathbf{b} 的通解為 \mathbf{x}=\mathbf{x}_p+\mathbf{x}_h,其中 \mathbf{x}_p 為一特解滿足 A\mathbf{x}_p=\mathbf{b}\mathbf{x}_h 為齊次解,A\mathbf{x}_h=\mathbf{0}。我們觀察出

\displaystyle  \mathcal{S}=\{\mathbf{x}\vert A\mathbf{x}=\mathbf{b}\}=N(A)+\mathbf{x}_p

也就是說,解集合 \mathcal{S} 即為零空間 N(A) 平移 \mathbf{x}_p\mathcal{S}\mathbb{R}^n 中的一個仿射空間。接下來只要求出至子空間 N(A) 的正交投影矩陣。令 P 為零空間 N(A) 的正交投影矩陣,因為列空間 C(A^T) 是零空間 N(A) 的正交補餘,推論 I-P 是列空間 C(A^T) 的正交投影矩陣 (見“線性代數基本定理(二)”)。已知 \mathrm{rank}A=mm\times m 階交互乘積 AA^T 可逆,利用正交投影矩陣公式可得 (見“正交投影──威力強大的線代工具”)

I-P=A^T(AA^T)^{-1}A

向量 \mathbf{y} 至仿射空間 \mathcal{S} 的正交投影即為

\begin{aligned}  \mathbf{x}&=P(\mathbf{y}-\mathbf{x}_p)+\mathbf{x}_p=P\mathbf{y}+(I-P)\mathbf{x}_p\\    &=(I-A^T(AA^T)^{-1}A)\mathbf{y}+ A^T(AA^T)^{-1}A\mathbf{x}_p\\    &=(I-A^T(AA^T)^{-1}A)\mathbf{y}+ A^T(AA^T)^{-1}\mathbf{b}.\end{aligned}

 
上述問題也可以用約束最佳化 (constrained optimization) 表達如下:

\displaystyle  \min_{\mathbf{x}\in\mathcal{S}}\Vert\mathbf{y}-\mathbf{x}\Vert^2

約束最佳化的標準解法是設 Lagrangian 函數

L(\mathbf{x},\boldsymbol{\lambda})\equiv\Vert\mathbf{y}-\mathbf{x}\Vert^2+2\boldsymbol{\lambda}^T(\mathbf{b}-A\mathbf{x})

其中 \boldsymbol{\lambda}m 維 Lagrange 乘數向量。Lagrange 乘數法是一種基於微分學的方法,Lagrangian 函數 L 產生極值的必要條件發生於 L\mathbf{x}\boldsymbol{\lambda} 的一次偏導數為零,即

\begin{aligned}  \displaystyle\frac{\partial L}{\partial\mathbf{x}}&=2\mathbf{x}-2\mathbf{y}-2A^T\boldsymbol{\lambda}=\mathbf{0}\\    \frac{\partial L}{\partial\boldsymbol{\lambda}}&=2(\mathbf{b}-A\mathbf{x})=\mathbf{0}.\end{aligned}

第一條件式左乘 A,使用限制式 A\mathbf{x}=\mathbf{b},可得

AA^T\boldsymbol{\lambda}=A\mathbf{x}-A\mathbf{y}=\mathbf{b}-A\mathbf{y}

因為 AA^T 可逆,故解出

\boldsymbol{\lambda}=(AA^T)^{-1}(\mathbf{b}-A\mathbf{y})

再將 \boldsymbol{\lambda} 代回第一條件式,即得

\begin{aligned}  \mathbf{x}&=\mathbf{y}+A^T\boldsymbol{\lambda}\\    &=\mathbf{y}+A^T(AA^T)^{-1}(\mathbf{b}-A\mathbf{y})\\    &=(I-A^T(AA^T)^{-1}A)\mathbf{y}+A^T(AA^T)^{-1}\mathbf{b}.\end{aligned}

This entry was posted in 線性代數專欄, 仿射幾何 and tagged , , , , , . Bookmark the permalink.

2 則回應給 仿射投影

  1. chao 說:

    前半的討論,我想到一個東西: quotient (linear) space. 不曉得是否有連繫關係?

  2. ccjou 說:

    是的,你說的沒錯。

    此處 z+W 稱為仿射空間,它還有另一個名字叫 the coset of W containing z。定義 coset 的加法和乘法如下:
    (x+W)+(y+W)=(x+y)+W
    c(x+W)=cx+W
    那麼 S=\{z+W\vert z\in V\} 就是一個向量空間,稱作 the quotient space of V modulo W, 記作 V/W

發表迴響

在下方填入你的資料或按右方圖示以社群網站登入:

WordPress.com Logo

你正使用 WordPress.com 帳號留言。 登出 / 變更 )

Twitter picture

你正使用 Twitter 帳號留言。 登出 / 變更 )

Facebook照片

你正使用 Facebook 帳號留言。 登出 / 變更 )

Google+ photo

你正使用 Google+ 帳號留言。 登出 / 變更 )

連結到 %s