正交補餘與投影定理

本文的閱讀等級:中級

正交補餘 (orthogonal complement) 是內積空間中最具實用價值的概念。我們曾經在“線性代數基本定理(二)”介紹過 m\times n 階實矩陣 A 的四個基本子空間的正交補餘:零空間 (nullspace) N(A) 是列空間 (row space) C(A^T) 在幾何向量空間 \mathbb{R}^n 的正交補餘,左零空間 (left nullspace) N(A^T) 是行空間 (column space) C(A) 在幾何向量空間 \mathbb{R}^m 的正交補餘,分別記為

\begin{aligned}  N(A)&=C(A^T)^{\perp}\\    N(A^T)&=C(A)^{\perp}\end{aligned}

本文將正交補餘的討論範圍從幾何向量空間 \mathbb{R}^n (或 \mathbb{R}^m) 延伸至一般內積空間 \mathcal{V},隨後解說投影定理 (正交補餘的性質),並給出兩個重要結果──正交分解定理與最佳近似定理。

 
\mathcal{V} 為一有限維內積空間,此空間中任意向量 \mathbf{x}\mathbf{y} 具有定義良好的內積運算 \left\langle\mathbf{x},\mathbf{y}\right\rangle (見“內積的定義”)。考慮 \mathbf{v}\in\mathcal{V},令 \mathcal{X}\mathcal{V} 的一子空間,若所有 \mathbf{x}\in\mathcal{X} 都滿足 \left\langle\mathbf{v},\mathbf{x}\right\rangle=0,我們稱向量 \mathbf{v} 與子空間 \mathcal{X} 正交,表示為 \mathbf{v}\perp\mathcal{X}。正交補餘是指 \mathcal{V} 中所有正交於 \mathcal{X} 的向量所形成的集合,即

\mathcal{X}^{\perp}\overset{\underset{\mathrm{def}}{}}{=}\{\mathbf{v}\in\mathcal{V}\vert \mathbf{v}\perp\mathcal{X}\}

正交補餘 \mathcal{X}^{\perp}\mathcal{V} 的子空間,證明於下。若 \mathbf{u},\mathbf{v}\in\mathcal{X}^{\perp},即 \mathbf{u}\perp\mathcal{X}\mathbf{v}\perp\mathcal{X},對於任何 \mathbf{x}\in\mathcal{X},就有

\begin{aligned}  \left\langle\mathbf{x},\mathbf{u}+\mathbf{v}\right\rangle&=\left\langle\mathbf{x},\mathbf{u}\right\rangle+\left\langle\mathbf{x},\mathbf{v}\right\rangle=0+0=0\end{aligned}

對於任意純量 c

\begin{aligned}  \left\langle\mathbf{x},c\mathbf{u}\right\rangle&=c\left\langle\mathbf{x},\mathbf{u}\right\rangle=c\cdot 0=0\end{aligned}

確認 \mathbf{u}+\mathbf{v}c\mathbf{u} 也屬於 \mathcal{X}^{\perp},向量集 \mathcal{X}^{\perp} 滿足向量加法和純量乘法封閉性,故為一子空間。

 
投影定理

線性代數的第二個基本定理,也稱為投影定理,由以下正交補餘的基本性質所構成。若 \mathcal{V} 為一有限維內積空間,\mathcal{X}\mathcal{V} 的一子空間,則

  1. \mathcal{X}\cap\mathcal{X}^{\perp}=\{\mathbf{0}\}
  2. \mathcal{X}+\mathcal{X}^{\perp}=\mathcal{V}
  3. \dim\mathcal{X}+\dim\mathcal{X}^{\perp}=\mathrm{dim}\mathcal{V}
  4. (\mathcal{X}^{\perp})^{\perp}=\mathcal{X}

 
欲證明 (1),考慮 \mathbf{x}\in\mathcal{X}\mathbf{x}\in\mathcal{X}^{\perp},也就有 \left\langle\mathbf{x},\mathbf{x}\right\rangle=0,故 \mathbf{x}=\mathbf{0}。接著證明 (2),設 n=\dim\mathcal{V}。若 \mathcal{X}=\{\mathbf{0}\}\mathcal{V},顯然 \mathcal{X}+\mathcal{X}^{\perp}=\mathcal{V}。以下考慮 \dim\mathcal{X}=k0<k<n。令 \mathbf{x}_1,\ldots,\mathbf{x}_k\mathcal{X} 的一組單範正交基底 (orthonormal basis):若 i=j\left\langle\mathbf{x}_i,\mathbf{x}_j\right\rangle=1;若 i\neq j\left\langle\mathbf{x}_i,\mathbf{x}_j\right\rangle=0。對於 \mathcal{V} 中任一向量 \mathbf{v},寫出 \mathbf{x}=c_1\mathbf{x}_1+\cdots+c_k\mathbf{x}_k,其中 c_i=\left\langle\mathbf{x}_i,\mathbf{v}\right\rangle,則 \mathbf{y}=\mathbf{v}-\mathbf{x} 正交於 \mathcal{X},理由如下。對於每一 i=1,\ldots,k

\begin{aligned}  \left\langle\mathbf{x}_i,\mathbf{y}\right\rangle&=\displaystyle\left\langle\mathbf{x},\mathbf{v}-\sum_{j=1}^kc_j\mathbf{x}_j\right\rangle\\    &=\left\langle\mathbf{x}_i,\mathbf{v}\right\rangle-\sum_{j=1}^kc_j\left\langle\mathbf{x}_i,\mathbf{x}_j\right\rangle\\    &=c_i-c_i=0\end{aligned}

得知 \mathbf{y} 正交於 \mathcal{X} 的所有基底向量 \mathbf{x}_1,\ldots,\mathbf{x}_k,因此 \mathbf{y}\in\mathcal{X}^{\perp},也就是說,任何 \mathbf{v}\in\mathcal{V} 皆可分解成屬於 \mathcal{X}\mathbf{x} 與屬於 \mathcal{X}^{\perp}\mathbf{y} 之和,此即子空間和性質 \mathcal{V}=\mathcal{X}+\mathcal{X}^{\perp}。合併性質 (1) 和 (2),可知 \mathcal{V}=\mathcal{X}\oplus\mathcal{X}^{\perp}\mathcal{V} 是子空間 \mathcal{X} 和正交補餘 \mathcal{X}^{\perp} 的直和 (見“補子空間與直和”),立得性質 (3)。最後證明性質 (4),利用性質 (3),將 \mathcal{X}\mathcal{X}^{\perp} 取代,即有 \dim\mathcal{X}^{\perp}+\dim(\mathcal{X}^{\perp})^{\perp}=\dim\mathcal{V},但是性質 (3) 也給出 \dim\mathcal{X}+\dim\mathcal{X}^{\perp}=\dim\mathcal{V},所以\dim(\mathcal{X}^{\perp})^{\perp}=\dim\mathcal{X}。若 \mathbf{x}\in\mathcal{X},必然 \mathbf{x}\perp\mathcal{X}^{\perp},也就說明 \mathcal{X}\subseteq(\mathcal{X}^{\perp})^{\perp},然而 (\mathcal{X}^{\perp})^{\perp}\mathcal{X} 有相同的維數,因此證明 (\mathcal{X}^{\perp})^{\perp}=\mathcal{X}

 
正交分解定理

接著我們介紹投影定理的必然結果。既然 \mathcal{V}=\mathcal{X}\oplus\mathcal{X}^{\perp},空間 \mathcal{V} 中任一向量 \mathbf{v} 必可唯一分解成 \mathbf{v}=\mathbf{x}+\mathbf{y},其中 \mathbf{x}\perp\mathbf{y}\mathbf{x} 屬於 \mathcal{X}\mathbf{y} 屬於 \mathcal{X}^{\perp},此結果稱為正交分解定理。若 \mathbf{x}_1,\ldots,\mathbf{x}_k\mathcal{X} 的一組正交基底,但未必歸一化 (normalized),由性質 (2) 的證明過程得知 \mathbf{x} 分量為

\begin{aligned}  \mathbf{x}&=\displaystyle\left\langle\frac{\mathbf{x}_1}{\Vert\mathbf{x}_1\Vert},\mathbf{v}\right\rangle\frac{\mathbf{x}_1}{\Vert\mathbf{x}_1\Vert}+\cdots+\left\langle\frac{\mathbf{x}_k}{\Vert\mathbf{x}_k\Vert},\mathbf{v}\right\rangle\frac{\mathbf{x}_k}{\Vert\mathbf{x}_k\Vert}\\    &=\frac{\left\langle\mathbf{x}_1,\mathbf{v}\right\rangle }{\left\langle\mathbf{x}_1,\mathbf{x}_1\right\rangle}\mathbf{x}_1+\cdots+\frac{\left\langle\mathbf{x}_k,\mathbf{v}\right\rangle }{\left\langle\mathbf{x}_k,\mathbf{x}_k\right\rangle}\mathbf{x}_k\end{aligned}

此算式即為向量 \mathbf{v} 至子空間 \mathcal{X} 的正交投影 (見“正交投影──威力強大的線代工具”)。一旦知道 \mathbf{x},便得到 \mathbf{y}=\mathbf{v}-\mathbf{x}

 
最佳近似定理

最佳近似定理是投影定理的另一個必然結果:令 \mathbf{v}\in\mathcal{V}\mathbf{x}\in\mathcal{X},若對於每一 \mathbf{z}\in\mathcal{X}\Vert\mathbf{v}-\mathbf{x}\Vert\le\Vert\mathbf{v}-\mathbf{z}\Vert,也就是說,\mathbf{x}\mathcal{X} 中距離 \mathbf{v} 最小的向量,則 \mathbf{x}\mathbf{v} 在子空間 \mathcal{X} 的正交投影,也就是說,\mathbf{v}=\mathbf{x}+\mathbf{y},其中 \mathbf{x}\in\mathcal{X}\mathbf{y}\in\mathcal{X}^{\perp}。相反方向陳述亦為真。證明如下。

(\Rightarrow):令 \mathbf{u}\mathbf{v}\mathcal{X} 的正交投影,且 \mathbf{u}\neq\mathbf{x}。考慮 \mathbf{v}=\mathbf{u}+\mathbf{w}\mathbf{w}\in\mathcal{X}^{\perp},因為 \mathbf{x},\mathbf{u} 同屬於 \mathcal{X}\left\langle\mathbf{w},\mathbf{u}-\mathbf{x}\right\rangle=0,故得

\begin{aligned}  \Vert\mathbf{v}-\mathbf{x}\Vert^2&=\Vert(\mathbf{v}-\mathbf{u})-(\mathbf{u}-\mathbf{x})\Vert^2\\  &=\Vert\mathbf{v}-\mathbf{u}\Vert^2+\Vert\mathbf{u}-\mathbf{x}\Vert^2>\Vert\mathbf{v}-\mathbf{u}\Vert^2\end{aligned}

這造成了矛盾,故證得原命題成立。

(\Leftarrow):設 \mathbf{v}=\mathbf{x}+\mathbf{y}\mathbf{x}\in\mathcal{X}\mathbf{y}\in\mathcal{X}^{\perp},則 \mathbf{v}-\mathbf{x} 屬於 \mathcal{X}^{\perp}。對任意 \mathbf{z}\in\mathcal{X},必有 (\mathbf{x}-\mathbf{z})\in\mathcal{X},此即 \left\langle\mathbf{v}-\mathbf{x},\mathbf{x}-\mathbf{z}\right\rangle=0,利用這個結果可導出

\begin{aligned}  \Vert\mathbf{v}-\mathbf{z}\Vert^2&=\Vert(\mathbf{v}-\mathbf{x})-(\mathbf{x}-\mathbf{z})\Vert^2\\  &=\Vert\mathbf{v}-\mathbf{x}\Vert^2+\Vert\mathbf{x}-\mathbf{z}\Vert^2\end{aligned}

\Vert\mathbf{v}-\mathbf{x}\Vert\le\Vert\mathbf{v}-\mathbf{z}\Vert。上式不過就是畢氏定理,見下圖。最小平方法是最佳近似定理的直接應用,詳見“從線性變換解釋最小平方近似”和“曲線配適”。

正交投影即最佳近似

 
下面補充一個性質。兩子空間之和及交集的正交補餘與子空間的正交補餘還具有以下的特殊關係:

\begin{aligned}  (\mathcal{X}+\mathcal{Y})^{\perp}&=\mathcal{X}^{\perp}\cap\mathcal{Y}^{\perp}\\    (\mathcal{X}\cap\mathcal{Y})^{\perp}&=\mathcal{X}^{\perp}+\mathcal{Y}^{\perp}\end{aligned}

第一式證明於下。利用集合的容斥性質,由 \mathcal{X}\subseteq\mathcal{X}+\mathcal{Y} 可知 (\mathcal{X}+\mathcal{Y})^{\perp}\subseteq\mathcal{X}^{\perp},同樣也有 (\mathcal{X}+\mathcal{Y})^{\perp}\subseteq\mathcal{Y}^{\perp},因此 (\mathcal{X}+\mathcal{Y})^{\perp}\subseteq\mathcal{X}^{\perp}\cap\mathcal{Y}^{\perp}。再考慮相反方向,若 \mathbf{z}\in\mathcal{X}^{\perp}\cap\mathcal{Y}^{\perp},則 \mathbf{z}\perp\mathcal{X}\mathbf{z}\perp\mathcal{Y},對於任何 \mathbf{v}\in\mathcal{X}+\mathcal{Y},就有 \left\langle\mathbf{z},\mathbf{v}\right\rangle=0,證得 \mathcal{X}^{\perp}\cap\mathcal{Y}^{\perp}\subseteq(\mathcal{X}+\mathcal{Y})^{\perp}。運用相同方法也可以證明第二式成立。

 
最後說明給定一子空間 \mathcal{X},如何計算正交補餘 \mathcal{X}^{\perp}?將正交補餘的定義修改為可運算形式即可。若 \mathcal{X}=\mathrm{span}\{\mathbf{x}_1,\ldots,\mathbf{x}_k\},但不要求 \mathbf{x}_1,\ldots,\mathbf{x}_k 是一基底,則正交補餘為

\mathcal{X}^{\perp}=\{\mathbf{v}\in\mathcal{V}\vert\left\langle\mathbf{x}_j,\mathbf{v}\right\rangle=0,j=1,\ldots,k\}

這個定義提供了正交補餘的計算程序:先找出內積空間 \mathcal{V} 的一基底,寫出向量 \mathbf{v} 的一般表達式,利用限制條件 \left\langle\mathbf{x}_j,\mathbf{v}\right\rangle=0j=1,\ldots,k,來解出 \mathcal{X}^{\perp}

 
見下例。設 \mathcal{V}=\mathcal{P}_2 是所有二次多項式形成的內積空間,對於 p(t),q(t)\in\mathcal{V},定義

\displaystyle\left\langle p(t),q(t)\right\rangle\overset{\underset{\mathrm{def}}{}}{=}\int_{0}^1p(t)q(t)dt

\mathcal{X}=\mathrm{span}\{1,t\},根據正交補餘定義,\mathcal{X}^{\perp}p(t)=c_0+c_1t+c_2t^2 滿足兩條件:

\begin{aligned}  0=\left\langle p(t),1\right\rangle&=\int_0^1(c_0+c_1t+c_2t^2)dt=c_0\int_0^1dt+c_1\int_0^1tdt+c_2\int_0^1t^2dt\\    0=\left\langle p(t),t\right\rangle&=\int_0^1(c_0+c_1t+c_2t^2)tdt=c_0\int_0^1tdt+c_1\int_0^1t^2dt+c_2\int_0^1t^3dt\end{aligned}

積分後得到

\begin{aligned}  \displaystyle c_0+\frac{1}{2}c_1+\frac{1}{3}c_2&=0\\    \frac{1}{2}c_0+\frac{1}{3}c_1+\frac{1}{4}c_2&=0\end{aligned}

解出 c_0=\frac{1}{6}c_2c_1=-c_2c_2 是自由變數,即得

\displaystyle\mathcal{X}^{\perp}=\mathrm{span}\left\{\frac{1}{6}-t+t^2\right\}

This entry was posted in 線性代數專欄, 內積空間 and tagged , , . Bookmark the permalink.

2 則回應給 正交補餘與投影定理

  1. 陳恩號 說:

    老師好~
    如果有一個矩陣B(我亂舉例最簡單的2X2)
    1+2j 2-3j 或 1 6
    5+6j 1+5j 2 5
    我在想要怎麼找一個新的矩陣A
    讓AxB=0

    不知道是不是要先考慮B 是可逆還不可逆
    假如可逆 是不是A只有0 這個解 ?
    假如不可逆 是不是除了0解還有非0解
    那要怎麼去尋找矩陣A ?

    我自己是有試過
    A=
    a11 a12
    a21 a22

    B=
    b11 b12
    b21 b22

    AxB=0
    可寫成
    a11b11+a12b21=0
    a11b12+a12b22=0
    a21b11+a22b21=0
    a21b12+a22b22=0
    然後我把ab順序對調
    b11a11+b21a12=0
    b12a11+b22a12=0

    b11a21+b21a22=0
    b12a21+b22a22=0

    可以看成兩組 都有相同的係數矩陣(B的轉至矩陣) 把a看成未知變數
    b11 b21
    b12 b22

    所以我就把A寫成
    a11 -(b11/b21)*a11
    a21 -(b11/b21)*a21

    假如題目是B(DET=0 不可逆的例子)=
    1 2
    3 6

    我的A就等於

    a11 -1/3a11
    a21 -1/3a21

    a11 a21 就隨便帶 假如這邊a11=1 a21=2
    矩陣A=
    1 -1/3
    2 -2/3
    使得
    AxB =0

    我不知道我自己這樣解合不合理
    但在不可逆的情況下都可以解

    但這有點像帶數字的方法
    不知道在矩陣裡面有沒有專有的名稱或用法

    就像我隨便舉例的這個例子有辦法找到另一個矩陣相乘=0嗎 (還沒辦法想到)
    1+2j 2-3j
    5+6j 1+5j

    在請老師解惑 謝謝

發表迴響

在下方填入你的資料或按右方圖示以社群網站登入:

WordPress.com Logo

你正使用 WordPress.com 帳號留言。 登出 / 變更 )

Twitter picture

你正使用 Twitter 帳號留言。 登出 / 變更 )

Facebook照片

你正使用 Facebook 帳號留言。 登出 / 變更 )

Google+ photo

你正使用 Google+ 帳號留言。 登出 / 變更 )

連結到 %s