運用輸入輸出模型活化秩─零度定理

Posted on 02/17/2014 by ccjou

本文的閱讀等級：中級

令 T 為一個從向量空間 \mathcal{V} 映射至向量空間 \mathcal{W} 的線性變換，\mathcal{V} 稱為定義域 (domain)，\mathcal{W} 稱為到達域 (codomain)。我們說 T 的值域 (range 或 image) 為

\displaystyle \text{ran}(T)=\{T(\mathbf{v})\vert \mathbf{v}\in\mathcal{V}\}

且 T 的核 (kernel) 或零空間 (nullspace) 為

\displaystyle \ker(T)=\{\mathbf{v}\in\mathcal{V}\vert T(\mathbf{v})=\mathbf{0}\}。

值域 \text{ran}(T) 是 \mathcal{W} 的一個子空間，零空間 \ker(T) 是 \mathcal{V} 的一個子空間 (見“子空間的辨識”)。假設 \dim \mathcal{V}=n。如果 \{\mathbf{v}_1,\ldots,\mathbf{v}_k\} 是 \ker(T) 的一組基底，將它擴充為 \mathcal{V} 的一組基底，\{\mathbf{v}_1,\ldots,\mathbf{v}_k,\mathbf{v}_{k+1},\ldots,\mathbf{v}_n\}，我們聲稱 \{T(\mathbf{v}_{k+1}),\ldots,T(\mathbf{v}_n)\} 組成 \text{ran}(T) 的一組基底。因為 \hbox{ran}(T)\subseteq\hbox{span}\{T(\mathbf{v}_{k+1}),\ldots,T(\mathbf{v}_n)\}，我們只需要證明 \{T(\mathbf{v}_{k+1}),\ldots,T(\mathbf{v}_n)\} 是一個線性獨立集。考慮

\displaystyle \mathbf{0}=c_{k+1}T(\mathbf{v}_{k+1})+\cdots+c_nT(\mathbf{v}_n)=T\left(c_{k+1}\mathbf{v}_{k+1}+\cdots+c_{n}\mathbf{v}_n\right)。

因此，c_{k+1}\mathbf{v}_{k+1}+\cdots+c_{n}\mathbf{v}_n\in\ker(T)=\text{span}\{\mathbf{v}_1,\ldots,\mathbf{v}_k\}。但 \{\mathbf{v}_1,\ldots,\mathbf{v}_k,\mathbf{v}_{k+1},\ldots,\mathbf{v}_n\} 是線性獨立集，意味 \text{span}\{\mathbf{v}_1,\ldots,\mathbf{v}_{k}\}\cap\text{span}\{\mathbf{v}_{k+1},\ldots,\mathbf{v}_n\}=\{\mathbf{0}\}，因此 c_{k+1}\mathbf{v}_{k+1}+\cdots+c_{n}\mathbf{v}_n=\mathbf{0}，推得 c_{k+1}=\cdots=c_n=0。以上結果給出描述值域 \hbox{ran}(T) 與核 \ker(T) 的維數關係的秩─零度定理 (rank-nullity theorem)：

\dim\mathcal{V}=\dim \ker(T)+\dim \text{ran}(T)，

我們稱 \text{rank}T=\dim\text{ran}(T) 為 T 的秩，\text{nullity}T=\dim\ker(T) 為 T 的零度 (見“線性代數基本定理 (一)”)。在線性代數中，秩─零度定理是一個非常重要卻又相當抽象的基本定理。德國數學家希爾伯特 (David Hilbert) 說[1]：「一個數學理論不被認為是完整的，直到你可以說得很清楚──你能解釋給第一個在街上相遇的人聽。」固然零空間和值域的基底向量數直接導出秩─零度定理，但我們寧可採用更高階的數學模型來推理。本文的主旨即在解釋秩─零度定理給祖母聽。

 
試想線性變換 T 是一台數學機器，放進一個輸入向量，便得到一個輸出向量 (也稱為像，image)。定義域 \mathcal{V} 包含所有可能的輸入，值域 \text{ran}(T)\subseteq\mathcal{W} 包含所有實得的輸出，如下圖所示：

\displaystyle \mathcal{V}\longrightarrow\boxed{~~{T}~~}\longrightarrow \text{ran}(T)

因為輸出由輸入唯一決定，輸出的維數不可能大於輸入的維數。維數不會憑空消失，若映射後維數減少，代表部分的輸入產生零輸出。零空間 \ker(T)\subseteq\mathcal{V} 是產生零輸出 (即零向量) 的輸入所形成的集合：

\displaystyle \ker(T)\longrightarrow\boxed{~~{T}~~}\longrightarrow \mathbf{0}

秩─零度定理不過就是「維數守恆定律 (conservation of dimension)」，表述為：

輸入的維數 = 零空間的維數 + 輸出的維數

通過高階的輸入輸出模型，我們得以活化秩─零度定理，一方面其涵義變得具體鮮明，另一方面也很容易發揮應用。實際操作程序包含三個步驟：設計線性變換 T 並確定輸入 (定義域) \mathcal{V}，求得輸出 (值域) \text{ran}(T)，找出零空間 \ker(T)。下面說明如何運用輸入輸出模型證明外表看似艱澀難解的容斥定理和矩陣積的秩公式。

 
容斥定理

若 \mathcal{X} 和 \mathcal{Y} 是向量空間 \mathcal{V} 的二個子空間，容斥定理說 (見“補子空間與直和”)：

\displaystyle \dim\mathcal{X}+\dim\mathcal{Y}=\dim(\mathcal{X}+\mathcal{Y})+\dim(\mathcal{X}\cap\mathcal{Y})，

其中 \mathcal{X}+\mathcal{Y}=\{\mathbf{x}+\mathbf{y}\vert\mathbf{x}\in\mathcal{X},\mathbf{y}\in\mathcal{Y}\} 且 \mathcal{X}\cap\mathcal{Y}=\{\mathbf{z}\vert\mathbf{z}\in\mathcal{X},\mathbf{z}\in\mathcal{Y}\}。證明於下：定義向量空間 \mathcal{U}=\{(\mathbf{x},\mathbf{y})\vert\mathbf{x}\in\mathcal{X},\mathbf{y}\in\mathcal{Y}\}，設 T:\mathcal{U}\to\mathcal{V} 是一個線性變換使得

\displaystyle T(\mathbf{x},\mathbf{y})=\mathbf{x}+\mathbf{y}。

線性變換 T 的輸入是 \mathcal{U}，輸出是 \text{ran}(T)=\{\mathbf{x}+\mathbf{y}\vert\mathbf{x}\in\mathcal{X},\mathbf{y}\in\mathcal{Y}\}=\mathcal{X}+\mathcal{Y}。零空間 \ker(T) 包含所有的向量對 \mathbf{x}=\mathbf{z} 且 \mathbf{y}=-\mathbf{z}，其中 \mathbf{z}\in\mathcal{X}\cap\mathcal{Y} (根據子空間性質，\mathbf{z}\in\mathcal{Y} 同義於 -\mathbf{z}\in\mathcal{Y})。因為 \ker(T) 和 \mathcal{X}\cap\mathcal{Y} 有一對一的對應關係，故 \dim\ker(T)=\dim(\mathcal{X}\cap\mathcal{Y})。 秩─零度定理給出

\displaystyle \dim\mathcal{U}=\dim(\mathcal{X}\cap\mathcal{Y})+\dim(\mathcal{X}+\mathcal{Y})，

將 \dim\mathcal{U}=\dim\mathcal{X}+\dim\mathcal{Y} 代入上式即得容斥定理。

 
例一：令 A 為一 m\times n 階實矩陣。矩陣 A 的四個基本子空間定義如下：

  1. 行空間 (column space) C(A)=\{A\mathbf{x}\vert\mathbf{x}\in\mathbb{R}^n\}
  2. 列空間 (row space) C(A^T)=\{A^T\mathbf{y}\vert\mathbf{y}\in\mathbb{R}^m\}
  3. 零空間 (nullspace) N(A)=\{\mathbf{x}\in\mathbb{R}^n\vert A\mathbf{x}=\mathbf{0}\}
  4. 左零空間 (left nullspace) N(A^T)=\{\mathbf{y}\in\mathbb{R}^m\vert A^T\mathbf{y}=\mathbf{0}\}

列空間 C(A^T) 和零空間 N(A) 是 \mathbb{R}^n 的二個子空間，不僅於此，C(A^T) 是 N(A) 的正交補餘 (orthogonal complement)，故 C(A^T)\cap N(A)=\{\mathbf{0}\} 且 C(A^T)+N(A)=\mathbb{R}^n；行空間 C(A) 和左零空間 N(A^T) 是 \mathbb{R}^m 的二個子空間，C(A) 是 N(A^T) 的正交補餘，故 C(A)\cap N(A^T)=\{\mathbf{0}\} 且 C(A)+N(A^T)=\mathbb{R}^m (見“線性代數基本定理 (二)”)。容斥定理表明

\displaystyle\begin{aligned} \dim C(A^T)+\dim N(A)&=\dim (C(A^T)+N(A))=\dim\mathbb{R}^n=n\\ \dim C(A)+\dim N(A^T)&=\dim ((C(A)+N(A^T))=\dim \mathbb{R}^m=m. \end{aligned}

 
矩陣積的秩

令 A 為一 m\times n 階實矩陣。我們可以將 A 視作從定義域 \mathbb{R}^n 映至到達域 \mathbb{R}^m 的一個線性變換，行空間 (column space) 即為值域，C(A)=\text{ran}(A)，零空間為 N(A)=\ker(A) (見“線性變換與矩陣的用語比較”)。若 B 為一 n\times p 階實矩陣，則 AB 的行空間維數有下列等式 (見“矩陣乘積的子空間分析”)：

\displaystyle \dim C(AB)=\dim C(B)-\dim(N(A)\cap C(B))，

也就是

\displaystyle \text{rank}(AB)=\text{rank}B-\dim(N(A)\cap C(B))。

證明於下：考慮線性變換 A 的輸入限定於 C(B)，記為 A_{/C(B)}。限定變換 A_{/C(B)} 的輸出為 \text{ran}\left(A_{/C(B)}\right)=C(AB)，因為

\displaystyle \text{ran}\left(A_{/C(B)}\right)=\{A\mathbf{y}\vert\mathbf{y}\in C(B)\}=\{AB\mathbf{x}\vert\mathbf{x}\in\mathbb{R}^p\}=C(AB)。

既然 A_{/C(B)} 的輸入為 C(B)，立知零空間為 \ker(A_{/C(B)})=N(A)\cap C(B)。使用秩─零度定理即得

\displaystyle\begin{aligned} \dim C(B)&=\dim\ker\left(A_{/C(B)}\right)+\dim\text{ran}\left(A_{/C(B)}\right)\\ &=\dim(N(A)\cap C(B))+\dim C(AB). \end{aligned}

 
例二：若 A 是一 m\times n 階實矩陣，使用矩陣積的秩公式可證明 \text{rank}(A^TA)=\text{rank}A。設想線性變換 A^T 的輸入限定為 C(A)，圖示如下：

\displaystyle C(A)\longrightarrow\boxed{~~{A^T}~~}\longrightarrow ~?

\displaystyle ?~\longrightarrow\boxed{~~{A^T}~~}\longrightarrow \mathbf{0}

根據定義，限定變換 A^T_{/C(A)} 的輸出是 \{A^T\mathbf{y}\vert\mathbf{y}\in C(A)\}=\{A^TA\mathbf{x}\vert\mathbf{x}\in \mathbb{R}^n\}=C(A^TA)。因為 N(A^T) 是 C(A) 的正交補餘，A^T_{/C(A)} 的零空間是 N(A^T)\cap C(A)=\{\mathbf{0}\}，代表沒有維數虧損。所以，限定變換 A^T_{/C(A)} 的輸入的維數 \text{rank}A=\dim C(A) 等於輸出的維數 \text{rank}(A^TA)=\dim C(A^TA) (相關討論見“利用 Gramian 矩陣證明行秩等於列秩”，“轉置矩陣的意義”)。

 
下面這個問題留給讀者當作練習。運用輸入輸出模型和秩─零度定理證明：若 A 為一方陣，則 \text{rank}(A^{k+1})\le\text{rank}A^k，k\ge 1。在輸入輸出模型中，\text{rank}A^k 和 \text{rank}(A^{k+1}) 代表甚麼意義？在甚麼情況下，不等式的等號成立？最後，請閱讀“矩陣與特徵值的指標”，並耐心地向祖母解釋何謂「矩陣的指標」。

 
註解
[1] 維基百科：David Hilbert 希爾伯特引述一位未具名的年邁法國數學家的話。英譯是 “A mathematical theory is not to be considered complete until you have made it so clear that you can explain it to the first man whom you meet on the street.”

Advertisement
This entry was posted in 線性代數專欄, 向量空間 and tagged , , , , , . Bookmark the permalink.

Leave a Reply

Fill in your details below or click an icon to log in:

Gravatar
WordPress.com Logo

You are commenting using your WordPress.com account. ( Log Out /  Change )

Facebook photo

You are commenting using your Facebook account. ( Log Out /  Change )

Cancel

Connecting to %s