線性代數基本定理 (一)

Posted on 03/23/2009 by ccjou

本文的閱讀等級：中級

線性代數的中心主題是建立於向量空間的線性變換，線性代數的學習目標就是要瞭解這些變換結構。向量空間是線性代數所處理的基本數學物件，而線性變換則為處理這些物件的機構，可以這麼說，線性變換將一個向量空間裡的子空間映射至另一個向量空間中的子空間。根據這個中心主題，我們可以從線性代數的諸多定理中選出一些「基本定理」，但是到底應該挑選哪些出來則未有定論，有一種說法是線性代數總共就只有四個基本定理^[1]。

第一個基本定理稱為「秩—零度定理」(rank-nullity theorem)，要瞭解這個定理先要知道線性變換映射了哪些重要的子空間。見圖一，線性變換 $T$ 從有限維向量空間 $\mathcal{V}$ (稱為定義域) 映至有限維向量空間 $\mathcal{W}$ (稱為到達域)，記為 $T:\mathcal{V}\to\mathcal{W}$ 。數學家發現線性變換 $T$ 有兩個子空間特別重要。

圖一秩─零度定理

第一個子空間是 $\mathcal{V}$ 裡面有一個向量集合其成員 $\mathbf{u}$ 經 $T$ 映射至零向量， $T(\mathbf{u})=\mathbf{0}$ ，該集合稱為 $T$ 的核 (kernel)，記作 $\ker(T)$ 。不難驗證 $\ker(T)$ 滿足向量加法與純量乘法封閉性，因此是 $\mathcal{V}$ 裡的一個子空間。核的維數 (dimension)，稱做零度 (nullity)，記為 $\dim \ker(T)$ ，可用來度量核的大小。為什麼稱為核？想像這個情形：吾人吃到桃子的果肉時，面露喜悅滿足之色，但我們去啃食果核，大概高興不起來。線性變換將核裡面的向量全都映射至零向量，結果什麼都沒了。

第二個子空間是向量空間 $\mathcal{V}$ 裡的所有成員 $\mathbf{u}$ 經 $T$ 映射後所成的集合，稱為 $T$ 的值域 (range)，記為 $\text{ran}(T)$ 或 $R(T)$ ，它是 $\mathcal{W}$ 裡的一個子空間。反過來說，線性變換 $T$ 不可能映射出值域 $\hbox{ran}(T)$ 之外的向量。線性變換 $T$ 的值域大小由其維數決定，稱為秩 (rank)，記作 $\hbox{rank}T=\dim \hbox{ran}(T)$ 。

線性變換 $T$ 將向量空間 $\mathcal{V}$ 移動至值域 $\hbox{ran}(T)$ ，並將核 $\ker(T)$ 移動至零向量。秩—零度定理告訴我們秩 $\dim\hbox{ran}(T)$ 與零度 $\dim\ker(T)$ 的關係，二者之和等於向量空間 $\mathcal{V}$ 的維數：

$\dim\mathcal{V}=\dim\ker(T)+\hbox{rank}T$

這個等式到底是甚麼意思？運用視覺想像，再拿桃子作比喻。桃子等於其果肉加上果核，桃子的體積是向量空間 $\mathcal{V}$ 的維數，果肉的多寡是 $T$ 值域的維數，而果核大小則是 $T$ 的零度。(幫個忙，請不要四處傳播「桃子 = 向量空間」這個說法，我不想被同行叮到滿頭包。)

如何證明秩—零度定理？常見的證明方式有兩個。第一個方式採用矩陣運算論證。將線性變換 $T:\mathcal{V}\to\mathcal{W}$ 以 $m\times n$ 階矩陣 $A$ 表示 (見“線代膠囊──線性變換表示矩陣”)，其中 $n=\dim \mathcal{V}$ 且 $m=\dim\mathcal{W}$ ，而零空間 (nullspace) $N(A)$ 和行空間 (column space) $C(A)$ 分別代表線性變換 $T$ 的核 $\ker(T)$ 和值域 $\hbox{ran}(T)$ (見“線性變換與矩陣的用語比較”)。透過基本列運算 (elementary row operation) 將矩陣 $A$ 化簡為簡約列梯形式 (reduced row echelon form)，在不失一般性的原則下，以分塊矩陣表示為

$R=\begin{bmatrix} I_{r}&F\\ 0&0\end{bmatrix}$

其中 $R$ 的軸行 (包含軸的行) 數為 $r=\mathrm{rank}R$ ， $F$ 是 $r\times (n-r)$ 階矩陣。因為列運算不改變軸數也不改變零空間，可知 $\mathrm{rank}A=\mathrm{rank}R=r$ 且 $N(A)=N(R)$ 。觀察 $R$ 的形式可寫出 $n\times (n-r)$ 階零空間矩陣 (nullspace matrix) $P$ ，如下 (見“零空間的快捷算法”)：

$P=\begin{bmatrix} -F\\ I_{n-r}\end{bmatrix}$

計算確認

$\begin{aligned} RP&=\begin{bmatrix} I_{r}&F\\ 0&0\end{bmatrix}\begin{bmatrix} -F\\ I_{n-r}\end{bmatrix}=\begin{bmatrix} -F+F\\ 0+0 \end{bmatrix}=0\end{aligned}$

下面證明零空間矩陣 $P$ 的行向量組成 $N(R)$ 的基底，即 $C(P)=N(R)$ 。因為 $P$ 包含分塊 $I_{n-r}$ ， $P$ 的行向量構成一個線性獨立集 (或直接證明 $P\mathbf{z}=\mathbf{0}$ 蘊含 $\mathbf{z}=\mathbf{0}$ )。接著證明 $R\mathbf{x}=\mathbf{0}$ 的解一定可以表示為 $\mathbf{x}=P\mathbf{y}$ ，也就是說 $P$ 的行向量可擴張 $R$ 的零空間。假設 $\mathbf{x}=\begin{bmatrix} \mathbf{x}_1\\ \mathbf{x}_2 \end{bmatrix}$ ，其中 $\mathbf{x}_1$ 是 $r$ 維向量， $\mathbf{x}_2$ 是 $n-r$ 維向量，使得 $R\mathbf{x}=\mathbf{0}$ ，則

$R\mathbf{x}=\begin{bmatrix} I_r&F\\ 0&0 \end{bmatrix}\begin{bmatrix} \mathbf{x}_1\\ \mathbf{x}_2 \end{bmatrix}=\begin{bmatrix} \mathbf{x}_1+F\mathbf{x}_2\\ \mathbf{0} \end{bmatrix}=\mathbf{0}$

因此， $\mathbf{x}_1=-F\mathbf{x}_2$ ，推得

$\mathbf{x}=\begin{bmatrix} -F\mathbf{x}_2\\ \mathbf{x}_2 \end{bmatrix}=\begin{bmatrix} -F\\ I_{n-r} \end{bmatrix}\mathbf{x}_2=P\mathbf{x}_2$

所以， $C(P)=N(R)$ ，即得 $\dim N(R)=\dim C(P)=n-r$ ，也就證明

$n=\dim N(A)+\hbox{rank}A$

另一個證明方式直接使用線性變換的向量空間分析。令 $\dim\mathcal{V}=n$ 且 $\dim\ker(T)=p$ ， $p\le n$ 。設 $\ker(T)$ 的一組基底為 $\{\mathbf{u}_1,\ldots,\mathbf{u}_p\}$ ，擴充此基底成為向量空間 $\mathcal{V}$ 的基底 $\{\mathbf{u}_1,\ldots,\mathbf{u}_p,\mathbf{w}_1,\ldots,\mathbf{w}_r\}$ 且 $n=p+r$ 。我們的目標是證明 $r=\hbox{rank}T$ (見圖二)。

圖二線性變換的基底映射

向量空間 $\mathcal{V}$ 中任一向量 $\mathbf{v}$ 可表示為基底向量的唯一線性組合：

$\mathbf{v}=a_{1}\mathbf{u}_{1}+\cdots+a_{p}\mathbf{u}_{p}+b_{1}\mathbf{w}_{1}+\cdots+b_{r}\mathbf{w}_{r}$

向量 $\mathbf{v}$ 經線性轉換 $T$ 的映射， $T(\mathbf{v})$ ，稱為像 (image)。使用線性變換性質以及 $T(\mathbf{u}_{1})=\cdots=T(\mathbf{u}_{p})=\mathbf{0}$ ，

$\begin{aligned} T(\mathbf{v})&=T(a_1\mathbf{u}_1+\cdots+a_p\mathbf{u}_p+b_1\mathbf{w}_1+\cdots+b_r\mathbf{w}_r)\\ &=a_1T(\mathbf{u}_1)+\cdots+a_pT(\mathbf{u}_p)+b_1T(\mathbf{w}_1)+\cdots+b_rT(\mathbf{w}_r)\\ &=b_1T(\mathbf{w}_1)+\cdots+b_rT(\mathbf{w}_r)\end{aligned}$

明顯地， $T(\mathbf{w}_1),\ldots,T(\mathbf{w}_r)$ 擴張值域 $\hbox{ran}(T)$ ，剩下的工作要證明 $\{T(\mathbf{w}_{1}),\cdots,T(\mathbf{w}_{r})\}$ 是一個線性獨立集，故為 $\hbox{ran}(T)$ 的基底 (見“基底與維數常見問答集”)。考慮

$c_{1}T(\mathbf{w}_{1})+\cdots+c_{r}T(\mathbf{w}_{r})=\mathbf{0}$

或表示為

$T(c_{1}\mathbf{w}_{1}+\cdots+c_{r}\mathbf{w}_{r})=\mathbf{0}$

說明 $c_{1}\mathbf{w}_{1}+\cdots+c_{r}\mathbf{w}_{r}$ 屬於零空間 $\ker(T)$ 。因為 $\{\mathbf{u}_1,\ldots,\mathbf{u}_p\}$ 為 $\ker(T)$ 的基底，我們可以寫出下列表達式：

$c_{1}\mathbf{w}_{1}+\cdots+c_{r}\mathbf{w}_{r}=d_{1}\mathbf{u}_{1}+\cdots+d_{p}\mathbf{u}_{p}$

再有， $\{\mathbf{u}_1,\ldots,\mathbf{u}_p,\mathbf{w}_1,\ldots,\mathbf{w}_r\}$ 是 $\mathcal{V}$ 的基底 (也就是說它們是線性獨立的)，這強迫上式所有的係數為零，故 $\{T(\mathbf{w}_{1}),\cdots,T(\mathbf{w}_{r})\}$ 是線性獨立集，證明 $r=\dim \hbox{ran}(T)=\hbox{rank}T$ 。

最後舉兩個秩—零度定理的推論。設 $\mathcal{V}$ 與 $\mathcal{W}$ 是兩個有限維向量空間，且 $T:\mathcal{V}\to\mathcal{W}$ 是一個線性變換。

若 $\dim \mathcal{V}>\dim\mathcal{W}$ ，則

$\dim\ker(T)=\dim\mathcal{V}-\dim\hbox{ran}(T)\ge \dim\mathcal{V}-\dim\mathcal{W}>0$ ，

即存在非零向量 $\mathbf{x}\in\mathcal{V}$ 使得 $T(\mathbf{x})=\mathbf{0}$ 。換句話說， $T$ 不是一對一 (因為 $T(\mathbf{0})=\mathbf{0}$ )。
若 $\dim \mathcal{V}<\dim\mathcal{W}$ ，則

$\dim\hbox{ran}(T)=\dim\mathcal{V}-\dim\ker(T)\le \dim\mathcal{V}<\dim\mathcal{W}$ ，

即存在非零向量 $\mathbf{y}\in\mathcal{W}$ 使得 $\mathbf{y}\notin\hbox{ran}(T)$ 。換句話說， $T$ 不是滿射 (onto)。

如果用矩陣術語來說，設 $A$ 為一個 $m\times n$ 階矩陣。

若 $n>m$ ，則

$\dim N(A)=n-\dim C(A)\ge n-m>0$ ，

即零空間 $N(A)$ 包含非零向量，換句話說， $A\mathbf{x}=\mathbf{0}$ 有無限多組解。
若 $n<m$ ，則

$\dim C(A)=n-\dim N(A)\le n<m$ ，

即行空間 $C(A)$ 未能充滿整個 $\mathbb{R}^m$ (或 $\mathbb{C}^m$ )，換句話說， $A\mathbf{x}=\mathbf{b}$ 不總是存在解。

秩—零度定理像是房子的地基，想學好線性代數一定要弄懂這個定理。

參考文獻：
[1] Gilbert Strang, The Fundamental Theorem of Linear Algebra, American Mathematical Monthly, 100, 1993, pp 848-855.

繼續閱讀：

This entry was posted in 線性代數專欄, 向量空間 and tagged 秩─零度定理, 分塊矩陣, 基底, 基本定理. Bookmark the permalink.

13 Responses to 線性代數基本定理 (一)

howell says:

12/06/2014 at 5:10 am

Reblogged this on Howell's Blog.

Reply
huady says:

01/04/2015 at 6:37 pm

關於kernel的想法，我覺得原意想要表達的是＂很重要＂。Kernel一詞用得相當廣泛，在作業系統裡是指核心，在作物上是指玉米的種子。對作業系統而言，如果kernel crash，我們甚麼事都不能做；如果無法結種子，就無法繼續繁衍下去。如果子空間的kernel不存在，則這個子空間也不存在。不知道這個比喻是否恰當？

Reply
- ccjou says:
  
  01/04/2015 at 10:20 pm
  
  中學國文課文有注釋，但數學課本則無。至今我仍不確知何以零空間要稱為kernel，但零空間確實是向量空間分析的essential part。
  
  Reply
bob says:

03/26/2015 at 4:00 pm

In the first proof after having RN=0
I can understand that column vectors of N are elements of N(A),
but how can I know that column vectors of N generate N(A)?

Reply
- ccjou says:
  
  03/26/2015 at 4:30 pm
  
  Here is the proof:
  https://ccjou.wordpress.com/2013/12/27/%E9%9B%B6%E7%A9%BA%E9%96%93%E7%9A%84%E5%BF%AB%E6%8D%B7%E7%AE%97%E6%B3%95/
  
  Reply
廖原德 says:

06/17/2015 at 4:30 pm

正在想說這個作者的邏輯怎麼跟同學借我的那個影片的教授邏輯好像，原來是同一個人啊！正在難過把影片看完就看不到老師的風采了，沒想到在準備期末考的時候又發現這個天地，謝謝老師還開了一個這樣的網站！

政大統計小大一

Reply
yetengqi says:

11/16/2015 at 6:46 pm

Thank you sir. The aims of proofs are: 1. the basis of R(T) spans R(T), i.e., sufficient; 2. those basis is linearly independent, i.e., not redundant. The article would be more clear if those two points are declared.

Reply
Mystery's Xie says:

04/02/2016 at 12:51 am

不太理解 W包含R(T)么？难道W不就是R(T)么？

Reply
ccjou says:

04/06/2016 at 10:47 am

舉二個例子說明。
例1. $T:\mathbb{R}^2\to\mathbb{R}^2$ ，定義為 $T(x)=\begin{bmatrix} x_1\\ x_1+x_2 \end{bmatrix}$ ，或用矩陣運算表示為 $T(x)=\begin{bmatrix} 1&0\\ 1&1 \end{bmatrix}\begin{bmatrix} x_1\\ x_2 \end{bmatrix}$ 。明顯地， $R(T)=W=\mathbb{R}^2$ 。

例2. $T:\mathbb{R}^2\to\mathbb{R}^2$ ，定義為 $T(x)=\begin{bmatrix} x_1+x_2\\ x_1+x_2 \end{bmatrix}$ ，或用矩陣運算表示為 $T(x)=\begin{bmatrix} 1&1\\ 1&1 \end{bmatrix}\begin{bmatrix} x_1\\ x_2 \end{bmatrix}$ 。此例， $W=\mathbb{R}^2$ ，但 $R(T)$ 是向量 $\begin{bmatrix} 1\\ 1\end{bmatrix}$ 生成 (span) 的一條直線， $R(T)\subset W$ 。

Reply
daLsouelifh says:

08/10/2017 at 12:06 am

老師好：
我想分享我對kernel意義的理解。
在考慮Ax = b時，不難發現齊性解xh來自Ker(A)，而齊性解是一個系統的特徵函數，也就是系統的本質(核心)特性(因為與b無關)。
在控制中，列出狀態方程組後想知道其特徵方程式的做法之一即為令方程組方陣之行列式=0。以此方式調參數後能使得其方程組方陣之nullity > 0，以免解只能由b(初始條件)決定而表現不太出系統的特性，因此我覺得kernel這個名稱確實挺有意義的。
原諒我有些語無倫次或不嚴謹。

Reply
liu kang says:

02/28/2018 at 3:39 am

設 \ker(T) 的一組基底為 \{\mathbf{u}_1,\ldots,\mathbf{u}_p\}，擴充此基底成為向量空間 \mathcal{V} 的基底 \{\mathbf{u}_1,\ldots,\mathbf{u}_p,\mathbf{w}_1,\ldots,\mathbf{w}_r\} , 请问这里如何证明在 \{\mathbf{u}_1,\ldots,\mathbf{u}_p\} 的基础上可以获得向量空间 \mathcal{V} 的基底呢？

Reply
mwvbx says:

07/16/2018 at 2:44 pm

column space不應該指列空間嗎，為什麼周老師翻譯為行空間?

Reply
- mwvbx says:
  
  07/16/2018 at 3:08 pm
  
  哦，在其他文章了解到是大陸與台灣稱謂不同。打擾了。
  
  Reply

	Liu Leaster on 樣本平均數、變異數和共變異數
	nekomoon404 on LU 分解
	偉晨 on 特殊矩陣 (8)：Vandermonde 矩陣
	Combination and Bino… on 二項式係數公式
	jimmyjoe5201 on 二項式係數公式
	bregg on 高斯混合模型與最大期望算法