線性代數基本定理 (二)

本文的閱讀等級:中級

A 為一個 m\times n 階實矩陣。我們以 C(A) 表示行空間 (column sapce),N(A) 表示零空間 (nullspace)。線性代數的第一個基本定理,即秩—零度定理 (rank-nullity theorem),說明了矩陣行空間的維數 (即秩) 和零空間的維數 (即零度) 的關係 (見“線性代數基本定理 (一)”):

n=\dim N(A)+\dim C(A)

矩陣 A 的列空間 (row space) 是轉置矩陣 A^T 的行空間,故 C(A^T) 表示 A 的列空間。因為行秩等於列秩 (見“行秩=列秩”),便有 \text{rank}A=\dim C(A)=\dim C(A^T)=r。秩—零度定理可寫成

n=\dim N(A)+\dim C(A^T)

A 轉置,便有對應 A^T 的定理,如下:

m=\dim N(A^T)+\dim C(A)

其中 N(A^T) 稱為左零空間 (left nullspace)。注意,C(A^T)N(A)\mathbb{R}^n 的子空間,但 C(A)N(A^T)\mathbb{R}^m 的子空間。圖一顯示二組秩—零度定理放入矩陣 A 的四個基本子空間所構成的分析平台。

fund-theorem1

圖一 矩陣四個基本子空間

 
\mathcal{S}\mathcal{T} 為向量空間 \mathbb{R}^p 的兩個子空間。我們採用幾何向量空間的標準內積定義正交:對於 \mathbf{x},\mathbf{y}\in \mathbb{R}^p,若 \mathbf{x}^T\mathbf{y}=0,則 \mathbf{x} 正交於 \mathbf{y},記為 \mathbf{x}\perp\mathbf{y}。如果 \mathcal{S} 裡的任意向量 \mathbf{x} 皆與 \mathcal{T} 裡的任意向量 \mathbf{y} 正交,我們稱 \mathcal{S} 正交於 \mathcal{T},記為 \mathcal{S}\perp\mathcal{T}。給定子空間 \mathcal{S},向量空間 \mathbb{R}^p 中所有與 \mathcal{S} 正交的向量所形成的集合稱為正交補餘 (orthogonal complement),以 \mathcal{S}^{\perp} 表示,滿足

p=\dim\mathcal{S}+\dim\mathcal{S}^{\perp}

\mathcal{S}\cap\mathcal{S}^{\perp}=\{\mathbf{0}\}。舉例來說,在三維空間 \mathbb{R}^3,若 \mathcal{S} 為一個穿越原點的平面,則 \mathcal{S}^{\perp} 為穿越原點的直線,指向即為 \mathcal{S} 的法向量。若 \mathcal{S}\mathcal{T}\mathbb{R}^p 的補子空間,p=\dim\mathcal{S}+\dim\mathcal{T},使得 \mathcal{S}\perp\mathcal{T},則 \mathcal{S}\cap\mathcal{T}=\{\mathbf{0}\} (若 \mathbf{x}\in\mathcal{S}\cap\mathcal{T},推得 \Vert\mathbf{x}\Vert^2=\mathbf{x}^T\mathbf{x}=0,故 \mathbf{x}=\mathbf{0})。根據定義,\mathcal{T}=\mathcal{S}^\perp

 
線性代數的第二個基本定理描述矩陣的四個基本子空間的正交關係:

N(A)=C(A^T)^{\perp}

N(A^T)=C(A)^{\perp}

矩陣的四個子空間之間的正交關係很容易由正交補餘的定義推演出來。矩陣 A 的零空間中的向量 \mathbf{x}A 的每個列向量都正交,此事實可由以元為單位的乘法方式推得:

\begin{aligned}  A\mathbf{x}&=\begin{bmatrix}    \mathrm{row~1~of~}A\\    \mathrm{row~2~of~}A\\    \vdots\\    \mathrm{row}~m~\mathrm{of~}A    \end{bmatrix}\mathbf{x}=\begin{bmatrix}    0\\    0\\    \vdots\\    0    \end{bmatrix}\end{aligned}

每一個列向量與 \mathbf{x} 的內積都是 0,所以 \mathbf{x} 必定與所有列向量的線性組合正交,可知 N(A)\perp C(A^T),再利用秩—零度定理的維數關係便推得零空間 N(A) 是列空間 C(A^T) 的正交補餘,N(A)=C(A^T)^{\perp}。補充說明 N(A)^{\perp}=C(A^T)。假設 \mathbf{y}\perp N(A)\mathbf{y}\notin C(A^T)。將 \mathbf{y} 加入列空間 C(A^T),顯然這會增大 C(A^T) 的維度。根據秩—零度定理 \dim C(A^T)=n-\dim N(A),等號右邊並未因 \mathbf{y} 加入 C(A^T) 而改變,因此等號左邊不可能改變,也就證明 \mathbf{y}\notin C(A^T) 不可能成立。

 
對矩陣 A 取轉置,考慮左零空間 N(A^T) 裡的向量 \mathbf{y}

\begin{aligned}  A^{T}\mathbf{y}&=\begin{bmatrix}    \mathrm{col~1~of~}A\\    \mathrm{col~2~of~}A\\    \vdots\\    \mathrm{col}~n~\mathrm{of~}A    \end{bmatrix}\mathbf{y}=\begin{bmatrix}    0\\    0\\    \vdots\\    0    \end{bmatrix}\end{aligned}

同理得知 A 的每個行向量與 \mathbf{y} 正交,故 A 的行空間 C(A) 是左零空間 N(A^T) 的正交補餘,N(A^T)=C(A)^{\perp}。附帶一提,A^T\mathbf{y}=\mathbf{0} 等同於其轉置 \mathbf{y}^TA=\mathbf{0}^T\mathbf{y}^T 位於 A 的左邊,故 N(A^T) 名為左零空間。

 
我們可將基本定理一與基本定理二納入圖二的子空間分析平台,仰賴這個平台便足以解答許多有關方程式解 A\mathbf{x}=\mathbf{b} 以及最小平方近似解問題。舉一個例子 (見“每週問題 May 4, 2009”),當方程式 A\mathbf{x}=\mathbf{b} 是一致時,將位於平台左側的通解 \mathbf{x} 投影至列空間 C(A^T) 和零空間 N(A),分別得到 \mathbf{y}\mathbf{z}。列空間與零空間互為正交補餘,推知 \mathbf{x}=\mathbf{y}+\mathbf{z},故 A\mathbf{x}=A\mathbf{y}+A\mathbf{z}=A\mathbf{y}=\mathbf{b},證明列空間中必存在著唯一的特別解 \mathbf{y},此解是所有的通解中向量長度為最小者,稱為極小範數解 (見“極小範數解”)。另一方面,平台右側可推演最小平方近似解 (見“從線性變換解釋最小平方近似”)。

fund-theorem2

圖二 矩陣四個基本子空間的正交補餘關係

繼續閱讀:
Advertisements
本篇發表於 線性代數專欄, 內積空間 並標籤為 , , 。將永久鏈結加入書籤。

20 則回應給 線性代數基本定理 (二)

  1. Watt Lin 說道:

    周老師您好:

    A x = lambda x
    (A – lambda I) x = 0
    必須 det (A – lambda I) = 0, x 才有解
    也就是 (A – lambda I) 的 Null space 不為 {0}
    而det(Matrix)=0表示 這個矩陣沒有逆矩陣。
    在此處,我好像是把 det(A) 與 det (A – lambda I) 混淆了,
    這時要如何表達我想問的問題,自己也有點模糊不清。

    我以前不是唸理工科系,也從未選修線代,只有大一微積分是數學相關課程。自己買您的DVD來學習,還沒完全看完。看到6-1 Eigensystem的單元,有些概念開始模糊,回到線性代數基本定理復習一下,看看Null Space,好像快要懂卻還沒懂,請老師您作更詳細的解說,例如寫另一個矩陣名稱,叫做B, B = (A – lambda I),用det(B)來講x如何有解,並且比較det(A)與det(B)所代表的意義,我自己嘗試這樣思考,可惜尚未得到明確清晰的觀念。

    敬請老師撥冗回答,謝謝!

  2. 大俠 說道:

    觀看Lecture 6-2可以幫助你釐清模糊的地方,下面我先簡單解釋。

    問題:解出特徵方程式 A\mathbf{x}=\lambda\mathbf{x}
    做法及想法:
    1) 改寫方程式為 (A-\lambda I)\mathbf{x}=\mathbf{0}
    2) 將重點先放在解特徵向量(而非特徵值),那些向量 \mathbf{x}\neq\mathbf{0} 可以滿足式 (1)?(如果 \mathbf{x} 是零向量上式一定成立,這不是我們要的結果)答案:「\mathbf{x} 是矩陣 (A-\lambda I) 的零空間中的向量!」注意,我將 (A-\lambda I) 看成是一個矩陣,所以加上括弧,至於括弧中的內容物是什麼,暫時不要理它,反正就是一個矩陣而已。到這裡先休息一下,讓腦袋放空!
    3) 中場休息過後回來,再瞧瞧 (A-\lambda I),我們已經知道 A 但是 \lambda 是一個未知數,所以我們被逼得一定要想辦法找出 \lambda。回想(2)的結論:(A-\lambda I) 的零空間有不為零的向量(要不然 \mathbf{x} 就為零向量了),這強迫 (A-\lambda I) 是不可逆的。
    4) 由(3)的結論,又想起:「如果矩陣是不可逆的,那麼其行列式為零」,故 \mathrm{det}(A-\lambda I)=0,此式給出 \lambda 的條件。

    從頭到尾,我們沒看見 \mathrm{det}A,也沒看見 B。不要將思緒放在 \mathrm{det}A\mathrm{det}B,應該專注於你的問題:解出 A\mathbf{x}=\lambda\mathbf{x}

  3. aocwind 說道:

    順道回想特徵值一下,不知道這是不是你所要的
    \exists \lambda=0,\det(A-\lambda I)=0 \Leftrightarrow \det(A)=0 \Leftrightarrow \text{"A is singular"} \Leftrightarrow \exists x\neq 0,x\in\ker(A)
    請注意,我都是用"等價"去描敘,如此上式推導有錯,還請老師幫忙指正:)

  4. Watt Lin 說道:

    很感謝老師迅速解說,我的觀念已經明朗化了!

    之前還沒想通,可能是與前幾章常作的一件事混淆,
    A x = b 有解,x = Inv(A) b,必須 A 為可逆。
    到第六章應該不是談 A x = b 這種型式的題目,所以要把前面的觀念暫時放下,不必一直想著 A是可逆 x才有解。
    現在是 (A – lambda I) 不可逆, x 才有解。

    今天我會找時間看Lecture 6-2,相信老師的解說,可以讓我頭腦更開竅。

    我買DVD,2010年1月1日開始看,有時工作忙,隔幾天才看一回,希望2月底能夠全部看完一遍。看的目的,不是準備考試,也不是工作所需,但我認為這對於頭腦思考有很大的幫助,也許將來會感覺到對工作發揮效用。
    現在看到 Eigensystem單元,越來越精彩,很有興趣繼續學習。買這份教材,實在很值得。

  5. Watt Lin 說道:

    Lecture 6-2 看完,豁然開朗。
    繼續往Lecture 6-3前進。
    感謝周老師的教學。

  6. 大俠 說道:

    1994年美國總統柯林頓簽署"美國教育法案",將critical thinking(批判性思考或嚴謹的思考)列入全國性教學目標。critical thinking 的定義包含三項特質:
    1. 以審慎的態度思慮議題和解決難題
    2. 對理性探索與邏輯推理的方法有所認識
    3. 具有應用上述方法的技巧

    現今大學裡的教學科目中,最適合培養訓練critical thinking的科目毫無疑問就是線性代數。反過來說,要學好線性代數也必須要有一定的critical thinking習慣。看到Watt Lin不為考試也非工作所需,閒暇之餘還能如此有興趣地學習,改變了我以為世人多不喜歡思考的看法。

  7. tianpeng 說道:

    其实 N(A)=C(A)^{\perp} 这个事实并不需要用秩—零度定理的維度关系推得。
    x 是方程 Ax=0 的解,当且仅当 x 垂直于 A 的每个列向量,也就是垂直于 C(A) 中的每一个向量。即是说所有满足 x\perp C(A) 这个条件的向量构成的集合是这个方程的解的集合,这正是 C(A)^{\perp} 的定义。
    根据正交补的性质,有 C(A)^{\perp\perp}=C(A)C(A)^{\perp}\oplus C(A)=V

  8. ccjou 說道:

    重讀此文時竟然又發現了一個typo,已更正,應該是 N(A)=C(A^T)^{\perp}。tianpeng留言中的 C(A) 也應是指 C(A^T)A 的列(橫的)空間。

    直接使用正交互補的定義當然問題就解決了。回想那時之所以直接引用秩—零度定理大概是因 N(A)=C(A^T)^{\perp} 的道理很明顯,如文中所述,但 C(A^T)=N(A)^{\perp},列空間 C(A^T) 包含所有與 N(A) 正交的向量就比較麻煩解釋。事實上本文根本也沒解釋,下面補充詳細的推論。

    假設 \mathbf{y}\perp N(A)\mathbf{y}\notin C(A^T)。將 \mathbf{y} 加入 C(A^T),顯然這會增大 C(A^T) 維度。根據秩—零度定理 \mathrm{dim}C(A^T)=n-\mathrm{dim}N(A),等號右邊並未因 \mathbf{y} 加入 C(A^T) 而改變,因此等號左邊不可能改變,也就證明 \mathbf{y}\notin C(A^T) 是不可能的。

  9. tianpeng 說道:

    呵呵,突然换了一套符号和语言感觉不习惯,误以为 C(A) 中的 C 是指 column,又误以为 column 就是横着的。。。
    有了 N(A)=C(A^T)^{\perp},那么两边都取正交补,有 N(A)^{\perp}=C(A^T)^{\perp\perp}=C(A^T)
    关键在于正交补的一个性质 U^{\perp\perp}=U。在 U 中取标准正交基底 u_1,u_2,\dots,u_r,并扩充为 V 的标准正交基底 u_1,u_2,\dots,u_r,v_1,v_2,\dots,v_s,那么 U^{\perp}=\mathrm{span}(v_1,v_2,\dots,v_s)U^{\perp\perp}=\mathrm{span}(u_1,u_2,\dots,u_r)=U

  10. ccjou 說道:

    C(A) 確實是 the column space of AC(A^T) 則是 the row space of A。將 A 當作線性映射時,C(A)=R(A),the column space = the range of A,有了這個對應,就比較不會因為行列的意義不同而搞混了。

  11. Vincent 說道:

    大侠,在您的基本定理一中, DimV=DimKer(A)+DimR(A)
    Ker(A)为N(A)
    R(A)为C(A)

    为什么这里变成了DimV=dim N(A) +dim C(A^t)? 您说的typo,是说前面的R(A)实际上是C(A^T)吗? 但您的留言里又说column space=the range of A. 不解

    前面的讨论, 小弟看了以后仍然不明白。能否帮助小弟理解一下?
    谢谢!

  12. ccjou 說道:

    先澄清一點:大陸稱column(豎著)為列,row(橫著)為行,台灣則相反。

    因為矩陣的column rank,dim C(A),等於row rank,dim C(A^t),證明見
    https://ccjou.wordpress.com/2009/11/13/%E8%A1%8C%E7%A7%A9%E5%88%97%E7%A7%A9/
    基本定理一講的是 rank-nullity theorem,基本定理二給出正交補集關係,兩者不同,關於定理二的詳細說明請見
    https://ccjou.wordpress.com/2011/05/19/%E6%AD%A3%E4%BA%A4%E8%A3%9C%E9%9B%86%E8%88%87%E6%8A%95%E5%BD%B1%E5%AE%9A%E7%90%86/

    如果你仍有疑問,可以再提出討論。

  13. vincent 說道:

    谢谢大侠,豁然开朗!

  14. jianback 說道:

    想来想去还是不明白:
    線性代數基本定理 (一) 的结论是
    n=\dim N(A)+\dim C(A)
    这一篇条件均相同,为何开头写的是n=\dim N(A)+\dim C(A^T)

  15. reasonc 說道:

    老師您好,我有一個疑問:由於討論正交性是需要線性空間上先行定義有內積的,若任何線性空間都可以說$$N(C)=C(A^\intercal)^\perp$$,這樣是不是說任何空間都有一個自然的內積?假若真是這樣,如果內積空間上引入的內積與它原來的線性空間上的自然內積不相融怎麼辦?

  16. 一页书 說道:

    您好!我有一个关于 A(矩阵) 、T(线性变换)、C(A)(A的column space) 之间关系的问题。
    先给出您对于线性变换的观点:
    — T 这个线性变换在不同的基底(n维空间和m维空间的基底)作为参考下,拥有不同的矩阵表示形式 A。

    我的问题就是:
    — 那么 C(A) 跟 基底(n维空间和m维空间的基底)的选取有关系么?
    — C(A)是 m维空间的一个子空间,还是上述问题,A的形式跟 【n维空间和m维空间的基底选取】有关系,那么是否可以推出,C(A)也跟【n维空间和m维空间的基底选取】有关系呢?

    烦请回答,多谢指教~~!

發表迴響

在下方填入你的資料或按右方圖示以社群網站登入:

WordPress.com Logo

您的留言將使用 WordPress.com 帳號。 登出 / 變更 )

Twitter picture

您的留言將使用 Twitter 帳號。 登出 / 變更 )

Facebook照片

您的留言將使用 Facebook 帳號。 登出 / 變更 )

Google+ photo

您的留言將使用 Google+ 帳號。 登出 / 變更 )

連結到 %s