圖說矩陣基本子空間與線性方程解的結構

本文的閱讀等級:中級

線性代數的主體由一連串環環相扣的論述所構成,因此在學習過程中邏輯推理顯得格外重要。但是,如果跳脫符號組成的抽象世界,在現實世界中,知覺其實遠比邏輯來得重要。知覺指的是我們認識和理解世界的方法,它是探究新經驗並轉化為知識的主要途徑。所以,研習線性代數時,我們不應只注意術語的定義和符號的運算,而應當多花心力於瞭解符號所代表的概念與實質意義,將抽象的術語和符號轉換為可辨認的思考模式。建立思考模式的最簡單方法是以現實經驗作類比,藉此將抽象概念實體化,同時把推理論述架構在這個實體模型上。在“轉置矩陣的意義”一文,我曾經以桌球平台說明變換矩陣 A 及其轉置 A^T 於映射子空間的行為表現,本文則運用此平台呈現矩陣四個基本子空間和線性方程解的結構之間的關係。

 
下面先簡單解說作為矩陣變換分析工具的桌球平台。設 Am\times n 階實矩陣,代表由向量空間 \mathbb{R}^n 至向量空間 \mathbb{R}^m 的線性映射,轉置矩陣 A^Tn\times m 階,A^T 由向量空間 \mathbb{R}^m 映射至 \mathbb{R}^n,見下圖。

矩陣四個基本子空間的分析平台

(1) 圖中包含兩個向量空間,我方 \mathbb{R}^n 空間居左,對方 \mathbb{R}^m 空間居右;A 代表我方的球路,由左向右映射,而 A^T 代表對方的球路,由右向左映射:

A:\mathbb{R}^n\rightarrow\mathbb{R}^m

A^T:\mathbb{R}^m\rightarrow\mathbb{R}^n

(2) 桌球平台顯示四個主要子空間。設 \mathbf{x}\in\mathbb{R}^n\mathbf{y}\in\mathbb{R}^m。我方將球從 \mathbf{x} 擊出至對方的落點為 A\mathbf{x},也就是說,A 的值域或稱行空間 C(A) 代表對方球桌;反之,對方將球從 \mathbf{y} 擊發至我方球桌的落點為 A^T\mathbf{y}A^T 的行空間 C(A^T) 即為我方球桌。如果我方的發球點 \mathbf{x} 在零空間 N(A) 中,A\mathbf{x}=\mathbf{0} 可以解釋為球擊中對方桌角(即原點)後彈出界外。同樣地,若對方發球點 \mathbf{y} 屬於 N(A^T),則 A^T\mathbf{y}=\mathbf{0} 也代表球出界。

(3) 我方球桌的大小以其維數表示,即 \mathrm{dim}C(A^T)=\mathrm{rank}A^T,對方球桌大小則為 \mathrm{dim}C(A)=\mathrm{rank}A。矩陣的列秩等於行秩(見“行秩=列秩”),\mathrm{rank}A^T=\mathrm{rank}A=r,可知我方球桌 C(A^T) 和對方球桌 C(A) 大小相同。由秩—零度定理得知零空間 N(A)N(A^T) 的維數分別為

\begin{aligned}  \dim N(A)&=n-r\\    \dim N(A^T)&=m-r\end{aligned}

換句話說,N(A) 是我方球桌 C(A^T) 的補子空間,而 N(A^T) 則是對方球桌 C(A) 的補子空間。

(4) 利用關係式

(A\mathbf{x})^T\mathbf{y}=\mathbf{x}^T(A^T\mathbf{y})

可以進一步確立正交補餘。任意 \mathbf{x}\in N(A) 滿足 A\mathbf{x}=\mathbf{0},對於任意 \mathbf{y} 就有 \mathbf{x}^T(A^T\mathbf{y})=(A\mathbf{x})^T\mathbf{y}=0,得知 \mathbf{x}\perp A^T\mathbf{y},亦即 N(A)\perp C(A^T)N(A)C(A^T) 的正交補餘,表示為 N(A)=C(A^T)^{\perp}。同樣道理,N(A^T)C(A) 的正交補餘,N(A^T)=C(A)^{\perp}

 
正式利用桌球平台分析線性方程解的結構之前,我們先做一些暖身運動。考慮 \mathbf{x}_1,\mathbf{x}_2\in C(A^T)\mathbf{x}_1\neq\mathbf{x}_2,有這個結果:A\mathbf{x}_1\neq A\mathbf{x}_2,意思是如果我方於球桌上的兩個不同位置發球,兩球於對方球桌的落點必不同。反過來也成立,當對方從球桌的不同位置擊球,於我方球桌的落點也不相同。使用逆否命題法。假設 A\mathbf{x}_1=A\mathbf{x}_2,亦即 A(\mathbf{x}_1-\mathbf{x}_2)=\mathbf{0},就有 \mathbf{x}_1-\mathbf{x}_2\in N(A),但是線性組合式 (\mathbf{x}_1-\mathbf{x}_2)\in C(A^T),唯一可能的情況是 \mathbf{x}_1-\mathbf{x}_2=\mathbf{0},證畢。因此我們得到下面這個重要事實:矩陣變換 A 以一對一方式將 C(A^T) 映射至 C(A),轉置矩陣 A^T 則執行相反方向的一對一映射。但是要特別注意的是,縱使 \mathbf{x}\in C(A^T) 也不能保證 A^TA\mathbf{x}=\mathbf{x},換句話說,如果對方從落點 A\mathbf{x} 反擊,球彈回我方的位置 A^T(A\mathbf{x}) 不必然等於我方原來的發球點 \mathbf{x}。見下例,

A=\begin{bmatrix}    1&1&1\\    1&2&3    \end{bmatrix}

考慮 \mathbf{x}=\begin{bmatrix}    1\\    0\\    -1    \end{bmatrix}\in C(A^T),計算可得 A\mathbf{x}=\begin{bmatrix}    0\\    -2    \end{bmatrix},然而 A^TA\mathbf{x}=\begin{bmatrix}    -2\\    -4\\    -6    \end{bmatrix}\neq\mathbf{x},實際上,滿足 A^T\mathbf{y}=\mathbf{x} 的唯一解是 \mathbf{y}=\begin{bmatrix}    2\\    -1    \end{bmatrix}

 
下列交互乘積的矩陣秩性質在線性代數理論與應用中經常被使用:

\begin{aligned}  \mathrm{rank}(A^TA)&=\mathrm{rank}A^T\\  \mathrm{rank}(AA^T)&=\mathrm{rank}A\end{aligned}

每週問題 October 19, 2009”曾經給出一個證明,不過這個證明並未提供直覺意義,似乎仍難讓我們相信上述矩陣秩確實是相等的。利用桌球平台很容易解釋這些性質究竟是如何產生的,用桌球術語來說,矩陣秩就是球桌面積的度量,或者說是球可能落點的範圍大小。根據這個講法,\mathrm{rank}(A^TA) 即為落點 A^TA\mathbf{x} 的範圍大小。將 A^TA\mathbf{x} 圖示如下:

\mathbf{x}\overset{A}{\rightarrow}A\mathbf{x}\overset{A^T}{\rightarrow}A^TA\mathbf{x}

我方先將球從 \mathbb{R}^n 的一點 \mathbf{x} 擊出,按球路 A 飛行至 A\mathbf{x},對方將球反擊回來,命中我方球桌位置 A^TA\mathbf{x}。由於我方總能擊中對方球桌 C(A) 的任何位置(只要找到適當的擊球點 \mathbf{x} 即可),而球路 A^T 又將 C(A) 完整地映射至 C(A^T),因此推斷最後落點 A^TA\mathbf{x} 足以完全涵蓋我方球桌 C(A^T),這表明 C(A^TA)=C(A^T)。運用同樣方式也可以解釋 C(AA^T)=C(A)

 
接者,我們運用桌球平台解釋線性方程的解是否唯一存在(相關閱讀請見“由簡約列梯形式判斷線性方程解的結構”),下面的問題取自“每週問題 May 18, 2009”。設 Am\times n 階實矩陣,\mathbf{x}\in\mathbb{R}^n\mathbf{y}\in\mathbb{R}^m 代表未知向量,\mathbf{b}\in\mathbb{R}^m\mathbf{c}\in\mathbb{R}^n 代表已知常數向量。對於給定的線性方程,以下僅考慮兩種特殊情況:滿行秩 \mathrm{rank}A=n 或滿列秩 \mathrm{rank}A=m

 
問題一A\mathbf{x}=\mathbf{b} 是否有解,解又是否唯一?

下圖左描述 \mathrm{rank}A=nm\ge n 的分析平台,零空間 N(A) 退化為零向量,以虛線表示。如果 \mathbf{b}\in C(A),標靶位置在對方球桌上,方程式必有解,又因 C(A^T)=\mathbb{R}^n,所有可能的擊球點都在 C(A^T) 中,故有唯一解;若 \mathbf{b} 於對方球桌 C(A) 之外(發生於 m>n),方程式不存在解。對應 \mathrm{rank}A=mn\ge m 的分析平台顯示於下圖右,此時 C(A)=\mathbb{R}^m\mathbf{b} 屬於 C(A),方程式恆有解。如果 n>mN(A)\neq\{\mathbf{0}\},通解 \mathbf{x} 可分解為兩部分:\mathbf{x}=\mathbf{x}_r+\mathbf{x}_n,其中 \mathbf{x}_r\in C(A^T)\mathbf{x}_n\in N(A),計算確認

\begin{aligned}   A\mathbf{x}&=A(\mathbf{x}_r+\mathbf{x}_n)=A\mathbf{x}_r+A\mathbf{x}_n=\mathbf{b}+\mathbf{0}=\mathbf{b}\end{aligned}

因此,若 n>m,方程式有無限多組解;若 n=m,則僅有唯一解。另補充說明,當方程式有無限多組解時,因為 \mathbf{x}_r\perp\mathbf{x}_n\mathbf{x}_r 即為向量長度最小的唯一解:

\begin{aligned}   \Vert\mathbf{x}\Vert^2&=\Vert\mathbf{x}_r+\mathbf{x}_n\Vert=\Vert\mathbf{x}_r\Vert^2+\Vert\mathbf{x}_n\Vert^2\ge\Vert\mathbf{x}_r\Vert^2\end{aligned}

左:唯一解或無解; 右:唯一解或無窮多組解

 
問題二A^TA\mathbf{x}=\mathbf{c} 是否有解,解又是否唯一?

下圖左為 \mathrm{rank}A=nm\ge n 的分析平台。因為 C(A^T)=\mathbb{R}^n,標靶位置 \mathbf{c}\in\mathbb{R}^n 也就屬於 C(A^T),方程式存在唯一解。下圖右對應 \mathrm{rank}A=mn\ge m 的情況。如果 n>m,這時 C(A^T)\neq\mathbb{R}^nN(A)\neq\{\mathbf{0}\},有兩種可能的情況:若 \mathbf{c}\in C(A^T),由問題一的分析結果可知方程式有無窮多組解;若 \mathbf{c}\notin C(A^T),方程式無解。如果 n=mC(A^T)=\mathbb{R}^n,又回到圖左的情況,因此存在唯一解。

左:唯一解; 右:無解或無窮多組解

 
問題三A^TA\mathbf{x}=A^T\mathbf{b} 是否有解,解又是否唯一?

上式即為應用於最小平方法的正規方程式,目的要找出使 \Vert \mathbf{b}-A\mathbf{x}\Vert 最小的解(參見“從線性變換解釋最小平方近似”)。由於 A^T(\mathbf{b}-A\mathbf{x})=0,殘餘量 \mathbf{b}-A\mathbf{x} 屬於 N(A^T),因此與 A\mathbf{x} 正交,也就是說,滿足正規方程式的 A\mathbf{x} 即為 \mathbf{b} 於對方球桌 C(A) 的投影。不要受到正規方程式的外表所惑,此式的解結構並不比問題二的方程式複雜。正規方程式等號兩邊向量分別屬於 C(A^TA)C(A^T),前面曾經說明 C(A^TA)=C(A^T),所以不論 \mathbf{b} 為何,總能找到 \mathbf{x} 滿足方程式,剩下的問題是判斷解是否唯一。若 \mathrm{rank}A=n(下圖左),設 \mathbf{c}=A^T\mathbf{b},這與問題二圖左的情況相同,故存在唯一解;若 \mathrm{rank}A=mn>m(下圖右),此時 \mathbf{b}\in C(A),又因為 A\mathbf{x}\in C(A),推知 \mathbf{b}=A\mathbf{x},但有無限多的 \mathbf{x} 滿足此條件。

左:唯一解; 右:無窮多組解

 
利用對稱原則,讀者應可輕鬆回答以下練習問題,請分別就滿行秩與滿列秩討論並注意 mn 的大小關係。

練習一:A^T\mathbf{y}=\mathbf{c} 是否有解,解又是否唯一?
練習二:AA^T\mathbf{y}=\mathbf{b} 是否有解,解又是否唯一?
練習三:AA^T\mathbf{y}=A\mathbf{c} 是否有解,解又是否唯一?

Advertisements
本篇發表於 線性代數專欄, 向量空間 並標籤為 , , , , 。將永久鏈結加入書籤。

5 則回應給 圖說矩陣基本子空間與線性方程解的結構

  1. chang 說道:

    交互乘積的矩陣秩性質那一段“因此推斷最後落點 足以完全涵蓋我方球桌 ”此处原因看不太懂。。。老师能否再做解答?谢谢!

    • ccjou 說道:

      (1) 矩陣變換 A 以一對一方式將 C(A^T) 映射至 C(A),轉置矩陣 A^T 則執行相反方向的一對一映射,故以下映射是一對一:
      A: C(A^T)\to C(A)
      A^T: C(A)\to C(A^T)
      (2) 由此推論 A^TA: C(A^T)\to C(A)\to C(A^T) 也是一對一,故 C(A^TA)=C(A^T)

      • chang 說道:

        但最初是“我方先將球從 R^n的一點X擊出”,只有这样才能“我方總能擊中對方球桌 C(A)的任何位置”若从C(A)击回,如何保证“足以完全涵蓋我方球桌”呢?

        • ccjou 說道:

          因為 A:C(A^T)\to C(A) 是一對一映射,若最初我方從桌面 C(A^T) 擊發,仍足以涵蓋對方球桌,不需要是完整的 \mathbb{R}^n。注意,任意 x\in\mathbb{R}^n 可分解成兩個成分:x=x_r+x_n,其中 x_r\in C(A^T)x_n\in N(A),但 Ax_n=0,這說明 Ax=A(x_r+x_n)=Ax_r

          反過來說,因為 A^T:C(A)\to C(A^T) 也是一對一映射,故 \dim C(A)=\dim C(A^T)=\mathrm{rank}A,因此所有從 C(A) (不需要是完整的 \mathbb{R}^m) 擊發的球足以涵蓋我方球桌。

          如果還是沒有回答清楚,歡迎繼續提問討論。

發表迴響

在下方填入你的資料或按右方圖示以社群網站登入:

WordPress.com Logo

您的留言將使用 WordPress.com 帳號。 登出 / 變更 )

Twitter picture

您的留言將使用 Twitter 帳號。 登出 / 變更 )

Facebook照片

您的留言將使用 Facebook 帳號。 登出 / 變更 )

Google+ photo

您的留言將使用 Google+ 帳號。 登出 / 變更 )

連結到 %s