答zonelin──關於特徵方程與矩陣基本子空間的關係

網友zonelin留言:

周老師您好:在Linear Algebra Problem Set 9 2009裡面的第五題(b),請問 particular solution 是如何算出來的?eigenvalue 和解的關係為何?若 A\mathbf{x}=\mathbf{b} 有解,則 \mathbf{b} 落在 A 的行空間中,\mathbf{x} 則是 particular solution 和 homogeneous solution 相加,那 particular solution 落在 A 轉置後的行空間中,那我想請問,若 A\mathbf{x}=\lambda\mathbf{x}\mathbf{x} 是落在 A 轉置後的行空間中還是 A 的行空間中?在矩陣四個空間的圖像上要如何解釋。謝謝~

 
答曰:

這個練習題選自 Gilbert Strang 所著 Introduction to Linear Algebra (2003) 第三版的6.1習題33 (頁287),重述如下:

A 有特徵值 0, 3, 5,令 \mathbf{u}, \mathbf{v}, \mathbf{w} 代表對應的線性獨立特徵向量。求 A\mathbf{x}=\mathbf{v}+\mathbf{w} 的一個特解 (particular solution) \mathbf{x}_p,並求通解 (general solutions)。

參考解答ps9-sol-2009直接引用該書最後所附的解答 (頁525):

\mathbf{x}_p=(0,\frac{1}{3},\frac{1}{5}) is a particular solution. Add any c\mathbf{u} from the nullspace.

通解即是 \mathbf{x}=\mathbf{x}_p+c\mathbf{u},其中 c 是任意數。

 
因為 A 有相異特徵值 0, 3, 5,對應的特徵向量 \mathbf{u},\mathbf{v},\mathbf{w} 必定線性獨立,故 A 可對角化為 A=SDS^{-1},其中 D=\mathrm{diag}(0,3,5)S=\begin{bmatrix}  \mathbf{u}&\mathbf{v}&\mathbf{w}  \end{bmatrix}。考慮下例:

\mathbf{u}=\left[\!\!\begin{array}{r}  1\\  1\\  -1  \end{array}\!\!\right],~\mathbf{v}=\left[\!\!\begin{array}{c}  1\\  2\\  1  \end{array}\!\!\right],~\mathbf{w}=\left[\!\!\begin{array}{r}  2\\  1\\  -1  \end{array}\!\!\right]

就有

A=SDS^{-1}=\left[\!\!\begin{array}{rrr}  10&3&13\\  5&6&11\\  -5&-3&-8  \end{array}\!\!\right]

將解答給出的特解 \mathbf{x}_p 代入計算,可得 A\mathbf{x}_p=(\frac{18}{5},\frac{21}{5},-\frac{13}{5})^T,但 \mathbf{v}+\mathbf{w}=(3,3,0)^T。兩者不等,顯然解答有誤。同一問題也出現在 2009 年出版的第四版6.1習題32,書末亦給出相同錯誤的答案 (頁537)。我非常驚訝這個錯誤竟然在2009年本站作業解答刊登三年後才由讀者zonelin指出。

 
由於此題未給定 \mathbf{u}\mathbf{v}\mathbf{w} 的數值,因此不可能得到數值解。下面我們利用特徵方程 A\mathbf{x}=\lambda\mathbf{x}A 的基本子空間關係來求解。令 A 為一 n\times n 階實矩陣。若 A 不含零特徵值,則 \det A\neq 0 (因為行列式等於所有的特徵值乘積),即知 A 是可逆矩陣,\mathrm{rank}A=n。若 A 有零特徵值,從 A\mathbf{x}=\mathbf{0} 解出的特徵空間 (所有特徵向量構成的子空間) 即為 A 的零空間 N(A)。上題中,對應特徵值 0 的特徵向量 \mathbf{u} 就是零空間 N(A) 的基底,故 \dim N(A)=1。根據秩─零度定理:

\mathrm{rank}A+\dim N(A)=n=3

立知 A 的行空間維數 \dim C(A)=\mathrm{rank}A=2。從另外兩個特徵方程 A\mathbf{v}=3\mathbf{v}A\mathbf{w}=5\mathbf{w} 可斷定線性獨立特徵向量 \mathbf{v}\mathbf{w} 屬於行空間 C(A),故 \{\mathbf{v},\mathbf{w}\}C(A) 的一組基底。這說明對於任何 \alpha, \beta,線性方程 A\mathbf{x}=\alpha\mathbf{v}+\beta\mathbf{w} 必定有解,那該如何求得一特解?因為 \mathbf{u},\mathbf{v},\mathbf{w} 是線性獨立集,故可為 \mathbb{R}^3 的基底。設 \mathbf{x}_p=c_1\mathbf{u}+c_2\mathbf{v}+c_3\mathbf{w},代入已知特徵方程,可得

A\mathbf{x}_p=A(c_1\mathbf{u}+c_2\mathbf{v}+c_3\mathbf{w})=c_1A\mathbf{u}+c_2A\mathbf{v}+c_3A\mathbf{w}=3c_2\mathbf{v}+5c_3\mathbf{w}

由此解出 c_2=\frac{\alpha}{3}c_3=\frac{\beta}{5}。我們可以隨意選擇 c_1,在此設 c_1=0。上題 \alpha=\beta=1,故可得一特解

\displaystyle  \mathbf{x}_p=\frac{1}{3}\mathbf{v}+\frac{1}{5}\mathbf{w}

通解由特解和零空間內的向量組合而成,也就是

\displaystyle  \mathbf{x}=\mathbf{x}_p+c\mathbf{u}=\frac{1}{3}\mathbf{v}+\frac{1}{5}\mathbf{w}+c\mathbf{u}

接下來我們繼續討論特解及基本子空間的相關問題。

 
問題一:特解 \mathbf{x}_p 必定落在 A 的列空間 C(A^T) 內嗎?

請注意,特解 \mathbf{x}_p 並不具唯一性,任何滿足方程式 A\mathbf{x}=\mathbf{b} 的解都可稱為特解。換言之,一旦選定通解表達式的係數 c,即得到一個特解。所以,問題應該改成:屬於列空間 C(A^T) 的特解為何?屬於列空間的特解是唯一存在的,理由如下。設 \mathbf{x}_p 為一特解,因為列空間是零空間的正交補餘 (見線性代數基本定理 (二)),C(A^T)=N(A)^{\perp},故 \mathbf{x}_p 可唯一分解為列空間成分 \mathbf{x}_r 和零空間成分 \mathbf{x}_n 之和,就有 A\mathbf{x}_p=A\mathbf{x}_r+A\mathbf{x}_n=A\mathbf{x}_r=\mathbf{b}。接著證明列空間內的特解唯一存在。假設 \mathbf{x}_1,\mathbf{x}_2\in C(A^T),且 A\mathbf{x}_1=\mathbf{b}A\mathbf{x}_2=\mathbf{b},兩式相減可得 A(\mathbf{x}_1-\mathbf{x}_2)=\mathbf{0},這指出 \mathbf{x}_1-\mathbf{x}_2 屬於零空間 N(A)。另一方面,線性組合 \mathbf{x}_1-\mathbf{x}_2 仍屬於列空間 C(A^T)。但 C(A^T)\cap N(A)=\{\mathbf{0}\},因此證明 \mathbf{x}_1=\mathbf{x}_2。利用正交補餘性質,特解 \mathbf{x}_p 屬於列空間 C(A^T) 的條件是 \mathbf{x}_p 正交於零空間 N(A),亦即

\displaystyle  0=\mathbf{u}^{T}\mathbf{x}_p=\mathbf{u}^T\left(\frac{1}{3}\mathbf{v}+\frac{1}{5}\mathbf{w}+c\mathbf{u}\right)=\frac{1}{3}\mathbf{u}^T\mathbf{v}+\frac{1}{5}\mathbf{u}^T\mathbf{w}+c\Vert\mathbf{u}\Vert^2

c=-(\frac{1}{3}\mathbf{u}^T\mathbf{v}+\frac{1}{5}\mathbf{u}^T\mathbf{w})/\Vert\mathbf{u}\Vert^2,也就得到屬於列空間的特解:

\displaystyle  \mathbf{x}_p=\frac{1}{3}\mathbf{v}+\frac{1}{5}\mathbf{w}-\frac{\frac{1}{3}\mathbf{u}^T\mathbf{v}+\frac{1}{5}\mathbf{u}^T\mathbf{w}}{\Vert\mathbf{u}\Vert^2}\mathbf{u}

 
問題二:若 A\mathbf{x}=\lambda\mathbf{x},則特徵向量 \mathbf{x} 屬於 A 的哪個基本子空間?

不一定,下面分開兩種情況說明。

(1) 若 \lambda=0,則 A\mathbf{x}=\mathbf{0},上面說過對應零特徵值的特徵空間即為零空間 N(A),故特徵向量 \mathbf{x}\in N(A),立知 \mathbf{x} 不屬於列空間 C(A^T)。以目前有限的條件無法判斷 \mathbf{x} 是否屬於行空間 C(A),也就是說,我們不能確定是否存在 \mathbf{y} 使得 A\mathbf{y}=\mathbf{x}。例如,\begin{bmatrix}  0&1\\  0&0  \end{bmatrix} 的零空間和行空間都由 \begin{bmatrix}  1\\  0  \end{bmatrix} 擴張而成;\begin{bmatrix}  1&0\\  0&0  \end{bmatrix} 的零空間由 \begin{bmatrix}  0\\  1  \end{bmatrix} 擴張,行空間則由 \begin{bmatrix}  1\\  0  \end{bmatrix} 擴張。

(2) 若 \lambda 是實數且 \lambda\neq 0A\mathbf{x}=\lambda\mathbf{x} 說明特徵向量 \mathbf{x} 屬於行空間 C(A),且 \mathbf{x} 不屬於零空間 N(A) (否則 \lambda=0),但無從判定 \mathbf{x} 是否屬於列空間 C(A^T)。例如,\begin{bmatrix}  1&1\\  0&1  \end{bmatrix} 對應特徵值 1 的特徵向量 \begin{bmatrix}  1\\  0  \end{bmatrix} 屬於列空間 \mathbb{R}^2\begin{bmatrix}  1&1\\  0&0  \end{bmatrix} 對應特徵值 1 的特徵向量 \begin{bmatrix}  1\\  0  \end{bmatrix} 則不屬於由 \begin{bmatrix}  1\\  1  \end{bmatrix} 擴張而成的列空間。

 
由於有太多的不確定因素,通常我們不會將 A 的特徵向量置於基本子空間分析平台上討論。不過,幸運的是,m\times n 階矩陣 (不必為方陣) 的奇異向量卻可構成四個基本子空間基底,此即奇異值分解 (詳見線性代數基本定理 (四))。

廣告
本篇發表於 特徵分析, 答讀者問 並標籤為 , , , , , , 。將永久鏈結加入書籤。

2 Responses to 答zonelin──關於特徵方程與矩陣基本子空間的關係

  1. Chenlogy 說道:

    可惜原作者沒有開放"一字千金" 這樣的制度,
    就算有發現者,也多將其"正確答案"當"私房菜"吧

    我去看了 作者教學網站(如下),似乎習題都沒出過這題(咦?)
    http://web.mit.edu/18.06

    教科書錯誤連篇已是常態,一錯再錯更不是新聞(無奈)例:
    Advanced engineering mathematics 6th by O`neil
    幾乎每個章節都有答案是錯的 (到6ed 還是如此)
    有授課教授索性架網站,讓學生當起捉蟲特攻隊

    —————————————————-
    來這逛逛真的來對了(^_^),希望除了線性代數,
    也能有其他專長教授能開設像這樣的網站

    • ccjou 說道:

      反過來想,正因為我們知道書本也可能有錯,所以閱讀時會更加用心地反芻思考,以免接收了錯誤的訊息。

發表迴響

在下方填入你的資料或按右方圖示以社群網站登入:

WordPress.com Logo

您的留言將使用 WordPress.com 帳號。 登出 / 變更 )

Twitter picture

您的留言將使用 Twitter 帳號。 登出 / 變更 )

Facebook照片

您的留言將使用 Facebook 帳號。 登出 / 變更 )

Google+ photo

您的留言將使用 Google+ 帳號。 登出 / 變更 )

連結到 %s