利用高斯消去法計算特徵值與特徵向量

本文的閱讀等級:初級

很久很久以前,在一所大學的教室裡,年邁的老教授講解完高斯消去法於求解線性方程的應用,猛地發現台下學生大多已睡成一團。老教授從講義夾抽出一頁泛黃的單行紙,在黑板上抄寫了一個 3\times 3 階矩陣

A=\left[\!\!\begin{array}{rrr} 2& 1& 1\\ 3& -1& 4\\ -3& 2& -3 \end{array}\!\!\right]

隨後他喚醒眾生,聲音嘶啞地說道:「同 (讀音“統”) 學們,現在用你們剛學過的高斯消去法找出滿足 (A-\lambda I)\mathbf{x}=\mathbf{0} 的純量 \lambda 和非零解 \mathbf{x}。」語畢,老教授慈祥地望著這群或沉思默想,或奮筆疾書的年輕學子,諾大的教室頓時出奇地安靜。

 
遵照老教授的指示,我們用基本列運算化簡 A-\lambda I 使成為上三角矩陣。寫出

A-\lambda I=\begin{bmatrix} 2-\lambda& 1& 1\\ 3& -1-\lambda& 4\\ -3& 2& -3-\lambda \end{bmatrix}

因為 \lambda 是未知數,故不能保證 (1,1)2-\lambda\neq 0。交換第一列和第二列可得到一軸元 (即非零常數),

\begin{bmatrix} 3& -1-\lambda& 4\\ 2-\lambda& 1& 1\\ -3& 2& -3-\lambda \end{bmatrix}

接著以列取代運算消滅軸元 3 底下的兩個元。為避免產生分數,先令第二列乘以 3,第一列乘以 \lambda-2 加進第二列,再將第一列加進第三列,結果如下:

\begin{bmatrix} 3& -1-\lambda& 4\\ 3(2-\lambda)& 3& 3\\ -3& 2& -3-\lambda \end{bmatrix}\to\begin{bmatrix} 3& -1-\lambda& 4\\ 0& -\lambda^2+\lambda+5&4\lambda-5\\ 0& -\lambda+1&-\lambda+1 \end{bmatrix}

現在遇到了麻煩,(2,2) 元和 (3,2) 元都是 \lambda 多項式,交換第二列和第三列顯然無濟於事。該怎麼做才能造出軸元?注意 -\lambda^2+\lambda+5=(-\lambda+1)\lambda+5,即知 -\lambda^2+\lambda+5 除以 -\lambda+1 的商是 \lambda,餘式是 5。令第三列通乘以 -\lambda 加進第二列,就有

\begin{bmatrix} 3& -\lambda-1& 4\\ 0& 5&\lambda^2+3\lambda-5\\ 0& -\lambda+1&-\lambda+1 \end{bmatrix}

繼續下一個階段的消元步驟,先令第三列乘以 5,第二列再乘以 \lambda-1 加進第三列,即可消去軸元 5 底下的元:

\begin{bmatrix} 3& -\lambda-1& 4\\ 0& 5&\lambda^2+3\lambda-5\\ 0& -5(\lambda-1)&-5(\lambda-1) \end{bmatrix}\to \begin{bmatrix} 3& -\lambda-1& 4\\ 0& 5&\lambda^2+3\lambda-5\\ 0& 0&(\lambda-1)(\lambda-2)(\lambda+5)\end{bmatrix}

化簡運算於得到上三角矩陣後終止,緊接著是求解工作。考慮上三角矩陣的主對角元。若 (\lambda-1)(\lambda-2)(\lambda+5)=0,則 \mathrm{rank}(A-\lambda I)=2A-\lambda I 不可逆,即存在非零齊次解。令 \mathbf{x}=(x_1,x_2,x_3)^T,當 \lambda=1,2-5,下式成立:

\begin{bmatrix} 3& -\lambda-1& 4\\ 0& 5&\lambda^2+3\lambda-5\\ 0& 0&0\end{bmatrix}\begin{bmatrix} x_1\\ x_2\\ x_3 \end{bmatrix}=\begin{bmatrix} 0\\ 0\\ 0 \end{bmatrix}

運用反向迭代,可得

\begin{aligned} x_3&=\alpha\\ x_2&=-\displaystyle\frac{\alpha}{5}(\lambda^2+3\lambda-5)\\ x_1&=-\displaystyle\frac{\alpha}{15}(\lambda+1)(\lambda^2+3\lambda-5)-\frac{4\alpha}{3}, \end{aligned}

其中 \alpha 是任何非零參數。若 \lambda=1

\displaystyle \mathbf{x}=\alpha\left[\!\!\begin{array}{r} -\frac{6}{5}\\ [0.3em] \frac{1}{5}\\  1 \end{array}\!\!\right]

\lambda=2

\displaystyle \mathbf{x}=\alpha\left[\!\!\begin{array}{r} -\frac{7}{3}\\ [0.3em] -1\\  1 \end{array}\!\!\right]

\lambda=-5

\displaystyle \mathbf{x}=\alpha\left[\!\!\begin{array}{r} 0\\  -1\\  1 \end{array}\!\!\right]

 
很久很久以後,在另一所大學的教室裡,學生們趁著課間休息時間伏在案上小眠。我憶起老教授使用高斯消去法計算特徵值與特徵向量,便翻開書頁挑了一個例子

A=\left[\!\!\begin{array}{rrr} 5&6&6\\ -1&0&-2\\ -1&-2&0 \end{array}\!\!\right]

提筆計算 A-\lambda I 的零空間。前面進展順利:

\begin{aligned} \begin{bmatrix} 5-\lambda&6&6\\ -1&-\lambda&-2\\ -1&-2&-\lambda \end{bmatrix}&\to\begin{bmatrix} -1&-\lambda&-2\\ 5-\lambda&6&6\\ -1&-2&-\lambda \end{bmatrix}\\ &\to\begin{bmatrix} -1&-\lambda&-2\\ 0& \lambda^2-5\lambda+6& 2(\lambda-2)\\ 0& \lambda-2& -\lambda+2 \end{bmatrix}\\ &\to\begin{bmatrix} 1&\lambda&2\\ 0& (\lambda-2)(\lambda-3)& 2(\lambda-2)\\ 0& \lambda-2& -\lambda+2 \end{bmatrix},\end{aligned}

到此處停止。因為 (\lambda-2)(\lambda-3)\lambda-2 整除,故無法借助列運算取得 (2,2) 軸元。這時只能分開兩個情況討論:若 \lambda=2A-2I 的列等價矩陣是

\begin{bmatrix} 1&2&2\\ 0&0&0\\ 0&0&0 \end{bmatrix}

可知 \mathrm{rank}(A-2I)=1,齊次解即為

\mathbf{x}=\alpha\left[\!\!\begin{array}{r} -2\\ 1\\ 0 \end{array}\!\!\right]+\beta\left[\!\!\begin{array}{r} -2\\ 0\\ 1 \end{array}\!\!\right]

\lambda\neq 2,第二列和第三列同除以 \lambda-2,交換第二列和第三列,再將第二列乘以 -\lambda+3 加進第三列,如下:

\begin{bmatrix} 1&\lambda&2\\ 0& \lambda-3& 2\\ 0&1&-1 \end{bmatrix}\to\begin{bmatrix} 1&\lambda&2\\ 0&1&-1\\ 0& \lambda-3& 2 \end{bmatrix}\to\begin{bmatrix} 1&\lambda&2\\ 0&1&-1\\ 0&0&\lambda-1  \end{bmatrix}

\lambda=1A-I 的列等價矩陣是

\left[\!\!\begin{array}{ccr} 1&1&2\\ 0&1&-1\\ 0&0&0 \end{array}\!\!\right]\to\left[\!\!\begin{array}{ccr} 1&0&3\\ 0&1&-1\\ 0&0&0 \end{array}\!\!\right]

\mathrm{rank}(A-I)=2,齊次解為

\mathbf{x}=\alpha\left[\!\!\begin{array}{r} -3\\ 1\\ 1 \end{array}\!\!\right]

 
很久很久以前,如果古人沒有發明行列式,老教授指示以高斯消去法計算矩陣的特徵值與特徵向量是否會成為一般線性代數教科書的標準作法?又如果高斯消去法先於行列式的出現,數學社群會摒棄高斯消去法轉而支持行列式嗎?實際情形是這些「如果」均未發生,行列式一直獨霸線性代數的特徵分析。這是甚麼緣故呢?從特徵值的限制條件來看,A-\lambda I 不可逆與 \det (A-\lambda I)=0 同樣簡明。從特徵向量的計算來看,一旦高斯消去法獲得上三角矩陣,使用反向迭代即可迅速解出特徵向量,行列式算法則必須針對相異特徵值 \lambda_i 另行計算對應的零空間 N(A-\lambda_i I)。從特徵值的計算來看,有些人認為用基本列運算推導 A-\lambda I 的不可逆條件式 (即特徵多項式) 比計算 \det(A-\lambda I) 來得困難。美國數學教授雷大衛 (David Lay) 在他的線性代數課本習題中有這段註解[1]:「運用列運算求一 3\times 3 階矩陣的特徵多項式並不容易,因為其中涉及變數 \lambda。」他建議大家使用餘因子 (cofactor) 公式或 3\times 3 階行列式的特殊公式。長久以來,美國數學教授麥渥特 (William McWorter, Jr.) 在課堂上採用一種不使用行列式的特徵值和特徵向量演算法 (見“不使用行列式的特徵值和特徵向量算法 (上)”),不過學生們似乎並不領情,他引述一位學生的觀點[2]:「我知道它比較快,但以行列式計算,你不需要想。」這句話道出了行列式不容忽視的魅力所在──井然有序、恆定不變的運算法則。

 
參考來源:
[1] David C. Lay, Linear Algebra and its Applications, fourth edition, 2012, pp 280. 原文是 “Finding the characteristic polynomial of a 3\times 3 matrix is not easy to do with just row operations, because the variable \lambda is involved.”
[2] William A. McWorter, Jr. and Leroy F. Meyers, Computing eigenvalues and eigenvectors without determinants, Mathematics Magazine, Vol. 71, No. 1, 1998, pp 24-33. 原文是 “I know it is faster, but with the determinant you don’t have to think.”

Advertisements
本篇發表於 特徵分析, 線性代數專欄 並標籤為 , , , , , 。將永久鏈結加入書籤。

發表迴響

在下方填入你的資料或按右方圖示以社群網站登入:

WordPress.com Logo

您的留言將使用 WordPress.com 帳號。 登出 / 變更 )

Twitter picture

您的留言將使用 Twitter 帳號。 登出 / 變更 )

Facebook照片

您的留言將使用 Facebook 帳號。 登出 / 變更 )

Google+ photo

您的留言將使用 Google+ 帳號。 登出 / 變更 )

連結到 %s