線性代數基本定理 (三)

本文的閱讀等級:中級

線性代數的第一個基本定理說明了實矩陣四個基本子空間的維數關係 (見“線性代數基本定理 (一)”),第二個基本定理表明四個基本子空間的正交補餘性質 (見“線性代數基本定理 (二)”)。依據實矩陣的簡約列梯形式 (reduced row echelon form),我們可以得到四個基本子空間的基底 (見“矩陣的四個基本子空間基底算法”),但我們希望進一步獲得四個子空間的正交基底,這是因為正交基底不論就推導理論或發展應用都極為有效。第三個基本定理講的就是如何求得實矩陣的四個基本子空間的正交基底

 
A 為一 m\times n 階實矩陣,r=\text{rank}A\le\min\{m,n\}。設 \{\mathbf{v}_{1},\ldots,\mathbf{v}_{r}\}A 的列空間 (row space) C(A^T) 的一組基底,\{\mathbf{u}_{1},\ldots,\mathbf{u}_{r}\}A 的行空間 (column space) C(A) 的一組基底。我們可以利用 Gram-Schmidt 正交化過程將已知的一組基底更換為正交基底 (見“Gram-Schmidt 正交化與 QR 分解”)。不過,我們還有更大的野心,那就是希望列空間基底向量和行空間基底向量滿足這個簡單關係式:

A\mathbf{v}_{i}=\sigma_{i}\mathbf{u}_{i},~~i=1,\ldots,r

此式的意義一時間或許不容易看出,其主要用意是使參考正交基底的矩陣表示具有對角形式。

 
對角形式顯然要透過方陣的特徵分析來實現,然而 Am\times n 階,該如何達成這個目標?關鍵在於 n\times n 階矩陣 A^{T}Am\times m 階矩陣 AA^{T},這兩個交互乘積 (稱為 Gramian 矩陣,見“特殊矩陣 (14):Gramian 矩陣”) 有相同的非零特徵值 (見“AB 和 BA 有何關係?”)。再者,A^{T}AAA^{T} 是實對稱半正定 (positive semidefinite) 矩陣,故特徵值不為負值,並且有完整的兩兩正交的實特徵向量 (見“實對稱矩陣可正交對角化的證明”),此特徵向量集即為我們希望找到的基底。

 
\sigma_1^{2},\ldots,\sigma_n^2,其中每一 \sigma_{i}\ge 0,為 n\times n 階矩陣 A^{T}A 的特徵值,\mathbf{v}_1,\ldots,\mathbf{v}_n 為對應的單位特徵向量,即有

A^{T}A\mathbf{v}_{i}=\sigma_{i}^{2}\mathbf{v}_{i},~~i=1,\ldots,n

其中 \{\mathbf{v}_1,\ldots,\mathbf{v}_n\} 是單範正交 (orthonormal) 特徵向量集,即 \mathbf{v}_i^T\mathbf{v}_j=1i=j\mathbf{v}_i^T\mathbf{v}_j=0i\neq j。上式可改寫成矩陣乘法,如下:

A^{T}A\begin{bmatrix}  \mathbf{v}_1&\cdots&\mathbf{v}_n  \end{bmatrix}=\begin{bmatrix}  \mathbf{v}_1&\cdots&\mathbf{v}_n  \end{bmatrix}  \begin{bmatrix}  \sigma_{1}^{2}&&\\  &\ddots&\\  &&\sigma_n^2  \end{bmatrix}

V=\begin{bmatrix}  \mathbf{v}_1&\cdots&\mathbf{v}_n  \end{bmatrix}。不難確認 V^TV=I,故 V^T=V^{-1},我們稱 V 為實正交矩陣 (orthogonal matrix) 。上式右乘 V^T,可得

A^TA=V\begin{bmatrix}  \sigma_{1}^{2}&&\\  &\ddots&\\  &&\sigma_n^2  \end{bmatrix} V^T

\hbox{rank}(A^TA)=\hbox{rank}\left(\hbox{diag}(\sigma_1^2,\ldots,\sigma_n^2)\right)。在不失一般性的原則下,設 \sigma_1\ge\cdots\ge\sigma_r>0\sigma_{r+1}=\cdots=\sigma_n=0,則 \hbox{rank}(A^TA)=r。對於任一實矩陣 A\text{rank}(A^TA)=\text{rank}A (見“利用 Gramian 矩陣證明行秩等於列秩”),故 \hbox{rank}=r。根據秩─零度定理,\dim N(A)=n-\text{rank}A=n-r。另一方面,

\Vert A\mathbf{v}_i\Vert^2=\mathbf{v}_i^TA^TA\mathbf{v}_i=\sigma_i^2\mathbf{v}_i^T\mathbf{v}_i=\sigma_i^2

因此 \Vert A\mathbf{v}_i\Vert=\sigma_i1\le i\le n。對於 i=r+1,\ldots,n\Vert A\mathbf{v}_i\Vert=0 等價於 A\mathbf{v}_i=\mathbf{0}。因為 \{\mathbf{v}_1,\ldots,\mathbf{v}_n\} 為線性獨立集且 \dim N(A)=n-r,推知 \{\mathbf{v}_{r+1},\ldots,\mathbf{v}_{n}\}A 的零空間 N(A) 的基底。從子空間的正交補餘 (第二個基本定理) C(A^T)=N(A)^\perp 可確認 \{\mathbf{v}_{1},\ldots,\mathbf{v}_{r}\}A 的列空間 C(A^T) 的基底。補充說明 A^TAA 有相同的零空間,即 N(A^TA)=N(A)。根據對稱性,我們也有 N(AA^T)=N(A^T)。證明於下:若 \mathbf{x}\in N(A),即 A\mathbf{x}=\mathbf{0},則 A^TA\mathbf{x}=\mathbf{0},故 \mathbf{x}\in N(A^TA)。若 \mathbf{x}\in N(A^TA),即 A^TA\mathbf{x}=\mathbf{0},則 \mathbf{x}^TA^TA\mathbf{x}=0,或 \Vert A\mathbf{x}\Vert^2=0,因此 A\mathbf{x}=\mathbf{0}

 
上述特徵方程式左乘 A,即得

AA^TA\mathbf{v}_{i}=\sigma_{i}^{2}A\mathbf{v}_i,~~i=1,\ldots,n

這指出 m\times m 階矩陣 AA^T 有非零特徵值 \sigma_1^2,\ldots,\sigma_r^2,分別對應特徵向量 A\mathbf{v}_1,\ldots,A\mathbf{v}_r。令 AA^{T} 的單位特徵向量為

\mathbf{u}_{i}=\displaystyle\frac{A\mathbf{v}_{i}}{\sigma_{i}}~~i=1,\ldots,r

對於 1\le i,j\le r

\displaystyle  \mathbf{u}_i^T\mathbf{u}_j=\left(\frac{A\mathbf{v}_i}{\sigma_i}\right)^T\left(\frac{A\mathbf{v}_j}{\sigma_j}\right)=\frac{\mathbf{v}_iA^TA\mathbf{v}_j}{\sigma_i\sigma_j}=\frac{\sigma_j^2\mathbf{v}_i^T\mathbf{v}_j}{\sigma_i\sigma_j}=\left\{\begin{array}{ll}  1&\text{if}~i=j\\  0&\text{if}~i\neq j  \end{array}\right.

上式說明 \{\mathbf{u}_1,\ldots,\mathbf{u}_r\} 構成了 A 的行空間 C(A) 的一組單範正交基底。因為 AA^TA^TA 有相同的非零特徵值,AA^T 另有 m-r 個零特徵值。利用 Gram-Schmidt 正交化程序可以得到左零空間 N(A^T)=N(AA^T) 的單範正交基底 \{\mathbf{u}_{r+1},\ldots,\mathbf{u}_{m}\}。因為行空間 C(A) 是左零空間 N(A^T) 的正交補餘,\{\mathbf{u}_1,\ldots,\mathbf{u}_m\}\mathbb{R}^m 的完整的單範正交集。

 
給定一 m\times n 階實矩陣 A\hbox{rank}=r,我們將本文的結論整理於下 (部分推導請讀者自行完成):

  1. r=\hbox{rank}A=\hbox{rank}A^T=\hbox{rank}(A^TA)=\hbox{rank}(AA^T)
  2. C(A^T)=C(A^TA)C(A)=C(AA^T)
  3. N(A)=N(A^TA)N(A^T)=N(AA^T)
  4. A^TA 的特徵值為 \sigma_1^2,\ldots,\sigma_n^2,對應單範正交的特徵向量 \mathbf{v}_1,\ldots,\mathbf{v}_n
  5. AA^T 的特徵值為 \sigma_1^2,\ldots,\sigma_m^2,對應單範正交的特徵向量 \mathbf{u}_1,\ldots,\mathbf{u}_n
  6. A\mathbf{v}_i=\sigma_i\mathbf{u}_i\sigma_i>0i=1,\ldots,r,且 A\mathbf{v}_i=\mathbf{0}i=r+1,\ldots,n
  7. A^T\mathbf{u}_j=\sigma_j\mathbf{v}_j\sigma_j>0j=1,\ldots,r,且 A^T\mathbf{u}_j=\mathbf{0}j=r+1,\ldots,m

 
下圖顯示正交基底於子空間分析平台,矩陣 A 其四個基本子空間的正交單位基底向量分別為

  • 列空間 C(A^T) 基底 \{\mathbf{v}_{1},\ldots,\mathbf{v}_{r}\}
  • 零空間 N(A) 基底 \{\mathbf{v}_{r+1},\ldots,\mathbf{v}_{n}\}
  • 行空間 C(A) 基底 \{\mathbf{u}_{1},\ldots,\mathbf{u}_{r}\}
  • 左零空間 N(A^T) 基底 \{\mathbf{u}_{r+1},\ldots,\mathbf{u}_{m}\}

這兩組正交基底,\mathbb{R}^n 基底 \{\mathbf{v}_1,\ldots,\mathbf{v}_n\}\mathbb{R}^m 基底 \{\mathbf{u}_1,\ldots,\mathbf{u}_m\},的主要用途是將 m\times n 階矩陣 A 分解為向量 \{\mathbf{v}_{i}\}\{\mathbf{u}_{i}\} 和奇異值 \{\sigma_{i}\} (奇異值平方即為特徵值) 所構成的三個矩陣,此結果稱為奇異值分解 (Singular value decomposition),也就是線性代數第四個基本定理的主題。

orthonormal-basis-vectors2

正交基底的映射

繼續閱讀:
Advertisements
本篇發表於 線性代數專欄, 二次型 並標籤為 , , , , , 。將永久鏈結加入書籤。

16 則回應給 線性代數基本定理 (三)

  1. chang 說道:

    请问下老师,第六段”特征向量vi是一组单位长的正交向量集合“是怎么得到的呢?

  2. 涂瑋辰 說道:

    在上面沒有提到u1 u2 ,,,ur 為何是單位正交可能還是要從定義下手是嗎. 老師最近有一題我也百思不得其解 T,U 是半正定在某內積空間,如果T^2=U^2則T=U

  3. Mystery's Xie 說道:

    “因為 \mathbf{v}_1,\ldots,\mathbf{v}_n 是一組完整的線性獨立集,非零特徵值 \sigma_i^2 的個數等於 \text{rank}(A^{T}A)。”

    这一步是如何得到的呢

  4. Mystery's Xie 說道:

    ”因此,\{\mathbf{v}_{r+1},\ldots,\mathbf{v}_{n}\} 為 A 的零空間 N(A) 基底,從子空間的正交補集 (第二個基本定理) 性質並可確認 \{\mathbf{v}_{1},\ldots,\mathbf{v}_{r}\} 為 A 的列空間基底。“

    請教一下,如何得到『\{\mathbf{v}_{r+1},\ldots,\mathbf{v}_{n}\} 為 A 的零空間 N(A) 基底』這一結論呢, 因為v_{r+1} 只是 A^TA 的特徵向量, 特徵值為0的時候, 只能得到A^TA v = 0. 只能說是 N(A^TA) 的基底吧?

  5. AndrewWang 說道:

    老師 不好意思 “關鍵在於 m*m 階矩陣 A^{T}A 和 n*n 階矩陣 AA^{T}第三段的第二行"是否有打錯?
    我認為應該是相反過來 還是我對這敘述有誤解?

  6. 鄭陞豪 說道:

    老師您好:
    在文末的本文結論列出的七點之中,第6點及第7點的公式,
    A*vi = (sigma)i*vi 即 (A^T)*uj = (sigma)j*uj 是否有手誤?
    我認為是
    A*vi = (sigma)i*ui 即 (A^T)*uj = (sigma)j*vj
    還是我對這兩條式子有誤解?
    盼望老師回覆,感恩。

發表迴響

在下方填入你的資料或按右方圖示以社群網站登入:

WordPress.com Logo

您的留言將使用 WordPress.com 帳號。 登出 / 變更 )

Twitter picture

您的留言將使用 Twitter 帳號。 登出 / 變更 )

Facebook照片

您的留言將使用 Facebook 帳號。 登出 / 變更 )

Google+ photo

您的留言將使用 Google+ 帳號。 登出 / 變更 )

連結到 %s