Neumann 無窮級數

本文的閱讀等級:中級

A 為一 n\times n 階矩陣,若 \Vert A\Vert<1,則 I-A 可逆且

\displaystyle  (I-A)^{-1}=\sum_{k=0}^{\infty}A^k

上式稱為 Neumann 無窮級數。通過證明此命題可以深入瞭解矩陣範數 (norm) 於分析冪矩陣級數收斂性的作用,運用類似手法也可解釋何以矩陣指數 e^A 必定收斂。

 
我們先回顧矩陣範數和奇異值與特徵值的關係。設方陣 A 的奇異值為 \sigma_1\ge\cdots\ge\sigma_n\ge 0,常用的二種矩陣範數 \Vert A\Vert 由奇異值決定,如下所示 (見“SVD 於矩陣近似的應用”):

\displaystyle\Vert A\Vert_F=\sqrt{\sum_{i=1}^n\sigma_i^2}

\Vert A\Vert_2=\sigma_1

令矩陣譜 (spectrum) \sigma(A)A 的所有相異特徵值所成的集合 (請勿將矩陣譜符號與奇異值混淆),而譜半徑 (spectral radius) 則定義為最大特徵值:

\displaystyle\rho(A)=\max_{\lambda\in\sigma(A)}\vert\lambda\vert

對於任意 \lambda 滿足 A\mathbf{x}=\lambda\mathbf{x},設 n 階方陣 X=\begin{bmatrix}    \mathbf{x}&\mathbf{0}&\cdots&\mathbf{0}    \end{bmatrix},就有 AX=\lambda X,利用矩陣範數不等性質 (見“矩陣範數”) 可得

\vert\lambda\vert\cdot\Vert X\Vert=\Vert\lambda X\Vert=\Vert AX\Vert\le\Vert A\Vert\cdot\Vert X\Vert

推知 \vert\lambda\vert\le\Vert A\Vert,亦即 \rho(A)\le\Vert A\Vert,此式可應用於粗略估計特徵值的上界。

 
下面證明若 \Vert A\Vert<1,則 I-A 是可逆矩陣。考慮 (I-A)\mathbf{x}=\mathbf{0},即 A\mathbf{x}=\mathbf{x},假設 \mathbf{x}\neq\mathbf{0},使用已知條件可得

\Vert A\mathbf{x}\Vert=\Vert\mathbf{x}\Vert>\Vert A\Vert\cdot\Vert\mathbf{x}\Vert

但這和性質 \Vert A\mathbf{x}\Vert\le\Vert A\Vert\cdot\Vert\mathbf{x}\Vert 相矛盾,所以必定有 \mathbf{x}=\mathbf{0}I-A 的零空間僅包含零向量,因此是可逆的。特別要強調 \Vert A\Vert>1 並不意味 I-A 不可逆。事實上,I-A 為可逆矩陣的條件是 A 不含特徵值 1

 
接著推導 (I-A)^{-1} 的表達式。考慮矩陣序列

\displaystyle  S_{n}=\sum_{k=0}^nA^k

n\rightarrow\inftyS_n 收斂,亦即其極限存在。證明如下。設 p>q,利用不等性質 \Vert A+B\Vert\le\Vert A\Vert+\Vert B\Vert\Vert AB\Vert\le\Vert A\Vert\cdot\Vert B\Vert,可得

\displaystyle  \Vert S_p-S_q\Vert=\Vert A^{q+1}+A^{q+2}+\cdots+A^p\Vert\le\sum_{k=q+1}^p\Vert A^k\Vert\le\sum_{k=q+1}^p\Vert A\Vert^k

p,q\rightarrow\infty,因為 \Vert A\Vert<1,上面不等式最右項趨於 0,這迫使 \Vert S_p-S_q\Vert\rightarrow 0,序列 S_p 存在一極限。計算

(I-A)S_n=(I-A)(I+A+\cdots+A^n)=I-A^{n+1}

(I-A)S_n=S_n-AS_n=S_n-S_nA=S_n(I-A),就有

S_n=(I-A^{n+1})(I-A)^{-1}=(I-A)^{-1}(I-A^{n+1})

使用這個性質:若 \rho(A)<1\mathrm{lim}_{n\rightarrow\infty}A^{n}=0,相反方向陳述也成立。如果 A 可對角化為 A=S\Lambda S^{-1}\Lambda=\mathrm{diag}(\lambda_1,\ldots,\lambda_n),由 \vert\lambda_i\vert<1 可推得 A^n=S\Lambda^n S^{-1}\rightarrow 0n\rightarrow\infty。如果 A 不可對角化,設 Jordan 形式為 A=MJM^{-1},由 Jordan 分塊 J 的特殊形式亦可推出 A^n=MJ^nM^{-1}\rightarrow 0n\rightarrow\infty (見“收斂矩陣”)。因此證得

\displaystyle  \lim_{n\rightarrow\infty}S_n=(I-A)^{-1}

 
另外,利用矩陣範數不等性質也很容易證明

\displaystyle  \Vert (I-A)^{-1}\Vert\le\sum_{k=0}^{\infty}\Vert A\Vert^k=\frac{1}{1-\Vert A\Vert}

運用同樣的運算技巧可以證明指數矩陣 e^A 的收斂性。考慮任意方陣 A,不需要假設 \Vert A\Vert<1,寫出

\displaystyle  S_n=\sum_{k=0}^n\frac{1}{k!}A^k

p>q,就有

\displaystyle  \Vert S_p-S_q\Vert\le\sum_{k=q+1}^p\frac{1}{k!}\Vert A\Vert^k

不等式右項為指數 \mathrm{exp}(\Vert A\Vert) 的一部分,因此當 p,q\rightarrow\infty,右項收斂至 0。換句話說,存在一矩陣 S 使得 S_n\rightarrow S,將它表示為 S=e^A,此即

\displaystyle  e^A=I+A+\frac{1}{2!}A^2+\cdots

關於矩陣指數的詳細介紹,請見“矩陣指數”。

 
最後我們介紹 Neumann 無窮級數衍生的不等式於逆矩陣擾動分析的應用。若 A 可逆且 \Vert A^{-1}E\Vert=r<1,則 A+E 是可逆矩陣且

\displaystyle  \Vert(A+E)^{-1}-A^{-1}\Vert\le\frac{\Vert E\Vert\cdot\Vert A^{-1}\Vert^2}{1-r}

證明於下。因為 A 可逆,寫出 A+E=A(I-F),其中 F=-A^{-1}E。已知 \Vert F\Vert=r<1,由 Neumann 無窮級數得知 I-F 可逆且 \Vert(I-F)^{-1}\Vert<1/(1-r)。因為 (A+E)^{-1}=(I-F)^{-1}A^{-1}

\displaystyle  \Vert (A+E)^{-1}\Vert\le\Vert (I-F)^{-1}\Vert\cdot\Vert A^{-1}\Vert\le\frac{\Vert A^{-1}\Vert}{1-r}

套用矩陣恆等式 B^{-1}-A^{-1}=-A^{-1}(B-A)B^{-1} (見“逆矩陣與恆等式”),代入 B=A+E,就有

\displaystyle  (A+E)^{-1}-A^{-1}=-A^{-1}E(A+E)^{-1}

所以我們得到

\displaystyle  \Vert (A+E)^{-1}-A^{-1}\Vert\le\Vert A^{-1}\Vert\cdot\Vert E\Vert\cdot\Vert (A+E)^{-1}\Vert\le\frac{\Vert E\Vert\cdot\Vert A^{-1}\Vert^2}{1-r}

廣告
本篇發表於 線性代數專欄, 數值線性代數 並標籤為 , , , , , 。將永久鏈結加入書籤。

發表迴響

在下方填入你的資料或按右方圖示以社群網站登入:

WordPress.com Logo

您的留言將使用 WordPress.com 帳號。 登出 / 變更 )

Twitter picture

您的留言將使用 Twitter 帳號。 登出 / 變更 )

Facebook照片

您的留言將使用 Facebook 帳號。 登出 / 變更 )

Google+ photo

您的留言將使用 Google+ 帳號。 登出 / 變更 )

連結到 %s