可逆矩陣定理

本文的閱讀等級：初級

可逆矩陣定理貫穿線性代數的許多重要主題，譬如線性方程、線性獨立、向量空間、行列式、特徵值與奇異值。不論是準備考試或自我充實，可逆矩陣定理好比「線代雞湯」，是極佳的觀念複習濃縮菁華。本文解釋部分推論路徑，但並未寫出全套證明，剩下未完成的工作就交給讀者朋友。

可逆矩陣定理

令 $A$ 為一個 $n\times n$ 階實矩陣 (若換成複矩陣，底下的 $\mathbb{R}^n$ 替換成 $\mathbb{C}^n$ )，可逆矩陣定理包含以下等價的陳述。

(1) $A$ 是可逆的，或者說存在 $A^{-1}$ 矩陣滿足 $A^{-1}A=I_n$ ， $I_n$ 是 $n$ 階單位矩陣；

(2) $A\mathbf{x}=\mathbf{0}$ 僅存在平凡解 $\mathbf{x}=\mathbf{0}$ ；

(3) $A\mathbf{x}=\mathbf{b}$ 有唯一解 $\mathbf{x}=A^{-1}\mathbf{b}$ ；

(4) $A$ 有 $n$ 個 (非零) 軸 (pivot)；

(5) $A$ 的簡約列梯形式 (reduced row echelon form) 為 $I_n$ ，或者說 $A$ 列等價於 $I_n$ ；

(6) $A$ 有線性獨立的行向量 (column vector)；

(7) $A$ 有線性獨立的列向量 (row vector)；

(8) $\mathrm{rank}A=n$ ；

(9) $A$ 的行空間 (column space) 為 $\mathbb{R}^n$ 或者說線性變換 $A:\mathbb{R}^n\to\mathbb{R}^n$ 是滿射 (onto，技術名詞為 surjective)；

(10) $A$ 的列空間 (row space) 為 $\mathbb{R}^n$ ；

(11) $A$ 的零空間 (nullspace) 為 $\{\mathbf{0}\}$ 或者說線性變換 $A:\mathbb{R}^n\to\mathbb{R}^n$ 是一對一 (one-to-one，技術名詞為 injective)；

(12) $A^T$ 的零空間為 $\{\mathbf{0}\}$ ；

(13) $\mathrm{det}A\neq 0$ ；

(14) $A$ 的特徵值不為零；

(15) $A^TA$ 是 (實對稱) 正定矩陣；

(16) $A$ 的奇異值 (singular value) 大於零。

線性方程解

(1) 設 $\mathbf{y}=A\mathbf{x}$ ，此式可視之為 $\mathbf{x}$ 經過線性變換 $A$ 得到 $\mathbf{y}$ 。若 $A$ 是可逆的，則可由 $\mathbf{y}$ 得回 $\mathbf{x}$ ，圖示如 $\mathbf{x}\overset{A}{\rightarrow}\mathbf{y}\overset{A^{-1}}{\rightarrow}\mathbf{x}$ ，顯然 $A^{-1}A=I$ ，這對 $\mathbf{x}$ 不起任何作用，同樣 $AA^{-1}=I$ 對 $\mathbf{y}$ 也不產生作用。你可以將此概念視為可逆矩陣的定義。

(1) $\Rightarrow$ (2) 若 $A$ 是可逆的，考慮 $A\mathbf{x}=\mathbf{0}$ ，等號兩端左乘 $A^{-1}$ ，左邊為 $A^{-1}A\mathbf{x}=I\mathbf{x}=\mathbf{x}$ ，右邊為 $A^{-1}\mathbf{0}=\mathbf{0}$ ，故 $\mathbf{x}=\mathbf{0}$ 。

(2) $\Rightarrow$ (3) 我們用逆否命題法來證明。假設方程式 $A\mathbf{x}=\mathbf{b}$ 有兩個相異解 $\mathbf{u}$ 和 $\mathbf{v}$ ，則 $A(\mathbf{u}-\mathbf{v})=A\mathbf{u}-A\mathbf{v}=\mathbf{b}-\mathbf{b}=\mathbf{0}$ ，即非平凡解滿足 $A\mathbf{x}=\mathbf{0}$ ，因此證明 $A\mathbf{x}=\mathbf{b}$ 必有唯一解。

消去法

(4) 在線性聯立方程組中，軸的作用是鎖定未知數。若方程組有唯一解，所有的未知數必須都被鎖定，因此一個軸都不可少。

(3) $\Rightarrow$ (5) 當方程組有唯一解 $\mathbf{x}=A^{-1}\mathbf{b}$ ，高斯—約當法將增廣矩陣 $\begin{bmatrix} A&\mathbf{b} \end{bmatrix}$ 化簡為 $\begin{bmatrix} I&A^{-1}\mathbf{b} \end{bmatrix}$ ，消去法求解的實質效果等於下面的矩陣乘法：

$A^{-1}\begin{bmatrix} A&\mathbf{b} \end{bmatrix}=\begin{bmatrix} A^{-1}A&A^{-1}\mathbf{b} \end{bmatrix}=\begin{bmatrix} I&A^{-1}\mathbf{b} \end{bmatrix}$ 。

線性獨立

(2) $\Rightarrow$ (6) 將 $A\mathbf{x}=\mathbf{0}$ 解讀為 $A$ 的行向量 $\mathbf{a}_1,\ldots,\mathbf{a}_n$ 之線性組合：

$\begin{bmatrix} \mathbf{a}_1&\cdots&\mathbf{a}_n \end{bmatrix}\begin{bmatrix} x_1\\ \vdots\\ x_n \end{bmatrix}=x_1\mathbf{a}_1+\cdots+x_n\mathbf{a}_n=\mathbf{0}$ 。

如果 $A\mathbf{x}=\mathbf{0}$ 僅存在平凡解 $\mathbf{x}=\mathbf{0}$ ，這等於宣告 $\mathbf{a}_1,\ldots,\mathbf{a}_n$ 是線性獨立的。

(4) $\Rightarrow$ (7) 使用逆否命題法。假如 $A$ 的列向量是線性相關，其中必定存在至少一列可表示其他列的線性組合，也就是說對 $A$ 執行高斯消去法將會產生至少一零列，這將使總軸數小於 $n$ 。

秩與向量空間

(8) 我們定義矩陣 $\mathrm{rank}A$ 為線性獨立的行 (列) 向量總數， $\mathrm{rank}A=n$ ，此結果從陳述 (6)，(7)。

(6) $\Rightarrow$ (9) 因為 $n$ 個線性獨立的 $n$ 維行向量可作為向量空間 $\mathbb{R}^n$ 的一組基底，故 $A$ 的行空間即為 $\mathbb{R}^n$ 。

(7) $\Rightarrow$ (10) 同樣道理， $n$ 個線性獨立的 $n$ 維列向量可以當作 $\mathbb{R}^n$ 的基底，所以 $A$ 的列空間也為 $\mathbb{R}^n$ 。

(2) $\Rightarrow$ (11) 方程式 $A\mathbf{x}=\mathbf{0}$ 僅存在平凡解 $\mathbf{x}=\mathbf{0}$ 說明 $A$ 的零空間僅含 $\mathbf{0}$ 。

(11) $\Rightarrow$ (12) 令 $B=A^T$ ，若 $A$ 可逆，則 $B$ 也是可逆的。因為 $A^T$ 的零空間等於 $B$ 的零空間，由 (11) 可知 $B$ 的零空間為 $\{\mathbf{0}\}$ 。

行列式

(13) 最直接的想法：如果 $\mathrm{det}A=0$ ，那麼克拉瑪公式便給不出唯一解了。

特徵值與奇異值

(13) $\Rightarrow$ (14) 矩陣 $A$ 的行列式等於其特徵值的乘積，由 (13) $\mathrm{det}A\neq 0$ ，因此 $A$ 的特徵值不為零。

(2) $\Rightarrow$ (15) 假如有 $\mathbf{x}\neq\mathbf{0}$ 使得 $\mathbf{x}^TA^TA\mathbf{x}=0$ ，也就是 $\Vert A\mathbf{x}\Vert^2=0$ ，推知 $A\mathbf{x}=\mathbf{0}$ ，這與 (2) 矛盾，故 $A^TA$ 是正定矩陣。

(14) $\Rightarrow$ (16) $A$ 的奇異值是 $A^TA$ 的特徵值的正平方根，利用正定矩陣的特徵值大於零此性質，所以 $A$ 的奇異值大於零。

3 Responses to 可逆矩陣定理

pp says:

04/28/2016 at 3:42 pm

「00
00 」

阿保 says:

08/04/2016 at 3:20 pm

如果我們A矩陣沒有可逆矩陣的話，有什麼方法可求出A*A^-1盡似於I呢?

- ccjou says:
  
  08/04/2016 at 3:26 pm
  
  請參考下文：
  https://ccjou.wordpress.com/2013/07/03/moore-penrose-%E5%81%BD%E9%80%86%E7%9F%A9%E9%99%A3/

	輕鬆談如何教學二項式定理？… on 牛頓的二項式定理 (上)
	madhouse on 高斯消去法
	WishMobile on 翻轉 LU 分解
	周子傑 on Karush-Kuhn-Tucker (KKT) 條件
	Cloud Huang on 線性泛函與伴隨
	jeff85898 on 利用分塊矩陣證明 det(AB)=(det A)(det…