矩陣與複數的類比

Posted on 03/04/2010 by ccjou

本文的閱讀等級：高級

定義於向量空間 $\mathbb{C}^n$ 的任一線性變換可以用一個 $n\times n$ 階複矩陣表示 (參考某基底)。除了少數特殊矩陣，如對角矩陣、投影矩陣、旋轉矩陣，和鏡射矩陣等，學者經常無法清楚地掌握矩陣變換的確實行為，主要原因是人們很難想像高維 ( $n>3$ ) 向量空間，遑論向量在這些空間中的變換。欲洞察任意方陣的映射行為雖非易事，但也不是全然無跡可循，本文介紹一個認識矩陣作為的方法──透過矩陣與複數的類比來區分界定重要的特殊方陣。對複矩陣陌生的讀者，請先閱讀背景文章 “從實數系到複數系”。

複數系 $\mathbb{C}$ 和複向量空間 $\mathbb{C}^n$ 擁有許多相同的代數性質，例如，二者都有加法、乘法，運算規則，以及定義良好的加法單位元素 $0$ 和乘法單位元素 $1$ ( $\mathbb{C}^n$ 空間則為零矩陣 $0$ 和單位矩陣 $I$ )，還有一項稱為共軛轉置。設 $z\in\mathbb{C}$ ， $A=[a_{ij}]$ 為 $n$ 階複方陣， $z$ 和 $A$ 滿足下面這個性質： $\overline{\overline{z}}=z$ 和 $(A^{\ast})^{\ast}=A$ ，其中 $A^{\ast}=\overline{A}^T$ ，也就是 $(A^{\ast})_{ij}=\overline{a_{ji}}$ 。以複矩陣的共軛轉置 ( $A\rightarrow A^{\ast}$ ) 與複數的共軛 ( $z\rightarrow\overline{z}$ ) 類比，可以很容易明瞭複方陣及其代表的線性變換具有何種作為與性質。(注意，純量的轉置即為其自身， $z^{T}=z$ 。) 複數平面上最重要的幾個子集合包括：實數集、純虛數集、正實數集，和絕對值為 $1$ 的複數所形成的集合，我們將分別討論對應這四個子集合的矩陣型態。

複數 $z$ 必須滿足什麼條件方為實數？答案是 $z=\overline{z}$ 。仿照這個概念可以定義「若 $A=A^{\ast}$ ，則方陣 $A$ 是實的 (real)。」不過沒有人會說「方陣是實的」，數學家稱它為「自伴 (self-adjoint)」。自伴一詞不常出現在基礎線性代數教科書裡；對於實矩陣，自伴其實就是我們熟悉的對稱 (symmetric)，複矩陣則叫做 Hermitian。以下我們提到 Hermitian，讀者就應將它與實數聯想在一起，這能幫助我們記得 Hermitian 矩陣的一些性質。譬如，若 $A$ 和 $B$ 是 Hermitian 矩陣，則 $A+B$ 也是 Hermitian；若 $A$ 是 Hermitian，則 $cA$ 也是Hermitian，但條件是純量 $c$ 為實數；若可逆矩陣 $A$ 是 Hermitian， $A^{-1}$ 也是 Hermitian。那麼兩 Hermitian 矩陣的乘積是否仍為 Hermitian？不對。矩陣乘法是延伸代數法則時最常出錯的地方，正確的敘述應為：

若 $A$ 和 $B$ 是 Hermitian，則 $AB$ 或 $BA$ 為 Hermitian 的充要條件是 $A$ 和 $B$ 是可交換矩陣，即 $AB=BA$ 。

證明如下：若 $AB=BA$ ，則 $(AB)^{\ast}=B^{\ast}A^{\ast}=BA=AB$ 。若 $(AB)^{\ast}=AB$ ，則 $AB=(AB)^{\ast}=B^{\ast}A^{\ast}=BA$ 。

複數 $z$ 為純虛數的條件為何？答案是 $\overline{z}=-z$ 。當然我們可以設想矩陣也有類似的陳述：「若 $A^{\ast}=-A$ ，則方陣 $A$ 是純虛的 (imaginary)。」數學家稱此性質為 skew，意思是「偏斜」，實矩陣和複矩陣的對應名稱分別是斜對稱 (或反對稱，anti-symmetric) 和 skew-Hermitian。既然任意複數 $z$ 可表示為 $z=a+ib$ $(i=\sqrt{-1})$ ，其中 $a$ ， $b$ 為實數，很自然地，我們不免好奇：任意方陣是否可分解為 $A=B+C$ ，其中 $B$ 是 Hermitian， $B^{\ast}=B$ ，而 $C$ 是 skew-Hermitian， $C^{\ast}=-C$ ？或分解為 $A=B+iD$ ，其中 $B$ 和 $D$ 都是 Hermitian 矩陣？考慮

$B=\displaystyle\frac{1}{2}(A+A^{\ast})$

$C=\displaystyle\frac{1}{2}(A-A^{\ast})$

則 $B^{\ast}=(A^{\ast}+A)/2=B$ 且 $C^{\ast}=(A^{\ast}-A)/2=-C$ 。令 $D=C/i=(A-A^{\ast})/(2i)$ ，則 $D^{\ast}=(A^{\ast}-A)/(-2i)=D$ 。這說明任意方陣都可以分解為 Hermitian 矩陣 (對應複數的實部) 與 skew-Hermitian 矩陣 (對應複數的虛部) 之和，稱為 Hermitian 分解或卡氏 (Cartesian) 分解。

複數 $z$ 為正實數的條件是什麼？ $z>0$ 的條件是 $z$ 可以表示為 $z=w^2$ ， $w$ 為非零實數，或 $z$ 可表為 $z=\overline{y}{y}$ ， $y$ 為非零複數。“特殊矩陣 (9)：Hermitian 矩陣”曾經介紹：若 $A$ 是 Hermitian，對於任意向量 $\mathbf{x}$ ， $\mathbf{x}^{\ast}A\mathbf{x}$ 是實數。利用此性質再加上前述兩個複數為正實數的條件，我們也可以想像「方陣 $A$ 是正的 (positive)」，如果以下任一條件成立：

(1) $A=B^2$ ， $B$ 為可逆 Hermitian 矩陣。

(2) $A=C^{\ast}C$ ， $C$ 為可逆矩陣。

(3) $A$ 為 Hermitian，且對於任意非零向量 $\mathbf{x}$ ， $\mathbf{x}^{\ast}A\mathbf{x}>0$ 。

數學家最後選擇了條件 (3) 當作定義並稱它為正定 (positive definite)。正定矩陣的詳細討論請見“正定矩陣的性質與判別方法”。事實上，上述三個條件是等價的，下面證明 (1)→(2)→(3)→(1)。若 $A=B^2$ 且 $B=B^{\ast}$ ，則 $A=BB=B^{\ast}B$ 。若 $A=C^{\ast}C$ ，則 $A^{\ast}=C^{\ast}C=A$ ，且 $\mathbf{x}^{\ast}A\mathbf{x}=\mathbf{x}^{\ast}C^{\ast}C\mathbf{x}=(C\mathbf{x})^{\ast}(C\mathbf{x})=\Vert C\mathbf{x}\Vert^2>0$ ，因 $C$ 可逆且 $\mathbf{x}\neq\mathbf{0}$ 。若 (3) 成立， $A$ 的零空間僅有 $\mathbf{0}$ ，故 $A$ 是可逆矩陣。設 $A$ 的奇異值分解為 $A=U\Sigma V^{\ast}$ ，其中 $\Sigma=\mbox{diag}(\sigma_1,\ldots,\sigma_n)$ ， $\sigma_i>0$ $(i=1,\ldots,n)$ ， $U^{\ast}=U^{-1}$ 和 $V^{\ast}=V^{-1}$ ，則 $A^{\ast}=V\Sigma U^{\ast}$ 。因為 $A=A^{\ast}$ ，可以證明 $U=V$ (見附註^[1])。令 $\sqrt{\Sigma}=\mbox{diag}(\sqrt{\sigma_1},\ldots,\sqrt{\sigma_n})$ 。所以，

$\begin{aligned} A&=U\Sigma U^{\ast}\\ &=U(\sqrt{\Sigma})^2U^{\ast}\\ &=U\sqrt{\Sigma}U^{\ast}U\sqrt{\Sigma}U^{\ast}\\ &=(U\sqrt{\Sigma}U^{\ast})^2=B^2\end{aligned}$

明顯地， $B=U\sqrt{\Sigma}U^{\ast}$ 是 Hermitian。

複數 $z$ 的長度為 $1$ 的條件是什麼？答案是 $\overline{z}=1/z$ 。同樣地，如果方陣 $U$ 滿足 $U^{\ast}=U^{-1}$ ，也就有 $UU^{\ast}=U^{\ast}U=I$ ，此式可以解讀為「長度等於 $1$ 的矩陣」。若 $U$ 為實矩陣，稱為正交 (orthogonal) 矩陣；若 $U$ 為複矩陣，則稱為么正矩陣或酉矩陣 (unitary)。類似絕對值為1的複數， $\vert z\vert=1$ ，么正矩陣也有三個等價的性質 (見“特殊矩陣(3)：么正矩陣(酉矩陣)”)：

(1) $U^{\ast}U=I$

(2) 對於任意 $\mathbf{x}$ 和 $\mathbf{y}$ ， $(U\mathbf{x})^{\ast}(U\mathbf{y})=\mathbf{x}^{\ast}\mathbf{y}$ 。

(3) 對於任意 $\mathbf{x}$ ， $\Vert U\mathbf{x}\Vert=\Vert\mathbf{x}\Vert$ 。

也就是說，么正矩陣所執行的線性變換不改變兩向量間的夾角，也不會改變向量長度。兩么正矩陣乘積亦為么正矩陣，么正矩陣的逆矩陣也為么正矩陣，這與複數性質相同。設 $U^{\ast}=U^{-1}$ ， $V^{\ast}=V^{-1}$ ，則 $(UV)^{\ast}=V^{\ast}U^{\ast}=V^{-1}U^{-1}=(UV)^{-1}$ ， $(U^{-1})^{\ast}=(U^{\ast})^{\ast}=U$ 。

最後一個問題：複數可以用極座標表示為 $z=r e^{i\theta}$ ， $r\ge 0$ ， $\vert e^{i\theta}\vert=1$ ，那麼複矩陣是否也有對應的形式呢？有的，它稱為極分解 (polar decomposition)，形式如 $A=SU$ (詳見“極分解”)， $S$ 是半正定矩陣， $U$ 是么正矩陣； $S$ 對應複數的長度 $r$ ， $U$ 對應單位圓上的旋轉量 $e^{i\theta}$ 。極分解可由奇異值分解推導而得。設 $A$ 的奇異值分解為 $A=W\Sigma V^{\ast}$ ，對角矩陣 $\Sigma$ 的主對角元皆不小於零，故 $\Sigma$ 為半正定，且 $W^{\ast}=W^{-1}$ ， $V^{\ast}=V^{-1}$ ，所以

$A=(W\Sigma W^{\ast})(WV^{\ast})=SU$

其中 $S=W\Sigma W^{\ast}$ 是 Hermitian 半正定，因 $\mathbf{x}^{\ast}W\Sigma W^{\ast}\mathbf{x}=(W^{\ast}\mathbf{x})^{\ast}\Sigma(W^{\ast}\mathbf{x})\ge 0$ ，而 $U=WV^{\ast}$ 亦為么正矩陣。另外，極分解也可表示為 $A=US^{\prime}$ ，不難驗證 $S^{\prime}=V\Sigma V^{\ast}$ 。

在複數平面上，與複數 $z=re^{i\theta}$ 相乘的意義是將長度拉伸 $r$ 倍並旋轉 $\theta$ 弧度。在向量空間 $\mathbb{C}^n$ 中，極分解 $A=SU$ 將線性變換 $A$ 分解成拉伸 $S$ 和旋轉 $U$ 二部分。反過來說，從極分解也能推演出前述各個集合，作法仍是將極分解與複數極座標聯想在一起。

(1) $z$ 為實數的條件是 $e^{i\theta}=e^{-i\theta}$ 。若 $U=U^{\ast}$ ， $U$ 是 Hermitian，因為 $S$ 也是 Hermitian，前面曾經說明 $A^{\ast}=A$ 要成立必須滿足乘法交換律 $SU=US$ 。

(2) $z$ 是純虛數的條件是 $e^{-i\theta}=-e^{i\theta}$ 。若 $U^{\ast}=-U$ ， $U$ 是 skew-Hermitian，因為 $S$ 是 Hermitian， $A^{\ast}=(SU)^{\ast}=U^{\ast}S^{\ast}=-US$ ，故 $A^{\ast}=-A$ 的條件還要加上 $SU=US$ 。

(3) $z$ 為正實數的條件是 $\theta=0$ ，即 $e^{i\theta}=1$ 。類比陳述 $A$ 為半正定的條件是 $U=WV^{\ast}=I$ ，故 $W=V$ ，所以得到 $A=V\Sigma V^{\ast}$ ，我們說 $A$ 是可么正對角化（unitarily diagonalizable），主對角奇異值矩陣 $\Sigma$ 包含大於或等於零的主對角元。

(4) $z$ 的絕對值為1的條件是 $r=1$ ，因此 $A$ 為么正矩陣的條件是 $S=W\Sigma W^{\ast}=I$ ，或 $\Sigma=W^{\ast}SW=I$ ，這說明了 $A$ 的所有奇異值為 $1$ (但 $A$ 的特徵值未必為 $1$ )。

不止矩陣可以和複數類比，矩陣的特徵值根本就與所類比的複數擁有相同的性質。Hermitian 矩陣的特徵值為實數 (“特殊矩陣 (9)：Hermitian 矩陣”)，skew-Hermitian 矩陣的特徵值為純虛數 (“特殊矩陣 (2)：正規矩陣”)，正定矩陣的特徵值為正實數 (“特殊矩陣 (6)：正定矩陣”)，么正矩陣的特徵值其絕對值為 $1$ (“特殊矩陣 (3)：么正矩陣(酉矩陣)”)。

最後我將矩陣與複數的類比整理如下 (見下表)：

Hermitian 矩陣 $A^{\ast}=A$ 對應實數 $\overline{z}=z$ ；
Skew-Hermitian 矩陣 $A^{\ast}=-A$ 對應純虛數 $\overline{z}=-z$ ；
正定矩陣對應正實數 $z>0$ ；
么正矩陣 $U^{\ast}=U^{-1}$ 對應長度為 $1$ 的複數 $\overline{z}=1/z$ ；
極分解 $A=SU$ 對應複數的極座標表示 $z=re^{i\theta}$ ，半正定矩陣 $S$ 對應長度 $\vert z\vert=r$ ，么正矩陣 $U$ 對應旋轉 $e^{i\theta}$ 。

複數與矩陣的類比表

附註：
[1] 因為 $A^\ast=A$ ，可得 $A^2=A^\ast A=V\Sigma U^\ast U\Sigma V^\ast=V\Sigma^2 V^\ast$ 。若 $A=V\Sigma V^\ast$ ，則每一 $\mathbf{x}\neq\mathbf{0}$ 使得 $\mathbf{x}^\ast A\mathbf{x}=(V^\ast\mathbf{x})^\ast\Sigma(V^\ast\mathbf{x})>0$ 。下面證明 $A=V\Sigma V^\ast$ 具有唯一性。假設 $B=P\Sigma P^\ast$ 使得 $B^2=V\Sigma^2 V$ ，其中 $P^\ast P=I$ 。將 $P\Sigma^2 P^\ast=V\Sigma^2 V^\ast$ 改寫為 $W\Sigma^2=\Sigma^2W$ ，其中 $W=[w_{ij}]=V^\ast P$ 滿足 $W^\ast W=I$ 。比較上式等號兩邊的 $(i,j)$ 元， $w_{ij}\sigma_j^2=\sigma_i^2w_{ij}$ ，也就有 $w_{ij}\sigma_{j}=\sigma_iw_{ij}$ ，或 $W\Sigma=\Sigma W$ 。所以，

$B=P\Sigma P^\ast=VW\Sigma W^\ast V^\ast=V\Sigma V^\ast=A$

This entry was posted in 線性代數專欄, 二次型 and tagged 複數, Hermitian 矩陣, SVD, 反 Hermitian 矩陣, 可交換矩陣, 奇異值分解, 極分解, 正定矩陣, 正交矩陣, 么正矩陣. Bookmark the permalink.

21 Responses to 矩陣與複數的類比

Watt Lin says:

03/04/2010 at 8:41 pm

老師：

建議您把最後一段 “矩陣與複數的類比” 整理
改用 “表格” 方式來呈現，
可以讓讀者觀念更清晰。

謝謝！

Reply
ccjou says:

03/05/2010 at 8:52 am

謝謝建議，已放上類比整理表，只是解析度不佳。

Reply
Watt Lin says:

03/06/2010 at 9:21 am

建議老師把表格 Transpose

複數、矩陣：在第一列
實數、Hermitian：第二列
純虛數、skew-Hermitian：第三列
正實數、正定：第四列
單位長、酉unitary：第五列

表格只有兩欄，字級可加大，會看得更清楚！

Reply
kevin says:

03/06/2010 at 8:34 pm

老師你好，因為我明年就要考試了，所以想找一些清大交大用的現性代數的原文書，能不能請老師跟我說一下書名呢??
謝謝!!!!

Reply
Watt Lin says:

03/06/2010 at 8:58 pm

今天上午，用辦公室的電腦 (螢幕解析度800 x 600 ，也有切換到 1024 x 768測試)， Windows環境以 Microsoft IE 6.0 瀏覽，表格很奇怪，而且等號看起來變成減號，中文字不清楚。

回家用自己的Mac瀏覽，使用FireFox 3.6，表格看起來正常，等號及中文字也很清楚。

老師若考慮在不同作業系統、不同瀏覽軟體皆能良好呈現表格，
大概需要事先把表格的size縮小，這樣才不會在低解析度環境下，圖形被自動再縮小一次而影響解析度。

今天上午建議表格Transpose是一種方法，也許老師會有更好的方法來呈現。

Reply
ccjou says:

03/07/2010 at 10:17 am

To Kevin,

以下是目前各學校使用的教科書，各班可能採用不同教科書。

Gilbert Strang, Introduction to linear algebra, 4th ed., Wellesley-Cambridge Press, 2009.(交大電機，清大電機)

Howard Anton, Elementary Linear Algebra, 9th ed., John Wiley & Sons, Inc, 2005.(交大電機)

Spence, Insel, and Friedberg, Elementary Linear Algebra, 2nd ed., Pearson Education, 2008. (交大電機資訊學士班，台大電機系)

Friedberg, Insel, and Spence, Linear Algebra, 4th Ed, Prentice Hall, 2003.(清大電機系)

Reply
ccjou says:

03/07/2010 at 10:22 am

我在 Windows 環境以三種瀏覽器開啟本頁，結果是
google 及 ie8 —> 很清楚
firebox —> 不佳，字體破碎

你建議的方法我會再試試，謝謝。

Reply
Anonymous says:

03/08/2010 at 1:25 pm

我在Windows環境又測試，FireFox顯示正常，不會破碎。
但是ie6會有字體破碎之現象，等號變成減號。

Reply
ccjou says:

03/08/2010 at 2:33 pm

我採用了Watt Lin 的建議：從小畫家讀入原圖PDF檔，長寬縮小後另存圖檔，再將此圖貼上（不再縮小），結果如上。從我的電腦看起來還算清晰，如果讀者仍看見破碎字體請留言告訴我。

Reply
Watt Lin says:

03/08/2010 at 4:51 pm

現在用ie6來看，可以正常顯示了！
謝謝老師！效率真好。

Reply
ccjou says:

03/10/2010 at 5:01 pm

昨日突然發覺竟然忘記將矩陣最重要的性質「特徵值」放上來比較。
我將各類型矩陣的特徵值性質補充於後，並加註引用來源，之前做好的表也跟著修改了。

Reply
Watt Lin says:

03/10/2010 at 7:09 pm

「特徵值」放進來，
這樣，愈看愈有趣了！

Reply
lisp21 says:

08/03/2010 at 3:23 pm

complex number 可同构为2dimensional Conformal linear transformation

Reply
ccjou says:

08/04/2010 at 8:43 am

complex number 可同构为2dimensional Conformal linear transformation

是的。詳見’解讀複數特徵值’

Reply
GSX says:

09/12/2010 at 1:04 am

講這個的話應該可以提一下數值域(numerical range)，就可以完整的對到複數

Reply
涂瑋辰 says:

07/24/2015 at 1:12 am

有個地方有一點疑問，3推1的時候A做了svd分解,為什麼A=A*可以得到U=V？個人在證3到1時是使用A is self adj ，則存在一組. Orthon eingenbase(unitary equav to diag matrix)在利用其eingenvalue大於0之後就跟老師一樣了

Reply
- ccjou says:
  
  07/24/2015 at 4:29 pm
  
  若 $A=A^\ast$ ，則 $A$ 可正交對角化為 $A=QDQ^\ast$ ，其中 $Q^\ast=Q$ ， $D$ 是對角矩陣。
  
  Reply
  - 涂瑋辰 says:
    
    07/24/2015 at 7:30 pm
    
    老師的意思是說A=A*，則A的svd是唯一的嗎.可是一矩陣的svd不是唯一不是嗎,而且如果A=A*則保證它的svd剛好是unitary equav to diag matrix嗎 ?
    
    Reply
    - 涂瑋辰 says:
      
      07/25/2015 at 12:03 am
      
      原來是這樣想A*A是半正定，在算他的長相，也知道那樣令B會是半正定（事實上是正定），因為（sigma)是正定，算出來A^2=B^2，在利用那招便知道A=B，最後V and sigma is invertiable變的到結論這一招很漂亮呢多了一種3到一的看法
      感謝老師
      
      Reply
ccjou says:

07/24/2015 at 11:19 pm

我們要證明的是 $U=V$ ，這與SVD的唯一性無關。

$A^\ast=A$ 與 $A=U\Sigma V^\ast$ 可得 $A^2=A^\ast A=V\Sigma U^\ast U\Sigma V^\ast=V\Sigma^2 V^\ast$ ，存在唯一半正定矩陣 $B=V\Sigma V^\ast$ 使得 $B^2=A^2$ ，故 $A=B$ ，理由見下文定理四
https://ccjou.wordpress.com/2011/05/11/%E5%8D%8A%E6%AD%A3%E5%AE%9A%E7%9F%A9%E9%99%A3%E7%9A%84%E5%81%8F%E5%BA%8F%E9%97%9C%E4%BF%82/

Reply
- 涂瑋辰 says:
  
  07/25/2015 at 12:02 am
  
  原來是這樣想A*A是半正定，在算他的長相，也知道那樣令B會是半正定（事實上是正定），因為（sigma)是正定，算出來A^2=B^2，在利用那招便知道A=B，最後V and sigma is invertiable變的到結論這一招很漂亮呢多了一種3到一的看法
  感謝老師
  
  Reply

	陳倍恩 on 線性代數的第一堂課──矩陣乘法的定義
	輕鬆談如何教學二項式定理？… on 牛頓的二項式定理 (上)
	madhouse on 高斯消去法
	WishMobile on 翻轉 LU 分解
	周子傑 on Karush-Kuhn-Tucker (KKT) 條件
	Cloud Huang on 線性泛函與伴隨