矩陣與複數的類比

本文的閱讀等級:高級

定義於向量空間 \mathbb{C}^n 的任一線性變換可以用一個 n\times n 階複矩陣表示 (參考某基底)。除了少數特殊矩陣,如對角矩陣、投影矩陣、旋轉矩陣,和鏡射矩陣等,學者經常無法清楚地掌握矩陣變換的確實行為,主要原因是人們很難想像高維 (n>3) 向量空間,遑論向量在這些空間中的變換。欲洞察任意方陣的映射行為雖非易事,但也不是全然無跡可循,本文介紹一個認識矩陣作為的方法──透過矩陣與複數的類比來區分界定重要的特殊方陣。對複矩陣陌生的讀者,請先閱讀背景文章 “從實數系到複數系”。

 
複數系 \mathbb{C} 和複向量空間 \mathbb{C}^n 擁有許多相同的代數性質,例如,二者都有加法、乘法,運算規則,以及定義良好的加法單位元素 0 和乘法單位元素 1 (\mathbb{C}^n 空間則為零矩陣 0 和單位矩陣 I),還有一項稱為共軛轉置。設 z\in\mathbb{C}A=[a_{ij}]n 階複方陣,zA 滿足下面這個性質: \overline{\overline{z}}=z(A^{\ast})^{\ast}=A,其中 A^{\ast}=\overline{A}^T,也就是 (A^{\ast})_{ij}=\overline{a_{ji}}。以複矩陣的共軛轉置 (A\rightarrow A^{\ast}) 與複數的共軛 (z\rightarrow\overline{z}) 類比,可以很容易明瞭複方陣及其代表的線性變換具有何種作為與性質。(注意,純量的轉置即為其自身,z^{T}=z。) 複數平面上最重要的幾個子集合包括:實數集、純虛數集、正實數集,和絕對值為 1 的複數所形成的集合,我們將分別討論對應這四個子集合的矩陣型態。

 
複數 z 必須滿足什麼條件方為實數?答案是 z=\overline{z}。仿照這個概念可以定義「若 A=A^{\ast},則方陣 A 是實的 (real)。」不過沒有人會說「方陣是實的」,數學家稱它為「自伴 (self-adjoint)」。自伴一詞不常出現在基礎線性代數教科書裡;對於實矩陣,自伴其實就是我們熟悉的對稱 (symmetric),複矩陣則叫做 Hermitian。以下我們提到 Hermitian,讀者就應將它與實數聯想在一起,這能幫助我們記得 Hermitian 矩陣的一些性質。譬如,若 AB 是 Hermitian 矩陣,則 A+B 也是 Hermitian;若 A 是 Hermitian,則 cA 也是Hermitian,但條件是純量 c 為實數;若可逆矩陣 A 是 Hermitian,A^{-1} 也是 Hermitian。那麼兩 Hermitian 矩陣的乘積是否仍為 Hermitian?不對。矩陣乘法是延伸代數法則時最常出錯的地方,正確的敘述應為:

AB 是 Hermitian,則 ABBA 為 Hermitian 的充要條件是 AB 是可交換矩陣,即 AB=BA

證明如下:若 AB=BA,則 (AB)^{\ast}=B^{\ast}A^{\ast}=BA=AB。若 (AB)^{\ast}=AB,則 AB=(AB)^{\ast}=B^{\ast}A^{\ast}=BA

 
複數 z 為純虛數的條件為何?答案是 \overline{z}=-z。當然我們可以設想矩陣也有類似的陳述:「若 A^{\ast}=-A,則方陣 A 是純虛的 (imaginary)。」數學家稱此性質為 skew,意思是「偏斜」,實矩陣和複矩陣的對應名稱分別是斜對稱 (或反對稱,anti-symmetric) 和 skew-Hermitian。既然任意複數 z 可表示為 z=a+ib (i=\sqrt{-1}),其中 ab 為實數,很自然地,我們不免好奇:任意方陣是否可分解為 A=B+C,其中 B 是 Hermitian,B^{\ast}=B,而 C 是 skew-Hermitian,C^{\ast}=-C?或分解為 A=B+iD,其中 BD 都是 Hermitian 矩陣?考慮

B=\displaystyle\frac{1}{2}(A+A^{\ast})

C=\displaystyle\frac{1}{2}(A-A^{\ast})

B^{\ast}=(A^{\ast}+A)/2=BC^{\ast}=(A^{\ast}-A)/2=-C。令 D=C/i=(A-A^{\ast})/(2i),則 D^{\ast}=(A^{\ast}-A)/(-2i)=D。這說明任意方陣都可以分解為 Hermitian 矩陣 (對應複數的實部) 與 skew-Hermitian 矩陣 (對應複數的虛部) 之和,稱為 Hermitian 分解或卡氏 (Cartesian) 分解。

 
複數 z 為正實數的條件是什麼?z>0 的條件是 z 可以表示為 z=w^2w 為非零實數,或 z 可表為 z=\overline{y}{y}y 為非零複數。“特殊矩陣 (9):Hermitian 矩陣”曾經介紹:若 A 是 Hermitian,對於任意向量 \mathbf{x}\mathbf{x}^{\ast}A\mathbf{x} 是實數。利用此性質再加上前述兩個複數為正實數的條件,我們也可以想像「方陣 A 是正的 (positive)」,如果以下任一條件成立:

(1) A=B^2B 為可逆 Hermitian 矩陣。

(2) A=C^{\ast}CC 為可逆矩陣。

(3) A 為 Hermitian,且對於任意非零向量 \mathbf{x}\mathbf{x}^{\ast}A\mathbf{x}>0

數學家最後選擇了條件 (3) 當作定義並稱它為正定 (positive definite)。正定矩陣的詳細討論請見“正定矩陣的性質與判別方法”。事實上,上述三個條件是等價的,下面證明 (1)→(2)→(3)→(1)。若 A=B^2B=B^{\ast},則 A=BB=B^{\ast}B。若 A=C^{\ast}C,則 A^{\ast}=C^{\ast}C=A,且 \mathbf{x}^{\ast}A\mathbf{x}=\mathbf{x}^{\ast}C^{\ast}C\mathbf{x}=(C\mathbf{x})^{\ast}(C\mathbf{x})=\Vert C\mathbf{x}\Vert^2>0,因 C 可逆且 \mathbf{x}\neq\mathbf{0}。若 (3) 成立,A 的零空間僅有 \mathbf{0},故 A 是可逆矩陣。設 A 的奇異值分解為 A=U\Sigma V^{\ast},其中 \Sigma=\mbox{diag}(\sigma_1,\ldots,\sigma_n)\sigma_i>0 (i=1,\ldots,n)U^{\ast}=U^{-1}V^{\ast}=V^{-1},則 A^{\ast}=V\Sigma U^{\ast}。因為 A=A^{\ast},可以證明 U=V (見附註[1])。令 \sqrt{\Sigma}=\mbox{diag}(\sqrt{\sigma_1},\ldots,\sqrt{\sigma_n})。所以,

\begin{aligned}  A&=U\Sigma U^{\ast}\\  &=U(\sqrt{\Sigma})^2U^{\ast}\\  &=U\sqrt{\Sigma}U^{\ast}U\sqrt{\Sigma}U^{\ast}\\  &=(U\sqrt{\Sigma}U^{\ast})^2=B^2\end{aligned}

明顯地,B=U\sqrt{\Sigma}U^{\ast} 是 Hermitian。

 
複數 z 的長度為 1 的條件是什麼?答案是 \overline{z}=1/z。同樣地,如果方陣 U 滿足 U^{\ast}=U^{-1},也就有 UU^{\ast}=U^{\ast}U=I,此式可以解讀為「長度等於 1 的矩陣」。若 U 為實矩陣,稱為正交 (orthogonal) 矩陣;若 U 為複矩陣,則稱為么正矩陣或酉矩陣 (unitary)。類似絕對值為1的複數,\vert z\vert=1,么正矩陣也有三個等價的性質 (見“特殊矩陣(3):么正矩陣(酉矩陣)”):

(1) U^{\ast}U=I

(2) 對於任意 \mathbf{x}\mathbf{y}(U\mathbf{x})^{\ast}(U\mathbf{y})=\mathbf{x}^{\ast}\mathbf{y}

(3) 對於任意 \mathbf{x}\Vert U\mathbf{x}\Vert=\Vert\mathbf{x}\Vert

也就是說,么正矩陣所執行的線性變換不改變兩向量間的夾角,也不會改變向量長度。兩么正矩陣乘積亦為么正矩陣,么正矩陣的逆矩陣也為么正矩陣,這與複數性質相同。設 U^{\ast}=U^{-1}V^{\ast}=V^{-1},則 (UV)^{\ast}=V^{\ast}U^{\ast}=V^{-1}U^{-1}=(UV)^{-1}(U^{-1})^{\ast}=(U^{\ast})^{\ast}=U

 
最後一個問題:複數可以用極座標表示為 z=r e^{i\theta}r\ge 0\vert e^{i\theta}\vert=1,那麼複矩陣是否也有對應的形式呢?有的,它稱為極分解 (polar decomposition),形式如 A=SU (詳見“極分解”),S 是半正定矩陣,U 是么正矩陣;S 對應複數的長度 rU 對應單位圓上的旋轉量 e^{i\theta}。極分解可由奇異值分解推導而得。設 A 的奇異值分解為 A=W\Sigma V^{\ast},對角矩陣 \Sigma 的主對角元皆不小於零,故 \Sigma 為半正定,且 W^{\ast}=W^{-1}V^{\ast}=V^{-1},所以

A=(W\Sigma W^{\ast})(WV^{\ast})=SU

其中 S=W\Sigma W^{\ast} 是 Hermitian 半正定,因 \mathbf{x}^{\ast}W\Sigma W^{\ast}\mathbf{x}=(W^{\ast}\mathbf{x})^{\ast}\Sigma(W^{\ast}\mathbf{x})\ge 0,而 U=WV^{\ast} 亦為么正矩陣。另外,極分解也可表示為 A=US^{\prime},不難驗證 S^{\prime}=V\Sigma V^{\ast}

 
在複數平面上,與複數 z=re^{i\theta} 相乘的意義是將長度拉伸 r 倍並旋轉 \theta 弧度。在向量空間 \mathbb{C}^n 中,極分解 A=SU 將線性變換 A 分解成拉伸 S 和旋轉 U 二部分。反過來說,從極分解也能推演出前述各個集合,作法仍是將極分解與複數極座標聯想在一起。

(1) z 為實數的條件是 e^{i\theta}=e^{-i\theta}。若 U=U^{\ast}U 是 Hermitian,因為 S 也是 Hermitian,前面曾經說明 A^{\ast}=A 要成立必須滿足乘法交換律 SU=US

(2) z 是純虛數的條件是 e^{-i\theta}=-e^{i\theta}。若 U^{\ast}=-UU 是 skew-Hermitian,因為 S 是 Hermitian,A^{\ast}=(SU)^{\ast}=U^{\ast}S^{\ast}=-US,故 A^{\ast}=-A 的條件還要加上 SU=US

(3) z 為正實數的條件是 \theta=0,即 e^{i\theta}=1。類比陳述 A 為半正定的條件是 U=WV^{\ast}=I,故 W=V,所以得到 A=V\Sigma V^{\ast},我們說 A 是可么正對角化(unitarily diagonalizable),主對角奇異值矩陣 \Sigma 包含大於或等於零的主對角元。

(4) z 的絕對值為1的條件是 r=1,因此 A 為么正矩陣的條件是 S=W\Sigma W^{\ast}=I,或 \Sigma=W^{\ast}SW=I,這說明了 A 的所有奇異值為 1 (但 A 的特徵值未必為 1)。

 
不止矩陣可以和複數類比,矩陣的特徵值根本就與所類比的複數擁有相同的性質。Hermitian 矩陣的特徵值為實數 (“特殊矩陣 (9):Hermitian 矩陣”),skew-Hermitian 矩陣的特徵值為純虛數 (“特殊矩陣 (2):正規矩陣”),正定矩陣的特徵值為正實數 (“特殊矩陣 (6):正定矩陣”),么正矩陣的特徵值其絕對值為 1 (“特殊矩陣 (3):么正矩陣(酉矩陣)”)。

 
最後我將矩陣與複數的類比整理如下 (見下表):

  • Hermitian 矩陣 A^{\ast}=A 對應實數 \overline{z}=z
  • Skew-Hermitian 矩陣 A^{\ast}=-A 對應純虛數 \overline{z}=-z
  • 正定矩陣對應正實數 z>0
  • 么正矩陣 U^{\ast}=U^{-1} 對應長度為 1 的複數 \overline{z}=1/z
  • 極分解 A=SU 對應複數的極座標表示 z=re^{i\theta},半正定矩陣 S 對應長度 \vert z\vert=r,么正矩陣 U 對應旋轉 e^{i\theta}

複數與矩陣的類比表

 
附註:
[1] 因為 A^\ast=A,可得 A^2=A^\ast A=V\Sigma U^\ast U\Sigma V^\ast=V\Sigma^2 V^\ast。若 A=V\Sigma V^\ast,則每一 \mathbf{x}\neq\mathbf{0} 使得 \mathbf{x}^\ast A\mathbf{x}=(V^\ast\mathbf{x})^\ast\Sigma(V^\ast\mathbf{x})>0。下面證明 A=V\Sigma V^\ast 具有唯一性。假設 B=P\Sigma P^\ast 使得 B^2=V\Sigma^2 V,其中 P^\ast P=I。將 P\Sigma^2 P^\ast=V\Sigma^2 V^\ast 改寫為 W\Sigma^2=\Sigma^2W,其中 W=[w_{ij}]=V^\ast P 滿足 W^\ast W=I。比較上式等號兩邊的 (i,j) 元,w_{ij}\sigma_j^2=\sigma_i^2w_{ij},也就有 w_{ij}\sigma_{j}=\sigma_iw_{ij},或 W\Sigma=\Sigma W。所以,

B=P\Sigma P^\ast=VW\Sigma W^\ast V^\ast=V\Sigma V^\ast=A

This entry was posted in 線性代數專欄, 二次型 and tagged , , , , , , , , , . Bookmark the permalink.

21 則回應給 矩陣與複數的類比

  1. Watt Lin 說:

    老師:

    建議您把最後一段 “矩陣與複數的類比" 整理
    改用 “表格" 方式來呈現,
    可以讓讀者觀念更清晰。

    謝謝!

  2. ccjou 說:

    謝謝建議,已放上類比整理表,只是解析度不佳。

  3. Watt Lin 說:

    建議老師把表格 Transpose

    複數、矩陣:在第一列
    實數、Hermitian:第二列
    純虛數、skew-Hermitian:第三列
    正實數、正定:第四列
    單位長、酉unitary:第五列

    表格只有兩欄,字級可加大,會看得更清楚!

  4. kevin 說:

    老師你好,因為我明年就要考試了,所以想找一些清大 交大用的現性代數的原文書,能不能請老師跟我說一下書名呢??
    謝謝!!!!

  5. Watt Lin 說:

    今天上午,用辦公室的電腦 (螢幕解析度800 x 600 ,也有切換到 1024 x 768測試), Windows環境 以 Microsoft IE 6.0 瀏覽,表格很奇怪,而且等號看起來變成減號,中文字不清楚。

    回家用自己的Mac瀏覽,使用FireFox 3.6,表格看起來正常,等號及中文字也很清楚。

    老師若考慮在不同作業系統、不同瀏覽軟體皆能良好呈現表格,
    大概需要事先把表格的size縮小,這樣才不會在低解析度環境下,圖形被自動再縮小一次而影響解析度。

    今天上午建議表格Transpose是一種方法,也許老師會有更好的方法來呈現。

  6. ccjou 說:

    To Kevin,

    以下是目前各學校使用的教科書,各班可能採用不同教科書。

    Gilbert Strang, Introduction to linear algebra, 4th ed., Wellesley-Cambridge Press, 2009.(交大電機,清大電機)

    Howard Anton, Elementary Linear Algebra, 9th ed., John Wiley & Sons, Inc, 2005.(交大電機)

    Spence, Insel, and Friedberg, Elementary Linear Algebra, 2nd ed., Pearson Education, 2008. (交大電機資訊學士班,台大電機系)

    Friedberg, Insel, and Spence, Linear Algebra, 4th Ed, Prentice Hall, 2003.(清大電機系)

  7. ccjou 說:

    我在 Windows 環境以三種瀏覽器開啟本頁,結果是
    google 及 ie8 —> 很清楚
    firebox —> 不佳,字體破碎

    你建議的方法我會再試試,謝謝。

  8. 訪客 說:

    我在Windows環境又測試,FireFox顯示正常,不會破碎。
    但是ie6會有字體破碎之現象,等號變成減號。

  9. ccjou 說:

    我採用了Watt Lin 的建議:從小畫家讀入原圖PDF檔,長寬縮小後另存圖檔,再將此圖貼上(不再縮小),結果如上。從我的電腦看起來還算清晰,如果讀者仍看見破碎字體請留言告訴我。

  10. Watt Lin 說:

    現在用ie6來看,可以正常顯示了!
    謝謝老師!效率真好。

  11. ccjou 說:

    昨日突然發覺竟然忘記將矩陣最重要的性質「特徵值」放上來比較。
    我將各類型矩陣的特徵值性質補充於後,並加註引用來源,之前做好的表也跟著修改了。

  12. Watt Lin 說:

    「特徵值」放進來,
    這樣,愈看愈有趣了!

  13. lisp21 說:

    complex number 可同构为2dimensional Conformal linear transformation

  14. ccjou 說:

    complex number 可同构为2dimensional Conformal linear transformation

    是的。詳見’解讀複數特徵值’

  15. GSX 說:

    講這個的話應該可以提一下數值域(numerical range),就可以完整的對到複數

  16. 涂瑋辰 說:

    有個地方有一點疑問,3推1的時候A做了svd分解,為什麼A=A*可以得到U=V? 個人在證3到1時是使用A is self adj ,則存在一組. Orthon eingenbase(unitary equav to diag matrix)在利用其eingenvalue大於0之後就跟老師一樣了

    • ccjou 說:

      A=A^\ast,則 A 可正交對角化為 A=QDQ^\ast,其中 Q^\ast=QD 是對角矩陣。

      • 涂瑋辰 說:

        老師的意思是說A=A*,則A的svd是唯一的嗎.可是一矩陣的svd不是唯一不是嗎,而且如果A=A*則保證它的svd剛好是unitary equav to diag matrix嗎 ?

        • 涂瑋辰 說:

          原來是這樣想A*A是半正定,在算他的長相,也知道那樣令B會是半正定(事實上是正定),因為(sigma)是正定,算出來A^2=B^2,在利用那招便知道A=B,最後V and sigma is invertiable變的到結論 這一招很漂亮呢 多了一種3到一的看法
          感謝老師

  17. ccjou 說:

    我們要證明的是 U=V,這與SVD的唯一性無關。

    A^\ast=AA=U\Sigma V^\ast 可得 A^2=A^\ast A=V\Sigma U^\ast U\Sigma V^\ast=V\Sigma^2 V^\ast,存在唯一半正定矩陣 B=V\Sigma V^\ast 使得 B^2=A^2,故 A=B,理由見下文定理四
    https://ccjou.wordpress.com/2011/05/11/%E5%8D%8A%E6%AD%A3%E5%AE%9A%E7%9F%A9%E9%99%A3%E7%9A%84%E5%81%8F%E5%BA%8F%E9%97%9C%E4%BF%82/

    • 涂瑋辰 說:

      原來是這樣想A*A是半正定,在算他的長相,也知道那樣令B會是半正定(事實上是正定),因為(sigma)是正定,算出來A^2=B^2,在利用那招便知道A=B,最後V and sigma is invertiable變的到結論 這一招很漂亮呢 多了一種3到一的看法
      感謝老師

發表迴響

在下方填入你的資料或按右方圖示以社群網站登入:

WordPress.com Logo

你正使用 WordPress.com 帳號留言。 登出 / 變更 )

Twitter picture

你正使用 Twitter 帳號留言。 登出 / 變更 )

Facebook照片

你正使用 Facebook 帳號留言。 登出 / 變更 )

Google+ photo

你正使用 Google+ 帳號留言。 登出 / 變更 )

連結到 %s