特殊矩陣 (6)：正定矩陣

Posted on 10/01/2009 by ccjou

本文的閱讀等級：中級

令 $A$ 為一個 $n\times n$ 階實對稱矩陣。若每一 $n$ 維非零實向量 $\mathbf{x}$ 皆使得

$\mathbf{x}^TA\mathbf{x}>0$ ，

我們稱 $A$ 為正定 (positive definite)；若將上述條件放鬆為

$\mathbf{x}^TA\mathbf{x}\ge 0$ ，

則 $A$ 稱為半正定 (positive semidefinite)。往下閱讀前，請你先舉個例子確定 $\mathbf{x}^TA\mathbf{x}$ 是一個純量(實數)。改變正定和半正定的不等式方向就有 $A$ 是負定或半負定的概念，也可以說 $-A$ 是正定或半正定。如果 $\mathbf{x}^TA\mathbf{x}$ 可能是正值也可能是負值，則稱 $A$ 是未定的 (indefinite)。

傳統上，我們習慣將對稱性納入正定矩陣的定義，一方面因為實對稱正定矩陣擁有美好的性質，另一個原因是實對稱正定矩陣的分析就足以應付其他一般的正定矩陣。任何一個實方陣 $A$ 必可表示為一個實對稱矩陣與一個反對稱 (anti-symmetric) 矩陣之和 (見“特殊矩陣 (13)：反對稱矩陣”)， $A=B+C$ ，稱為卡氏分解^[1]，其中

$\begin{aligned} B&=\displaystyle\frac{1}{2}(A+A^T)\\ C&=\frac{1}{2}(A-A^T).\end{aligned}$

直接計算檢查可驗證 $B^T=B$ 且 $C^T=-C$ ，故 $B$ 是對稱矩陣， $C$ 是反對稱矩陣。考慮算式

$\mathbf{x}^TA\mathbf{x}=\mathbf{x}^T(B+C)\mathbf{x}=\mathbf{x}^TB\mathbf{x}+\mathbf{x}^TC\mathbf{x}$ 。

因為 $\mathbf{x}^TC\mathbf{x}$ 是一個純量，再利用反對稱矩陣性質，

$\mathbf{x}^TC\mathbf{x}=(\mathbf{x}^TC\mathbf{x})^T=\mathbf{x}^TC^T\mathbf{x}=-\mathbf{x}^TC\mathbf{x}$ ，

上式迫使 $\mathbf{x}^TC\mathbf{x}=0$ ，因此

$\mathbf{x}^TA\mathbf{x}=\mathbf{x}^TB\mathbf{x}$ ，

即二次型 $\mathbf{x}^TA\mathbf{x}$ 可用對稱部分表示。若 $A$ 不為對稱矩陣，則 $A$ 為正定矩陣 (即 $\mathbf{x}^TA\mathbf{x}>0$ ，對於所有 $\mathbf{x}\neq\mathbf{0}$ ) 等價於 $\frac{1}{2}(A+A^T)$ 為正定矩陣。

上述實正定矩陣的定義同樣適用於複矩陣，但轉置 $(\cdot)^T$ 要改成共軛轉置 $(\cdot)^\ast$ ，因此實對稱矩陣 $A^T=A$ 替換為 Hermitian 矩陣 $A^\ast=A$ 。對於 $n\times n$ 階複矩陣 $A$ ，若每一 $\mathbf{x}\in\mathbb{C}^n$ 使得 $\mathbf{x}^{\ast}A\mathbf{x}$ 為實數，則 $A$ 必然是 Hermitian (見“特殊矩陣 (9)：Hermitian 矩陣”，性質一)，故複正定矩陣不需要再特別指明它是 Hermitian 矩陣。

下面我們討論實對稱正定矩陣的一個充要條件。若 $A$ 是一個實對稱正定矩陣，則 $A$ 的特徵值皆為正值，反之亦然。證明過程由實對稱矩陣是可正交對角化此一性質出發 (見“特殊矩陣 (2)：正規矩陣”)。令 $A=Q\Lambda Q^T$ ， $\Lambda=\mathrm{diag}(\lambda_1,\ldots,\lambda_n)$ ， $\lambda_i$ 是 $A$ 的特徵值， $Q=\begin{bmatrix} \mathbf{q}_1&\cdots&\mathbf{q}_n \end{bmatrix}$ 的所有行 (column) $\mathbf{q}_i$ 由單範正交 (orthonormal) 特徵向量組成。若 $A$ 是正定的，對每一 $i$ 就有

$\mathbf{q}_i^TA\mathbf{q}_i=\mathbf{q}_i^T(\lambda_i\mathbf{q}_i)=\lambda_i(\mathbf{q}_i^T\mathbf{q}_i)=\lambda_i>0$ 。

反過來說，假設 $\lambda_i>0$ ， $i=1,\ldots,n$ 。令 $\mathbf{y}=Q^T\mathbf{x}=Q^{-1}\mathbf{x}$ 。因為 $\mathbf{x}=Q\mathbf{y}$ ， $\mathbf{y}$ 必定為非零向量，則

$\mathbf{x}^TA\mathbf{x}=\mathbf{x}^TQ\Lambda Q^T\mathbf{x}=\mathbf{y}^T\Lambda\mathbf{y}=\lambda_1 y_1^2+\ldots+\lambda_n y_n^2>0$ 。

初次接觸正定矩陣的讀者或許會對其意義感到困惑，主要原因是它的定義形式與其他特殊矩陣不同。在一些應用領域中，如最佳化 (optimization) 和多變量分析 (multivariate analysis)，問題敘述經常出現二次型 (quadratic form) $\mathbf{x}^TA\mathbf{x}$ ，詳細討論見“二次型與正定矩陣”，下面就定義給出的不等式解釋正定或半正定矩陣本身的幾何意義。考慮 $n=1$ 的情況，矩陣 $A$ 和向量 $\mathbf{x}$ 分別退化為純量 $a$ 和 $x$ ，如果對任意非零 $x$ 都有

$xax=ax^2>0$ 。

我們說 $a$ 是正定的，或簡潔地說 $a$ 是正的 ( $a>0$ )，則 $ax$ 與 $x$ 有相同的正負號。當 $n>1$ 時，令 $\theta$ 為 $A\mathbf{x}$ 與 $\mathbf{x}$ 的夾角，此夾角的餘弦為

$\cos\theta=\displaystyle\frac{\mathbf{x}^T(A\mathbf{x})}{\Vert\mathbf{x}\Vert~\Vert A\mathbf{x}\Vert}$ 。

上式中， $A\mathbf{x}$ 與 $\mathbf{x}$ 的內積為正值表示經線性變換後的向量 $A\mathbf{x}$ 與原向量 $\mathbf{x}$ 的夾角小於 $90^{\circ}$ 。見下圖， $\mathbf{x}$ 為超平面 $P$ 的法向量，正定矩陣 $A$ 保證變換後的向量 $A\mathbf{x}$ 與原向量 $\mathbf{x}$ 都位於超平面 $P$ 的同一側。舉例而言，正交投影矩陣 $A$ 滿足 $A^2=A$ 且 $A^T=A$ ，其特徵值只能有 $0$ 或 $1$ (見“特殊矩陣 (5)：冪等矩陣”)，故正交投影矩陣是半正定，向量 $\mathbf{x}$ 與其投影 $A\mathbf{x}$ 的夾角不大於 $90^{\circ}$ 。

正定變換的像和原向量位於超平面的同一側

對稱正定矩陣的對角化形式 $A=Q\Lambda Q^{-1}$ 也提供了兩種等價的幾何解釋：

矩陣 $A$ 相似於 $\Lambda$ ， $A$ 參考有序基底 $\{\mathbf{q}_1,\ldots,\mathbf{q}_n\}$ 的變換矩陣即為對角矩陣 $\Lambda$ 。由於每個主對角元都大於零，對稱正定矩陣具有分別拉伸各主軸 (即特徵向量方向) 的功能，而伸縮量即為特徵值。
我們還可以將 $A=Q\Lambda Q^{-1}$ 解釋為連續執行的三個線性變換，先旋轉 $Q^{-1}$ ，接著拉伸 $\Lambda$ ，最後又逆旋轉 $Q$ 。注意，正交矩陣的幾何意義就是讓座標軸在向量空間旋轉。(這個說法不是非常精確，前提是 $Q$ 的行向量必須適當排序。)

正定或半正定矩陣與奇異值分解有密切的關係，對於任意 $m\times n$ 階矩陣 $A$ ，交互乘積 $A^TA$ 和 $AA^T$ 的特徵值都不為負值，故 $A^TA$ 和 $AA^T$ 是半正定矩陣，詳細介紹請見“奇異值分解 (SVD)”。另外，正定矩陣也出現於極分解，任意實方陣 $A$ 都可被分解為 $A=QS$ 或 $A=S^{\prime}Q$ ，其中 $Q$ 是正交矩陣表示旋轉， $S$ 和 $S^{\prime}$ 是半正定矩陣表示拉伸，詳細內容請參考“極分解”。

註解：
[1] 考慮 $C=A-B$ 。等號兩邊取轉置 $C^{T}=A^{T}-B^{T}$ ，利用 $C=-C^{T}$ ， $B=B^T$ ，可得 $A-B=-(A^{T}-B^{T})=-A^T+B$ ，由此解出 $B=\frac{1}{2}(A+A^T)$ ，再代回即得 $C=\frac{1}{2}(A-A^T)$ 。

繼續閱讀：

This entry was posted in 特殊矩陣, 線性代數專欄 and tagged 特徵值, 特殊矩陣, SVD, 反對稱矩陣, 奇異值分解, 實對稱矩陣, 極分解, 正定矩陣, 二次型. Bookmark the permalink.

28 Responses to 特殊矩陣 (6)：正定矩陣

ccjou says:

03/03/2010 at 7:59 am

唔，我忘了說明如何導出 $B=\frac{1}{2}(A+A^T)$ 和 $C=\frac{1}{2}(A-A^{T})$ 。補充於下：考慮 $C=A-B$ ，等號兩邊取轉置 $C^{T}=A^{T}-B^{T}$ ，利用已知 $C=-C^{T}$ ， $B=B^T$ ，就有 $A-B=-(A^{T}-B^{T})=-A^T+B$ ，由此可解出 $B$ ，代回又解出 $C$ 。
附帶一提，對於任意 $\mathbf{x}$ 都有 $\mathbf{x}^TC\mathbf{x}=0$ ，這並不表示 $C$ 是不可逆矩陣，除非方陣 $C$ 的階數是奇數，如成大的考題。例如，當 $n=2$ 時， $C$ 為逆時針旋轉90度的線性轉換：
$C=\begin{bmatrix} 0&-1\\ 1&0 \end{bmatrix}$

Reply
- 王俞禮 says:
  
  02/01/2018 at 10:22 am
  
  老師您好~~我剛剛好看到黃子嘉老師的討論版有這樣的回答，有一點搞糊塗了…
  我搞不清楚的是正定陣到底對角化後的 eigenvector 是否正交
  另外一點是到底正定陣是否為Hermitian 矩陣。
  謝謝老師回答~~
  
  http://zjhwang.blogspot.tw/2010/01/blog-post_11.html
  原文討論的網址
  
  Reply
aocwind says:

03/03/2010 at 9:22 am

感謝老師的補充。

Reply
崩溃ing says:

04/07/2010 at 10:14 pm

十分感谢周老师。

Reply
崩溃ing says:

04/07/2010 at 11:21 pm

我們還可以將 A=Q\Lambda Q^{-1} 解釋為連續執行的三個線性變換，先旋轉 Q^{-1}，接著拉伸 \Lambda，最後又逆旋轉 Q。注意，正交矩陣的幾何意義就是讓座標軸在向量空間旋轉。(這個說法不是非常精確，前提是 Q 的行向量必須適當排序。)

里面的适当排序是指什么？

Reply
ccjou says:

04/08/2010 at 8:01 am

不客氣，謝謝你的迴響。

拿2階方陣為例，所有可能的正交矩陣 $Q$ 只有兩種形式：
$Q_1=\begin{bmatrix} \mathrm{cos}\theta&-\mathrm{sin}\theta\\ \mathrm{sin}\theta&\mathrm{cos}\theta \end{bmatrix}$ 和 $Q_2=\begin{bmatrix} -\mathrm{sin}\theta&\mathrm{cos}\theta\\ \mathrm{cos}\theta&\mathrm{sin}\theta \end{bmatrix}$

$Q_1$ 是逆時鐘旋轉 $\theta$ 的表達矩陣，而
$Q_2=Q_1\begin{bmatrix} 0&1\\ 1&0 \end{bmatrix}$ 包含反射（對45度直線反射等於將xy對調）和旋轉。

之前我說行向量（在台灣，縱向稱為行，橫向稱為列，中國大陸則相反）要適當排序方能稱為旋轉，應該直接說 $Q$ 包含反射和旋轉兩種作用。

Reply
jerry says:

06/14/2010 at 1:26 pm

周老师, 正定阵的eigenvector是不是相互垂直啊?

Reply
ccjou says:

06/14/2010 at 3:10 pm

TO: jerry

上文說正定矩陣隱含了對稱性，其特徵性質如下：

對稱–>特徵值為實數，特徵向量垂直，證明見’特殊矩陣(九): Hermitian 矩陣’

對實數陣而言，Hermitian 矩陣就是對稱矩陣。

正定且對稱–>特徵值為正(實)數，特徵向量垂直，因為有對稱性所以特徵向量垂直。

正定(但不對稱)，例如 $\begin{bmatrix} 1&1\\ 0&2 \end{bmatrix}$ 有特徵值 1, 2, 對應的特徵向量 (1,0) 和 (1,1) 並不垂直。

Reply
陳威丞 says:

11/29/2012 at 7:03 pm

老師我是某校經濟系的學生,有一題題目在我的能力範圍外,可以請老師有控幫我姐提亦或是跟我說一下需要用的什麼定理好讓我有個方向嗎??~~
設A和B之逆矩陣存在,若A-B為半正定且A’=A,B’=B,則試證(B^-1)-(A^-1)亦為半正定矩陣~

Reply
ccjou says:

11/29/2012 at 9:52 pm

這是數理經濟學的問題嗎？

如果 $a,b$ 是實數，且 $a\ge b>0$ ，則 $1/b\ge 1/a>0$ 。照這個思路，若 $A,B$ 是實對稱矩陣，則 $A,B$ 的特徵值都是實數，所以也可以比較。從 $A\ge B$ ( $A-B$ 是半正定)，可以推出 $B^{-1}\ge A^{-1}$ 嗎？譬如， $A=\begin{bmatrix} 1&0\\ 0&1 \end{bmatrix}$ ， $B=\begin{bmatrix} 1&0\\ 0&-1 \end{bmatrix}$ ，顯然， $A-B=\begin{bmatrix} 0&0\\ 0&2 \end{bmatrix}$ 是半正定，但是 $B^{-1}-A^{-1}=\begin{bmatrix} 0&0\\ 0&-2 \end{bmatrix}$ 並不是半正定。因此，命題應該改成 $A\ge B>0$ ，則 $B^{-1}\ge A^{-1}>0$ 。也就是說，前提應該是 $A,B$ 都是實對稱正定(正定必可逆)。

題目改正後，接下來用特徵值比較即可。 $A\ge B>0$ 表示 $\lambda_{\min}(A)\ge\lambda_{\max}(B)>0$ ，見
https://ccjou.wordpress.com/2010/03/16/hermitian-%E7%9F%A9%E9%99%A3%E7%89%B9%E5%BE%B5%E5%80%BC%E7%9A%84%E8%AE%8A%E5%8C%96%E7%95%8C%E5%AE%9A/
又 $\lambda_{\min}(A)=1/\lambda_{\max}(A^{-1})$ ， $\lambda_{\max}(B)=1/\lambda_{\min}(B^{-1})$ ，故 $1/\lambda_{\max}(A^{-1})\ge 1/\lambda_{\min}(B^{-1})>0$ ，改為 $\lambda_{\min}(B^{-1})\ge\lambda_{\max}(A^{-1})>0$ ，這意味 $B^{-1}\ge A^{-1}>0$ 。

Reply
- ccjou says:
  
  11/29/2012 at 11:03 pm
  
  上面的回覆沒講清楚，明天再詳細說明。
  
  Reply
陳威丞 says:

11/29/2012 at 11:54 pm

謝謝老師~~
這不是數理經濟的問題是我自己有興趣所想了解的問題~~
另外就內容來說我想在請教老師一個問題~~
如果A和B都是(半)負定矩陣的話~~那原命題會成立嗎??

Reply
陳威丞 says:

11/29/2012 at 11:57 pm

謝謝老師~~~
這不是數理經濟的問題是我自己有興趣想要去了解的~~
內容所需的基礎我會找時間研讀~~
另外就回答內容我想在請教老師ㄧ個問題~~如果A和B是(半)負定矩陣的話那原命題有可能成立嗎~~??

Reply
- ccjou says:
  
  11/30/2012 at 8:11 am
  
  之前我說 $A\ge B>0$ 可推出 $\lambda_{\min}(A)\ge\lambda_{\max}(B)>0$ ，這是錯誤的。譬如， $A=\begin{bmatrix} 4&0\\ 0&2 \end{bmatrix}$ ， $B=\begin{bmatrix} 3&0\\ 0&1 \end{bmatrix}$ 。晚一點我再貼上正確的證明。
  
  至於負定，你看這個就知道了。若 $a\le b<0$ ，則 $0< -b \le -a$ ， $1/(-b)\ge 1/(-a)>0$ ， $1/b\le 1/a<0$ 。
  
  Reply
  - ccjou says:
    
    11/30/2012 at 12:23 pm
    
    證明有些難度，請見
    https://ccjou.wordpress.com/2012/11/30/%E7%AD%94%E9%99%B3%E5%A8%81%E4%B8%9E%E2%94%80%E2%94%80%E9%97%9C%E6%96%BC%E5%8D%8A%E6%AD%A3%E5%AE%9A%E7%9F%A9%E9%99%A3%E7%9A%84%E4%B8%80%E5%80%8B%E8%AD%89%E6%98%8E%E5%95%8F%E9%A1%8C/
    
    Reply
Transform says:

02/05/2016 at 8:08 pm

老師您好
所以說一個矩陣是正定或負定矩陣則這個矩陣必是實對稱矩陣這樣對嗎?

Reply
- ccjou says:
  
  02/05/2016 at 9:07 pm
  
  不是的，應該說實對稱正定矩陣經常簡稱正定矩陣，因為在實際應用時我們喜歡實對稱矩陣。
  
  Reply
  - Transform says:
    
    02/14/2016 at 9:50 am
    
    謝謝老師的解答
    那我有幾個問題希望老師可以解答
    
    如圖這是幾個我遇見的問題後面是我自己覺得true or false 希望老師能幫我看看有沒有錯
    
    第三小題錯的原因是一個正定矩陣還必須滿足實對稱才有eigenvalue>0對嗎
    
    Reply
    - ccjou says:
      
      02/14/2016 at 9:26 pm
      
      不難舉出2×2階的例子， $\lambda$ 可能是虛數。
      
      Reply
      - Transform says:
        
        02/14/2016 at 10:35 pm
        
        老師那請問第二小題還有下面的定義是對的嗎
        
        Reply
        
        ccjou says:
        
        02/15/2016 at 8:44 am
        
        你沒閱讀上文嗎？
        
        Transform says:
        
        02/15/2016 at 9:21 am
        
        有但是一般書上跟老師好像都討論在實對稱或hermitian矩陣下的正負定
        所以還是想跟老師確認一下如果一個矩陣恆滿足上圖二次式>0那這個矩陣也能稱為正定矩陣嗎?
        
        ccjou says:
        
        02/15/2016 at 10:16 am
        
        你可以先查找課本或網上資料，如果確實找不到答案或有疑義再提問：
        https://zh.wikipedia.org/wiki/%E6%AD%A3%E5%AE%9A%E7%9F%A9%E9%98%B5#.E9.9D.9E.E5.9F.83.E5.B0.94.E7.B1.B3.E7.89.B9.E7.9F.A9.E9.98.B5.E7.9A.84.E6.83.85.E5.86.B5
TIGER says:

07/14/2019 at 12:55 pm

請問老師:
xTCx = (xTCx)T 怎麼會成立 ? (T表示轉置)

Reply
- 葉開 says:
  
  07/07/2020 at 5:05 pm
  
  上文有寫,因為 xTCx是純量, 但是我不懂為何是純量?
  
  Reply
  - 葉開 says:
    
    07/08/2020 at 9:45 am
    
    二次式的定義, 就是純量
    
    Reply
    - 樂以虎 says:
      
      07/08/2020 at 11:00 am
      
      GOOD!
      
      Reply
tobinwang says:

01/25/2022 at 8:12 am

请问下有概率论的blog吗，像您讲的一样好的那种

Reply

	輕鬆談如何教學二項式定理？… on 牛頓的二項式定理 (上)
	madhouse on 高斯消去法
	WishMobile on 翻轉 LU 分解
	周子傑 on Karush-Kuhn-Tucker (KKT) 條件
	Cloud Huang on 線性泛函與伴隨
	jeff85898 on 利用分塊矩陣證明 det(AB)=(det A)(det…