特殊矩陣 (6):正定矩陣

本文的閱讀等級:中級

A 為一個 n\times n 階實對稱矩陣。若每一 n 維非零實向量 \mathbf{x} 皆使得

\mathbf{x}^TA\mathbf{x}>0

我們稱 A 為正定 (positive definite);若將上述條件放鬆為

\mathbf{x}^TA\mathbf{x}\ge 0

A 稱為半正定 (positive semidefinite)。改變正定和半正定的不等式方向就有 A 是負定或半負定的概念,也可以說 -A 是正定或半正定。如果 \mathbf{x}^TA\mathbf{x} 可能是正值也可能是負值,則稱 A 是未定的 (indefinite)。

 
傳統上,我們習慣將對稱性納入正定矩陣的定義,一方面因為實對稱正定矩陣擁有美好的性質,另一個原因是實對稱正定矩陣的分析就足以應付其他一般的正定矩陣。任何一個實方陣 A 必可表示為一個實對稱矩陣與一個反對稱 (anti-symmetric) 矩陣之和 (見“特殊矩陣 (13):反對稱矩陣”),A=B+C,稱為卡氏分解[1],其中

\begin{aligned} B&=\displaystyle\frac{1}{2}(A+A^T)\\ C&=\frac{1}{2}(A-A^T).\end{aligned}

直接計算檢查可驗證 B^T=BC^T=-C。考慮算式

\mathbf{x}^TA\mathbf{x}=\mathbf{x}^T(B+C)\mathbf{x}=\mathbf{x}^TB\mathbf{x}+\mathbf{x}^TC\mathbf{x}

利用反對稱矩陣性質,

\mathbf{x}^TC\mathbf{x}=(\mathbf{x}^TC\mathbf{x})^T=\mathbf{x}^TC^T\mathbf{x}=-\mathbf{x}^TC\mathbf{x}

上式迫使 \mathbf{x}^TC\mathbf{x}=0,因此

\mathbf{x}^TA\mathbf{x}=\mathbf{x}^TB\mathbf{x}

即二次型 \mathbf{x}^TA\mathbf{x} 可用對稱部分表示。若 A 不為對稱矩陣,則 A 為正定矩陣 (即 \mathbf{x}^TA\mathbf{x}>0,對於所有 \mathbf{x}\neq\mathbf{0}) 等價於 \frac{1}{2}(A+A^T) 為正定矩陣。

 
上述實正定矩陣的定義同樣適用於複矩陣,但轉置 (\cdot)^T 要改成共軛轉置 (\cdot)^\ast,因此實對稱矩陣 A^T=A 替換為 Hermitian 矩陣 A^\ast=A。對於 n\times n 階複矩陣 A,若每一 \mathbf{x}\in\mathbb{C}^n 使得 \mathbf{x}^{\ast}A\mathbf{x} 為實數,則 A 必然是 Hermitian (見“特殊矩陣 (9):Hermitian 矩陣”,性質一),故複正定矩陣不需要再特別指明它是 Hermitian 矩陣。

 
下面我們討論實對稱正定矩陣的一個充要條件。若 A 是一個實對稱正定矩陣,則 A 的特徵值皆為正值,反之亦然。證明過程由實對稱矩陣是可正交對角化此一性質出發 (見“特殊矩陣 (2):正規矩陣”)。令 A=Q\Lambda Q^T\Lambda=\mathrm{diag}(\lambda_1,\ldots,\lambda_n)\lambda_iA 的特徵值,Q=\begin{bmatrix} \mathbf{q}_1&\cdots&\mathbf{q}_n \end{bmatrix} 的所有行 (column) \mathbf{q}_i 由單範正交 (orthonormal) 特徵向量組成。若 A 是正定的,對每一 i 就有

\mathbf{q}_i^TA\mathbf{q}_i=\mathbf{q}_i^T(\lambda_i\mathbf{q}_i)=\lambda_i(\mathbf{q}_i^T\mathbf{q}_i)=\lambda_i>0

反過來說,假設 \lambda_i>0i=1,\ldots,n。令 \mathbf{y}=Q^T\mathbf{x}=Q^{-1}\mathbf{x}。因為 \mathbf{x}=Q\mathbf{y}\mathbf{y} 必定為非零向量,則

\mathbf{x}^TA\mathbf{x}=\mathbf{x}^TQ\Lambda Q^T\mathbf{x}=\mathbf{y}^T\Lambda\mathbf{y}=\lambda_1 y_1^2+\ldots+\lambda_n y_n^2>0

 
初次接觸正定矩陣的讀者或許會對其意義感到困惑,主要原因是它的定義形式與其他特殊矩陣不同。在一些應用領域中,如最佳化 (optimization) 和多變量分析 (multivariate analysis),問題敘述經常出現二次型 (quadratic form) \mathbf{x}^TA\mathbf{x},詳細討論見“二次型與正定矩陣”,下面就定義給出的不等式解釋正定或半正定矩陣本身的幾何意義。考慮 n=1 的情況,矩陣 A 和向量 \mathbf{x} 分別退化為純量 ax,如果對任意非零 x 都有

xax=ax^2>0

我們說 a 是正定的,或簡潔地說 a 是正的 (a>0),則 axx 有相同的正負號。當 n>1 時,令 \thetaA\mathbf{x}\mathbf{x} 的夾角,此夾角的餘弦為

\cos\theta=\displaystyle\frac{\mathbf{x}^T(A\mathbf{x})}{\Vert\mathbf{x}\Vert~\Vert A\mathbf{x}\Vert}

上式中,A\mathbf{x}\mathbf{x} 的內積為正值表示經線性變換後的向量 A\mathbf{x} 與原向量 \mathbf{x} 的夾角小於 90^{\circ}。見下圖,\mathbf{x} 為超平面 P 的法向量,正定矩陣 A 保證變換後的向量 A\mathbf{x} 與原向量 \mathbf{x} 都位於超平面 P 的同一側。舉例而言,正交投影矩陣 A 滿足 A^2=AA^T=A,其特徵值只能有 01 (見“特殊矩陣 (5):冪等矩陣”),故正交投影矩陣是半正定,向量 \mathbf{x} 與其投影 A\mathbf{x} 的夾角不大於 90^{\circ}

Positive definite

正定變換的像和原向量位於超平面的同一側

 
對稱正定矩陣的對角化形式 A=Q\Lambda Q^{-1} 也提供了兩種等價的幾何解釋:

  1. 矩陣 A 相似於 \LambdaA 參考有序基底 \{\mathbf{q}_1,\ldots,\mathbf{q}_n\} 的變換矩陣即為對角矩陣 \Lambda。由於每個主對角元都大於零,對稱正定矩陣具有分別拉伸各主軸 (即特徵向量方向) 的功能,而伸縮量即為特徵值。
  2. 我們還可以將 A=Q\Lambda Q^{-1} 解釋為連續執行的三個線性變換,先旋轉 Q^{-1},接著拉伸 \Lambda,最後又逆旋轉 Q。注意,正交矩陣的幾何意義就是讓座標軸在向量空間旋轉。(這個說法不是非常精確,前提是 Q 的行向量必須適當排序。)

 
正定或半正定矩陣與奇異值分解有密切的關係,對於任意 m\times n 階矩陣 A,交互乘積 A^TAAA^T 的特徵值都不為負值,故 A^TAAA^T 是半正定矩陣,詳細介紹請見“奇異值分解 (SVD)”。另外,正定矩陣也出現於極分解,任意實方陣 A 都可被分解為 A=QSA=S^{\prime}Q,其中 Q 是正交矩陣表示旋轉,SS^{\prime} 是半正定矩陣表示拉伸,詳細內容請參考“極分解”。

 
註解:
[1] 考慮 C=A-B。等號兩邊取轉置 C^{T}=A^{T}-B^{T},利用 C=-C^{T}B=B^T,可得 A-B=-(A^{T}-B^{T})=-A^T+B,由此解出 B=\frac{1}{2}(A+A^T),再代回即得 C=\frac{1}{2}(A-A^T)

繼續閱讀:
Advertisements
本篇發表於 特殊矩陣, 線性代數專欄 並標籤為 , , , , , , , , 。將永久鏈結加入書籤。

22 則回應給 特殊矩陣 (6):正定矩陣

  1. ccjou 說道:

    唔,我忘了說明如何導出 B=\frac{1}{2}(A+A^T)C=\frac{1}{2}(A-A^{T})。補充於下:考慮 C=A-B,等號兩邊取轉置 C^{T}=A^{T}-B^{T},利用已知 C=-C^{T}B=B^T,就有 A-B=-(A^{T}-B^{T})=-A^T+B,由此可解出 B,代回又解出 C
    附帶一提,對於任意 \mathbf{x} 都有 \mathbf{x}^TC\mathbf{x}=0,這並不表示 C 是不可逆矩陣,除非方陣 C 的階數是奇數,如成大的考題。例如,當 n=2 時,C 為逆時針旋轉90度的線性轉換:
    C=\begin{bmatrix} 0&-1\\ 1&0 \end{bmatrix}

  2. aocwind 說道:

    感謝老師的補充。

  3. 崩溃ing 說道:

    十分感谢周老师。

  4. 崩溃ing 說道:

    我們還可以將 A=Q\Lambda Q^{-1} 解釋為連續執行的三個線性變換,先旋轉 Q^{-1},接著拉伸 \Lambda,最後又逆旋轉 Q。注意,正交矩陣的幾何意義就是讓座標軸在向量空間旋轉。(這個說法不是非常精確,前提是 Q 的行向量必須適當排序。)

    里面的适当排序是指什么?

  5. ccjou 說道:

    不客氣,謝謝你的迴響。

    拿2階方陣為例,所有可能的正交矩陣 Q 只有兩種形式:
    Q_1=\begin{bmatrix} \mathrm{cos}\theta&-\mathrm{sin}\theta\\ \mathrm{sin}\theta&\mathrm{cos}\theta \end{bmatrix}Q_2=\begin{bmatrix} -\mathrm{sin}\theta&\mathrm{cos}\theta\\ \mathrm{cos}\theta&\mathrm{sin}\theta \end{bmatrix}

    Q_1 是逆時鐘旋轉 \theta 的表達矩陣,而
    Q_2=Q_1\begin{bmatrix} 0&1\\ 1&0 \end{bmatrix} 包含反射(對45度直線反射等於將xy對調)和旋轉。

    之前我說行向量(在台灣,縱向稱為行,橫向稱為列,中國大陸則相反)要適當排序方能稱為旋轉,應該直接說 Q 包含反射和旋轉兩種作用。

  6. jerry 說道:

    周老师, 正定阵的eigenvector是不是相互垂直啊?

  7. ccjou 說道:

    TO: jerry

    上文說正定矩陣隱含了對稱性,其特徵性質如下:

    對稱–>特徵值為實數,特徵向量垂直,證明見’特殊矩陣(九): Hermitian 矩陣’

    對實數陣而言,Hermitian 矩陣就是對稱矩陣。

    正定且對稱–>特徵值為正(實)數,特徵向量垂直,因為有對稱性所以特徵向量垂直。

    正定(但不對稱),例如 \begin{bmatrix} 1&1\\ 0&2 \end{bmatrix} 有特徵值 1, 2, 對應的特徵向量 (1,0) 和 (1,1) 並不垂直。

  8. 陳威丞 說道:

    老師我是某校經濟系的學生,有一題題目在我的能力範圍外,可以請老師有控幫我姐提亦或是跟我說一下需要用的什麼定理好讓我有個方向嗎??~~
    設A和B之逆矩陣存在,若A-B為半正定且A’=A,B’=B,則試證(B^-1)-(A^-1)亦為半正定矩陣~

  9. ccjou 說道:

    這是數理經濟學的問題嗎?

    如果 a,b 是實數,且 a\ge b>0,則 1/b\ge 1/a>0。照這個思路,若 A,B 是實對稱矩陣,則 A,B 的特徵值都是實數,所以也可以比較。從 A\ge B (A-B是半正定),可以推出 B^{-1}\ge A^{-1} 嗎?譬如,A=\begin{bmatrix} 1&0\\ 0&1 \end{bmatrix}B=\begin{bmatrix} 1&0\\ 0&-1 \end{bmatrix},顯然,A-B=\begin{bmatrix} 0&0\\ 0&2 \end{bmatrix} 是半正定,但是 B^{-1}-A^{-1}=\begin{bmatrix} 0&0\\ 0&-2 \end{bmatrix} 並不是半正定。因此,命題應該改成 A\ge B>0,則 B^{-1}\ge A^{-1}>0。也就是說,前提應該是 A,B 都是實對稱正定(正定必可逆)。

    題目改正後,接下來用特徵值比較即可。A\ge B>0 表示 \lambda_{\min}(A)\ge\lambda_{\max}(B)>0,見
    https://ccjou.wordpress.com/2010/03/16/hermitian-%E7%9F%A9%E9%99%A3%E7%89%B9%E5%BE%B5%E5%80%BC%E7%9A%84%E8%AE%8A%E5%8C%96%E7%95%8C%E5%AE%9A/
    \lambda_{\min}(A)=1/\lambda_{\max}(A^{-1})\lambda_{\max}(B)=1/\lambda_{\min}(B^{-1}),故 1/\lambda_{\max}(A^{-1})\ge 1/\lambda_{\min}(B^{-1})>0,改為 \lambda_{\min}(B^{-1})\ge\lambda_{\max}(A^{-1})>0,這意味 B^{-1}\ge A^{-1}>0

  10. 陳威丞 說道:

    謝謝老師~~
    這不是數理經濟的問題是我自己有興趣所想了解的問題~~
    另外就內容來說我想在請教老師一個問題~~
    如果A和B都是(半)負定矩陣的話~~那原命題會成立嗎??

  11. 陳威丞 說道:

    謝謝老師~~~
    這不是數理經濟的問題是我自己有興趣想要去了解的~~
    內容所需的基礎我會找時間研讀~~
    另外就回答內容我想在請教老師ㄧ個問題~~如果A和B是(半)負定矩陣的話那原命題有可能成立嗎~~??

  12. Transform 說道:

    老師您好
    所以說一個矩陣是正定或負定矩陣則這個矩陣必是實對稱矩陣 這樣對嗎?

發表迴響

在下方填入你的資料或按右方圖示以社群網站登入:

WordPress.com Logo

您的留言將使用 WordPress.com 帳號。 登出 / 變更 )

Twitter picture

您的留言將使用 Twitter 帳號。 登出 / 變更 )

Facebook照片

您的留言將使用 Facebook 帳號。 登出 / 變更 )

Google+ photo

您的留言將使用 Google+ 帳號。 登出 / 變更 )

連結到 %s