實對稱矩陣可正交對角化的證明

Posted on 02/09/2011 by ccjou

本文的閱讀等級：中級

實對稱矩陣是線性代數應用最廣泛的一種特殊矩陣，主要原因在於實對稱矩陣可表達二次型並且出現於許多應用領域 (見“二次型與正定矩陣”，“Hermitian 矩陣與實對稱矩陣的一些實例”)。實對稱矩陣具備一些特殊的數學性質：所有的特徵值都是實數，並有完整的單範正交 (orthonormal) 特徵向量，也就是說，實對稱矩陣可正交對角化 (orthogonally diagonalizable)。令 $A$ 為一個 $n\times n$ 階實對稱矩陣且 $\lambda_1,\ldots,\lambda_n$ 為 $A$ 的特徵值。所謂正交對角化是指存在一個實正交矩陣 (orthogonal matrix) $Q$ ， $Q^{T}=Q^{-1}$ ，使得 $Q^TAQ=\Lambda=\mathrm{diag}(\lambda_1,\ldots,\lambda_n)$ ，其中 $Q$ 的行向量 (column vector) 是 $A$ 的特徵向量。實對稱矩陣屬於正規 (normal) 矩陣家族的一員，滿足 $A^{\ast}A=AA^{\ast}$ ，這裡 $A^{\ast}=\overline{A}^{T}$ 代表共軛對稱。正規矩陣的標記性質是可么正對角化 (unitarily diagonalizable)，即 $U^{\ast}AU=\Lambda$ ，其中 $U$ 是么正 (unitary) 矩陣，滿足 $U^{\ast}=U^{-1}$ ，因此立刻得知實對稱矩陣可正交對角化 (見“特殊矩陣 (2)：正規矩陣”)。

本文介紹另一個不常見於教科書的證明方法，此法結合了一些重要的線性代數分析技巧，包括不變子空間 (invariant subspace)、正交補餘 (orthogonal complement)，以及分塊矩陣運算，值得讀者詳加探究。本文內容可以直接推廣至 Hermitian 矩陣，你只要將實數系 $\mathbb{R}$ 替換為複數系 $\mathbb{C}$ ，並將轉置 $(\cdot)^T$ 替換為共軛轉置 $(\cdot)^\ast=\overline{(\cdot)}^T$ 即可 (見“特殊矩陣 (9)：Hermitian 矩陣”)。

考慮一個 $n\times n$ 階實對稱矩陣 $A$ 。因為 $A^T=A$ ，對於 $\mathbb{R}^n$ 中任意向量 $\mathbf{x}$ 和 $\mathbf{y}$ ，就有

$(A\mathbf{x})^T\mathbf{y}=\mathbf{x}^TA^T\mathbf{y}=\mathbf{x}^T(A\mathbf{y})$ 。

稍後你會發現這是整個分析過程中最重要的一個關鍵式。

定理一：實對稱矩陣的特徵值皆是實數，且對應特徵向量是實向量。

設 $A\mathbf{x}=\lambda\mathbf{x}$ ， $\lambda\in\mathbb{C}$ ， $\mathbf{x}\in\mathbb{C}^n$ 且 $\mathbf{x}\neq\mathbf{0}$ 。等號兩邊同取共軛，就有 $\overline{A}\overline{\mathbf{x}}=\overline{\lambda}\overline{\mathbf{x}}$ ，再取轉置，

$\overline{\mathbf{x}}^T\overline{A}^T=\overline{\lambda}\overline{\mathbf{x}}^T$ 。

因為 $A$ 是實對稱矩陣， $\overline{A}^T=A^T=A$ ，上式等同於

$\overline{\mathbf{x}}^TA=\overline{\lambda}\overline{\mathbf{x}}^T$ 。

將此式右乘 $\mathbf{x}$ 並代入特徵方程式，等號左邊為

$\begin{aligned} \overline{\mathbf{x}}^TA\mathbf{x}&=\overline{\mathbf{x}}^T(\lambda\mathbf{x})=\lambda\overline{\mathbf{x}}^T\mathbf{x}\end{aligned}$ ，

等號右邊為 $\overline{\lambda}\overline{\mathbf{x}}^T\mathbf{x}$ ，合併即得

$(\lambda-\overline{\lambda})\overline{\mathbf{x}}^T\mathbf{x}=0$ 。

但是 $\overline{\mathbf{x}}^T\mathbf{x}=\vert x_1\vert^2+\cdots+\vert x_n\vert^2\neq 0$ (除非 $\mathbf{x}=\mathbf{0}$ )，故可推論 $\lambda=\overline{\lambda}$ 。換句話說，特徵值 $\lambda$ 必為一實數，特徵空間 $N(A-\lambda I)$ (即 $A-\lambda I$ 的零空間) 為 $\mathbb{R}^n$ 的子空間，故 $\mathbf{x}\in N(A-\lambda I)$ 是一個非零實向量。

底下介紹一個更快捷的推導 (見“答chang──關於線性代數的學習改進方法”)。使用前述關鍵式 $(\overline{A}\overline{\mathbf{x}})^T\mathbf{x}=\overline{\mathbf{x}}^T(\overline{A}\mathbf{x})$ ，等號左邊與右邊分別可化簡為

$\begin{aligned} (\overline{A}\overline{\mathbf{x}})^T\mathbf{x}&=(\overline{\lambda}\overline{\mathbf{x}})^T\mathbf{x}=\overline{\lambda}\overline{\mathbf{x}}^T\mathbf{x}\\ \overline{\mathbf{x}}^T(\overline{A}\mathbf{x})&=\overline{\mathbf{x}}^T(A\mathbf{x})=\overline{\mathbf{x}}^T(\lambda\mathbf{x})=\lambda\overline{\mathbf{x}}^T\mathbf{x}.\end{aligned}$

令上面兩式相等即得證。

定理二：實對稱矩陣對應相異特徵值的特徵向量互為正交。

根據定理一，以下實對稱矩陣 $A$ 的特徵值皆為實數，對應的特徵向量皆為實向量。設 $A\mathbf{x}=\lambda\mathbf{x}$ ， $A\mathbf{y}=\mu\mathbf{y}$ ，且 $\lambda\neq\mu$ 。第二式左乘 $\mathbf{x}^T$ ，就有

$\begin{aligned} \mathbf{x}^TA\mathbf{y}&=\mathbf{x}^T\mu\mathbf{y}=\mu\mathbf{x}^T\mathbf{y}\end{aligned}$ 。

對第一式取轉置， $\mathbf{x}^TA^T=\lambda\mathbf{x}^T$ ，再右乘 $\mathbf{y}$ ，即得

$\mathbf{x}^TA^T\mathbf{y}=\lambda\mathbf{x}^T\mathbf{y}$ 。

因為 $A^T=A$ ，上兩式等號左邊相同，所以

$(\mu-\lambda)\mathbf{x}^T\mathbf{y}=0$ 。

已知 $\lambda\neq\mu$ ，推得 $\mathbf{x}^T\mathbf{y}=0$ ，即 $\mathbf{x}\perp\mathbf{y}$ 。另一個作法使用關鍵式 $(A\mathbf{x})^T\mathbf{y}=\mathbf{x}^T(A\mathbf{y})$ ，等號左邊與右邊分別可化簡為

$(A\mathbf{x})^T\mathbf{y}=\lambda\mathbf{x}^T\mathbf{y},~~\mathbf{x}^T(A\mathbf{y})=\mu\mathbf{x}^T\mathbf{y}$ 。

定理三：令 $\mathbf{x}$ 為實對稱矩陣 $A$ 的特徵向量。若 $\mathbf{y}\perp\mathbf{x}$ ，則 $A\mathbf{y}\perp\mathbf{x}$ 。

設 $A\mathbf{x}=\lambda\mathbf{x}$ 且 $\mathbf{x}^T\mathbf{y}=0$ 。套用關鍵式，可得

$\begin{aligned} (A\mathbf{y})^T\mathbf{x}&=\mathbf{y}^T(A\mathbf{x})=\mathbf{y}^T(\lambda\mathbf{x})=\lambda\mathbf{x}^T\mathbf{y}=0\end{aligned}$ ，

推知 $A\mathbf{y}$ 正交於 $\mathbf{x}$ 。

由定理二和定理三尚不足以證明實對稱矩陣 $A$ 有完整的 $n$ 個正交特徵向量，你需要其他輔助工具。我們視 $A$ 為定義於 $\mathbb{R}^n$ 的線性算子，即 $A:\mathbb{R}^n\to\mathbb{R}^n$ 。考慮子空間 $\mathcal{X}\subseteq\mathbb{R}^n$ ，令 $A(\mathcal{X})$ 代表 $\mathcal{X}$ 經 $A$ 映射所得的像 $A(\mathcal{X})=\{A\mathbf{x}\vert\mathbf{x}\in\mathcal{X}\}$ 。若 $A(\mathcal{X})\subseteq\mathcal{X}$ ，即 $\mathbf{x}\in\mathcal{X}$ 必有 $A\mathbf{x}\in\mathcal{X}$ ，則 $\mathcal{X}$ 稱為 $A$ 的一個不變子空間。注意，對應特徵值 $\lambda$ 的特徵空間 $N(A-\lambda I)$ 為 $A$ 的一個不變子空間，因為若 $\mathbf{x}\in N(A-\lambda I)$ ，則 $A\mathbf{x}=\lambda\mathbf{x}\in N(A-\lambda I)$ (相關討論請參閱“不變子空間──解構線性算子的利器”)。

定理四：令 $A$ 為一個實對稱矩陣。若 $\mathcal{X}$ 為 $A$ 的一個不變子空間，則正交補餘 $\mathcal{X}^{\perp}$ 亦為 $A$ 的一個不變子空間。

因為 $\mathcal{X}$ 是 $A$ 的一個不變子空間，對於任一 $\mathbf{x}\in\mathcal{X}$ ， $A\mathbf{x}\in\mathcal{X}$ 。若 $\mathbf{y}\in\mathcal{X}^{\perp}$ ，則 $A\mathbf{x}\perp\mathbf{y}$ ，也就有

$\begin{aligned} (A\mathbf{y})^T\mathbf{x}&=\mathbf{y}^TA\mathbf{x}=0\end{aligned}$ 。

這指出 $A\mathbf{y}\in\mathcal{X}^{\perp}$ ，證得 $\mathcal{X}^{\perp}$ 也是 $A$ 的一個不變子空間。

定理五：任一 $n\times n$ 階實對稱矩陣都有 $n$ 個單範正交特徵向量。

證明1：定理一說明實對稱矩陣 $A$ 必有一個實特徵向量 $\mathbf{x}$ (設 $\Vert\mathbf{x}\Vert=1$ ) 對應實特徵值 $\lambda_1$ ，即 $A\mathbf{x}=\lambda_1\mathbf{x}$ 。令 $\mathcal{X}=\mathrm{span}\{\mathbf{x}\}$ ，顯然， $\mathrm{dim}\mathcal{X}=1$ ， $\mathrm{dim}\mathcal{X}^{\perp}=n-1$ 。令 $\{\mathbf{y}_1,\ldots,\mathbf{y}_{n-1}\}$ 為 $\mathcal{X}^{\perp}$ 的一組單範正交基底。對於 $j=1,\ldots,n-1$ ，以下關係成立： $\mathbf{x}\perp\mathbf{y}_j$ ， $\Vert\mathbf{y}_j\Vert=1$ ，且 $\mathbf{y}_i\perp\mathbf{y}_j$ ，若 $i\neq j$ 。我們知道 $\mathcal{X}$ 是 $A$ 的不變子空間，定理四說明 $\mathcal{X}^{\perp}$ 也是 $A$ 的不變子空間，因此所有 $A\mathbf{y}_j$ 都屬於 $\mathcal{X}^{\perp}$ ，故有

$A\mathbf{y}_j=b_{1j}\mathbf{y}_1+\cdots+b_{n-1,j}\mathbf{y}_{n-1},~~j=1,\ldots,n-1$ 。

將 $A\mathbf{x}$ ， $A\mathbf{y}_1,\ldots,A\mathbf{y}_{n-1}$ 合併為矩陣形式，如下：

$A\begin{bmatrix} ~&~&~&~\\ \mathbf{x}&\mathbf{y}_1&\cdots&\mathbf{y}_{n-1}\\ ~&~&~&~ \end{bmatrix}=\begin{bmatrix} ~&~&~&~\\ \mathbf{x}&\mathbf{y}_1&\cdots&\mathbf{y}_{n-1}\\ ~&~&~&~ \end{bmatrix}\begin{bmatrix} \lambda_1&0&\cdots&0\\ 0&b_{11}&\cdots&b_{1,n-1}\\ \vdots&\vdots&\ddots&\vdots\\ 0&b_{n-1,1}&\cdots&b_{n-1,n-1} \end{bmatrix}$ 。

以 $B_1$ 代表等號右邊的 $(n-1)\times(n-1)$ 階分塊，並令 $Q_1=\begin{bmatrix} \mathbf{x}&\mathbf{y}_1&\cdots&\mathbf{y}_{n-1} \end{bmatrix}$ ， $Q_1$ 是正交矩陣。上式可表示為

$AQ_1=Q_1\begin{bmatrix} \lambda_1&0\\ 0&B_1 \end{bmatrix}$ ，

左乘 $Q_1^T$ ，即得

$Q_1^TAQ_1=\begin{bmatrix} \lambda_1&0\\ 0&B_1 \end{bmatrix}$ ，

取轉置又得到

$Q_1^TA^TQ_1 =\begin{bmatrix} \lambda_1&0\\ 0&B_1^T \end{bmatrix}$ 。

使用 $A^T=A$ ，可知 $B_1^T=B_1$ ， $B_1$ 也是實對稱矩陣。再繼續對 $(n-1)\times(n-1)$ 階矩陣 $B_1$ 執行上述步驟，可得 $(n-1)\times(n-1)$ 階正交矩陣 $\hat{Q}_2$ 使得

$\hat{Q}_2^TB_1\hat{Q}_2=\begin{bmatrix} \lambda_2&0\\ 0&B_2 \end{bmatrix}$ ，

其中 $B_2$ 為 $(n-2)\times(n-2)$ 階實對稱矩陣。令 $Q_2=\begin{bmatrix} 1&0\\ 0&\hat{Q}_2 \end{bmatrix}$ ，不難驗證 $Q_2$ 是一個 $n\times n$ 階正交矩陣，也就有

$\begin{aligned} Q_2^TQ_1^TAQ_1Q_2&=\begin{bmatrix} 1&0\\ 0&\hat{Q}^T_2 \end{bmatrix}\begin{bmatrix} \lambda_1&0\\ 0&B_1 \end{bmatrix}\begin{bmatrix} 1&0\\ 0&\hat{Q}_2 \end{bmatrix}\\ &=\begin{bmatrix} \lambda_1&0\\ 0&\hat{Q}_2^TB_1\hat{Q}_2 \end{bmatrix}\\ &=\begin{bmatrix} \lambda_1&0&0\\ 0&\lambda_2&0\\ 0&0&B_2 \end{bmatrix},\end{aligned}$

重複此程序可歸納得

$Q_{n-1}^T\cdots Q_2^TQ_1^TAQ_1Q_2\cdots Q_{n-1}=\begin{bmatrix} \lambda_1&0&\cdots&0\\ 0&\lambda_2&\cdots&0\\ \vdots&\vdots&\ddots&\vdots\\ 0&0&\cdots&\lambda_n \end{bmatrix}$ 。

令 $Q=Q_1Q_2\cdots Q_{n-1}$ ，正交矩陣的乘積亦為正交矩陣：

$\begin{aligned} Q^TQ&=(Q_{n-1}^T\cdots Q_2^TQ_1^T)(Q_1Q_2\cdots Q_{n-1})\\ &=Q_{n-1}^T\cdots Q_2^TQ_2\cdots Q_{n-1}\\ &=\cdots\\ &=Q_{n-1}^TQ_{n-1}=I,\end{aligned}$

於是導出

$\begin{aligned} Q^TAQ&=Q^{-1}AQ=\begin{bmatrix} \lambda_1&~&~\\ ~&\ddots&~\\ ~&~&\lambda_n \end{bmatrix}\end{aligned}$ 。

將正交矩陣 $Q$ 以行向量表示， $Q=\begin{bmatrix} \mathbf{q}_1&\cdots&\mathbf{q}_n \end{bmatrix}$ ，則上式可表示為

$A\begin{bmatrix} ~&~&~\\ \mathbf{q}_1&\cdots&\mathbf{q}_n\\ ~&~&~ \end{bmatrix}=\begin{bmatrix} ~&~&~\\ \mathbf{q}_1&\cdots&\mathbf{q}_n\\ ~&~&~ \end{bmatrix}\begin{bmatrix} \lambda_1&~&~\\ ~&\ddots&~\\ ~&~&\lambda_n \end{bmatrix}$ ，

此即 $A\mathbf{q}_j=\lambda_j\mathbf{q}_j$ ， $j=1,\ldots,n$ ，對應特徵值 $\lambda_j$ 的特徵向量就是正交矩陣 $Q$ 的行向量 $\mathbf{q}_j$ 。

證明2：使用反證法。假設實對稱矩陣 $A$ 至多有 $k<n$ 個單範正交特徵向量 $\mathbf{q}_1,\ldots,\mathbf{q}_k$ ，分別對應特徵值 $\lambda_1,\ldots,\lambda_k$ 。令 $\mathcal{X}=\text{span}\{\mathbf{q}_1,\ldots,\mathbf{q}_k\}$ 。對於任一 $\mathbf{x}\in\mathcal{X}$ ，存在唯一組合式 $\mathbf{x}=c_1\mathbf{q}_1+\cdots+c_k\mathbf{q}_k$ ，則 $A\mathbf{x}=c_1\lambda_1\mathbf{q}_1+\cdots+c_k\lambda_k\mathbf{q}_k\in\mathcal{X}$ ，可知 $\mathcal{X}$ 是 $A$ 的一個不變子空間，定理四表明 $\mathcal{X}^{\perp}$ 也是 $A$ 的一個不變子空間。在不變子空間 $\mathcal{X}^{\perp}\neq\{\mathbf{0}\}$ ，必定存在單位特徵向量 $\mathbf{y}\in\mathcal{X}^\perp$ 使得 $A\mathbf{y}=\lambda\mathbf{y}$ (見“拒絕行列式的特徵分析”，定理一)，因此 $\{\mathbf{y},\mathbf{q}_1,\ldots,\mathbf{q}_k\}$ 是一個單範正交特徵向量集。這與前提矛盾，推知 $\mathcal{X}^\perp=\{\mathbf{0}\}$ ，即 $A$ 有 $n$ 個單範正交特徵向量。

定理五表明實對稱矩陣 $A$ 有單範正交特徵向量 $\mathbf{q}_1,\ldots,\mathbf{q}_n$ ，因此可當作 $\mathbb{R}^n$ 的基底。矩陣 $A$ 參考有序基底 $\{\mathbf{q}_1,\ldots,\mathbf{q}_n\}$ 的表示矩陣即為 $\Lambda=\mathrm{diag}(\lambda_1,\ldots,\lambda_n)$ ，證得實對稱矩陣可正交對角化，即有下列譜分解 (spectral decomposition) 或稱譜定理：

$\begin{aligned} A&=Q\Lambda Q^T=\begin{bmatrix} ~&~&~\\ \mathbf{q}_1&\cdots&\mathbf{q}_n\\ ~&~&~ \end{bmatrix}\begin{bmatrix} \lambda_1&~&~\\ ~&\ddots&~\\ ~&~&\lambda_n \end{bmatrix}\begin{bmatrix} ~&\mathbf{q}_1^T&~\\ &\vdots&\\ ~&\mathbf{q}_n^T&~ \end{bmatrix}\\ &=\lambda_1\mathbf{q}_1\mathbf{q}_1^T+\cdots+\lambda_n\mathbf{q}_n\mathbf{q}_n^T\\ &=\lambda_1P_1+\cdots+\lambda_nP_n, \end{aligned}$

上面令 $P_i=\mathbf{q}_i\mathbf{q}_i^T$ ， $i=1,\ldots,n$ 。重要的是 $P_i$ 是正交投影矩陣，滿足下列性質 (見“可對角化矩陣的譜分解”)：

$P_i^2=P_i=P_i^T$ ， $i=1,\ldots,n$ ；
$P_iP_j=0$ ，若 $i\neq j$ ；
$P_1+\cdots+P_n=I_n$ 。

美國數學教授哈爾莫斯 (Paul R. Halmos) 在他的大作《有限維向量空間》(Finite-Dimensional Vector Spaces) 中說^[1]：「現在我們準備好要證明本書最主要的定理，本章其他結果大多是這個定理的立即推論。」哈爾莫斯提到的最主要的定理就是實對稱矩陣的譜定理 (廣義地說，Hermitian 變換的譜定理)。

註解
[1] 頁155，原文：“We are now ready to prove the main theorem of this book, the theorem of which most of the other results of this chapter are immediate corollaries.”

This entry was posted in 線性代數專欄, 二次型 and tagged 譜分解, 實對稱矩陣, 對角化, 正規矩陣, 正交矩陣, 正交補餘, 正交性, 不變子空間. Bookmark the permalink.

39 Responses to 實對稱矩陣可正交對角化的證明

Suzhen says:

09/14/2012 at 1:29 pm

老师，我是香港中文大学的学生，你对线代的理解真是深入，我很敬佩你，我要把这里的所有的资料反复严读，好好做题。期待我对线代有个新的体悟

Reply
- ccjou says:
  
  09/14/2012 at 4:47 pm
  
  歡迎來訪。羅馬不是一天造成的，我估計學好線代要花一年的時間。所以不必急，如果累了，可以看看「無關線代」，放鬆一下。
  
  Reply
Moonlove says:

01/29/2013 at 7:55 am

請問老師：
文中提到，使用 A^T=A，可知B_1^T=B_1 ， B_1也是實對稱矩陣。

這是為什麼呢？

Reply
- ccjou says:
  
  01/29/2013 at 8:49 am
  
  $A^T=A\Rightarrow Q_1^TA^TQ_1=Q_1^TAQ_1\Rightarrow B_1^T=B_1$
  其中 $Q_1$ 是正交矩陣，滿足 $Q_1^TQ_1=I$ 。
  
  是哪一部分推理使你疑惑呢？
  
  Reply
Moonlove says:

01/30/2013 at 7:35 am

喔喔，我看懂了，感謝老師

Reply
Sophia2457 says:

05/20/2013 at 8:40 pm

老師您好:看了您的文章真的讓我獲益良多,真的非常感謝您!
這裡有一個問題想請教老師,如果有兩個同屬R^N的正規正交基底(V1…Vn) (W1…Wn)
那是否會有一個獨特的正交運算子T使得T(Vi)=Wi呢?如果有要如何證明? 謝謝您!

Reply
- ccjou says:
  
  05/20/2013 at 9:32 pm
  
  可能是你對其中某個概念不清楚，我覺得你自己應該可以解決這個問題。我將問題切成三個子問題：
  (1) 若 $\{v_1,\ldots,v_n\}$ 和 $\{w_1,\ldots,w_n\}$ 是 $\mathbb{R}^n$ 的兩組基底，是否存在唯一的線性變換 $T$ 使得 $T(v_i)=w_i, i=1,\ldots,n$ ？是的，證明請見
  https://ccjou.wordpress.com/2011/03/22/%E8%AE%8A%E6%8F%9B%E7%9F%A9%E9%99%A3%E7%9A%84%E8%A8%AD%E8%A8%88/
  (2) 那麼如何得到 $T$ ？因為 $T:\mathbb{R}^n\to\mathbb{R}^n$ 可用一 $n\times n$ 階矩陣 $A$ 表示，即有 $Av_i=w_i, i=1,\ldots,n$ ，以矩陣乘法表示： $A\begin{bmatrix} v_1&\cdots&v_n \end{bmatrix}=\begin{bmatrix} w_1&\cdots&w_n \end{bmatrix}$ ，或 $AV=W$ 。因為 $V$ 包含線性獨立的行向量 $\{v_i\}$ ， $V$ 是一可逆矩陣，故 $A=WV^{-1}$ 。
  (3) 你說 $\{v_i\}$ 為一正規正交(orthonormal)基底，可知 $V^TV=VV^T=I_n$ ，即 $V^T=V^{-1}$ ， $V$ 是一正交(orthogonal)矩陣，同樣地， $W$ 也是
  正交矩陣。所以 $A=WV^{-1}=WV^T$ 。但 $A$ 是一正交矩陣嗎？也就是 $T$ 是一正交算子嗎？因為 $A^TA=(WV^T)^T(WV^T)=VW^TWV^T=VV^T=I_n$ ，故 $A$ 也是一正交矩陣。
  
  補充說明：若 $T:\mathbb{R}^n\to\mathbb{R}^n$ 為一正交算子，則對於任一 $x,y\in\mathbb{R}^n$ 必有 $(T(x))^T(T(y))=x^Ty$ ，反之亦然。設 $x=c_1v_1+\cdots+c_nv_n$ ， $y=d_1v_1+\cdots+d_nv_n$ ，則 $T(x)=c_1T(v_1)+\cdots+c_nT(v_n)=c_1w_1+\cdots+c_nw_n$ ，同理 $T(y)=d_1w_1+\cdots+d_nw_n$ 。利用正規正交性質，不難證明 $(T(x))^T(T(y))=x^Ty=c_1d_1+\cdots+c_nd_n$ 。
  
  Reply
  - Sophia2457 says:
    
    05/20/2013 at 10:38 pm
    
    謝謝老師~看來我的觀念還是沒有很清楚,我會繼續努力的^_^*
    
    Reply
Dboy says:

07/02/2013 at 10:46 am

老師好,
我想問說可以用Schur定理說A與某個上三角矩陣相似,
再用A^T=A的條件證明此上三角矩陣實為對角矩陣,
然後說A可以被對角化嗎?

Reply
- ccjou says:
  
  07/02/2013 at 11:21 am
  
  可以的，你提出的證明步驟與下文的證法雷同：
  https://ccjou.wordpress.com/2009/08/12/%E7%89%B9%E6%AE%8A%E7%9F%A9%E9%99%A3-%E4%BA%8C%EF%BC%9A%E6%AD%A3%E8%A6%8F%E7%9F%A9%E9%99%A3/
  因為Schur定理給出正交相似關係，故對稱矩陣可正交對角化。
  
  Reply
  - Dboy says:
    
    07/02/2013 at 7:20 pm
    
    謝謝老師
    
    Reply
cliff says:

08/12/2013 at 3:27 pm

看了您的证明，我明白了这个定理被你构造出来。但是，我想知道，直白的说这个定理是怎么被发现的呢？也就是说人们原处是怎么想到这个命题的呢？

Reply
- ccjou says:
  
  08/12/2013 at 4:30 pm
  
  每次有人問起數學發現總會讓我冒出一身冷汗。不知道為甚麼，數學家絕少提及他們發現某個定理的歷程，後人只好發揮想像力編纂故事。
  
  我的指導教授曾說：「做研究本來就是沒事找事幹。」數學發現也常是午後打發時間等著吃晚飯前的無聊活動的結果。我們知道實正交矩陣 $Q$ 滿足 $Q^TQ=QQ^T=I$ 。若 $D$ 是主對角矩陣，那麼 $QDQ^T$ 是甚麼矩陣？又有甚麼性質？不難得到 $(QDQ^T)^T=QD^TQ^T=QDQ^T$ ， $QDQ^T$ 是對稱矩陣！於是有了這個猜想：反過來說，任一對稱矩陣 $A$ 都可分解成 $A=QDQ^T$ 嗎？
  
  Reply
Issac says:

11/30/2015 at 12:41 am

定理一只證明了實對稱矩陣如果有特徵值，則此特徵值為實數．似乎沒有證明存在性．而定理五引用了定理一使用到了特徵值得存在性，但在這篇文章裡面似乎沒有被提及．

Reply
- ccjou says:
  
  11/30/2015 at 7:24 am
  
  因為特徵值定義為特徵多項式的根，多數的文章都默認任一方陣存在一特徵值。如果不採用此定義，特徵值的存在性證明請見下文定理一：
  https://ccjou.wordpress.com/2010/05/26/%E6%8B%92%E7%B5%95%E8%A1%8C%E5%88%97%E5%BC%8F%E7%9A%84%E7%89%B9%E5%BE%B5%E5%88%86%E6%9E%90/
  
  Reply
  - Issac says:
    
    11/30/2015 at 1:46 pm
    
    因為現在矩陣時實係數，所以特徵多項式不一定有實根．這裡周老師使用的是把實數域塞在複數域裡頭．所以假設了複數域的存在．但要做此擴張的話，必須要把所討論的向量空間換成是複數域上的進而在取 $\mathbb{C}^n$ 的『實部』與『虛部』然後證明所有的計算都可以workout．當然原因最主要的是：『本文中使用的 $\mathbb{R}^{n}$ 為實向量空間，而非複向量空間．』
    
    Reply
  - Issac says:
    
    11/30/2015 at 1:50 pm
    
    但為了解決此問題，有兩種做法．用微積分可以理解的做法是．考慮 $x\mapsto f(x)==\sum_{ij}a_{ij}x_{i}x_{j}$ 這個函數在 $x_{1}^{2}+\cdots+x_{n}^{2}=1$ 的限制條件下的極值．利用拉格朗日方法，可以證明極值會是 $A$ 的特徵值，取到的向量 $x$ 會是特徵向量．這樣就不需要使用到特徵多項式的根，這個特質．因為特徵值的定義本來就不是使用特徵多項式，而是使用 $Av=\lambda v$ 這個線性方程．（剛好當 $A$ 是有限微的方陣時，可以使用行列式來說明．）
    
    Reply
  - Issac says:
    
    11/30/2015 at 1:53 pm
    
    我個人的感想是，討論實對稱方陣的特徵值問題，證明特徵值的存在避免不了分析學（微積分）的使用．但如果使用了域的擴張(把 $\mathbb{R}$ 塞到 $\mathbb{C}$ )中，那麼證明應該會更加繁瑣一點．
    
    Reply
    - ccjou says:
      
      11/30/2015 at 4:03 pm
      
      https://ccjou.wordpress.com/2010/05/26/%E6%8B%92%E7%B5%95%E8%A1%8C%E5%88%97%E5%BC%8F%E7%9A%84%E7%89%B9%E5%BE%B5%E5%88%86%E6%9E%90/
      上文的證明(定理一)並未定義特徵多項式也不引用行列式，而是使用更本質的「代數基本定理」：任一 $n$ 次複多項式可分解為 $p(t)=(t-\lambda_1)\cdots(t-\lambda_n)$ ， $\lambda_i\in\mathbb{C}$ 。據此，有限維向量空間 $\mathcal{V}$ 一定存在特徵值。
      
      雖然從二次型極值的存在性可以證明特徵值存在，但線性代數通常視之為特徵分析的應用，見下文：
      https://ccjou.wordpress.com/2012/02/07/%E7%AD%94levinc417%E2%94%80%E2%94%80%E9%97%9C%E6%96%BC%E7%B4%84%E6%9D%9F%E4%BA%8C%E6%AC%A1%E5%9E%8B%E6%A5%B5%E5%80%BC/
      
      另一個實對稱矩陣有實特徵值的更簡單證法是直接證明 Hermitian 矩陣有實特徵值，
      https://ccjou.wordpress.com/2010/01/05/%E7%89%B9%E6%AE%8A%E7%9F%A9%E9%99%A3-%E4%B9%9D%EF%BC%9A-hermitian-%E7%9F%A9%E9%99%A3/
      
      這是為什麼多數線性代數的特徵分析都喜歡建立在複數域而非實數域。
      
      Reply
      - Issac says:
        
        11/30/2015 at 4:11 pm
        
        代數基本定理是需要在複數域上的．有限維向量空間上的線性算子必存在特徵值這個必須要在『複向量空間』才會成立．在實向量空間中，因為實數域不是代數封閉，所以我們無法做多項式的因式分解．邏輯上來說，除非已經先證明特徵值存在．不然此篇文章的證明使用到了複數域的性質的話就必須要修改．
        
        Reply
        
        ccjou says:
        
        11/30/2015 at 4:36 pm
        
        引用：邏輯上來說，除非已經先證明特徵值存在．不然此篇文章的證明使用到了複數域的性質的話就必須要修改．
        
        論說敘事總會設定某個基礎或前提，不然的話只要每次寫出：「設 $\lambda\in\mathbb{C}$ 為 $n\times n$ 階實矩陣的特徵值，滿足 $Ax=\lambda x$ ，非零向量 $x\in\mathbb{C}^n$ 」，我們都要先證明這樣的 $\lambda$ 確實存在。
        
        當然你可以認為因為沒有先證明上面的假設成立，所以邏輯上不嚴謹。
        
        Issac says:
        
        11/30/2015 at 5:40 pm
        
        我的意思是在實數向量空間上的存在．因為這裡引用到了這件事情．我想周老師似乎不太理解我想表達的．在第一個定理的證明中，使用到了 $\bar{x}$ ．在複數向量空間中我們才會用 $\bar{x}$ ．其實第一個定理證明其實就是我說的，把 $\mathbb{R}^{n}$ 中嵌入到 $\mathbb{C}^{n}$ 中去看把 $\mathbb{C}^{n}$ (as a 集合)= $\mbox{Re}(\mathbb{C}^{n})\times \mbox{Im}(\mathbb{C^{n}})$ ．然後使用的是複數的內積，也是周老師裡面寫的 $\bar{x}^{T}Ax$ ．因為任何的實矩陣可以看成是複數矩陣．所以其特徵多項式有根．接著證明特徵值必定是實數．然後證明 $Au=\lambda u,$ 其中 $u$ 是在 $\mathbb{C}^{n}$ 中的實數部分．也就是說 $Au,u\in\hbox{Re}(\mathbb{C}^{n})$ 且方程 $Au=\lambda u$ 是在 $\hbox{Re}\mathbb{C}^{n}$ 中成立．此時我們把 $\mathbb{C}^{n}$ 的real part 跟 $\mathbb{R}^{n}$ 視為等同．所以這個是周老師證明中所使用到的地方．否則，在實數的世界中是看不到複數的．而這個證明中，我們是把 $\mathbb{C}^{n}$ 的實部看成是我們要使用的 $\mathbb{R}^{n}$ ．把實對稱矩陣看成是複數矩陣．因為周老師的證明中沒有很清楚地提到這些“向量”是活在哪個域上的“向量空間”．在不同的域（非代數封閉的域）上解方程，想法上會有些不同．所以提出了我的看法跟說明．
ccjou says:

11/30/2015 at 8:42 pm

我還是不清楚你的論點，所以在網路上找了一些相關討論，請參考：
http://farside.ph.utexas.edu/teaching/336k/Newtonhtml/node66.html

Click to access 46%20Symmetric%20Matrices.pdf

(下文Lemma 0.1)

Click to access 340_symmetric.pdf

Reply
yochen says:

01/20/2016 at 3:43 pm

老師您好,

我關於”定理五”的推導還是有一些疑惑

推導中好像只使用到”A是對稱矩陣”的條件

但沒有使用到 “A是””實數””對稱矩陣” 的條件

所以是不是只要是對稱矩陣,就算是複數對稱矩陣,也可以正交對角化呢?

謝謝老師!

Reply
- ccjou says:
  
  01/20/2016 at 4:03 pm
  
  定理五的證明1與2都使用了定理四：若 $\mathcal{X}$ 為實對稱矩陣 $A$ 的一不變子空間，則正交補集 $\mathcal{X}^{\perp}$ 亦為 $A$ 的一個不變子空間。
  
  定理四不適用於複對稱矩陣 (從證明可以看出來)。事實上，複對稱矩陣不可正交對角化，譬如 $A=\begin{bmatrix} 2i&1\\ 1&0 \end{bmatrix}$ 有特徵值 $\lambda=i$ ，代數重數是2，但僅有一個特徵向量 $\begin{bmatrix} i\\ 1 \end{bmatrix}$ 。
  
  不過，複對稱矩陣可「對角化」為 (但不是正交對角化) $D=UAU^T$ ，其中 $D$ 是對角矩陣， $U$ 是unitary矩陣， $U^\ast=U^{-1}$ (但 $U^T\neq U^{-1}$ )。這個分解式稱為Autonne–Takagi factorization，見
  https://en.wikipedia.org/wiki/Symmetric_matrix#Complex_symmetric_matrices
  
  Reply
  - yochen says:
    
    02/12/2016 at 11:34 pm
    
    喔喔,原來如此,謝謝老師!
    
    新年快樂!
    
    Reply
atgv89048 says:

05/05/2016 at 3:43 pm

老師您好：
所以實對稱矩陣做Schur分解後的上三角矩陣ㄧ定為對角矩陣嗎?
感謝老師!

Reply
- ccjou says:
  
  05/05/2016 at 4:37 pm
  
  是的。設 Schur 分解為 $A=UTU^\ast$ ， $T$ 是上三角矩陣， $U^\ast=U^{-1}$ ，則 $A^\ast=UT^\ast U^\ast$ 。因此，
  $UTU^\ast=UT^\ast U^\ast$ ，左乘 $U^\ast$ ，右乘 $U$ ，得到 $T=T^\ast$ ，推論 $T=D$ 是實對角矩陣。
  
  Reply
  - atgv89048 says:
    
    05/05/2016 at 7:45 pm
    
    瞭解! 謝謝老師明瞭的回覆~
    
    Reply
范智忠 says:

04/24/2017 at 1:42 pm

請問: 特徵值必為實數我看得懂但是為什麼特徵空間一定是R^n的子空間。

Reply
- ccjou says:
  
  04/24/2017 at 2:42 pm
  
  $A-\lambda I$ 是一個實矩陣，其零空間是 $\mathbb{R}^n$ 的子空間。
  
  Reply
  - 范智忠 says:
    
    04/24/2017 at 4:00 pm
    
    換句話說就是，若有個複向量滿足Ax=λx 那x一定是某個實向量的複數倍對吧?
    
    Reply
    - ccjou says:
      
      04/24/2017 at 5:24 pm
      
      這樣說也可以，但x與A都佈於實數不是很好嗎？
      
      Reply
      - 范智忠 says:
        
        04/24/2017 at 6:14 pm
        
        我想通了一時卡住不好意思
        
        Reply
MMMan says:

05/30/2017 at 12:20 pm

老師您好: 想請問一下，一矩陣若可正交對角化，是否代表該矩陣也可逆呢?

Reply
ccjou says:

05/30/2017 at 1:18 pm

零矩陣也可正交對角化

Reply
amy waken says:

11/24/2018 at 4:14 pm

我想问一下，有哪篇文章提到了证明对称矩阵相关性质的文章。我看了Introduction to Linear 4ed中的证明，其中证明eigenvalues和pivots有相同的符号，但是这句话我无法理解：Since these eigenvalues cannot cross zero as they move into the pivots, their signs cannot change.
谢谢老师了

Reply
- amy waken says:
  
  11/24/2018 at 4:28 pm
  
  这个是证明的完整叙述The number of positive eigenvalues of A = A^T equals the number of positive pivots. We repeat the proof for any A = LDL^T. Move L toward I, by moving the off-diagonal entries to zero. The pivots are not changing and not zero. The eigenvalues A of LDL^T change to the eigenvalues d of I DI^T. Since these eigenvalues cannot cross zero as they move into the pivots, their signs cannot change.
  
  Reply
pingping says:

05/11/2020 at 4:26 pm

非常谢谢你的分享，对我有巨大的启发。

Reply

	陳倍恩 on 線性代數的第一堂課──矩陣乘法的定義
	輕鬆談如何教學二項式定理？… on 牛頓的二項式定理 (上)
	madhouse on 高斯消去法
	WishMobile on 翻轉 LU 分解
	周子傑 on Karush-Kuhn-Tucker (KKT) 條件
	Cloud Huang on 線性泛函與伴隨