跡數的性質與應用

本文的閱讀等級：初級

令 $A=[a_{ij}]$ 為一個 $n\times n$ 階矩陣， $A$ 的跡數 (trace，或簡稱跡) 定義為主對角元之和，如下：

$\displaystyle\mathrm{trace}\,A=\sum_{i=1}^na_{ii}$ 。

跡數 $\mathrm{trace}\,A$ 與行列式 $\det A$ 都是方陣 $A$ 的函數，但跡數不像行列式擁有豐富的數學性質與應用，因此通常只零星出現於基礎線性代數課本裡的練習問題中。本文介紹跡數的運算規則，並推導一些特殊矩陣的跡數性質以及跡數於矩陣內積運算的應用。

矩陣 $A$ 的特徵值 $\lambda_1,\ldots,\lambda_n$ 與其跡數和行列式存在一個簡單的關係：

$\displaystyle\begin{aligned} \hbox{trace}\,A&=\lambda_1+\cdots+\lambda_n,\\ \det A&=\lambda_1\cdots\lambda_n.\end{aligned}$

跡數為特徵值之和，而行列式則為特徵值之積 (見“特徵多項式蘊藏的訊息”)。因為矩陣指數 $e^{A}$ 的特徵值為 $e^{\lambda_i}$ ，由上面兩個性質可以導出矩陣指數的行列式等於跡數的指數：

$\displaystyle\det e^{A}=e^{\lambda_1}\cdots e^{\lambda_n}=e^{\lambda_1+\cdots+\lambda_n}=e^{\hbox{trace}\,A}$ 。

此外，我們知道一個 $n$ 階實方陣的行列式絕對值 $\vert\det A\vert$ 等於 $A$ 的 $n$ 個行向量於 $\mathbb{R}^n$ 空間張開的平行多面體體積 (參閱“行列式的幾何意義”)，但跡數並沒有對等的簡明幾何意義。粗淺的說，跡數描述了行列式所表示的體積的微小變量，這是根據矩陣微分學的 Jacobi 公式 (推導過程見文末註解^[1])：

$d\det A=\mathrm{trace}((\mathrm{adj}A)(dA))$ ，

其中 $\hbox{adj}A$ 是 $A$ 的伴隨矩陣 (adjugate，見“伴隨矩陣”)。

下面討論跡數與 $A+B$ ， $cA$ ， $A^T$ ，和 $AB$ 相關的三個性質。

性質一：跡數是一個 $n\times n$ 階矩陣的線性函數，滿足

$\begin{aligned} \mathrm{trace}(A+B)&=\mathrm{trace}\,A+\mathrm{trace}\,B,\\ \mathrm{trace}(cA)&=c(\mathrm{trace}\,A).\end{aligned}$

使用定義即可證明，

$\begin{aligned} \displaystyle\mathrm{trace}(A+B)&=\sum_{i=1}^n(a_{ii}+b_{ii})=\sum_{i=1}^na_{ii}+\sum_{i=1}^nb_{ii}=\mathrm{trace}\,A+\mathrm{trace}\,B,\\ \mathrm{trace}(cA)&=\sum_{i=1}^nca_{ii}=c\sum_{i=1}^na_{ii}=c(\mathrm{trace}\,A).\end{aligned}$

性質二：轉置與共軛轉置 (conjugate transpose，見“轉置與共軛轉置”) 的跡數如下：

$\begin{aligned} \mathrm{trace}\,A^T&=\mathrm{trace}\,A\\ \mathrm{trace}\,A^{\ast}&=\overline{\mathrm{trace}\,A},\end{aligned}$

其中 $\overline{\mathrm{trace}\,A}$ 表示 $\mathrm{trace}\,A$ 的共軛。這個性質十分明顯，無須多作解釋。

性質三：兩個矩陣之積的跡數滿足交換律，稱為循環不變性。設 $A=[a_{ij}]$ 為 $m\times n$ 階， $B=[b_{ij}]$ 為 $n\times m$ 階，則

$\mathrm{trace}(AB)=\mathrm{trace}(BA)$ 。

上式中 $AB$ 和 $BA$ 皆為方陣，但尺寸可以不同。分別展開跡數算式，

$\mathrm{trace}(AB)=\displaystyle\sum_{i=1}^m(AB)_{ii}=\sum_{i=1}^m\left(\sum_{j=1}^na_{ij}b_{ji}\right)$ 。

同樣地，

$\mathrm{trace}(BA)=\displaystyle\sum_{j=1}^n(BA)_{jj}=\sum_{j=1}^n\left(\sum_{i=1}^mb_{ji}a_{ij}\right)$ 。

觀察確認上面兩式相等無誤。另一個方法是利用特徵值來證明。矩陣乘積 $AB$ 和 $BA$ 擁有相同 (含相重數) 的非零特徵值集合 (見“AB 和 BA 有何關係？”和“分塊矩陣的解題案例──逆矩陣與矩陣乘積的特徵值”)，故 $AB$ 和 $BA$ 也有相同的特徵值和。

既然跡數為特徵值之和，跡數自然反應矩陣的部分性質。簡單的例子如 $\mathrm{trace}\,I_n=n$ ，單位矩陣的跡數等於座標向量空間 $\mathbb{R}^n$ 的維數。其他較特殊的情況也不難由跡數的基本性質推得。

例一：冪零 (nilpotent) 矩陣 $A$ 的特徵值都為 $0$ (見“特殊矩陣(1)：冪零矩陣”)，故 $\mathrm{trace}\,A=0$ 。

例二：相似變換不改變一個矩陣的跡數。若 $M$ 為一個可逆矩陣，則 $\mathrm{trace}(MAM^{-1})=\mathrm{trace}\,A$ 。

利用性質三，

$\mathrm{trace}(MAM^{-1})=\mathrm{trace}((AM^{-1})M)=\mathrm{trace}\,A$ 。

由相似變換不改變特徵值 (見“相似變換下的不變性質”) 也可以推論跡數亦為相似變換下的不變性質之一。

例三：投影矩陣或稱冪等 (idempotent) 矩陣 $P$ 滿足 $\mathrm{trace}\,P=\mathrm{rank}P$ 。

設 $\mathbb{R}^n=\mathcal{X}\oplus\mathcal{Y}$ ， $P$ 為子空間 $\mathcal{X}\subseteq\mathbb{R}^n$ 的投影矩陣。令 $\{\mathbf{x}_1,\ldots,\mathbf{x}_r\}$ 和 $\{\mathbf{y}_1,\ldots,\mathbf{y}_{n-r}\}$ 分別為 $\mathcal{X}$ 和 $\mathcal{Y}$ 的基底，則 $A=\begin{bmatrix} \mathbf{x}_1&\cdots&\mathbf{x}_r&\mathbf{y}_1&\cdots&\mathbf{y}_{n-r} \end{bmatrix}$ 是一個 $n\times n$ 階可逆矩陣。投影矩陣 $P$ 可由下列公式算出 (見“直和與投影”)：

$P=A\begin{bmatrix} I_{r}&0\\ 0&0 \end{bmatrix}A^{-1}$ ，

可知 $P$ 相似於 $\begin{bmatrix} I_{r}&0\\ 0&0 \end{bmatrix}$ ，故 $\mathrm{trace}P=r=\mathrm{rank}P$ 。

例四：對稱矩陣與反對稱矩陣乘積的跡數為零。若 $A$ 為一個 $n\times n$ 階對稱矩陣， $B$ 為一個 $n\times n$ 階反對稱矩陣，則 $\mathrm{trace}(AB)=0$ 。

由已知 $A^T=A$ ， $B^T=-B$ ，可得

$\mathrm{trace}(AB)^T=\mathrm{trace}(B^TA^T)=\mathrm{trace}(-BA)=-\mathrm{trace}(AB)$ 。

但 $\mathrm{trace}(AB)^T=\mathrm{trace}(AB)$ ，就有 $\mathrm{trace}(AB)=-\mathrm{trace}(AB)$ ，故 $\mathrm{trace}(AB)=0$ 。

最後我們解釋如何用跡數來表達矩陣的內積。考慮 $m\times n$ 階矩陣形成的向量空間，我們定義兩個實矩陣的標準內積為 (見“內積的定義”)

$\displaystyle\left\langle A,B\right\rangle=\sum_{i=1}^m\sum_{j=1}^na_{ij}b_{ij}$ 。

因為

$\mathrm{trace}(A^TB)=\displaystyle\sum_{j=1}^n(A^{T}B)_{jj}=\sum_{j=1}^n\left(\sum_{i=1}^ma_{ij}b_{ij}\right)=\sum_{i=1}^m\sum_{j=1}^na_{ij}b_{ij}$ ，

實矩陣的內積可用跡數表示如下：

$\left\langle A,B\right\rangle=\mathrm{trace}(A^TB)$ ，

複矩陣的內積則為

$\left\langle A,B\right\rangle=\displaystyle\mathrm{trace}(A^{\ast}B)=\sum_{i=1}^m\sum_{j=1}^n\overline{a_{ij}}b_{ij}$ 。

量測矩陣大小的 Frobenius 矩陣範數也常以跡數表示，若 $A$ 為一個實矩陣，則

$\Vert A\Vert_F=\displaystyle\sqrt{\sum_{i=1}^m\sum_{j=1}^n a_{ij}^2}=\sqrt{\mathrm{trace}(A^TA)}$ 。

再者，利用內積產生的不等式很容易推論對應的跡數不等式，例如，從 $\Vert\mathbf{x}-\mathbf{y}\Vert^2\ge 0$ 可推得

$\left\langle\mathbf{x},\mathbf{y}\right\rangle\le\displaystyle\frac{1}{2}\left(\Vert\mathbf{x}\Vert^2+\Vert\mathbf{y}\Vert^2\right)$ 。

以實矩陣的內積 $\mathrm{trace}(A^TB)$ 取代一般的內積 $\left\langle\mathbf{x},\mathbf{y}\right\rangle$ ，就有

$\displaystyle\mathrm{trace}(A^TB)\le\frac{1}{2}\left(\mathrm{trace}(A^TA)+\mathrm{trace}(B^TB)\right)$ 。

將上式的 $A^T$ 替換為 $B$ ，利用性質三即可得到下面的不等式：

$\mathrm{trace}(B^2)\le\displaystyle\frac{1}{2}\left(\mathrm{trace}(BB^T)+\mathrm{trace}(B^TB)\right)=\mathrm{trace}(B^TB)$ 。

註解
[1] 設 $A=[a_{ij}]$ 是一個 $n\times n$ 階可微矩陣函數。底下證明 Jacobi 的行列式微分公式

$\displaystyle d\det A=\hbox{trace}\left((\hbox{adj}A)dA\right)$ ，

其中 $\hbox{adj}A$ 是 $A$ 的伴隨矩陣， $dA=[da_{ij}]$ 是 $A$ 的微分。使用行列式的餘因子 (cofactor) 公式 (見“行列式的運算公式與性質”)，

$\displaystyle\begin{aligned} \frac{\partial \det A}{\partial a_{ij}}&=\frac{\sum_{k}a_{ik}c_{ik}}{\partial a_{ij}}=\sum_k\delta_{jk}c_{ik}\\ &=c_{ij}=(\hbox{adj}A)_{ji},\end{aligned}$

其中 $c_{ij}=(\hbox{adj}A)_{ji}$ 是對應 $a_{ij}$ 的餘因子 (見“伴隨矩陣”)， $\delta_{ij}$ 是 Kronecker 記號 ( $\delta_{ij}=1$ 若 $i=j$ ， $\delta_{ij}=0$ 若 $i\neq j$ )。因此，

$\displaystyle\begin{aligned} d\det A&=\sum_{i=1}^n\sum_{j=1}^n\frac{\partial \det A}{\partial a_{ij}}da_{ij}\\ &=\sum_{j=1}^n\left(\sum_{i=1}^n\left(\hbox{adj}A\right)_{ji} da_{ij}\right)\\ &=\textrm{trace}\left((\hbox{adj}A)dA\right) .\end{aligned}$

上式中， $dA=[da_{ij}]$ 與 $A=[a_{ij}]$ 是同階方陣。

6 Responses to 跡數的性質與應用

michael 說道：

06/29/2014 at 10:48 下午

请问老师，本文中的bar符号是什么含义呢？谢谢您。

回應
- ccjou 說道：
  
  06/30/2014 at 9:09 上午
  
  bar代表conjugate，共軛。文中已增添說明。
  
  回應
  - michael 說道：
    
    07/16/2014 at 3:19 下午
    
    多谢老师。
    
    回應
嗡嗡說道：

03/16/2016 at 6:43 下午

老師您好
請問有沒有更詳細的Jacobi 的行列式微分公式說明
有點看不太懂

回應
- ccjou 說道：
  
  03/16/2016 at 9:24 下午
  
  原本的推導有一處打印錯誤，已經訂正。如果仍有疑問請你再提出來。
  
  回應
Peter Chan 說道：

06/17/2016 at 1:41 下午

inspired much after re-reading

回應

發表迴響取消回覆

在此輸入你的回應…

在下方填入你的資料或按右方圖示以社群網站登入：

電子郵件 (必) （電子郵件地址不會被公開）

名稱 (必)

個人網站

您的留言將使用 WordPress.com 帳號。 ( 登出 / 變更 )

您的留言將使用 Google+ 帳號。 ( 登出 / 變更 )

您的留言將使用 Twitter 帳號。 ( 登出 / 變更 )

您的留言將使用 Facebook 帳號。 ( 登出 / 變更 )

取消

連結到 %s

	「mwvbx」對「線性代數基本定理 (一)」留言
	「mwvbx」對「線性代數基本定理 (一)」留言
	「至寒」對「傅立葉級數 (下)」留言
	「刘人宇」對「線性規劃 (四)：單形法」留言
	「胡霖」對「特徵值的代數重數與幾何重數」留言
	「CTR预估：计算广告的应用(1)——理论…」對「答張盛東──關於 Hessian 矩陣與多變量函數的泰勒展開…」留言