Hermitian 矩陣與實對稱矩陣的一些實例

Posted on 11/08/2012 by ccjou

本文的閱讀等級：初級

令 A=[a_{ij}] 為一個 n\times n 階矩陣。若 A^{\ast}=A，其中 A^{\ast}=\overline{A}^T，即 (A^{\ast})_{ij}=\overline{a}_{ji}，我們稱 A 為 Hermitian 矩陣 (見“特殊矩陣 (9)：Hermitian 矩陣”)。若所有 a_{ij} 都是實數，則 A^{\ast}=A^T=A，實 Hermitian 矩陣即為實對稱矩陣。Hermitian 矩陣和實對稱矩陣是目前應用最廣的特殊矩陣，原因有二：它們具備許多美好的特徵分析性質 (見“實對稱矩陣可正交對角化的證明”，“Hermitian 矩陣特徵值的變化界定”)，以及它們「天生地」出現在多樣應用場合。下面列舉一些實例，包括 Hessian 矩陣、共變異數矩陣、鄰接矩陣、二次型和雙線性形式。

 
例1 Hessian 矩陣

設 f:D\to\mathbb{R} 為二次可導函數，D\subseteq\mathbb{R}^n，且 \mathbf{x}=(x_1,\ldots,x_n)^T\in D。n\times n 階實矩陣 H(\mathbf{x})=[h_{ij}(\mathbf{x})] 稱為 f 的 Hessian 矩陣 (或簡稱 Hessian)，定義如下：

\displaystyle h_{ij}(\mathbf{x})=\frac{\partial^2f(\mathbf{x})}{\partial x_i\partial x_j}。

Hessian 矩陣常見於最佳化問題中多變量泰勒展開式，f 在 \mathbf{y}\in D 可展開如下 (見“最佳化理論與正定矩陣”)：

f(\mathbf{x})=f(\mathbf{y})+\displaystyle\sum_{i=1}^n\left.\frac{\partial f}{\partial x_i}\right|_{\mathbf{y}}(x_i-y_i)+\frac{1}{2}\sum_{i,j=1}^n\left.\frac{\partial^2f}{\partial x_i\partial x_j}\right|_{\mathbf{y}}(x_i-y_i)(x_j-y_j)+\cdots。

根據導數法則，對於所有 i,j=1,2,\ldots,n，

\displaystyle \frac{\partial^2f(\mathbf{x})}{\partial x_i\partial x_j}=\frac{\partial^2f(\mathbf{x})}{\partial x_j\partial x_i}，

可知 H=H(\mathbf{x}) 滿足 H^T=H。所以，任何二次可導實函數的 Hessian 都是實對稱矩陣。

 
例2 共變異數矩陣

設 \mathbf{x} 是由 n 個隨機變數 X_1,\ldots,X_n\in\mathbb{R} 組成的向量 \mathbf{x}=(X_1,\ldots,X_n)^T。在此我們沿用機率學慣用的符號，以大寫英文字母表示隨機變數，請留意勿將隨機變數與矩陣混淆。多變量分析經常使用的共變異數矩陣 (covariance matrix)，記為 \Sigma=\mathrm{cov}(\mathbf{x})，其 (i,j) 元定義為隨機變數 X_i 和 X_j 的共變異數 (或稱協方差)，如下 (見“二次型與正定矩陣”)：

(\Sigma)_{ij}=\mathrm{cov}(X_i,X_j)=E\left[(X_i-\mu_i)(X_j-\mu_j)\right]，

其中 \mu_i=E[X_i] 代表 X_i 的期望值。明顯地，

E\left[(X_i-\mu_i)(X_j-\mu_j)\right]=E\left[(X_j-\mu_j)(X_i-\mu_i)\right]。

因此 \Sigma_{ij}=\Sigma_{ji}，共變異數矩陣是對稱矩陣。

 
例3 鄰接矩陣

在圖論中，一個無向圖 (undirected graph) G=(V, E) 包含兩種組成元件：頂點 (vertex) 集合 V=\{v_1,v_2,\ldots,v_n\} 與邊 (edge) 集合 E。邊集合 E 中每一個無向邊 e 由一對相異的頂點 x, y\in V 所定義，記為 e=\{x,y\}，我們稱頂點 x 和 y 鄰接 (adjacent)，記作 x\sim y (見“線性代數在圖論的應用 (一)：鄰接矩陣”)。定義 n\times n 階鄰接矩陣 A=[a_{ij}]，如下：

a_{ij}=\left\{\begin{matrix} 1&\mathrm{if~}v_i\sim v_j\\ 0&\mathrm{otherwise} \end{matrix}\right.

無向圖 G 擁有無向邊，這意味 v_i\sim v_j 和 v_j\sim v_i 同時存在，故無向圖的鄰接矩陣 A 是實對稱矩陣。

 
例4 二次型

令 A=[a_{ij}] 為 n\times n 階實矩陣 (或複矩陣)，\mathbf{x} 為 n 維實向量 (或複向量)。考慮二次型 f(\mathbf{x})=\mathbf{x}^TA\mathbf{x}，乘開可得

\displaystyle \begin{aligned} f(\mathbf{x})&=\mathbf{x}^TA\mathbf{x}=\sum_{i=1}^n\sum_{j=1}^na_{ij}x_ix_j\\ &=\sum_{i=1}^n\sum_{j=1}^n\left(\frac{a_{ij}+a_{ji}}{2}\right)x_ix_j\\ &=\mathbf{x}^T\left(\frac{A+A^T}{2}\right)\mathbf{x}.\end{aligned}

上式指出 A 和 (A+A^T)/2 有相同的二次型，且 (A+A^T)/2 是對稱矩陣。因此，不論 A 是實矩陣或複矩陣，二次型僅須考慮 A 的對稱部分即可 (相關主題請見“特殊矩陣 (13)：反對稱矩陣”)。

 
例5 雙線性形式

令 A=[a_{ij}] 為 n\times n 階實矩陣，\mathbf{x},\mathbf{y} 為 n 維實向量。考慮下列實雙線性形式 (bilinear form)：

\displaystyle f(\mathbf{x},\mathbf{y})=\mathbf{x}^TA\mathbf{y}=\sum_{i=1}^n\sum_{j=1}^na_{ij}x_iy_j。

若 A=I，則 f(\mathbf{x},\mathbf{y})=\mathbf{x}^T\mathbf{y} 即為 \mathbf{x} 和 \mathbf{y} 的內積。將 f 改寫成

f(\mathbf{x},\mathbf{y})=\mathbf{x}^T(A\mathbf{y})=(A\mathbf{y})^T\mathbf{x}=\mathbf{y}^TA^T\mathbf{x}。

由上式可知 f(\mathbf{x},\mathbf{y})=f(\mathbf{y},\mathbf{x}) 的充要條件是 A^T=A。所以，對稱實雙線性形式和實對稱矩陣相關連。接著考慮複矩陣 A，複雙線性形式定義如下：

\displaystyle g(\mathbf{x},\mathbf{y})=\mathbf{x}^{\ast}A\mathbf{y}=\sum_{i=1}^n\sum_{j=1}^na_{ij}\overline{x}_iy_j，

其中 \mathbf{x},\mathbf{y} 是 n 維複向量。同樣地，若 A=I，則 g(\mathbf{x},\mathbf{y})=\mathbf{x}^{\ast}\mathbf{y} 變成 \mathbf{x} 和 \mathbf{y} 的內積 (見“內積的定義”)。運用複向量的內積性質，

\displaystyle g(\mathbf{x},\mathbf{y})=\mathbf{x}^{\ast}(A\mathbf{y})=\overline{(A\mathbf{y})^{\ast}\mathbf{x}}=\overline{\mathbf{y}^{\ast}A^{\ast}\mathbf{x}}。

類似實雙線性形式的情形，g(\mathbf{x},\mathbf{y})=\overline{g(\mathbf{y},\mathbf{x})} 的充要條件是 A^{\ast}=A。這說明共軛對稱複雙線性形式和 Hermitian 矩陣相關連。

Advertisement
This entry was posted in 線性代數專欄, 二次型 and tagged , , , , , , , , . Bookmark the permalink.

Leave a Reply

Fill in your details below or click an icon to log in:

Gravatar
WordPress.com Logo

You are commenting using your WordPress.com account. ( Log Out /  Change )

Facebook photo

You are commenting using your Facebook account. ( Log Out /  Change )

Cancel

Connecting to %s