單範正交基底

本文的閱讀等級:中級

歐幾里得空間 \mathbb{R}^2\mathbb{R}^3 是具有內積運算的向量空間 (見“歐幾里得空間的數學結構”),稱為內積空間。歐幾里得空間 \mathbb{R}^2 的標準基底 \{\mathbf{e}_1=(1,0),\mathbf{e}_2=(0,1)\} 由正交 (垂直) 的單位向量組成,即 \Vert\mathbf{e}_1\Vert=\Vert\mathbf{e}_2\Vert=1\mathbf{e}_1\cdot\mathbf{e}_2=0。令 \mathbf{e}_1\mathbf{e}_2 逆時針旋轉 \theta 徑度,所得的向量 \mathbf{e}'_1=(\cos\theta,\sin\theta)\mathbf{e}'_2=(-\sin\theta,\cos\theta)\mathbb{R}^2 的另一組基底。同樣地,基底 \{\mathbf{e}'_1,\mathbf{e}'_2\} 滿足 \Vert\mathbf{e}'_1\Vert=\Vert\mathbf{e}'_2\Vert=1{\mathbf{e}'_1}\cdot\mathbf{e}'_2=0。我們稱 \{\mathbf{e}_1,\mathbf{e}_2\}\{\mathbf{e}'_1,\mathbf{e}'_2\} 是歐幾里得空間 \mathbb{R}^2 的單範正交基底[1] (orthonormal basis)。基底造出向量空間的結構,單範正交基底則造出內積空間的結構。若與非正交基底比較,單範正交基底的最大優勢在於具備清晰的幾何意義而且容易計算。通過討論一般內積空間的單範正交基底的等價條件可以幫助你了解這種特殊基底的應用價值。

 
\mathcal{V} 為一個內積空間。兩向量 \mathbf{x}\mathbf{y} 的內積記為 \left\langle\mathbf{x},\mathbf{y}\right\rangle,滿足下列性質 (見“內積的定義”):對於 \mathbf{x},\mathbf{y},\mathbf{z}\in\mathcal{V},純量 c,d 為實 (或複) 數,

  1. \left\langle\mathbf{x},\mathbf{y}\right\rangle=\overline{\left\langle\mathbf{y},\mathbf{x}\right\rangle}
  2. \left\langle\mathbf{x},c\mathbf{y}+d\mathbf{z}\right\rangle=c\left\langle\mathbf{x},\mathbf{y}\right\rangle+d\left\langle\mathbf{x},\mathbf{z}\right\rangle
  3. \left\langle\mathbf{x},\mathbf{x}\right\rangle\ge 0\left\langle\mathbf{x},\mathbf{x}\right\rangle=0 僅當 \mathbf{x}=\mathbf{0}

例如,實座標向量空間 \mathbb{R}^n 的兩個向量 \mathbf{x}=(x_1,\ldots,x_n)^T\mathbf{y}=(y_1,\ldots,y_n)^T 的標準內積定義為 \left\langle\mathbf{x},\mathbf{y}\right\rangle=\mathbf{x}^T\mathbf{y}=\sum_{i=1}^nx_iy_i;複座標向量空間 \mathbb{C}^n 的兩個向量 \mathbf{x}\mathbf{y} 的標準內積定義為 \left\langle\mathbf{x},\mathbf{y}\right\rangle=\mathbf{x}^\ast\mathbf{y}=\sum_{i=1}^n\overline{x_i}y_i;定義區間 [a,b] 的連續實函數形成的內積空間 \mathcal{P} 的兩個函數 fg 的內積可為 \left\langle f,g\right\rangle=\int_a^bf(x)g(x)dx

 
在內積空間 \mathcal{V},一個向量 \mathbf{x} 的範數 (norm) 是幾何向量長度的推廣,定義為 \Vert\mathbf{x}\Vert=\sqrt{\left\langle\mathbf{x},\mathbf{x}\right\rangle} (見“向量範數”)。請注意,在一般的向量空間中,向量範數是沒有意義的。若 \left\langle\mathbf{x},\mathbf{y}\right\rangle=0,則 \mathbf{x}\mathbf{y} 正交,記為 \mathbf{x}\perp\mathbf{y}。正交具有對稱性,因為 \left\langle\mathbf{y},\mathbf{x}\right\rangle=\overline{\left\langle\mathbf{x},\mathbf{y}\right\rangle}=0。若 \Vert\mathbf{x}\Vert=1,則 \mathbf{x} 是一個單位向量。如果 \{\mathbf{v}_1,\ldots,\mathbf{v}_k\} 是兩兩正交的單位向量集,我們稱之為單範正交集 (orthonormal set),換句話說,\left\langle\mathbf{v}_i,\mathbf{v}_j\right\rangle=\delta_{ij},其中 \delta_{ij} 代表單位矩陣 I_k(i,j) 元。這個性質非常重要:單範正交集蘊含線性獨立性。證明於下:假設 c_1\mathbf{v}_1+\cdots+c_k\mathbf{v}_k=\mathbf{0}。對於 i=1,\ldots,k,使用內積性質,

\begin{aligned}  0&=\left\langle\mathbf{v}_i,\mathbf{0}\right\rangle=\left\langle\mathbf{v}_i,c_1\mathbf{v}_1+\cdots+c_k\mathbf{v}_k\right\rangle\\  &=c_1\left\langle\mathbf{v}_i,\mathbf{v}_1\right\rangle+\cdots+c_k\left\langle\mathbf{v}_i,\mathbf{v}_k\right\rangle\\  &=c_i\Vert\mathbf{v}_i\Vert^2=c_i.  \end{aligned}

根據單範正交集的獨立性,若 \mathcal{V} 是一個有限維內積空間,\dim\mathcal{V}=n,則單範正交集 \{\mathbf{v}_1,\ldots,\mathbf{v}_n\}\mathcal{V} 的一組單範正交基底。

 
假設 \boldsymbol{\beta}=\{\mathbf{v}_1,\ldots,\mathbf{v}_n\} 是內積空間 \mathcal{V} 的一個單範正交集,底下列舉單範正交基底的等價條件[2]

  1. \boldsymbol{\beta} 是內積空間 \mathcal{V} 中最大的單範正交集。向量空間中任何一個最大的線性獨立集都是一組基底,因此最大的單範正交集是單範正交基底的另一種陳述。
  2. \left\langle\mathbf{x},\mathbf{v}_i\right\rangle=0i=1,\ldots,n,則 \mathbf{x}=\mathbf{0}。換句話說,每一個非零向量 \mathbf{x} 至少不與一個單位向量 \mathbf{v}_i 正交。
  3. 單範正交集 \boldsymbol{\beta} 的生成空間 (span) 等於 \mathcal{V}。換句話說,任一 \mathbf{x}\in\mathcal{V} 皆可表示為 \mathbf{v}_1,\ldots,\mathbf{v}_n 的線性組合,\mathbf{x}=c_1\mathbf{v}_1+\cdots+c_n\mathbf{v}_n
  4. \mathbf{x}\in\mathcal{V},則

    \displaystyle  \mathbf{x}=\sum_{i=1}^n\left\langle\mathbf{v}_i,\mathbf{x}\right\rangle\mathbf{v}_i

  5. 上式稱為向量 \mathbf{x} 的傅立葉展開式 (Fourier expansion),\left\langle\mathbf{v}_i,\mathbf{x}\right\rangle 稱為傅立葉係數。傅立葉展開式將 \mathbf{x} 分解為 n 個兩兩正交的分量 \left\langle\mathbf{v}_i,\mathbf{x}\right\rangle\mathbf{v}_ii=1,\ldots,n,其中 \left\langle\mathbf{v}_i,\mathbf{x}\right\rangle\mathbf{v}_i 的幾何意義是 \mathbf{x} 在單位向量 \mathbf{v}_i 的正交投影[3]。傅立葉展開式的特點是不須解線性方程,內積直接算出向量 \mathbf{x} 參考有序單範正交集 \boldsymbol{\beta}=\{\mathbf{v}_1,\ldots,\mathbf{v}_n\} 的座標向量

    [\mathbf{x}]_{\boldsymbol{\beta}}=\begin{bmatrix}  \left\langle\mathbf{v}_1,\mathbf{x}\right\rangle\\  \vdots\\  \left\langle\mathbf{v}_n,\mathbf{x}\right\rangle  \end{bmatrix}

  6. \mathbf{x}\mathbf{y} 屬於 \mathcal{V},則

    \displaystyle  \left\langle\mathbf{x},\mathbf{y}\right\rangle=\sum_{i=1}^n\left\langle\mathbf{x},\mathbf{v}_i\right\rangle  \left\langle\mathbf{v}_i,\mathbf{y}\right\rangle

    稱為 Parseval 恆等式。稍微變裝即可看出 Parseval 恆等式的意義是內積空間 \mathcal{V} 的內積等於對應座標向量空間 \mathbb{C}^n 的內積:

    \displaystyle  \left\langle\mathbf{x},\mathbf{y}\right\rangle=\sum_{i=1}^n\overline{\left\langle\mathbf{v}_i,\mathbf{x}\right\rangle}  \left\langle\mathbf{v}_i,\mathbf{y}\right\rangle=[\mathbf{x}]_{\boldsymbol{\beta}}^\ast[\mathbf{y}]_{\boldsymbol{\beta}}=\left\langle[\mathbf{x}]_{\boldsymbol{\beta}},[\mathbf{y}]_{\boldsymbol{\beta}}\right\rangle

    因此,\mathbf{x}\mathbf{y} 正交等價於 [\mathbf{x}]_{\boldsymbol{\beta}}[\mathbf{y}]_{\boldsymbol{\beta}} 正交。

  7. \mathbf{x}\in\mathcal{V},則

    \displaystyle  \Vert\mathbf{x}\Vert^2=\sum_{i=1}^n\left|\left\langle\mathbf{v}_i,\mathbf{x}\right\rangle\right|^2

    稱為 Parseval 定理。換句話說,向量 \mathbf{x} 的範數等於座標向量 [\mathbf{x}]_{\boldsymbol{\beta}} 的範數。

 
接下來,我們證明單範正交基底的等價條件。

(1) \Rightarrow (2). 使用逆否命題法 (見“反證法與逆否命題法”)。如果 \mathbf{x}\neq\mathbf{0}\left\langle\mathbf{x},\mathbf{v}_i\right\rangle=0i=1,\ldots,n,則 \{\mathbf{x}/\Vert\mathbf{x}\Vert,\mathbf{v}_1,\ldots,\mathbf{v}_n\} 是一個更大的單範正交集,故得證。

(2) \Rightarrow (3). 使用逆否命題法。假設存在一個 \mathbf{x}\in\mathcal{V} 不能表示為 \mathbf{v}_1,\ldots,\mathbf{v}_n 的線性組合。我們要證明存在一個非零向量 \mathbf{x}' 使得 \left\langle\mathbf{x},\mathbf{v}_i\right\rangle=0i=1,\ldots,n。令 \mathbf{x}'=\mathbf{x}-\sum_{i=1}^nc_i\mathbf{v}_i,其中 c_i=\left\langle\mathbf{v}_i,\mathbf{x}\right\rangle。使用內積性質,

\begin{aligned} \displaystyle  \left\langle\mathbf{v}_j,\mathbf{x}^{\prime}\right\rangle  &=\left\langle\mathbf{v}_j,\mathbf{x}-\sum_{i=1}^n c_i\mathbf{v}_i\right\rangle\\  &=\left\langle\mathbf{v}_j,\mathbf{x}\right\rangle-\sum_{i=1}^n c_i\left\langle\mathbf{v}_j,\mathbf{v}_i\right\rangle=c_j-c_j=0.\end{aligned}

\mathbf{x}'\neq\mathbf{0},證畢。

(3) \Rightarrow (4). 若任一 \mathbf{x}\in\mathcal{V} 具有形式 \mathbf{x}=\sum_{j=1}^nc_j\mathbf{v}_j,則

\displaystyle  \left\langle\mathbf{v}_i,\mathbf{x}\right\rangle=\left\langle\mathbf{v}_i,\sum_{j=1}^nc_j\mathbf{v}_j\right\rangle=\sum_{j=1}^nc_j\left\langle\mathbf{v}_i,\mathbf{v}_j\right\rangle=c_i

(4) \Rightarrow (5). 若 \mathbf{x}=\sum_{i=1}^nc_i\mathbf{v}_i\mathbf{y}=\sum_{j=1}^nd_j\mathbf{v}_j,其中 c_i=\left\langle\mathbf{v}_i,\mathbf{x}\right\rangled_j=\left\langle\mathbf{v}_j,\mathbf{y}\right\rangle,則

\displaystyle\begin{aligned}  \left\langle\mathbf{x},\mathbf{y}\right\rangle&=\left\langle\sum_{i=1}^nc_i\mathbf{v}_i,\sum_{j=1}^nd_j\mathbf{v}_j\right\rangle=\sum_{i=1}^n\overline{c_i}d_j\left\langle\mathbf{v}_i,\mathbf{v}_i\right\rangle\\  &=\sum_{i=1}^n\overline{c_i}d_i=\sum_{i=1}^n\left\langle\mathbf{x},\mathbf{v}_i\right\rangle\left\langle\mathbf{v}_i,\mathbf{y}\right\rangle.\end{aligned}

(5) \Rightarrow (6). 代入 \mathbf{y}=\mathbf{x},立得

\displaystyle  \Vert\mathbf{x}\Vert^2=\left\langle\mathbf{x},\mathbf{x}\right\rangle=\sum_{i=1}^n\left\langle\mathbf{x},\mathbf{v}_i\right\rangle\left\langle\mathbf{v}_i,\mathbf{x}\right\rangle=\sum_{i=1}^n\overline{\left\langle\mathbf{v}_i,\mathbf{x}\right\rangle}\left\langle\mathbf{v}_i,\mathbf{x}\right\rangle=\sum_{i=1}^n\left|\left\langle\mathbf{v}_i,\mathbf{x}\right\rangle\right|^2

(6) \Rightarrow (1). 使用反證法。假設 \boldsymbol{\beta} 被一個更大的單範正交集所包含,設該集合為 \{\mathbf{v}_0,\mathbf{v}_1,\ldots,\mathbf{v}_n\}。因為 \mathbf{v}_0 正交於 \mathbf{v}_ii=1,\ldots,n,可得

\Vert\mathbf{v}_0\Vert^2=\sum_{i=1}^n\left|\left\langle\mathbf{v}_i,\mathbf{v}_0\right\rangle\right|=0

因此 \mathbf{v}_0=\mathbf{0},得到一個矛盾。

 
最後考慮一個問題:如何製造座標向量空間 \mathbb{C}^n 的一組單範正交基底?給定一個非零單位向量 \mathbf{x}=(x_1,\ldots,x_n)^T\in\mathbb{R}^nx_1\neq 0,我們希望構造包含 \mathbf{x}\mathbb{C}^n 的一組單範正交基底。若 U 是一個 n\times n 階么正矩陣 (unitary matrix),U^\ast=U^{-1},寫出 U 的行向量表達,U=\begin{bmatrix}  \mathbf{u}_1&\cdots&\mathbf{u}_n  \end{bmatrix},則 (U^\ast U)_{ij}=\mathbf{u}^\ast_i\mathbf{u}_j=\delta_{ij},可知 \{\mathbf{u}_1,\ldots,\mathbf{u}_n\}\mathbb{C}^n 的一組單範正交基底。下面說明么正矩陣 U 的設計方法。考慮 Householder 矩陣 (見“特殊矩陣 (4):Householder 矩陣”)

\displaystyle  H=I-2\frac{\mathbf{v}\mathbf{v}^\ast}{\mathbf{v}^\ast\mathbf{v}}

其中 \mathbf{v}\in\mathbb{C}^n 是一個非零向量。Householder 矩陣 H 是一種鏡射矩陣,\mathbf{v} 為鏡射超平面的法向量,滿足 H=H^\ast=H^{-1}[4]。令 \nu=1x_1 是實數,\nu=x_1/\vert x_1\vertx_1 不是實數。設 \mathbf{v}=\mathbf{x}\pm\nu\mathbf{e}_1,其中 \mathbf{e}_1=(1,0,\ldots,0)^T\mathbb{C}^n 的單位向量。計算

\displaystyle  H\mathbf{x}=\left(I-2\frac{\mathbf{v}\mathbf{v}^\ast}{\mathbf{v}^\ast\mathbf{v}}\right)\mathbf{x}=\mathbf{x}-2\frac{\mathbf{v}^\ast\mathbf{x}}{\mathbf{v}^\ast\mathbf{v}}\mathbf{v}

其中

\begin{aligned}  2\mathbf{v}^\ast\mathbf{x}&=2(\mathbf{x}\pm\nu\mathbf{e}_1)^\ast\mathbf{x}=2(\mathbf{x}^\ast\mathbf{x}\pm\overline{\nu}x_1)=2\pm 2|x_1|,\\  \mathbf{v}^\ast\mathbf{v}&=(\mathbf{x}\pm\nu\mathbf{e}_1)^\ast(\mathbf{x}\pm\nu\mathbf{e}_1)=\mathbf{x}^\ast\mathbf{x}\pm \overline{\nu} x_1\pm\nu\overline{x}_1+|\nu|^2=2\pm 2|x_1|.  \end{aligned}

選擇適當的正負號使上式不為零。合併以上結果,H\mathbf{x}=\mathbf{x}-\mathbf{v}=\mp \nu\mathbf{e}_1,左乘 H,可得 \mathbf{x}=\mp \nu H\mathbf{e}_1。令 U=\mp \nu H,其中第一個行向量是 \mathbf{x}。因為 |\nu|=1U^\ast U=(\mp \nu H)^\ast (\mp \nu H)=H^\ast H=I,證明 U 是一個么正矩陣。

 
那麼,給定內積空間 \mathcal{V} 的任何一個線性獨立集 \{\mathbf{x}_1,\ldots,\mathbf{x}_k\},如何產生一組單範正交集 \{\mathbf{v}_1,\ldots,\mathbf{v}_k\} 使得兩個向量集合有相同的生成空間?這是 Gram-Schmidt 正交化所要解決的問題,詳細討論請見“Gram-Schmidt 正交化與 QR 分解”。

 
註解
[1] 單範正交基底在台灣數學界的普及度較高,另有許多不同的中譯名,譬如,標準正交基底、規範正交基底等。
[2] 引用來源 Paul R. Halmos, Finite-Dimensional Vector Spaces, Springer, 1987, pp 124-125.
[3] 令 \alpha\mathbf{v}_i 代表向量 \mathbf{x} 在單位向量 \mathbf{v}_i 的正交投影。因此,殘量 \mathbf{x}-\alpha\mathbf{v}_i 正交於 \mathbf{v}_i,即有

0=\left\langle\mathbf{v}_i,\mathbf{x}-\alpha\mathbf{v}_i\right\rangle=\left\langle\mathbf{v}_i,\mathbf{x}\right\rangle-\alpha\left\langle\mathbf{v}_i,\mathbf{v}_i\right\rangle=\left\langle\mathbf{v}_i,\mathbf{x}\right\rangle-\alpha

因此 \alpha=\left\langle\mathbf{v}_i,\mathbf{x}\right\rangle
[4] 明顯地,U^\ast=U。直接計算驗證 U^2=I,故 U=U^{-1}

Advertisements
This entry was posted in 線性代數專欄, 內積空間 and tagged , , , , . Bookmark the permalink.

發表迴響

在下方填入你的資料或按右方圖示以社群網站登入:

WordPress.com Logo

您的留言將使用 WordPress.com 帳號。 登出 / 變更 )

Twitter picture

您的留言將使用 Twitter 帳號。 登出 / 變更 )

Facebook照片

您的留言將使用 Facebook 帳號。 登出 / 變更 )

Google+ photo

您的留言將使用 Google+ 帳號。 登出 / 變更 )

連結到 %s