Schwarz 不等式

Posted on 03/10/2010 by ccjou

本文的閱讀等級：中級

Schwarz 不等式是一條應用廣泛的不等式，常見於線性代數的內積空間，數學分析的無窮級數，以及連續函數之積的積分。Schwarz 不等式給出內積空間中兩個向量的內積大小與各自長度之積的不等關係。若 \mathbf{x} 與 \mathbf{y} 為內積空間 \mathcal{V} 的向量，Schwarz 不等式說：

\vert\!\left\langle\mathbf{x},\mathbf{y}\right\rangle\!\vert\le\Vert\mathbf{x}\Vert\cdot\Vert\mathbf{y}\Vert，

其中 \left\langle\mathbf{x},\mathbf{y}\right\rangle 代表 \mathbf{x} 與 \mathbf{y} 的內積。

Hermann Schwarz (1843-1921) From http://www.gap-system.org/~history/BigPictures/Schwarz.jpeg

 
本文所稱的內積係指廣義向量空間內積 (見“內積的定義”)。在佈於實 (或複) 數系的一個向量空間中，內積 \left\langle\mathbf{x},\mathbf{y}\right\rangle 為兩個向量 \mathbf{x} 和 \mathbf{y} 的數值函數，滿足底下四個性質：

  1. \left\langle\mathbf{x},\mathbf{y}\right\rangle=\overline{\left\langle\mathbf{y},\mathbf{x}\right\rangle}
  2. \left\langle\mathbf{x},\mathbf{y}+\mathbf{z}\right\rangle=\left\langle\mathbf{x},\mathbf{y}\right\rangle+\left\langle\mathbf{x},\mathbf{z}\right\rangle
  3. \left\langle\mathbf{x},c\mathbf{y}\right\rangle=c\left\langle\mathbf{x},\mathbf{y}\right\rangle
  4. \left\langle\mathbf{x},\mathbf{x}\right\rangle\ge 0，等號於且僅於 \mathbf{x}=\mathbf{0} 時成立。

由性質1，2與3，可推得 \left\langle\mathbf{x}+\mathbf{y},\mathbf{z}\right\rangle=\left\langle\mathbf{x},\mathbf{z}\right\rangle+\left\langle\mathbf{y},\mathbf{z}\right\rangle 以及 \left\langle c\mathbf{x},\mathbf{y}\right\rangle=\overline{c}\left\langle\mathbf{x},\mathbf{y}\right\rangle。

 
我們介紹一個較少見的證明方式──以 Bessel 不等式證明 Schwarz 不等式。如果 \{\mathbf{v}_1,\ldots,\mathbf{v}_m\} 為內積空間的一組單範正交 (orthonormal) 向量集，亦即 \left\langle\mathbf{v}_i,\mathbf{v}_i\right\rangle=1，i=1,\ldots,m，且 \left\langle\mathbf{v}_i,\mathbf{v}_j\right\rangle=0，若 i\neq j。對於任意向量 \mathbf{x}，令 a_i=\left\langle\mathbf{v}_i,\mathbf{x}\right\rangle，Bessel 不等式給出

\displaystyle\sum_{i=1}^m\vert a_i\vert^2\le\Vert\mathbf{x}\Vert^2

證明如下：設 \mathbf{x}^{\prime}=\mathbf{x}-\sum_{i=1}^m a_i\mathbf{v}_i，由 \Vert\mathbf{x}^{\prime}\Vert^2\ge 0 切入，利用上述內積性質和給出條件，就有

\begin{aligned} \displaystyle\Vert\mathbf{x}^{\prime}\Vert^2&=\left\langle\mathbf{x}^{\prime},\mathbf{x}^{\prime}\right\rangle\\ &=\left\langle\mathbf{x}-\sum_i a_i\mathbf{v}_i,\mathbf{x}-\sum_j a_j\mathbf{v}_j\right\rangle\\ &=\left\langle\mathbf{x},\mathbf{x}\right\rangle-\sum_i\overline{a_i}\left\langle\mathbf{v}_i,\mathbf{x}\right\rangle-\sum_j{a_j}\left\langle\mathbf{x},\mathbf{v}_j\right\rangle+\sum_i\sum_j \overline{a_i}{a_j}\left\langle\mathbf{v}_i,\mathbf{v}_j\right\rangle\\ &=\Vert\mathbf{x}\Vert^2-\sum_i\vert a_i\vert^2-\sum_j\vert a_j\vert^2+\sum_j\vert a_j\vert^2\\ &=\Vert\mathbf{x}\Vert^2-\sum_i\vert a_i\vert^2\ge 0\end{aligned}

 
Bessel 不等式指出向量 \mathbf{x} 的長度平方大於或等於 \mathbf{x} 至 \{\mathbf{v}_1,\ldots,\mathbf{v}_m\} 的正交投影分量，即平方和 \Vert a_1\mathbf{v}_1\Vert^2+\cdots+\Vert a_m\mathbf{v}_m\Vert^2=\vert a_1\vert^2+\cdots+\vert a_m\vert^2。更進一步，還可推論殘餘量 \mathbf{x}^{\prime} 正交於 \mathbf{v}_j：

\begin{aligned} \left\langle\mathbf{v}_j,\mathbf{x}^{\prime}\right\rangle&=\displaystyle\left\langle\mathbf{v}_j,\mathbf{x}\right\rangle-\sum_i a_i\left\langle\mathbf{v}_j,\mathbf{v}_i\right\rangle=a_j-a_j=0\end{aligned}

 
由 Bessel 不等式很容易可證得 Schwarz 不等式。若 \mathbf{y}=\mathbf{0}，Schwarz 不等式兩端為零。若 \mathbf{y}\neq\mathbf{0}，考慮向量集 \{\mathbf{y}/\Vert\mathbf{y}\Vert\}，根據 Bessel 不等式，

\displaystyle\left\vert\left\langle\mathbf{x},\frac{\mathbf{y}}{\Vert\mathbf{y}\Vert}\right\rangle\right\vert^2\le\Vert\mathbf{x}\Vert^2

移除平方並將純量 \Vert\mathbf{y}\Vert 從內積運算中提出，

\displaystyle\frac{\vert\!\left\langle\mathbf{x},\mathbf{y}\right\rangle\!\vert}{\Vert\mathbf{y}\Vert}\le\Vert\mathbf{x}\Vert

於是證得所求。

 
下面我們討論 Schwarz 不等式在幾何、算術，與廣義向量空間的表現型態，其中包含了我們過去所熟知的一些不等式。

  • 在實向量空間 \mathbb{R}^n，向量 \mathbf{x} 和 \mathbf{y} 的內積為

    \mathbf{x}^T\mathbf{y}=\Vert\mathbf{x}\Vert\cdot\Vert\mathbf{y}\Vert\cdot\cos\theta

    其中 \theta 為 \mathbf{x}，\mathbf{y} 的夾角。Schwarz 不等式不過就是陳述歐幾里得幾何空間的一個重要事實：任何角度的餘弦都不大於 1，

    \vert\cos\theta\vert=\displaystyle\frac{\vert\mathbf{x}^T\mathbf{y}\vert}{\Vert\mathbf{x}\Vert\cdot\Vert\mathbf{y}\Vert}\le 1

  • 在複向量空間 \mathbb{C}^n，考慮二向量 \mathbf{x}=(x_1,\ldots,x_n)，\mathbf{y}=(y_1,\ldots,y_n)，將 Schwarz 不等式兩邊平方並使用標準複向量內積，可得

    \displaystyle\left\vert\sum_{i=1}^{n}\overline{x_i}{y_i}\right\vert^2\le\sum_{i=1}^{n}\vert x_i\vert^2\cdot\sum_{j=1}^n\vert y_i\vert^2

    上式即為描寫數列乘積之和與數列平方和乘積的 Cauchy 不等式。因為 Cauchy 不等式與 Schwarz 不等式可謂一體兩面，所以我們經常將二者合稱為 Cauchy-Schwarz 不等式。

  • 在定義於區間 [0,1] 的連續函數空間，Schwarz 不等式的表達形式為

    \displaystyle\left\vert\int_{0}^{1}\overline{f(t)}g(t)dt\right\vert^2\le\int_{0}^{1}\vert f(t)\vert^{2}dt\cdot\int_{0}^{1}\vert g(t)\vert^2dt

  • 在一般的廣義向量空間，我們定義二向量 \mathbf{x} 和 \mathbf{y} 的距離為

    \begin{aligned} d(\mathbf{x},\mathbf{y})&\overset{\underset{\mathrm{def}}{}}{=}\Vert\mathbf{x}-\mathbf{y}\Vert=\sqrt{\left\langle\mathbf{x}-\mathbf{y},\mathbf{x}-\mathbf{y}\right\rangle}\end{aligned}

    注意，d 要能稱為距離，正式的名稱為向量範數 (vector norm)，必須滿足下面三個性質：

    1. d(\mathbf{x},\mathbf{y})=d(\mathbf{y},\mathbf{x})
    2. d(\mathbf{x},\mathbf{y})\ge 0，惟當 \mathbf{x}=\mathbf{y} 時，d(\mathbf{x},\mathbf{y})=0。
    3. d(\mathbf{x},\mathbf{y})\le d(\mathbf{x},\mathbf{z})+d(\mathbf{z},\mathbf{y})

    很明顯，我們定義的距離 d 滿足性質 (1) 和 (2)，性質 (3) 即為「三角不等式」，此式可由 Schwarz 不等式導出，如下：

    \begin{aligned} \Vert\mathbf{x}+\mathbf{y}\Vert^2&=\left\langle\mathbf{x}+\mathbf{y},\mathbf{x}+\mathbf{y}\right\rangle\\ &=\Vert\mathbf{x}\Vert^2+\left\langle\mathbf{x},\mathbf{y}\right\rangle+\left\langle\mathbf{y},\mathbf{x}\right\rangle+\Vert\mathbf{y}\Vert^2\\ &=\Vert\mathbf{x}\Vert^2+\left\langle\mathbf{x},\mathbf{y}\right\rangle+\overline{\left\langle\mathbf{x},\mathbf{y}\right\rangle}+\Vert\mathbf{y}\Vert^2\\ &=\Vert\mathbf{x}\Vert^2+2\mathrm{Re}(\left\langle\mathbf{x},\mathbf{y}\right\rangle)+\Vert\mathbf{y}\Vert^2\\ &\le\Vert\mathbf{x}\Vert^2+2\vert\!\left\langle\mathbf{x},\mathbf{y}\right\rangle\!\vert+\Vert\mathbf{y}\Vert^2\\ &\le\Vert\mathbf{x}\Vert^2+2\Vert\mathbf{x}\Vert\cdot\Vert\mathbf{y}\Vert+\Vert\mathbf{y}\Vert^2\\ &=(\Vert\mathbf{x}\Vert+\Vert\mathbf{y}\Vert)^2\end{aligned}

    上面推導過程中，符號 \mathrm{Re}(z) 表示抽取複數 z 的實部，顯然 \mathrm{Re}(z)\le\vert z\vert。將上式的 \mathbf{x} 替換為 \mathbf{x}-\mathbf{z}，\mathbf{y} 替換為 \mathbf{z}-\mathbf{y}，可證得三角不等式：

    \Vert\mathbf{x}-\mathbf{y}\Vert\le\Vert\mathbf{x}-\mathbf{z}\Vert+\Vert\mathbf{z}-\mathbf{y}\Vert

This entry was posted in 線性代數專欄, 內積空間 and tagged , , , , . Bookmark the permalink.

Leave a comment