向量範數

本文的閱讀等級:中級

線性代數的許多概念與主題衍生自歐幾里得幾何。典型的一個作法是將 \mathbb{R}^2\mathbb{R}^3 的幾何觀念推廣至高維座標空間 \mathbb{R}^n\mathbb{C}^n。譬如,畢氏定理可用來計算二維實向量 \mathbf{u}=(u_1,u_2)^T 和三維實向量 \mathbf{v}=(v_1,v_2,v_3)^T 的長度:

\displaystyle \Vert\mathbf{u}\Vert=\sqrt{u_1^2+u_2^2},~~~\Vert\mathbf{v}\Vert=\sqrt{v_1^2+v_2^2+v_3^2}

稱為歐氏範數 (Euclidean norm)。類似地,n 維向量長度也有相同的算式。對於 \mathbf{x}=(x_1,\ldots,x_n)^T\in\mathbb{R}^n

\displaystyle \Vert\mathbf{x}\Vert=\left(\sum_{i=1}^nx_i^2\right)^{1/2}=\sqrt{\mathbf{x}^T\mathbf{x}}

上式中,我們以向量內積來表達 n 維實向量的歐氏範數。同樣道理,n 維複向量的歐氏範數應該用複向量內積表達。對於 \mathbf{x}=(x_1,\ldots,x_n)^T\in\mathbb{C}^n,歐氏範數定義為

\displaystyle \Vert\mathbf{x}\Vert=\left(\sum_{i=1}^n\vert x_i\vert^2\right)^{1/2}=\sqrt{\mathbf{x}^{\ast}\mathbf{x}}

z=a+ib\in\mathbb{C},其中 ab 是實數,i=\sqrt{-1},則 \overline{z}=a-ib,即有 \vert z\vert^2=\overline{z}z=a^2+b^2\ge 0。所以,\sum_{i=1}^n\vert x_i\vert^2\ge 0 確保複向量的歐氏範數 \Vert\mathbf{x}\Vert 不為負值。

 
下面介紹歐氏範數的性質。

  • 對於實 (或複) 向量 \mathbf{x},歐氏範數 \Vert\mathbf{x}\Vert 滿足

    \displaystyle\begin{aligned} &\Vert\mathbf{x}\Vert\ge 0,\\ &\Vert\mathbf{x}\Vert=0\Leftrightarrow\mathbf{x}=\mathbf{0},\\ &\Vert c\mathbf{x}\Vert=\vert c\vert\Vert\mathbf{x}\Vert,\end{aligned}

    其中 c 是純量。

  • 對於 \mathbf{x},\mathbf{y}\in\mathbb{C}^n,Schwarz 不等式說 (證明見“Schwarz 不等式”):

    \displaystyle \vert\mathbf{x}^\ast\mathbf{y}\vert\le\Vert\mathbf{x}\Vert \Vert\mathbf{y}\Vert

    n=1,Schwarz 不等式給出 \vert\overline{x}y\vert\le\vert x\vert \vert y\vert,其中 x,y\in\mathbb{C}。因為 \vert\overline{x}\vert=\vert x\vert,就有 \vert \overline{x}y\vert\le\vert\overline{x}\vert \vert y\vert。Schwarz 不等式有一個幾何直觀解釋。考慮 \mathbf{x},\mathbf{y}\in\mathbb{R}^n,實向量內積可表示為

    \mathbf{x}^T\mathbf{y}=\Vert\mathbf{x}\Vert\Vert\mathbf{y}\Vert\cos\theta

    其中 \theta\mathbf{x}\mathbf{y} 的夾角。上式等號兩邊取絕對值,利用餘弦性質即得 Schwarz 不等式:

    \displaystyle \frac{\vert\mathbf{x}^T\mathbf{y}\vert}{\Vert\mathbf{x}\Vert\Vert\mathbf{y}\Vert}=\vert\cos\theta\vert\le 1

  • 從 Schwarz 不等式可以導出三角不等式:

    \displaystyle \Vert\mathbf{x}+\mathbf{y}\Vert\le\Vert\mathbf{x}\Vert+\Vert\mathbf{y}\Vert

    顧名思義,三角不等式表明:三角形的兩邊長之和不小於第三邊長。證明於下:設 \mathbf{x},\mathbf{y}\in\mathbb{C}^n,寫出

    \displaystyle\begin{aligned} \Vert\mathbf{x}+\mathbf{y}\Vert^2&=(\mathbf{x}+\mathbf{y})^\ast(\mathbf{x}+\mathbf{y})\\ &=\mathbf{x}^\ast\mathbf{x}+\mathbf{x}^\ast\mathbf{y}+\mathbf{y}^\ast\mathbf{x}+\mathbf{y}^\ast\mathbf{y}\\ &=\Vert\mathbf{x}\Vert^2+\mathbf{x}^\ast\mathbf{y}+\mathbf{y}^\ast\mathbf{x}+\Vert\mathbf{y}\Vert^2.\end{aligned}

    利用複數基本性質和 Schwarz 不等式,

    \displaystyle\begin{aligned} \mathbf{x}^\ast\mathbf{y}+\mathbf{y}^\ast\mathbf{x}&=\mathbf{x}^\ast\mathbf{y}+\overline{\mathbf{x}^\ast\mathbf{y}}=2\text{Re}(\mathbf{x}^\ast\mathbf{y})\\ &\le 2\vert\mathbf{x}^\ast\mathbf{y}\vert\le 2\Vert\mathbf{x}\Vert \Vert\mathbf{y}\Vert.\end{aligned}

    合併上面兩式,可得

    \displaystyle \Vert\mathbf{x}+\mathbf{y}\Vert^2\le\Vert\mathbf{x}\Vert^2+2\Vert\mathbf{x}\Vert \Vert\mathbf{y}\Vert+\Vert\mathbf{y}\Vert^2=(\Vert\mathbf{x}\Vert+\Vert\mathbf{y}\Vert)^2

 
歐氏範數未必適用於所有的應用。舉例來說,如果一個城市的道路皆為格狀規劃,則甲地至乙地的汽車行駛距離並不等於連結甲地和乙地的向量的歐氏範數 (見稍後介紹的1-範數)。對於幾何座標向量 \mathbf{x}\in\mathbb{C}^n,歐氏範數可推廣為 p-範數,記為

\displaystyle \Vert\mathbf{x}\Vert_p=\left(\sum_{i=1}^n\vert x_i\vert^p\right)^{1/p}

其中 1\le p1q>11/p+1/q=1,則

\displaystyle \vert\mathbf{x}^\ast\mathbf{y}\vert\le\Vert\mathbf{x}\Vert_p\Vert\mathbf{y}\Vert_q

p=q=2,Hölder 不等式退化為 Schwarz 不等式。Hölder 不等式的證明見註解[1]。因為 p=1+p/q,利用三角不等式,

\displaystyle\begin{aligned} \Vert\mathbf{x}+\mathbf{y}\Vert_p^p&=\sum_{i=1}^n\vert x_i+y_i\vert^p=\sum_{i=1}^n\vert x_i+y_i\vert\vert x_i+y_i\vert^{p/q}\\ &\le\sum_{i=1}^n\vert x_i\vert\vert x_i+y_i\vert^{p/q}+\sum_{i=1}^n\vert y_i\vert\vert x_i+y_i\vert^{p/q}.\end{aligned}

套用 Hölder 不等式,

\displaystyle\begin{aligned} \sum_{i=1}^n\vert x_i\vert\vert x_i+y_i\vert^{p/q}&\le \left(\sum_{i=1}^n\vert x_i\vert^p\right)^{1/p}\left(\sum_{i=1}^n\vert x_i+y_i\vert^p\right)^{1/q}\\ &=\left(\sum_{i=1}^n\vert x_i\vert^p\right)^{1/p}\left(\sum_{i=1}^n\vert x_i+y_i\vert^p\right)^{(p-1)/p}\\ &=\Vert\mathbf{x}\Vert_p\Vert\mathbf{x}+\mathbf{y}\Vert_p^{p-1}.\end{aligned}

同樣地,\sum_{i=1}^n\vert y_i\vert\vert x_i+y_i\vert^{p/q}\le\Vert\mathbf{y}\Vert_p\Vert\mathbf{x}+\mathbf{y}\Vert_p^{p-1}。合併以上結果,

\displaystyle \Vert\mathbf{x}+\mathbf{y}\Vert_p^p\le\left(\Vert\mathbf{x}\Vert_p+\Vert\mathbf{y}\Vert_p\right)\Vert\mathbf{x}+\mathbf{y}\Vert_p^{p-1}

不等式兩邊同除以 \Vert\mathbf{x}+\mathbf{y}\Vert_p^{p-1},立得 Minkowski 不等式 \Vert \mathbf{x}+\mathbf{y}\Vert_p\le\Vert\mathbf{x}\Vert_p+\Vert\mathbf{y}\Vert_p

 
在實際應用時,我們最常使用的 p-範數包括 p=1, 2\infty,如下:

\displaystyle\begin{aligned} &\Vert\mathbf{x}\Vert_1=\sum_{i=1}^n\vert x_i\vert\\ &\Vert\mathbf{x}\Vert_2=\left(\sum_{i=1}^n\vert x_i\vert^2\right)^{1/2}\\ &\Vert\mathbf{x}\Vert_\infty=\lim_{p\to\infty}\left(\sum_{i=1}^n\vert x_i\vert^p\right)^{1/p}.\end{aligned}

向量 1-範數也稱為計程車範數 (taxicab norm) 或曼哈頓範數 (Manhattan norm)。向量 2-範數 \Vert\mathbf{x}\Vert_2 即為歐氏範數。向量 \infty-範數也稱為最大範數,因為 \lim_{p\to\infty}\Vert\mathbf{x}\Vert_p=\max_{i=1,\ldots,n}\vert x_i\vert。證明於下:在不失一般性的原則下,假設 \vert x_j\vert=\max_i\vert x_i\vertj=1,\ldots,kk\ge 1。換句話說,\left|x_j/x_1\right|<1j=k+1,\ldots,n。當 p\to\infty

\displaystyle \Vert\mathbf{x}\Vert_p=\left(\sum_{i=1}^n\vert x_i\vert^p\right)^{1/p}=\vert x_1\vert\left(k+\left|\frac{x_{k+1}}{x_1}\right|^p+\cdots+\left|\frac{x_n}{x_1}\right|^p\right)^{1/p}\to\vert x_1\vert

下圖顯示不同 p-範數的「單位圓」。

p-norm

不同 p-範數的單位圓

 
根據 p-範數的基本性質,我們可以建構出不建立於座標系統上的廣義向量範數。令 \mathcal{V} 為一個有限維空間。廣義向量範數 \Vert\cdot\Vert 定義為從向量空間 \mathcal{V} 映至 \mathbb{R} 的一個函數,滿足下列條件:

(N1) 對於 \mathbf{x}\in\mathcal{V}\Vert\mathbf{x}\Vert\ge 0\Vert\mathbf{x}\Vert=0 僅成立於 \mathbf{x}=\mathbf{0}

(N2) 對於任一純量 c\mathbf{x}\in\mathcal{V}\Vert c\mathbf{x}\Vert=\vert c\vert \Vert \mathbf{x}\Vert

(N3) 若 \mathbf{x},\mathbf{y}\in\mathcal{V},則 \Vert \mathbf{x}+\mathbf{y}\Vert\le\Vert\mathbf{x}\Vert+\Vert\mathbf{y}\Vert

若向量空間有定義良好的範數,我們稱之為賦範向量空間 (normed vector space)。

 
在實或複向量空間,內積 \left\langle\mathbf{x},\mathbf{y}\right\rangle 是兩個有序向量 \mathbf{x}\mathbf{y} 的數值函數,滿足以下四個條件 (見“內積的定義”):

(I1) \left\langle\mathbf{x},\mathbf{y}\right\rangle=\overline{\left\langle\mathbf{y},\mathbf{x}\right\rangle}

(I2) \left\langle\mathbf{x},\mathbf{y}+\mathbf{z}\right\rangle=\left\langle\mathbf{x},\mathbf{y}\right\rangle+\left\langle\mathbf{x},\mathbf{z}\right\rangle

(I3) \left\langle\mathbf{x},c\mathbf{y}\right\rangle=c\left\langle\mathbf{x},\mathbf{y}\right\rangle

(I4) \left\langle\mathbf{x},\mathbf{x}\right\rangle\ge 0\left\langle\mathbf{x},\mathbf{x}\right\rangle=0 若且為若 \mathbf{x}=\mathbf{0}

符合上述條件的向量空間稱為內積空間。若 \mathcal{V} 是一個內積空間,則廣義向量範數可定義於內積運算上,即對於 \mathbf{x}\in\mathcal{V}

\displaystyle \Vert\mathbf{x}\Vert=\sqrt{\left\langle\mathbf{x},\mathbf{x}\right\rangle}

換句話說,內積空間是一個賦範向量空間。證明於下。由 (I4) 立即推得 (N1)。利用 (I1) 和 (I3),可得 (N2):

\displaystyle \Vert c\mathbf{x}\Vert^2=\left\langle c\mathbf{x},c\mathbf{x}\right\rangle=c\overline{c}\left\langle\mathbf{x},\mathbf{x}\right\rangle=\vert c\vert^2\Vert\mathbf{x}\Vert^2

欲導出 (N3),使用 \left\langle\mathbf{x},\mathbf{y}\right\rangle\le\vert\!\left\langle\mathbf{x},\mathbf{y}\right\rangle\!\vert 和 (I1),就有 \left\langle\mathbf{y},\mathbf{x}\right\rangle=\overline{\left\langle\mathbf{x},\mathbf{y}\right\rangle}\le\vert\!\left\langle\mathbf{x},\mathbf{y}\right\rangle\!\vert。再使用 (I2) 和 Schwarz 不等式,

\displaystyle\begin{aligned} \Vert\mathbf{x}+\mathbf{y}\Vert^2&=\left\langle\mathbf{x}+\mathbf{y},\mathbf{x}+\mathbf{y}\right\rangle=\left\langle\mathbf{x},\mathbf{x}\right\rangle+\left\langle\mathbf{x},\mathbf{y}\right\rangle+\left\langle\mathbf{y},\mathbf{x}\right\rangle+\left\langle\mathbf{y},\mathbf{y}\right\rangle\\ &\le\Vert\mathbf{x}\Vert^2+2\vert\!\left\langle\mathbf{x},\mathbf{y}\right\rangle\!\vert+\Vert\mathbf{y}\Vert^2\\ &\le\Vert\mathbf{x}\Vert^2+2\Vert\mathbf{x}\Vert\Vert\mathbf{y}\Vert+\Vert\mathbf{y}\Vert^2\\ &=\left(\Vert\mathbf{x}\Vert+\Vert\mathbf{y}\Vert\right)^2. \end{aligned}

 
註解
[1] 古典型 Hölder 不等式:若 p>1q>1 滿足 1/p+1/q=1,則

\displaystyle \sum_{i=1}^n\vert x_iy_i\vert\le\left(\sum_{i=1}^n\vert x_i\vert^p\right)^{1/p}\left(\sum_{i=1}^n\vert y_i\vert^q\right)^{1/q}

因為 \Vert\overline{\mathbf{x}}\Vert_p=\Vert\mathbf{x}\Vert_p,上式等價於

\displaystyle \vert\mathbf{x}^\ast\mathbf{y}\vert\le\Vert\mathbf{x}\Vert_p\Vert\mathbf{y}\Vert_q

證明包含三個步驟。

(1) 對於 0<\lambda<1\alpha\ge 0\beta\ge 0,下式成立:

\displaystyle \alpha^\lambda\beta^{1-\lambda}\le\lambda\alpha+(1-\lambda)\beta

f(t)=(1-\lambda)+\lambda t-t^\lambda,其中 0<\lambda<1t\ge 0。計算導數 f'(t)=\lambda(1-t^{\lambda-1})。當 0<t<1f'(t)1f'(t)>0。所以,f(t)\ge f(1)=0。將 t=\alpha/\beta 代入不等式即得證。

(2) 令 u_i=x_i/\Vert\mathbf{x}\Vert_pv_i=y_i/\Vert\mathbf{y}\Vert_qi=1,\ldots,n。設 \alpha=\vert u_i\vert^p\beta=\vert v_i\vert^q\lambda=1/p1-\lambda=1/q,套用 (1) 的不等式,可得

\displaystyle \vert u_iv_i\vert\le\vert u_i\vert\vert v_i\vert\le\frac{1}{p}\vert u_i\vert^p+\frac{1}{q}\vert v_i\vert^q,~~~i=1,\ldots,n

合併上面 n 個不等式,

\displaystyle\begin{aligned} \sum_{i=1}^n\vert u_iv_i\vert&\le\sum_{i=1}^n\vert u_i\vert \vert v_i\vert\le\frac{1}{p}\sum_{i=1}^n\vert u_i\vert^p+\frac{1}{q}\sum_{i=1}^n\vert v_i\vert^q\\ &=\frac{1}{p}\sum_{i=1}^n\frac{\vert x_i\vert^p}{\sum_{j=1}^n\vert x_j\vert^p}+\frac{1}{q}\sum_{i=1}^n\frac{\vert y_i\vert^q}{\sum_{j=1}^n\vert y_j\vert^q}=\frac{1}{p}+\frac{1}{q}=1 .\end{aligned}

(3) 使用三角不等式和 (2) 的不等式,可得

\displaystyle\begin{aligned} \vert\mathbf{x}^\ast\mathbf{y}\vert&=\left|\sum_{i=1}^n\overline{x_i}y_i\right|\le\sum_{i=1}^n\vert\overline{x_i}\vert\vert y_i\vert\\ &=\sum_{i=1}^n\vert u_i\vert\vert v_i\vert\Vert\mathbf{x}\Vert_p\Vert\mathbf{y}\Vert_q\le\Vert\mathbf{x}\Vert_p\Vert\mathbf{y}\Vert_q. \end{aligned}

Advertisements
本篇發表於 線性代數專欄, 內積空間 並標籤為 , , , , , 。將永久鏈結加入書籤。

4 則回應給 向量範數

  1. 張盛東 說道:

    老師,“套用 Hölder 不等式”這句話上面的不等式裡,加號是否應該是除號?

  2. erofish 說道:

    老师,“見 1-範數的定義”处并没有超链接。

發表迴響

在下方填入你的資料或按右方圖示以社群網站登入:

WordPress.com Logo

您的留言將使用 WordPress.com 帳號。 登出 / 變更 )

Twitter picture

您的留言將使用 Twitter 帳號。 登出 / 變更 )

Facebook照片

您的留言將使用 Facebook 帳號。 登出 / 變更 )

Google+ photo

您的留言將使用 Google+ 帳號。 登出 / 變更 )

連結到 %s