從幾何向量空間到函數空間

本文的閱讀等級:中級

基礎線性代數課程常將討論的向量空間侷限於有限維幾何向量空間 \mathbb{R}^n,主要的原因有二個:一是不需要透過座標映射便可將矩陣結構與向量空間結合在一起;二是幾何向量空間,譬如 \mathbb{R}^2\mathbb{R}^3 是高中座標幾何的延伸,由此較容易建立起向量空間的觀念。本文採用問答方式,一步步系統化地介紹如何將幾何向量空間延伸推廣至函數空間。

 
Q1:如果將 n 維實向量空間 \mathbb{R}^n 擴展至無限維實向量空間 \mathbb{R}^{\infty},此空間需滿足何種條件始有利於實際應用?

A:很明顯,\mathbb{R}^{\infty} 裡的向量 \mathbf{v} 包含無限多個元,如

\mathbf{v}=\begin{bmatrix}  v_1\\  v_2\\  v_3\\  \vdots  \end{bmatrix}

如果我們不對向量的元 v_i 加入限制,那麼此空間將過於龐大,反而令我們無所適從。對 v_i 設限的最簡單方式是透過向量 \mathbf{v} 的長度,我們只對那些有限長度向量感到興趣,同時也希望幾何向量空間的向量長度定義在此依然適用,亦即

\Vert\mathbf{v}\Vert^2=v_1^2+v_2^2+v_3^2+\cdots

這個無窮級數必須收斂至一有限數值,例如,無限維空間包含向量 (1,\frac{1}{2},\frac{1}{3},\cdots)^T,但不含 (1,1,1,\cdots)^T

 
加入了有限向量長度的限制,此無限維空間仍符合向量空間的定義嗎?是的。有限長度向量 \mathbf{x}\mathbf{y} 之和其長度還是有限的,因為

\Vert\mathbf{x}+\mathbf{y}\Vert\le\Vert\mathbf{x}\Vert+\Vert\mathbf{y}\Vert

而且純量乘積 a\mathbf{x} 長度也是有限的。很容易驗證向量空間的八個向量加法和純量乘法性質依然成立,我們稱之為希爾伯特 (Hilbert) 空間,即一個保有一般幾何性質的無限維實向量空間。希爾伯特空間也具有正交性質,我們說向量 \mathbf{x}\mathbf{y} 是正交的,若其內積為零:

\mathbf{x}^T\mathbf{y}=x_1y_1+x_2y_2+x_3y_3+\cdots=0

當然,歌西—舒瓦茲 (Cauchy-Schwarz) 不等式也成立:

\vert\mathbf{x}^T\mathbf{y}\vert\le\Vert\mathbf{x}\Vert \Vert\mathbf{y}\Vert

 
Q2:希爾伯特空間與函數空間有甚麼關係?函數空間又該如何定義向量內積?

A:不需要受過專業數學訓練,吾等業餘人士也可以看穿希爾伯特空間的外表偽裝。用一個例子說明,考慮定義於區間 0\le x\le 2\pi 的正弦函數 f(x)=\sin x,我們將函數 f 當作一個無限維向量,向量的各元即為連續區間內的函數值 \sin x。當向量的元是連續時,前述向量長度定義已不適用,各元平方和應該改為積分,如下

\begin{aligned}  \Vert f\Vert^2&=\displaystyle\int_{0}^{2\pi}(f(x))^2dx=\int_{0}^{2\pi}(\sin x)^2dx=\pi\end{aligned}

此算式的意義重大,我們確實可以量測函數的長度,等於指出函數也是向量,而僅包含有限長度的函數可以形成向量空間,因此希爾伯特空間變成了一個函數空間 (function space)。

 
f(x)=\sin xg(x)=\cos x,運用同樣的想法,將數列之和替換為積分可以產生二函數的內積。以 \langle f,g\rangle 表示函數 fg 的內積,例如:

\begin{aligned}  \langle f,g\rangle&=\displaystyle\int_{0}^{2\pi}f(x)g(x)dx=\int_{0}^{2\pi}\sin x\cos x dx=0\end{aligned}

可知 \sin x\cos x 正交。函數的長度可由內積求得,\Vert f\Vert^2=\langle f,f\rangle,舒瓦茲不等式則表示為 \vert\langle f,g\rangle\vert\le\Vert f\Vert \Vert g\Vert

 
Q3:能否舉個實用的函數空間例子,它包含哪些基底函數,如何產生座標?

A:最有名的例子是傅立葉級數 (Fourier series),函數 f(x) 表示為正弦函數和餘弦函數的展開式:

f(x)=a_0+a_1\cos x+b_1\sin x+a_2\cos 2x+b_2\sin 2x+\cdots

傅立葉級數的基底函數包含

1, \cos x, \sin x, \cos 2x, \sin 2x,\cdots

傅立葉級數的係數即為參考此基底的座標,如要計算 a_1,可於等號兩端同乘 \cos x,再從 0 積分至 2\pi

\begin{aligned}  \displaystyle\int_{0}^{2\pi}f(x)\cos x dx&=a_0\int_0^{2\pi}\cos x dx+a_1\int_0^{2\pi}(\cos x)^2 dx\\  &+b_1\int_0^{2\pi}\sin x\cos x dx+a_2\int_0^{2\pi}\cos 2x\cos x dx+b_2\int_0^{2\pi}\sin 2x\cos x dx+\cdots\end{aligned}

等號右邊除了對應係數 a_1 的項,其餘所有項皆為零,讀者可自行驗證正弦函數與餘弦函數互為正交。因此,a_1 可由下式得到

\begin{aligned}  a_1&=\displaystyle\frac{\int_0^{2\pi}f(x)\cos x dx}{\int_{0}^{2\pi}(\cos x)^2 dx}=\frac{\langle f,\cos x\rangle}{\langle\cos x,\cos x\rangle}\end{aligned}

其他係數也可以使用同樣方式求得,如欲計算 b_1,將 \cos x 改為 \sin x,又如欲計算 a_2,則將 \cos x 改為 \cos 2x

 
傅立葉級數的應用相當廣泛,一方面因為傅立葉選擇了一組正交基底函數, f(x) 的係數很容易得到,另一方面這組由正弦與餘弦構成的基底能將問題轉移至等價且適合發展理論分析的空間。

 
Q4:萬一給定的基底函數彼此不互為正交,那該怎麼辦?Gram-Schmidt 正交化過程仍然適用嗎?

A:的確很多有用的函數並非週期函數,因此不能以正弦以及餘弦函數表示,這些非週期函數也未必彼此正交。例如,不存在一區間使得多項式函數 1xx^2 兩兩正交,這是因為 1\cdot x^2=x^2,而 1x^2 的內積總是正數。實際應用時,為了降低數值計算造成的捨入誤差 (roundoff error),我們願意多執行一個步驟──正交化。

 
函數空間的正交過程與一般幾何向量空間的 Gram-Schmidt 正交過程無異,僅需將內積定義替換即可。見下例,考慮定義於區間 -1\le x\le 1 的三個函數 1xx^2,設第一個基底為 \mathbf{p}_1=1,計算

\begin{aligned}  \langle 1,x\rangle&=\int_{-1}^1 x dx=0\end{aligned}

故第二個基底為 \mathbf{p}_2=x。下一步將 x^21x 的投影扣除,因為

\begin{aligned}  \langle x,x^2\rangle&=\int_{-1}^1 x^3 dx=0\end{aligned}

就得到第三個基底

\begin{aligned}  \mathbf{p}_3&=x^2-\displaystyle\frac{\langle x^2,1\rangle}{\langle 1,1\rangle}-\frac{\langle x^2,x\rangle}{\langle x,x\rangle}\\  &=x^2-\frac{\int_{-1}^1 x^2 dx}{\int_{-1}^1 1 dx}=x^2-\frac{1}{3}\end{aligned}

對函數的長度再加點限制,這個正交函數基底就稱為 Legendre 多項式。令 P_m(x) 表示 m 階 Legendre 多項式,滿足

\displaystyle\int_{-1}^1 P_m(x)P_n(x)dx=\frac{2}{2n+1}\delta_{mn}

其中 \delta_{mn}=1m=n,否則 \delta_{mn}=0。有興趣的讀者請參考維基百科 http://en.wikipedia.org/wiki/Legendre_polynomials,下圖是 P_0P_5 的圖形,引用自 http://www.efunda.com/math/legendre/images/LegendrePPlot.gif

 
Q5:函數空間也可以實現最小平方近似嗎?和幾何向量空間裡的最小平方近似有何不同?

A:是的,函數空間也可以實現最小平方近似,我們只需要修改內積的計算方式即可。下面我用一個例子來說明過程,重點是將函數想成我們習慣的向量,並且將問題以矩陣形式描述。

 
考慮此問題:試求區間 01,與函數 x^5 最近似的直線。考慮由正交基底 1x 擴張的函數空間,在此我們省略正交化步驟,設矩陣 A 包含兩個行向量 A=\begin{bmatrix}    \mathbf{a}_1&\mathbf{a}_2    \end{bmatrix},想像函數是向量 \mathbf{a}_1=1\mathbf{a}_2=x。又設 \mathbf{b}=x^5,滿足最小平方近似的正規方程為

(A^TA)\hat{\mathbf{y}}=A^T\mathbf{b}

注意,計算時記得將幾何向量內積 \mathbf{a}^T\mathbf{b} 取代為函數內積 \langle f,g\rangle,計算得到係數矩陣

\begin{aligned}  A^TA&=\begin{bmatrix}  \langle 1,1\rangle&\langle 1,x\rangle\\    \langle x,1\rangle&\langle x,x\rangle\\    \end{bmatrix}=\begin{bmatrix}    1/{2}\\    {1}/{2}/{3}    \end{bmatrix}\end{aligned}

常數向量則為

\begin{aligned}  A^T\mathbf{b}&=\begin{bmatrix}  \langle 1,x^5\rangle\\    \langle x,x^5\rangle    \end{bmatrix}=\begin{bmatrix}    {1}/{6}\\    {1}/{7}    \end{bmatrix}\end{aligned}

由此解出 \hat{y_1}=-4/21\hat{y_2}=5/7,故 x^5 在區間 [0,1] 的最佳近似直線為 -4/21+(5/7)x

 
本文參考:
Gilbert Strang,Linear Algebra and its Applications,第三版,1988。

相關閱讀:
This entry was posted in 希爾伯特空間 and tagged , , , , , , , , . Bookmark the permalink.

13 則回應給 從幾何向量空間到函數空間

  1. 凤来 說:

    这是我看过的最清楚的关于函数空间以及几何向量空间之间的说明了。赞一个!!!

  2. 大俠 說:

    谢谢…

    也欢迎你提供改进意见。

  3. Watt Lin 說:

    (1) 傅立葉級數,可由『積分』算出來。
    20年前,我自學傅立葉級數,不懂函數空間、基底,也不知道什麼是正交。

    (2) 兩個月前,翻閱一本複分析的書,裡頭有談到經由泰勒展開式,相當於使用『微分』的方法,也能得到傅立葉級數。

    (3) 這個月,看完老師的DVD課程,再來看網站:傅立葉級數,也可由函數空間來解釋,感覺觀念更加清晰。

    真有趣,同一件事,可以由多方面去瞭解。
    用不同的角度,來看傅立葉級數,有了更深刻的認識。

  4. ccjou 說:

    青原惟信禪師說過一段話正是「同一件事,可以由多方面去瞭解」的最佳註解:

    老僧三十年前未參禪時,
    見山是山,見水是水。
    及至後來親見知識,有個入處,
    見山不是山,見水不是水。
    而今得個休歇處,依前
    見山只是山,見水只是水。

  5. Watt Lin 說:

    線性代數的手法,經常把複雜的東西,拆開成幾個簡單的小東西:
    一個複雜的矩陣,變化成幾個簡單矩陣的乘法,藉以快速作處理。

    以上動作,可以說是「簡單表示」。

    「禪」這個字,也可說是簡「單」表「示」。
    中文字的結構很奇妙,好像
    「禪」矩陣 等於 「示」矩陣 乘上 「單」矩陣。

    在看DVD的課程,也有一種參禪的感覺,領悟不少。
    周老師有點像一位 現代禪師 (線代禪師)。

  6. ccjou 說:

    「我不會禪,立無一法可示於人,故不勞汝久立,且自歇去。」這是唐代高僧大珠慧海禪師對門徒說的話。我要說的則是:「我不會禪,不開玩笑,真的不會。」

    大珠和尚寫了一本「頓悟入道要門論」,全書採現代人熟悉的FAQ問答文體論述,一開始是…
    問:欲修何法?即得解脫。答:唯有頓悟一門,即得解脫。云何為頓悟?答:頓者,頓除妄念;悟者,悟無所得。

    機緣來到那天,或許我也寫一本「線代入道要門論」。

  7. Watt Lin 說:

    「對角線矩陣」,像不像是「頓除妄念」的矩陣?
    只有對角線上存在非0的值,其餘元素皆為 0
    對角線矩陣的 n次方 或 e指數運算,只要把對角線元素個別作計算,即是答案,能夠輕鬆快速得到。

    人如果沒有妄念,做事的效率會很好,複雜的事,能處理得很快。
    線性代數的某些運算過程,好像在消除妄念,讓事情變得容易處理。

    以上好像在開玩笑,但是好像又帶有一些意義。

    不同的學問,拿來作類比,有時會發現相似處。
    我不敢講線性代數很像禪,但至少有某些小地方,存在類似的概念。

  8. ccjou 說:

    已故聖嚴法師在2000年3月27日「人文與科技三賢鼎談」會上問當年的清大校長劉炯朗和交大校長張俊彥:「零是有,亦是無?」據說當晚交大中正堂擠進千餘人,我在家睡覺未能與會,這是事後聽同事轉述。我想到的可能答案有四個:
    (1) 零是有,不是無。
    (2) 零不是有,而是無。
    (3) 零既是有,亦是無。
    (4) 零既不是有,亦不是無。
    聽說兩位校長的回答都是(3),零既是有,亦是無。

    每年上課講到向量空間時,常想學生會不會問:「零空間是有,亦是無?」零空間包含零向量,記為 \{\mathbf{0}\},所以應該是有;可是零向量不能當作基底的一員,因此零空間不包含任何基底向量,其維度等於零,故應該說是無。可這麼一來,零空間既是有亦是無囉,或說的玄一點:零向量是自生自滅(因為任何子空間都包含零向量)。看起來,線性代數裡的一小部分確實很像禪。

  9. Watt Lin 說:

    真的很有趣!

    但是,對於大一、大二的學生,談「禪」,大概很少人願意聽。
    即使有人聽得進去,也需要時間去思考。

    可能要畢業之後,經過一些生活、工作方面的體驗,有一天,對「禪」發生興趣。
    然而,到了這個階段,是否仍對「線性代數」也存有一些興趣呢?

  10. aocwind 說:

    在我看來「對角線矩陣」的用處是在於: 尋找一組"好"的基底來表達數學系統, 就像我們從小將座標平面取X、Y平面一樣, 因為這樣子最純粹、直觀。

  11. Transform 說:

    老師您好 想問一下這題的觀念
    所以這題的b選項是正交沒錯 但不能成為
    c[0 2pi]的基底是這樣嗎?

發表迴響

在下方填入你的資料或按右方圖示以社群網站登入:

WordPress.com Logo

你正使用 WordPress.com 帳號留言。 登出 / 變更 )

Twitter picture

你正使用 Twitter 帳號留言。 登出 / 變更 )

Facebook照片

你正使用 Facebook 帳號留言。 登出 / 變更 )

Google+ photo

你正使用 Google+ 帳號留言。 登出 / 變更 )

連結到 %s