從幾何向量空間到函數空間

Posted on 08/18/2009 by ccjou

本文的閱讀等級：中級

基礎線性代數課程常將討論的向量空間侷限於有限維幾何向量空間 $\mathbb{R}^n$ ，主要的原因有兩個：第一是不需要透過座標映射便可將矩陣結構與向量空間結合在一起；第二是幾何向量空間，譬如 $\mathbb{R}^2$ 與 $\mathbb{R}^3$ 是高中座標幾何的延伸，由此較容易建立起向量空間的觀念。本文採用問答方式，一步步系統化地介紹如何將幾何向量空間延伸推廣至函數空間。

Q1：如果將 $n$ 維實向量空間 $\mathbb{R}^n$ 擴展至無限維實向量空間 $\mathbb{R}^{\infty}$ ，此空間需滿足何種條件始有利於實際應用？

A：很明顯， $\mathbb{R}^{\infty}$ 裡的向量 $\mathbf{v}$ 包含無限多個元，如

$\mathbf{v}=\begin{bmatrix} v_1\\ v_2\\ v_3\\ \vdots \end{bmatrix}$ 。

如果我們不對向量的元 $v_i$ 加入限制，那麼此空間將過於龐大，反而令我們無所適從。對 $v_i$ 設限的最簡單方式是透過向量 $\mathbf{v}$ 的長度，我們只對那些有限長度的向量感到興趣，同時也希望幾何向量空間的向量長度定義在此依然適用，亦即

$\Vert\mathbf{v}\Vert^2=v_1^2+v_2^2+v_3^2+\cdots$

這個無窮級數必須收斂至一有限數值，例如，無限維空間包含向量 $(1,\frac{1}{2},\frac{1}{3},\cdots)^T$ ，但不含 $(1,1,1,\cdots)^T$ 。

加入了有限向量長度的限制，此無限維空間仍符合向量空間的定義嗎？是的。有限長度向量 $\mathbf{x}$ 與 $\mathbf{y}$ 之和其長度還是有限的，因為

$\Vert\mathbf{x}+\mathbf{y}\Vert\le\Vert\mathbf{x}\Vert+\Vert\mathbf{y}\Vert$ ，

而且純量乘積 $a\mathbf{x}$ 的長度也是有限的。很容易驗證向量空間的八個向量加法和純量乘法性質依然成立 (見“向量空間與實例”)，我們稱之為希爾伯特 (Hilbert) 空間，即一個保有一般幾何性質的無限維實向量空間。希爾伯特空間也具有正交性質，我們說向量 $\mathbf{x}$ 和 $\mathbf{y}$ 是正交的，若其內積為零：

$\mathbf{x}^T\mathbf{y}=x_1y_1+x_2y_2+x_3y_3+\cdots=0$ 。

當然，歌西—舒瓦茲 (Cauchy-Schwarz) 不等式也成立：

$\vert\mathbf{x}^T\mathbf{y}\vert\le\Vert\mathbf{x}\Vert \Vert\mathbf{y}\Vert$ 。

Q2：希爾伯特空間與函數空間有甚麼關係？函數空間又該如何定義向量內積？

A：不需要受過專業數學訓練，吾等業餘人士也可以看穿希爾伯特空間的外表偽裝。用一個例子說明，考慮定義於區間 $0\le x\le 2\pi$ 的正弦函數 $f(x)=\sin x$ ，我們將函數 $f$ 當作一個無限維向量，向量的各元即為連續區間內的函數值 $\sin x$ 。當向量的元是連續時，前述向量長度定義已不適用，各元平方和應該改為積分，如下

$\begin{aligned} \Vert f\Vert^2&=\displaystyle\int_{0}^{2\pi}(f(x))^2dx=\int_{0}^{2\pi}(\sin x)^2dx=\pi\end{aligned}$ 。

此算式的意義重大，我們確實可以量測函數的長度，等於指出函數也是向量，而僅包含有限長度的函數可以形成向量空間，因此希爾伯特空間變成了一個函數空間 (function space)。

若 $f(x)=\sin x$ ， $g(x)=\cos x$ ，運用同樣的想法，將數列之和替換為積分可以產生兩個函數的內積。以 $\langle f,g\rangle$ 表示函數 $f$ 和 $g$ 的內積，例如：

$\begin{aligned} \langle f,g\rangle&=\displaystyle\int_{0}^{2\pi}f(x)g(x)dx=\int_{0}^{2\pi}\sin x\cos x dx=0\end{aligned}$ ，

可知 $\sin x$ 與 $\cos x$ 正交。函數的長度可由內積求得， $\Vert f\Vert^2=\langle f,f\rangle$ ，舒瓦茲不等式則表示為 $\vert\langle f,g\rangle\vert\le\Vert f\Vert \Vert g\Vert$ 。

Q3：能否舉個實用的函數空間例子，它包含哪些基底函數，如何產生座標？

A：最有名的例子是傅立葉級數 (Fourier series)，函數 $f(x)$ 表示為正弦函數和餘弦函數的展開式：

$f(x)=a_0+a_1\cos x+b_1\sin x+a_2\cos 2x+b_2\sin 2x+\cdots$

傅立葉級數的基底函數包含

$1, \cos x, \sin x, \cos 2x, \sin 2x,\cdots$

傅立葉級數的係數即為參考此基底的座標，如要計算 $a_1$ ，可於等號兩端同乘 $\cos x$ ，再從 $0$ 積分至 $2\pi$ ：

$\begin{aligned} \displaystyle\int_{0}^{2\pi}f(x)\cos x dx&=a_0\int_0^{2\pi}\cos x dx+a_1\int_0^{2\pi}(\cos x)^2 dx\\ &+b_1\int_0^{2\pi}\sin x\cos x dx+a_2\int_0^{2\pi}\cos 2x\cos x dx+b_2\int_0^{2\pi}\sin 2x\cos x dx+\cdots\end{aligned}$

等號右邊除了對應係數 $a_1$ 的項，其餘所有項皆為零，讀者可自行驗證正弦函數與餘弦函數互為正交。因此， $a_1$ 可由下式得到

$\begin{aligned} a_1&=\displaystyle\frac{\int_0^{2\pi}f(x)\cos x dx}{\int_{0}^{2\pi}(\cos x)^2 dx}=\frac{\langle f,\cos x\rangle}{\langle\cos x,\cos x\rangle}\end{aligned}$ 。

其他係數也可以使用同樣方式求得，如欲計算 $b_1$ ，將 $\cos x$ 改為 $\sin x$ ，又如欲計算 $a_2$ ，則將 $\cos x$ 改為 $\cos 2x$ 。

傅立葉級數的應用相當廣泛，一方面因為傅立葉選擇了一組正交基底函數， $f(x)$ 的係數很容易得到，另一方面這組由正弦與餘弦構成的基底能將問題轉移至等價且適合發展理論分析的空間。

Q4：萬一給定的基底函數彼此不互為正交，那該怎麼辦？Gram-Schmidt 正交化過程仍然適用嗎？

A：的確很多有用的函數並非週期函數，因此不能以正弦以及餘弦函數表示，這些非週期函數也未必彼此正交。例如，不存在一區間使得多項式函數 $1$ ， $x$ ， $x^2$ 兩兩正交，這是因為 $1\cdot x^2=x^2$ ，而 $1$ 和 $x^2$ 的內積總是正數。實際應用時，為了降低數值計算造成的捨入誤差 (roundoff error)，我們願意多執行一個步驟──正交化。

函數空間的正交過程與一般幾何向量空間的 Gram-Schmidt 正交過程無異，僅需將內積定義替換即可。見下例，考慮定義於區間 $-1\le x\le 1$ 的三個函數 $1$ ， $x$ ， $x^2$ ，設第一個基底為 $\mathbf{p}_1=1$ ，計算

$\begin{aligned} \langle 1,x\rangle&=\int_{-1}^1 x dx=0\end{aligned}$ ，

故第二個基底為 $\mathbf{p}_2=x$ 。下一步將 $x^2$ 至 $1$ 和 $x$ 的投影扣除，因為

$\begin{aligned} \langle x,x^2\rangle&=\int_{-1}^1 x^3 dx=0\end{aligned}$ ，

就得到第三個基底

$\begin{aligned} \mathbf{p}_3&=x^2-\displaystyle\frac{\langle x^2,1\rangle}{\langle 1,1\rangle}-\frac{\langle x^2,x\rangle}{\langle x,x\rangle}\\ &=x^2-\frac{\int_{-1}^1 x^2 dx}{\int_{-1}^1 1 dx}=x^2-\frac{1}{3}.\end{aligned}$

對函數的長度再加點限制，這個正交函數基底就稱為 Legendre 多項式。令 $P_m(x)$ 表示 $m$ 階 Legendre 多項式，滿足

$\displaystyle\int_{-1}^1 P_m(x)P_n(x)dx=\frac{2}{2n+1}\delta_{mn}$ ，

其中 $\delta_{mn}=1$ 若 $m=n$ ，否則 $\delta_{mn}=0$ 。有興趣的讀者請參考維基百科 http://en.wikipedia.org/wiki/Legendre_polynomials，下圖是 $P_0$ 至 $P_5$ 的圖形，引用自 http://www.efunda.com/math/legendre/images/LegendrePPlot.gif

Legendre polynomials From http://www.efunda.com/math/legendre/images/LegendrePPlot.gif

Q5：函數空間也可以實現最小平方近似嗎？和幾何向量空間裡的最小平方近似有何不同？

A：是的，函數空間也可以實現最小平方近似，我們只需要修改內積的計算方式即可。下面我用一個例子來說明過程，重點是將函數想成我們習慣的向量，並且將問題以矩陣形式描述。

考慮此問題：試求區間 $0$ 到 $1$ ，與函數 $x^5$ 最近似的直線。考慮由正交基底 $1$ 和 $x$ 擴張的函數空間，在此我們省略正交化步驟，設矩陣 $A$ 包含兩個行向量 $A=\begin{bmatrix} \mathbf{a}_1&\mathbf{a}_2 \end{bmatrix}$ ，想像函數是向量 $\mathbf{a}_1=1$ 且 $\mathbf{a}_2=x$ 。又設 $\mathbf{b}=x^5$ ，滿足最小平方近似的正規方程為

$(A^TA)\hat{\mathbf{y}}=A^T\mathbf{b}$ 。

注意，計算時記得將幾何向量內積 $\mathbf{a}^T\mathbf{b}$ 取代為函數內積 $\langle f,g\rangle$ ，計算得到係數矩陣

$\begin{aligned} A^TA&=\begin{bmatrix} \langle 1,1\rangle&\langle 1,x\rangle\\ \langle x,1\rangle&\langle x,x\rangle\\ \end{bmatrix}=\begin{bmatrix} 1/{2}\\ {1}/{2}/{3} \end{bmatrix}\end{aligned}$ ，

常數向量則為

$\begin{aligned} A^T\mathbf{b}&=\begin{bmatrix} \langle 1,x^5\rangle\\ \langle x,x^5\rangle \end{bmatrix}=\begin{bmatrix} {1}/{6}\\ {1}/{7} \end{bmatrix}\end{aligned}$ 。

由此解出 $\hat{y_1}=-4/21$ ， $\hat{y_2}=5/7$ ，故 $x^5$ 在區間 $[0,1]$ 的最佳近似直線為 $-4/21+(5/7)x$ 。

本文參考：
Gilbert Strang，Linear Algebra and its Applications，第三版，1988。

21 Responses to 從幾何向量空間到函數空間

凤来 says:

01/14/2010 at 9:41 pm

这是我看过的最清楚的关于函数空间以及几何向量空间之间的说明了。赞一个！！！

Reply
大俠 says:

01/15/2010 at 8:38 am

谢谢…

也欢迎你提供改进意见。

Reply
Watt Lin says:

02/18/2010 at 8:39 pm

(1) 傅立葉級數，可由『積分』算出來。
20年前，我自學傅立葉級數，不懂函數空間、基底，也不知道什麼是正交。

(2) 兩個月前，翻閱一本複分析的書，裡頭有談到經由泰勒展開式，相當於使用『微分』的方法，也能得到傅立葉級數。

(3) 這個月，看完老師的DVD課程，再來看網站：傅立葉級數，也可由函數空間來解釋，感覺觀念更加清晰。

真有趣，同一件事，可以由多方面去瞭解。
用不同的角度，來看傅立葉級數，有了更深刻的認識。

Reply
ccjou says:

02/19/2010 at 7:38 pm

青原惟信禪師說過一段話正是「同一件事，可以由多方面去瞭解」的最佳註解：

老僧三十年前未參禪時，
見山是山，見水是水。
及至後來親見知識，有個入處，
見山不是山，見水不是水。
而今得個休歇處，依前
見山只是山，見水只是水。

Reply
Watt Lin says:

02/20/2010 at 9:23 am

線性代數的手法，經常把複雜的東西，拆開成幾個簡單的小東西：
一個複雜的矩陣，變化成幾個簡單矩陣的乘法，藉以快速作處理。

以上動作，可以說是「簡單表示」。

「禪」這個字，也可說是簡「單」表「示」。
中文字的結構很奇妙，好像
「禪」矩陣等於「示」矩陣乘上「單」矩陣。

在看DVD的課程，也有一種參禪的感覺，領悟不少。
周老師有點像一位現代禪師 (線代禪師)。

Reply
ccjou says:

02/20/2010 at 12:01 pm

「我不會禪，立無一法可示於人，故不勞汝久立，且自歇去。」這是唐代高僧大珠慧海禪師對門徒說的話。我要說的則是：「我不會禪，不開玩笑，真的不會。」

大珠和尚寫了一本「頓悟入道要門論」，全書採現代人熟悉的FAQ問答文體論述，一開始是…
問：欲修何法？即得解脫。答：唯有頓悟一門，即得解脫。云何為頓悟？答：頓者，頓除妄念；悟者，悟無所得。

機緣來到那天，或許我也寫一本「線代入道要門論」。

Reply
Watt Lin says:

02/20/2010 at 8:36 pm

「對角線矩陣」，像不像是「頓除妄念」的矩陣？
只有對角線上存在非0的值，其餘元素皆為 0
對角線矩陣的 n次方或 e指數運算，只要把對角線元素個別作計算，即是答案，能夠輕鬆快速得到。

人如果沒有妄念，做事的效率會很好，複雜的事，能處理得很快。
線性代數的某些運算過程，好像在消除妄念，讓事情變得容易處理。

以上好像在開玩笑，但是好像又帶有一些意義。

不同的學問，拿來作類比，有時會發現相似處。
我不敢講線性代數很像禪，但至少有某些小地方，存在類似的概念。

Reply
ccjou says:

02/21/2010 at 11:25 am

已故聖嚴法師在2000年3月27日「人文與科技三賢鼎談」會上問當年的清大校長劉炯朗和交大校長張俊彥：「零是有，亦是無？」據說當晚交大中正堂擠進千餘人，我在家睡覺未能與會，這是事後聽同事轉述。我想到的可能答案有四個：
(1) 零是有，不是無。
(2) 零不是有，而是無。
(3) 零既是有，亦是無。
(4) 零既不是有，亦不是無。
聽說兩位校長的回答都是(3)，零既是有，亦是無。

每年上課講到向量空間時，常想學生會不會問：「零空間是有，亦是無？」零空間包含零向量，記為 $\{\mathbf{0}\}$ ，所以應該是有；可是零向量不能當作基底的一員，因此零空間不包含任何基底向量，其維度等於零，故應該說是無。可這麼一來，零空間既是有亦是無囉，或說的玄一點：零向量是自生自滅(因為任何子空間都包含零向量)。看起來，線性代數裡的一小部分確實很像禪。

Reply
Watt Lin says:

02/21/2010 at 7:51 pm

真的很有趣！

但是，對於大一、大二的學生，談「禪」，大概很少人願意聽。
即使有人聽得進去，也需要時間去思考。

可能要畢業之後，經過一些生活、工作方面的體驗，有一天，對「禪」發生興趣。
然而，到了這個階段，是否仍對「線性代數」也存有一些興趣呢？

Reply
aocwind says:

02/25/2010 at 11:47 pm

在我看來「對角線矩陣」的用處是在於: 尋找一組”好”的基底來表達數學系統, 就像我們從小將座標平面取X、Y平面一樣, 因為這樣子最純粹、直觀。

Reply
Transform says:

02/05/2016 at 7:35 pm

老師您好想問一下這題的觀念
所以這題的b選項是正交沒錯但不能成為
c[0 2pi]的基底是這樣嗎?

Reply
- ccjou says:
  
  02/05/2016 at 8:56 pm
  
  是的， $C[0,2\pi]$ 是一個無限維向量空間。請參閱
  
  傅立葉級數 (上)
  
  Reply
  - Transform says:
    
    02/05/2016 at 9:16 pm
    
    好我知道了謝謝老師~
    
    Reply
monkey says:

05/20/2018 at 4:09 pm

老师，你的现代启示录让我收益匪浅，从中我学到了很多东西，到在Q4下面函数空间的正交化，算式是不是有点问题?要扣除投影向量是不是还得乘上他的向量长度。不知道我的问题说清楚没有。

Reply
monkey says:

05/20/2018 at 4:09 pm

老师，你的现代启示录让我收益匪浅，从中我学到了很多东西，但在Q4下面函数空间的正交化，算式是不是有点问题?要扣除投影向量是不是还得乘上他的向量长度。不知道我的问题说清楚没有。

Reply
- kyoma says:
  
  03/23/2019 at 9:54 pm
  
  是的, 我也有一样的疑问. 请问你理解了吗?
  
  Reply
- kyoma says:
  
  03/23/2019 at 9:56 pm
  
  而且正好这个例子写不写无所谓, 前一项是1, 后一项系数为0. 很疑惑
  
  Reply
  - leekeifon says:
    
    05/03/2019 at 12:48 am
    
    我认为你们说的是对的，可以简单用wiki中提到的P3去进行验证。
    
    Reply
mwvbx says:

07/23/2018 at 5:30 pm

哇哦，勒让德多项式原来可以这么看!
我以前一直惊讶于这奇奇怪怪的勒让德多项式居然还有正交性。

Reply
linjiang120012092 says:

10/04/2018 at 8:32 am

Reblogged this on Linjiang.

Reply
杨博中 says:

12/13/2020 at 3:00 pm

amazing!原来傅里叶级数可以这么看，在用公式的时候终于不会怀疑半天了

Reply

	jianglong on Strassen 演算法──分治矩陣乘法
	jianglong on Strassen 演算法──分治矩陣乘法
	xmj on 內積的定義
	Ning ChingSan on 線性代數的第一堂課──矩陣乘法的定義
	momo on 兩岸線性代數用詞參照
	訪客 on 克拉瑪公式的簡易幾何證明