答王昭晴──關於線性代數之“線性”一詞的涵義

網友王昭晴留言：

老師您好，我最近在回顧過去所學的線性代數時開始有了一些問題。這些事過去不曾仔細思考過就當作一個名詞走馬看花的過去了。尤其是關於“線性”兩個字。為何要特別叫“線性”呢？我的意思是線性代數中一些定義會加註線性兩個字，例如線性向量空間 (linear vector space) 與方程式或者向量的線性組合 (linear combination)。為何要特別稱此二者為線性？難道有非線性的向量空間與非線性的組合嗎？而“線性”二字是否有除了線性方程式以外更深層的意思呢？還是說僅僅只是因為線性代數的發展是從線性方程式開始研究起，就稱作線性了呢？

答曰：

線性代數之所以冠以「線性」係因這個數學分支源於解析幾何的線性函數 (linear function)。在解析幾何中，線性函數是指次數不大於 $1$ 的多項式 (包含零多項式)。單變數線性函數的形式如下：

$f(x)=ax+b$ ，

其中 $a$ 與 $b$ 是常數 (實數)。在實際應用上，線性函數經常用來表示某種條件或限制。線性函數的「線性」一詞來自其原型──直線方程式。在平面上，座標 $(x,f(x))$ 構成一條直線，其斜率為 $a$ ，截距為 $b$ 。如果直線的斜率不為零 ( $a\neq 0$ )，要找出該直線與水平軸的交點，設 $f(x)=0$ ，解出線性方程 $ax+b=0$ 即得 $x=-\frac{b}{a}$ 。單變數線性函數可推廣至多變數線性函數 $f:\mathbb{R}^n\to\mathbb{R}$ ，具有下列形式：

$f(x_1,\ldots,x_n)=a_1x_1+\cdots+a_nx_n+b$ 。

這裡 $\mathbb{R}^n$ 代表有序實數組 $(x_1,\ldots,x_n)$ 形成的集合。當 $n=2$ ，多變數線性函數的圖形表現是三度空間的一個平面；當 $n>2$ ，圖形表現稱為超平面 (hyperplane)。因此，線性函數也稱為平的 (flat) 函數。

考慮多個線性函數的問題。若 $n=2$ ，給定兩個線性函數：

$\begin{aligned} f_1(x_1,x_2)&=a_{11}x_1+a_{12}x_2+b_1\\ f_2(x_1,x_2)&=a_{21}x_1+a_{22}x_2+b_2. \end{aligned}$

當 $f_1(x_1,x_2)=f_2(x_1,x_2)=0$ ，我們得到線性聯立方程組

$\begin{aligned} a_{11}x_1+a_{12}x_2&=-b_1\\ a_{21}x_1+a_{22}x_2&=-b_2. \end{aligned}$

如你的問題陳述，線性代數的發展從線性方程的研究開始。早期的研究目標在解線性聯立方程組，行列式與克拉瑪公式就是線性聯立方程組解法的總結 (見“克拉瑪公式的證明”)。

線性代數的課題並不僅在解線性聯立方程組，十九世紀的一些數學家將研究重心轉回多變數線性函數本身 (見“線性代數的第一堂課──矩陣乘法的定義”)。將上面兩個線性函數整併為一個「大線性函數」，寫成

$f(x_1,x_2)=\begin{pmatrix} f_1(x_1,x_2)\\ f_2(x_1,x_2) \end{pmatrix}=\begin{pmatrix} a_{11}x_1+a_{12}x_2+b_1\\ a_{21}x_1+a_{22}x_2+b_2 \end{pmatrix}$ 。

按照前述定義，「大線性函數」 $f:\mathbb{R}^2\to\mathbb{R}^2$ 並不是一個線性函數^[1]，這提示我們線性函數的概念或應予以廣義化。若不考慮常數 $b_1$ 與 $b_2$ ，定義映射 $\varphi:\mathbb{R}^2\to\mathbb{R}^2$ ，如下：

$\varphi(x_1,x_2)=\begin{pmatrix} a_{11}x_1+a_{12}x_2\\ a_{21}x_1+a_{22}x_2 \end{pmatrix}$ 。

「大線性函數」 $f(x_1,x_2)$ 與映射 $\varphi(x_1,x_2)$ 的關係要怎麼表示？映射 $\varphi(x_1,x_2)$ 能否分解？它又具有甚麼性質？欲回答這些問題，我們須引進一個新的數學實體：向量，也就是集合 $\mathbb{R}^2$ 的元素。令向量 $\mathbf{x}=(x_1,x_2)$ 且 $\mathbf{y}=(y_1,y_2)$ ，或寫為 $\mathbf{x}=\begin{pmatrix} x_1\\x_2\end{pmatrix}$ ， $\mathbf{y}=\begin{pmatrix} y_1\\ y_2 \end{pmatrix}$ 。我們定義向量 $\mathbf{x}$ 與 $\mathbf{y}$ 的加法為 $\mathbf{x}+\mathbf{y}=(x_1,x_2)+(y_1,y_2)=(x_1+y_1,x_2+y_2)$ ，向量 $\mathbf{x}$ 與一個純量 (實數) $c$ 的乘法為 $c\cdot\mathbf{x}=c\cdot(x_1,x_2)=(cx_1,cx_2)$ 。根據向量的兩個基本運算，「大線性函數」可以寫成 $f(x_1,x_2)=\varphi(x_1,x_2)+\begin{pmatrix} b_1\\b_2\end{pmatrix}$ ，且映射 $\varphi(x_1,x_2)$ 可分解如下：

$\begin{aligned} \varphi(x_1,x_2)&=\begin{pmatrix} a_{11}x_1+a_{12}x_2\\ a_{21}x_1+a_{22}x_2\end{pmatrix}\\ &=\begin{pmatrix} a_{11}x_1\\ a_{21}x_1 \end{pmatrix}+\begin{pmatrix} a_{12}x_2\\ a_{22}x_2 \end{pmatrix}\\ &=x_1\cdot\begin{pmatrix} a_{11}\\a_{21}\end{pmatrix}+x_2\cdot\begin{pmatrix} a_{12}\\ a_{22} \end{pmatrix}.\end{aligned}$

上式表明映射 $\varphi(x_1,x_2)$ 是向量 $\begin{pmatrix}a_{11}\\a_{21}\end{pmatrix}$ 與 $\begin{pmatrix}a_{12}\\a_{22}\end{pmatrix}$ 的組合 (combination)，組合係數分別為 $x_1$ 與 $x_2$ 。這種向量組合方式叫做疊加 (superposition，見“線性世界的根基──疊加原理”)，但最適切名稱是線性組合，因為 $\varphi(x_1,x_2)$ 源自「大線性函數」。

線性組合無非就是向量加法與純量乘法的整合，那麼以線性組合表達的映射 $\varphi(x_1,x_2)$ 滿足甚麼性質呢？考慮 $\mathbf{x}+\mathbf{y}$ 以及 $c\cdot\mathbf{x}$ 經過映射 $\varphi$ 的像 (image)，

$\begin{aligned}\varphi(\mathbf{x}+\mathbf{y})&=\varphi(x_1+y_1,x_2+y_2)=(x_1+y_1)\cdot\begin{pmatrix}a_{11}\\a_{21}\end{pmatrix}+(x_2+y_2)\cdot\begin{pmatrix}a_{12}\\a_{22}\end{pmatrix}\\ \varphi(c\cdot\mathbf{x})&=\varphi(cx_1,cx_2)=(cx_1)\cdot\begin{pmatrix}a_{11}\\a_{21}\end{pmatrix}+(cx_2)\cdot\begin{pmatrix}a_{12}\\a_{22}\end{pmatrix}.\end{aligned}$

問題又來了，上面兩式該如何計算？數學家替我們備妥必要的向量運算法則，他們定義出一個數學結構稱為向量空間 (vector space)，具備 8 個向量運算法則 (見“向量空間與實例”)。在向量空間 $\mathbb{R}^2$ ，使用分配律與結合律，上面兩式可化為

$\begin{aligned} \varphi(\mathbf{x}+\mathbf{y})&=(x_1+y_1)\cdot\begin{pmatrix}a_{11}\\a_{21}\end{pmatrix}+(x_2+y_2)\cdot\begin{pmatrix}a_{12}\\a_{22}\end{pmatrix}\\ &=x_1\cdot\begin{pmatrix}a_{11}\\a_{21}\end{pmatrix}+y_1\cdot\begin{pmatrix}a_{11}\\a_{21}\end{pmatrix}+x_2\cdot\begin{pmatrix}a_{12}\\a_{22}\end{pmatrix}+y_2\cdot\begin{pmatrix}a_{12}\\a_{22}\end{pmatrix}\\&=\varphi(\mathbf{x})+\varphi(\mathbf{y})\end{aligned}$

且

$\begin{aligned}\varphi(c\cdot\mathbf{x})&=(cx_1)\cdot\begin{pmatrix}a_{11}\\a_{21}\end{pmatrix}+(cx_2)\cdot\begin{pmatrix}a_{12}\\a_{22}\end{pmatrix}\\ &=c\cdot\left(x_1\cdot\begin{pmatrix}a_{11}\\a_{21}\end{pmatrix}+x_2\cdot\begin{pmatrix}a_{12}\\a_{22}\end{pmatrix}\right)\\ &=c\cdot\varphi(\mathbf{x}).\end{aligned}$

至此，我們已將解析幾何的多個線性函數推廣為向量空間之間的映射，並得知這個映射的基本性質。自然地，數學家稱 $\varphi:\mathbb{R}^2\to\mathbb{R}^2$ 是一個線性映射 (linear map) 或線性變換 (linear transformation)，如果 $\varphi$ 滿足底下的性質：對於任意 $\mathbf{x},\mathbf{y}\in\mathbb{R}^2$ 且 $c\in\mathbb{R}$ ，

$\begin{aligned}\varphi(\mathbf{x}+\mathbf{y})&=\varphi(\mathbf{x})+\varphi(\mathbf{y})\\ \varphi(c\cdot\mathbf{x})&=c\cdot\varphi(\mathbf{x}). \end{aligned}$

粗淺地說，一個線性映射是從一個向量空間映至另一個向量空間的函數，並保有向量空間運算。

請注意，定義於有限維向量空間的任何一個線性映射都可表示為某些固定向量的線性組合。考慮線性映射 $\varphi:\mathbb{R}^n\to\mathbb{R}^m$ 。令 $\mathbf{e}_1,\ldots,\mathbf{e}_n$ 為 $\mathbb{R}^n$ 的標準單位向量，其中

$\mathbf{e}_1=\begin{pmatrix}1\\0\\0\\ \vdots\\0\end{pmatrix},\mathbf{e}_2=\begin{pmatrix}0\\1\\0\\ \vdots\\0\end{pmatrix},\ldots,\mathbf{e}_n=\begin{pmatrix}0\\0\\0\\ \vdots\\1\end{pmatrix}$ 。

對於 $\mathbf{x}=(x_1,\ldots,x_n)=x_1\cdot\mathbf{e}_1+\cdots+x_n\cdot\mathbf{e}_n$ ，根據定義，

$\begin{aligned} \varphi(\mathbf{x})&=\varphi(x_1\cdot\mathbf{e}_1+\cdots+x_n\cdot\mathbf{e}_n)\\ &=\varphi(x_1\cdot\mathbf{e}_1)+\cdots+\varphi(x_n\cdot\mathbf{e}_n)\\ &=x_1\cdot \varphi(\mathbf{e}_1)+\cdots+x_n\cdot\varphi(\mathbf{e}_n).\end{aligned}$

因此， $\varphi(\mathbf{x})$ 是標準單位向量 $\mathbf{e}_1,\ldots,\mathbf{e}_n$ 的像 $\varphi(\mathbf{e}_1),\ldots,\varphi(\mathbf{e}_n)\in\mathbb{R}^m$ 的線性組合，組合係數為 $x_1,\ldots,x_n$ 。線性組合與線性映射是同一件事的兩種表述。

線性代數的主題在探討向量空間的代數結構與線性映射的性質，兩者的關係非常密切。一個線性映射 $\varphi:\mathcal{V}\to\mathcal{W}$ 的定義域 (domain) $\mathcal{V}$ 與到達域 (codomain) $\mathcal{W}$ 皆為向量空間。另一方面，所有從 $\mathcal{V}$ 映至 $\mathcal{W}$ 的線性映射形成的集合，記為 $\mathcal{L}(\mathcal{V},\mathcal{W})$ ，構成一個向量空間 (見“線性變換集合構成向量空間”)。因此，向量空間也稱作線性空間 (或線性向量空間)，意指線性映射所處理的空間或線性映射所屬的空間。

顧名思義，非線性映射 (nonlinear map) 不是一個線性映射，譬如， $f(x_1,x_2)=\begin{pmatrix} x_1^2+x_2\\x_1x_2-x_1x_2^3\end{pmatrix}$ 。但我沒有聽過向量的「非線性組合」或「非線性向量空間」，原因是這些概念無法造出符合數學美學要求的代數結構 (見“線性代數裡的代數結構”)。雖然如此，我們仍然可以通過線性化將線性代數理論應用於非線性映射問題，詳細討論見“Jacobian 矩陣與行列式”。

註解
[1] 「大線性函數」的正式名稱叫仿射變換 (affine transformation)，詳見“仿射變換”。

5 Responses to 答王昭晴──關於線性代數之“線性”一詞的涵義

Meiyue Shao says:

05/12/2016 at 8:03 am

我也没听说过“非线性向量空间”的讲法，但空间未必有线性运算，比如“度量空间”，“拓扑空间”等。
与“线性组合”类似的有“仿射组合”，“凸组合”，当然这两个例子可以认为是要求比较高的线性组合。

王昭晴 says:

05/16/2016 at 11:21 pm

謝謝老師，非常清晰且生動的解釋

王昭晴 says:

05/17/2016 at 3:45 pm

非線性映射似乎很容易構成，而一線性向量空間可以經線性映射製作出另一個線性向量空間。今倘若將一線性向量空間代入非線性映射中，所產生的集合是否還有機會可以是一線性向量空間呢??或者更明確一點是否存在一種非線性的映射方式如同線性映射能從一線性向量空間中映射出另一個線性向量空間??

- ccjou says:
  
  05/17/2016 at 4:56 pm
  
  線性映射必將子空間映射至子空間。非線性映射則不一定，舉例來說：
  1) $f:\mathbb{R}\to\mathbb{R}$ 定義為 $f(x)=x^2$ ，值域是非負實數，因此不是一個子空間。
  2) $g:\mathbb{R}\to\mathbb{R}$ 定義為 $g(x)=-x^3$ ，值域是實數軸，因此是一個子空間。又 $g(0)=0$ ，故 $g$ 將子空間映射至子空間。
  
  從 $\mathbb{R}$ 映至 $\mathbb{R}$ 的線性映射的形式定為 $f(x)=ax$ ， $a\in\mathbb{R}$ 。從 $\mathbb{R}^n$ 映至 $\mathbb{R}^m$ 的線性映射定為 $f(\mathbf{x})=A\mathbf{x}$ ，其中 $A$ 是一個 $m\times n$ 階實矩陣。
  
  - 王昭晴 says:
    
    05/17/2016 at 7:18 pm
    
    瞭解了，謝謝老師。

	陳倍恩 on 線性代數的第一堂課──矩陣乘法的定義
	輕鬆談如何教學二項式定理？… on 牛頓的二項式定理 (上)
	madhouse on 高斯消去法
	WishMobile on 翻轉 LU 分解
	周子傑 on Karush-Kuhn-Tucker (KKT) 條件
	Cloud Huang on 線性泛函與伴隨