如果蘇利文是海倫凱勒的線性代數老師

美國著名的教育家海倫凱勒 (Helen Keller) 於19個月大時罹患一種神秘的疾病，一場高燒使她失去了視力和聽力。隨著年齡增長，由於完全無法跟外界溝通，海倫的脾氣變得愈加暴躁。海倫凱勒七歲時，她的父母邀請位於波士頓的柏金斯盲人學校 (Perkins School) 的蘇利文 (Anne Sullivan) 老師前來阿拉巴馬州擔任海倫的啟蒙導師。自己也近乎全盲的蘇利文女士先是耐心地教導海倫學習自制，繼而嘗試教她閱讀。蘇利文在海倫手掌上用聾啞字母拼出日常事物的名稱。剛開始，海倫以為蘇利文老師只是在和她在玩遊戲。海倫記住了這些拼字，卻不明白實際上這些字是有意義的。蘇利文不斷重複洋娃娃和蛋糕這兩個字，海倫只知道模仿蘇利文的動作就能拿到一個洋娃娃或一塊蛋糕，但她卻沒有掌握這些手指動作所隱含的意義：將拼字和物件名稱連繫在一起。直到1887年4月5日，蘇利文拉著海倫到打水幫浦旁，把冷水傾注在她手上時，海倫才終於明白「物件擁有名字」的道理。海倫凱勒在自傳中說：

當冰冷的水流傾洩到我的手時，她在我的另一隻手上拼出水這個字，起初緩慢，隨後越寫越快。我佇立不動，全神貫注於她手指的動作。突然間，我感知到一種模糊的意識，彷彿瞬間憶起某種被遺忘的東西。不知何故，語言對我來說不再神秘。當下我即明瞭「w-a-t-e-r」意指流洩在我手上的美妙冷流。

事後蘇利文在寫給柏金斯盲人學校護士長的一封信中也提到這個奇妙的時刻：

當她感受傾洩在她手上的冷水時，如此接近這個字似乎令她非常震驚。她丟開水壺，呆若木雞地站著。臉上露出全新的光芒。

海倫凱勒終於明白字彙與事物是有關聯的，接下來的幾天，她又學會了幾十個新字。頓悟之後，海倫的世界不斷地擴大，她不僅學會讀、寫，甚至說。1898年，海倫凱勒進入了麻薩諸塞州的劍橋女子學校 (The Cambridge School for Young Ladies)，1900年進入哈佛大學拉德克利夫學院 (Radcliffe College) 就讀，並於1904年以優異成績取得文學學士學位，成為第一個畢業於高等院校的聾盲人。海倫凱勒求學期間，蘇利文一直在她身邊陪伴，透過手語將書本和上課內容傳達給海倫^[1]。

海倫凱勒說過：「大學並不是獲得想法的地方。」(College isn’t the place to go for ideas.) 如果蘇利文是海倫凱勒的線性代數老師，她會怎麼教，才能使海倫願意收回這句話？蘇利文是一位異於常人的老師，她給自己的任務絕不僅是重述教科書裡的定義或展示推演過程而已，她還希望海倫能夠理解概念的涵義，並獲得對事物的洞察力。蘇利文會鼓勵海倫多思考問題本身而非尋求答案而已，因此她會在每一個問題之後給出一個提示，並指示海倫遵循提示來思考。

今日的主題是奇異值分解 (見“奇異值分解 (SVD)”)。準備好了嗎？開始。

字彙：什麼是實對稱矩陣？

提示：將妳所知道一切有關對稱矩陣的事全都講出來。如何界定對稱矩陣？界定對稱矩陣的主要運算是甚麼？有無簡易的對稱矩陣製造法？

解釋：若 $\overline{A}=A$ 且 $A^T=A$ ，則 $A$ 稱為實對稱矩陣 (以下簡稱對稱矩陣)。轉置運算是界定對稱矩陣的主要運算。若 $A$ 是一個 $m\times n$ 階實矩陣，則 $A^TA$ 和 $AA^T$ 分別是 $n\times n$ 階與 $m\times m$ 階對稱矩陣。

聯想：如果想要透徹認識對稱矩陣，妳會做些甚麼事？

提示：對稱矩陣，特徵值和特徵向量，這些字彙讓妳想起甚麼？它們三者可以同時出現在一個方程式中嗎？

解釋： $n\times n$ 階對稱矩陣 $A$ 的特徵值 $\lambda_i$ 必定是實數，並有完整的單範正交 (orthonormal) 特徵向量 $\mathbf{x}_i$ (見“實對稱矩陣可正交對角化的證明”)，故對稱矩陣是可正交對角化的，亦即存在正交矩陣 $Q=\begin{bmatrix} \mathbf{x}_1&\cdots&\mathbf{x}_n \end{bmatrix}$ ， $Q^TQ=QQ^T=I$ ，使得 $Q^TAQ=\Lambda$ ，其中 $\Lambda=\mathrm{diag}(\lambda_1,\ldots,\lambda_n)$ 。

聚焦： $A^TA$ 和 $AA^T$ 除了擁有對稱矩陣的一般性質，還具備甚麼特性？先說說特徵值吧。

提示：妳在哪些場合碰到過它們？這能告訴妳甚麼事？

解釋：計算 $A\mathbf{x}$ 或 $A^T\mathbf{y}$ 的長度： $\Vert A\mathbf{x}\Vert^2=(A\mathbf{x})^T(A\mathbf{x})=\mathbf{x}^TA^TA\mathbf{x}\ge 0$ ，同樣地， $\Vert A^T\mathbf{y}\Vert^2=\mathbf{y}^TAA^T\mathbf{y}\ge 0$ 。因此 $A^TA$ 和 $AA^T$ 都是半正定矩陣，它們的特徵值必不為負數。

共同相似點： $A^TA$ 和 $AA^T$ 的形式相仿，它們會有相同的非零特徵值嗎？ $A^TA$ 和 $AA^T$ 的特徵向量有甚麼關係嗎？

提示：先對 $A^TA$ 做一些假設，然後設法驗證妳的猜測是否屬實。

解釋：因為 $A^TA$ 是 $n\times n$ 階半正定對稱矩陣，可設

$A^TA\mathbf{v}_i=\sigma_i^2\mathbf{v}_i$ ，

其中 $\sigma_i^2$ 是 $A^TA$ 的特徵值，設 $\sigma_1\ge\cdots\ge\sigma_r>0$ ， $\sigma_{r+1}=\cdots=\sigma_n=0$ ，且特徵向量 $\{\mathbf{v}_1,\ldots,\mathbf{v}_n\}$ 為 $\mathbb{R}^n$ 的一組單範正交基底。為了製造 $AA^T$ ，上式左乘 $A$ ，即得

$AA^TA\mathbf{v}_i=\sigma_i^2A\mathbf{v}_i$ ，

故 $AA^T$ 也有特徵值 $\sigma_i^2$ ，對應的特徵向量是 $A\mathbf{v}_i$ ，且 $\Vert A\mathbf{v}_i\Vert^2=\mathbf{v}_i^TA^TA\mathbf{v}_i=\sigma_i^2\Vert\mathbf{v}_i\Vert^2=\sigma_i^2$ ，即知 $A\mathbf{v}_i$ 的長度等於 $\sigma_i$ 。

逆向推理：反過來，如果從 $AA^T$ 開始，妳能推論出甚麼來？

提示：縱使不重新計算一次，根據「對稱原則」，妳會怎麼說？兩個方向相反的推理在何處交會？

解釋：按類似形式，設

$AA^T\mathbf{u}_i=\sigma_i^2\mathbf{u}_i$ ，

其中 $\sigma_1\ge\cdots\ge\sigma_r>0$ ， $\sigma_{r+1}=\cdots=\sigma_m=0$ ，且 $AA^T$ 的特徵向量 $\{\mathbf{u}_1,\ldots,\mathbf{u}_m\}$ 為 $\mathbb{R}^m$ 的一組單範正交基底。對於 $i=1,\ldots,r$ ，單位特徵向量 $\mathbf{v}_i$ 和 $\mathbf{u}_i$ 的關係為

$\displaystyle \mathbf{u}_i=\frac{A\mathbf{v}_i}{\sigma_i},~~\mathbf{v}_i=\frac{A^T\mathbf{u}_i}{\sigma_i}$ ，

也就是說

$A\mathbf{v}_i=\sigma_i\mathbf{u}_i,~~A^T\mathbf{u}_i=\sigma_i\mathbf{v}_i$ ，

上面兩式可互換表達。

膠囊化：至目前為止，妳能指出最重要的結果是甚麼嗎？有沒有辦法將它精簡地表達出來？

提示：哪一個公式聯繫了最多的訊息？妳如何合併一組公式？

解釋：主要結果是 $A\mathbf{v}_i=\sigma_i\mathbf{u}_i$ ， $i=1,\ldots,r$ ，合併如下：

$\begin{aligned} A\begin{bmatrix} \mathbf{v}_1&\cdots&\mathbf{v}_r&\cdots&\mathbf{v}_n \end{bmatrix}&=\begin{bmatrix} \sigma_1\mathbf{u}_1&\cdots&\sigma_r\mathbf{u}_r&\cdots&\mathbf{0} \end{bmatrix}\\ &=\begin{bmatrix} \mathbf{u}_1&\cdots&\mathbf{u}_r&\cdots&\mathbf{u}_m \end{bmatrix}\begin{bmatrix} \sigma_1&&&\\ &\ddots&&&\\ &&\sigma_r&\\ &&& \end{bmatrix}\end{aligned}$

記為 $AV=U\Sigma$ ， $\Sigma$ 是 $m\times n$ 階對角矩陣，其中 $\sigma_1,\ldots,\sigma_r$ 稱為奇異值。因為 $VV^T=V^TV=I_n$ ， $U^TU=UU^T=I_m$ ，即得 $A=U\Sigma V^T$ ，稱為奇異值分解「s-v-d」。

結束本日課程前，蘇利文老師要求海倫凱勒在腦中構想奇異值分解的圖像，並指出 $\mathbf{v}_i$ 和 $\mathbf{u}_i$ 分別組成 $A$ 矩陣的四個基本子空間的單範正交基底 (見“線性代數基本定理 (三)”)。跨出了第一步，明日蘇利文將繼續採用她自創的教法與海倫談論奇異值分解的幾何意義和應用 (見“奇異值分解專題”)。不過話說回來，蘇利文老師的教法是否真能啟迪思想，激發創意？還是其實每一位老師都聲稱他們自己的教學方法才是正宗？如《史記》裡頭說的：「參盡召長老諸生，問所以安集百姓，如齊故諸儒以百數，言人人殊。參未知所定。」

引用來源：
[1] 維基百科：海倫凱勒

6 Responses to 如果蘇利文是海倫凱勒的線性代數老師

SW1 says:

06/21/2012 at 4:10 pm

我在讀這篇文章時, 突然感覺到老師的一種想要讓大家學好線代
甚至是經由線代去體會大自然奧妙的用心
(用各種論述和方法去討論一個主題)
真是感動!

- ccjou says:
  
  06/22/2012 at 10:11 am
  
  但這種“教─學”方式很辛苦，不見得適用於每一個人。所以才說：言人人殊。
  
John says:

07/09/2012 at 12:10 am

周老師，請問您說「她會怎麼教，才能使海倫願意收回這句話？」這段是什麼意思？意指海倫說的那句話是對 College 的教學有所不滿嗎？

- ccjou says:
  
  07/09/2012 at 8:57 am
  
  我這麼講確有些穿鑿附會之嫌。海倫說的那句話只是陳述大學不是一個獲得想法或創意的地方，但是否因為她對學院教學方式不滿才會這樣說？這還需要進一步考查。
  
Mystery's Xie says:

01/28/2016 at 6:38 am

不太清楚为什么只有r个非零特征值呢

- ccjou says:
  
  01/28/2016 at 12:58 pm
  
  文中設 $r$ 是一個不大於 $n$ 的數，沒有其他的意思。事實上， $r=\hbox{rank}(A^TA)=\hbox{rank}(AA^T)$ 。最簡單的解釋是實對稱矩陣的秩等於非零特徵值數，見下文：
  https://ccjou.wordpress.com/2014/11/14/%E5%B9%BE%E4%BD%95%E9%87%8D%E6%95%B8%E4%B8%8D%E5%A4%A7%E6%96%BC%E4%BB%A3%E6%95%B8%E9%87%8D%E6%95%B8%E7%9A%84%E8%AD%89%E6%98%8E/

	陳倍恩 on 線性代數的第一堂課──矩陣乘法的定義
	輕鬆談如何教學二項式定理？… on 牛頓的二項式定理 (上)
	madhouse on 高斯消去法
	WishMobile on 翻轉 LU 分解
	周子傑 on Karush-Kuhn-Tucker (KKT) 條件
	Cloud Huang on 線性泛函與伴隨