Category Archives: 應用之道

主成分分析與低秩矩陣近似

本文的閱讀等級:高級 假設我們有一筆維數等於 ,樣本大小為 的數據 ,也就是說每一個數據點 包含 個變數的量測值。沿用統計學與數據科學的慣例 (見“數據矩陣的列與行”),定義 階數據矩陣 , 其中 代表第 個變數的第 個量測值,,。在不造成混淆的情況下,以下用 表示第 個變數。如果數據包含大量的變數 ( 很大) 或者變數之間存在顯著的共線性關係[1],你可以設計一個從向量空間 映至 的線性映射,,數據點 經映射後的像 (image) 構築另一筆變數較少且兩兩變數不存在線性相關性的新數據,這個方法稱為主成分分析 (principal components analysis)。從統計學的觀點,主成分分析的目的是找到少量的新變數,稱為降維 (dimension reduction),同時盡可能地保留變數的總變異量。從線性代數的觀點,主成分分析其實是一種矩陣近似法,我們希望得到一個最近似於原數據矩陣 的低秩 (low rank) 同尺寸矩陣。本文證明證明主成分分析與低秩矩陣近似在本質上是相同的問題。 Advertisements

Posted in 線性代數專欄, 應用之道 | Tagged , , , , | Leave a comment

答黃胤凱──關於 Jacobian 矩陣與臨界點的定義

網友黃胤凱留言: 周老師您好!想請問周老師,當我們在定義 函數的 critical point 是指該點的 gradient=。但在 的函數上,為何定義卻變成是該點的 Jacobian matrix 不是滿秩即為 critical point?要如何理解這個條件?背後有沒有什麼原因造成這個條件呢?

Posted in 答讀者問, 應用之道 | Tagged , | 2 Comments

線性代數在圖論的應用 (三):拉普拉斯矩陣

本文的閱讀等級:中級 令 為一個無向圖 (undirected graph),其中 是頂點集合, 稱為圖 的階 (order), 是無向邊集合。若頂點 和 之間存在一邊,記為 ,我們稱 和 鄰接 (adjacent),並稱該邊與二頂點有關聯 (incident)。無向邊不具方向性, 是兩頂點組成的集合,即每一邊可視為一無序頂點對。以下考慮簡單無向圖,意思是不存在自迴路 (self-loop),即 ,且不存在重邊 (multiedge),即任二相異頂點至多僅存在一關聯邊。對應 階圖 ,鄰接矩陣 為一 階矩陣,定義如下: 若 ,否則 (見“線性代數在圖論的應用 (一):鄰接矩陣”)。顯然,, 是一對稱矩陣。表面上,鄰接矩陣是一圖的最自然的表示方式,但它的實用價值卻不大,原因在於鄰接矩陣的特徵值和特徵向量未能揭露圖結構的重要訊息,此外,鄰接矩陣的二次型亦缺乏明確的涵義。本文介紹一種適於建立矩陣譜 (相異特徵值集合,spectrum) 理論的無向圖表示矩陣,稱為拉普拉斯矩陣 (Laplacian)。對於頂點 ,分支度 (度數,degree) 是所有與 有關聯的邊數,即鄰接矩陣 的第 列 (或行) … Continue reading

Posted in 線性代數專欄, 圖論, 應用之道 | Tagged , , , , | 2 Comments

答Regan Yuan──關於主成分分析的奇異值分解算法

網友Regan Yuan留言: 老师您好,首先对您以往的支持和耐心详细的讲解,表示由衷的敬意和感谢!再次虚心请教老师一个问题,对于采用singular value decomposition的principal components analysis算法,最近总是有些搞不清,能否提供一个具体的例子呢?比如下面这个问题:五个学生 (5 cases or observations) 的跳高,跳远,乒乓球三门具有相关性的体育成绩 (3 variables or dimensions) 的 矩阵, , 用PCA进行降维度,具体解决方法如何?请明示,谢谢您!祝您开心每一天!

Posted in 答讀者問, 應用之道 | Tagged , , , | 31 Comments

利用行列式推導三角形的四心座標公式

本文的閱讀等級:初級 三角形的四心是指重心 (centroid)、內心 (incenter)、外心 (circumcenter) 和垂心 (orthocenter)。給定平面上三角形的三個頂點座標,現行的高中解析幾何多採用向量方法求三角形的四心,本文介紹一個少見的解法:利用直線的行列式表達式推導三角形的四心座標公式。

Posted in 線性代數專欄, 應用之道 | Tagged , , , , , , | 6 Comments

利用行列式推導海龍公式

本文的閱讀等級:初級 海龍公式 (Heron’s formula,亦稱海倫─秦九韶公式) 是一個著名的平面幾何公式。若一個三角的三邊長為 ,海龍公式給出三角形面積 ,如下: , 其中 是三角形的半周長。如果已知三角形的三個頂點座標 (按逆時針排序) , 和 ,三角形面積 亦可用下列行列式計算 (見“利用行列式計算多邊形面積”): 。 本文先介紹一個採用平面幾何方法的海龍公式證明[1],隨後解說如何由行列式表達的三角形面積公式推導海龍公式 (目的是為了演練行列式的運算)。

Posted in 線性代數專欄, 應用之道 | Tagged , , , | 7 Comments

利用行列式求直線、平面和圓方程式

本文的閱讀等級:初級 給定平面上的兩點 和 ,如何求出穿越此兩點的直線?如果你是一位行列式迷,那麼必定知曉這個神奇的公式: 。 展開並化簡,可得直線方程式 。本文以這個簡單的例子作為引子,介紹如何利用行列式求平面上穿越兩點的直線、空間中包含三點的平面,以及平面上穿越三點的圓。

Posted in 線性代數專欄, 應用之道 | Tagged , , , | 6 Comments

梅林的魔術方塊

本文的閱讀等級:初級 梅林 (Merlin) 是美國 Parker Brothers 公司於1978年生產的一款掌上型遊戲機 (見圖),內含六種益智遊戲,魔術方塊是其中之一[1]。遊戲機面板設有九個按鍵,布置成 陣列。每一個按鍵內裝一顆LED燈泡,燈號有兩種:閃爍或熄滅。按下任一按鍵可切換燈號,同時鄰近的按鍵燈號也一併自動切換。設 表示切換按鍵, 表示鄰近按鍵, 表示非鄰近按鍵。每一切換按鍵的鄰近按鍵定義如下: 遊戲開始時,系統產生一組隨機圖案,遊戲的目的要將初始圖案變換為生產商預設的目標圖案──除中心按鍵外,所有的周邊按鍵都在閃爍狀態。梅林魔術方塊的遊戲規則存在多樣的變化,譬如,目標圖案可以任意設定。往下閱讀前,建議讀者先體會遊戲過程。請進入線上梅林魔術方塊遊戲網站 Merlin Magic Square Game,畫面左邊顯示目標圖案,先點選方框設計個人喜好的圖案 (打勾代表燈號閃爍)。按下“Enjoy new game”,畫面右邊即出現隨機圖案,點選右圖的方框切換燈號,直到產生與左圖相同的圖案即告獲勝。

Posted in 線性代數專欄, 應用之道 | Tagged , , | Leave a comment

窮人的多項式求根法

本文的閱讀等級:初級 給定三次多項式 , 如何求得 的三個根?你可以購買一套商用數學軟體或使用校園授權軟體 (費用已經隱藏在繳交的學費中)。例如,MATLAB,輸入兩個指令:     p = [1 -6 -72 -27];     r = roots(p) 馬上就得到答案:     r =           12.1229           -5.7345           -0.3884 如果你近來阮囊羞澀或無法取得校園授權軟體,是否還有其他不用花錢的便捷方法?易經曰:「窮則變,變則通,通則久。」下面我介紹一個窮人的多項式求根法。首先我們要備妥一個免費的矩陣特徵值計算程式,譬如,具有多種功能的線上矩陣計算器 Online Matrix Calculator。在主畫面視窗鍵入三次多項式 的 階相伴 (companion) 矩陣 , 勾選 Eigenvalues/eigenvectors,按下 Calculate,可得三個特徵值,此即為三次多項式 的根。事實上,MATLAB 採用完全相同的多項式求根算法[1]。有錢或沒錢的差別待遇往往僅在於外表包裝不同而已。

Posted in 線性代數專欄, 應用之道 | Tagged , , , | 6 Comments

費雪不等式

本文的閱讀等級:中級 英國統計學家、演化生物學家與遺傳學家費雪 (Ronald Fisher) 是現代統計學的創建者之一。今天我們使用的許多統計方法,例如,變異數分析 (方差分析,簡稱ANOVA)、最大似然估計與費雪線性判別等,都是他的發明貢獻。本文要探討的主題是在實驗設計時碰到的一個組合數學問題。考慮包含 個元素的集合 。令 為 的 個相異非空子集合。令 代表一集合 的基數 (cardinal number),即所包含的元素個數。 費雪不等式:若所有的 滿足 ,則 。 費雪的原始論文以組合數學解釋[1],本文討論多種線性代數證法,使用的基本工具包括矩陣秩、行列式、特徵值、線性獨立與正定 (類似應用見“有限體與模算術”)。

Posted in 線性代數專欄, 應用之道 | Tagged , , , , , , | Leave a comment