Tag Archives: 泰勒展開式

電影《心靈捕手》的數學問題 (一)

本文的閱讀等級:中級 美國馬里蘭大學馬尼爾‧蘇里 (Manil Suri) 教授說[1]: 在新聞媒體或文化領域,很少會出現數學這個主題。很多時候,當數學出現在一部小說或電影中時,我就會想起契訶夫諺語中的槍:如果一個數學家不發瘋,就別讓他出場。對數學的焦慮感,像厚厚的陰霾一樣籠罩着萬事萬物。   我知道關於「數學與人物」的電影法則包括 如果你是一個正常人,那麼你應當害怕或討厭數學。 如果你解開別人解不出的數學問題,那麼你不是書呆子就是精神異常者。 如果你的數學本來其爛無比,有一天卻突然擁有超強的特異能力,那麼你可能被外星人附體或腦部受到不明來源的輻射汙染。   在電影《心靈捕手》(Good Will Hunting),麻省理工學院的朗博教授 (Gerald Lambeau) 為激勵學生上進,他在走廊黑板公布數學難題並保證答對者將可名利雙收。清潔工威爾 (Will Hunting) 擁有過人的天賦,性格叛逆亟需心理治療,但尚未惡化到發瘋的地步[2]。朗博教授和威爾同在一棟大樓工作,不過兩人沒有任何交集。本文討論朗博教授張貼的第一個問題。下面是電影片段 (字幕見[3])。 Advertisements

Posted in 圖論 | Tagged , , , , , , | 5 Comments

答張盛東──關於 Hessian 矩陣與多變量函數的泰勒展開式

網友張盛東留言: 老師,其實能否將 Hessian 矩陣看作 gradient 算子與自身的外積 (outer product)[1] 再乘以函數 ?如果可以,是否可能將多變數函數的 Taylor 展開式前兩項之後的項都像這樣表示成 gradient 算子與自身的外積?

Posted in 特別主題, 答讀者問 | Tagged , , , | 2 Comments

牛頓法──非線性方程的求根方法

本文的閱讀等級:初級 牛頓法 (Newton’s method) 或稱牛頓─拉弗森法 (Newton-Raphson method) 是一個極有效的非線性方程 的求根方法。令 為一個連續可導函數。設 為 的一根的估計值,寫出泰勒級數 。 如果 足夠小,我們可以忽略截斷 (truncated) 誤差 。解線性方程 可得近似根: 。 上式的幾何意義是 為函數 於點 的切線與x-軸的交點。我們期待 比 更接近真實根,遂以迭代程序連續逼近:對於 , 。

Posted in 特別主題 | Tagged , , , | 9 Comments

線性微分方程解的存在性與唯一性

本文的閱讀等級:中級 考慮一物理系統,在任意時間 ,該系統的狀態完全由 個函數 描述。在任意時間 ,假設這些函數的變化率由它們的函數值所決定,表示如下: , 並給定初始條件 ,。如果數組 滿足 , 我們稱系統處在均衡狀態 (equilibrium state)。除非受到外力干擾,否則系統不會離開均衡狀態。我們對於均衡狀態附近的系統行為特別感興趣,精確地說,我們想瞭解系統在微小擾動下是否具備穩定性。若系統受到擾動後最終可以返回均衡狀態,便稱此系統是穩定的,否則稱為不穩定。為了探討這個問題,設定 , 其中 是微小擾動量。將上式代入前面的微分式,寫出泰勒展開式, 當 ,,令 。如果忽略高階項,物理系統在均衡狀態 附近的行為可以用下列線性微分方程近似: , 或表示為矩陣形式 。 令 是一 維向量且 是一 階矩陣。定義 ,可得簡明的向量微分方程式 。 我們研習常微分方程的一個強烈動機即在解出 ,,以確定系統的漸近行為 (當 )。本文採用矩陣分析證明線性微分方程解的存在性與唯一性,給出齊次常微分方程的解並定義矩陣指數,最後討論矩陣微分方程解的可逆性 (線性代數與微分方程的一般關聯性討論請見“從線性代數看微分方程”)。

Posted in 線性代數專欄, 應用之道 | Tagged , , , , | Leave a comment

Hermitian 矩陣與實對稱矩陣的一些實例

本文的閱讀等級:初級 令 為一個 階矩陣。若 ,其中 ,即 ,我們稱 為 Hermitian 矩陣 (見“特殊矩陣 (9):Hermitian 矩陣”)。若所有 都是實數,則 ,實 Hermitian 矩陣即為實對稱矩陣。Hermitian 矩陣和實對稱矩陣是目前應用最廣的特殊矩陣,原因有二:它們具備許多美好的特徵分析性質 (見“實對稱矩陣可正交對角化的證明”,“Hermitian 矩陣特徵值的變化界定”),以及它們「天生地」出現在多樣應用場合。下面列舉一些實例,包括 Hessian 矩陣、共變異數矩陣、鄰接矩陣、二次型和雙線性形式。

Posted in 線性代數專欄, 二次型 | Tagged , , , , , , , , | Leave a comment

Lagrange 乘數法

本文的閱讀等級:中級 約束最佳化 (constrained optimization) 是指在一個或多個束縛條件下,尋找一個多變數函數的極值 (極大值或極小值)。舉例來說,我們希望得到 的極小值,但前提是 與 必須滿足束縛條件 。最直截了當的作法是解出束縛條件,如此 可表示為 的函數,譬如 。將上式代入 可得單變數函數 ,求導並設為零即得極值的必要條件 。這個方法的主要缺點在於束縛條件未必存在代數解,也就是說 無法寫成 的函數。此外,當變數的數量增多或有多個束縛條件時,縱使能夠得到代數解,無約束目標函數的表達式也可能相當複雜。與上述作法比較,拉格朗日乘數法 (method of Lagrange multipliers) 或稱未定乘數法 (undetermined multipliers) 不須解出束縛條件,因而保留了變數之間的對稱性。由於兼具簡單與典雅兩個優點,Lagrange 乘數法是目前最常被使用的一種求解約束最佳化方法:令 Lagrangian 函數為 , 其中 稱為 Lagrange 乘數。計算 對所有變數的偏導數並設為零: , 這個方程組即為最佳解的必要條件。本文採用較富直覺的幾何觀點解說 Lagrange 乘數法的基本原理,預備知識包括正交補餘和正交投影 (見“正交補餘與投影定理”)。

Posted in 特別主題 | Tagged , , , , , | 8 Comments

歐拉恆等式──最優美的數學定理

本文的閱讀等級:初級 公元1990年德國 Springer Verlag 出版公司發行的 The Mathematical Intelligencer 期刊公布一項票選結果:歐拉恆等式 (Euler’s identity) 獲選為「最優美的數學定理」(the most beautiful theorem in mathematics)[1]。下面抄錄維基大典的歐拉生平介紹[2]: 歐拉 (Leonhard Euler),瑞士巴塞爾人也,一七零七年四月十五日生。一七二六年得博士銜。翌年,教俄羅斯科學院,俄與數學競賽,論船桅之構作,僅敗於布給。布給者,泰西航海學之父也。越四年,除教授。復越兩年,拜數學系主任。翌年,罹患,右目眇。一七四一年,俄國亂,遂遷柏林,教柏林科學院。一七六六年,返俄羅斯科學院。一七八三年九月十八日卒,年七十七。法蘭西哲人孔多塞曰:「至此,歐拉不復算數,亦無復生也。」歐氏執十八世紀數學牛耳,論文近千,惟二十世紀保羅•艾狄胥可匹敵之。究分析,創函數,混一歐洲大陸及英國之微積分;解七條橋問題,開圖論及拓撲之先;論複數,究歐拉數,得歐拉恆等式,譽最優美恆等式;論凸多面體,證歐拉等式,後人推而廣之,得流形之歐拉特徵值;究歐拉函數,得歐拉定理,為費馬小定理之推廣。

Posted in 特別主題 | Tagged , , | 11 Comments

最佳化理論與正定矩陣

本文的閱讀等級:中級 最佳化理論 (優化理論,optimization theory) 提供許多應用於社會、自然與工程科學的數值算法。給定一個目標函數或稱成本函數 ,無約束優化 (unconstrained optimization) 是指找到 使得 有最小值,表示如下: 。 在一些應用場合,如果我們希望找到最大值,只要改變目標函數的正負號即可。對一般的目標函數 ,這是一個很困難的問題,通常我們願意接受局部最小值 (稍後詳述),意思是在某個範圍內的最小值。底下我們先考慮單變數的目標函數,隨後再推廣至多變數函數。本文的主旨在介紹無約束優化的一些基本概念並解釋正定矩陣於判定極值 (最大或最小) 存在性的用途。

Posted in 線性代數專欄, 二次型 | Tagged , , , , , | 5 Comments