Category Archives: 二次型

Moore-Penrose 偽逆矩陣

Posted on 07/03/2013 by ccjou

本文的閱讀等級：高級 若 為一個 階矩陣，且 ，則 稱為滿秩 (full rank)，此時存在唯一一個 階矩陣 使得 ，我們稱 為 的逆矩陣或反矩陣 (inverse)，記為 。方陣的逆矩陣如何延伸推廣至 階矩陣 ？最直接的方法是求一個 階矩陣 使 越接近零矩陣越好。這個概念可具體化為下列最佳化問題： ， 其中 表示 Frobenius 範數 (見“矩陣範數”)。為了獲得唯一解，我們另主張 必須具有最小的 Frobenius 範數。將 以行向量 (column vector) 表示為 ，則 ， 其中 是歐幾里得空間 的第 個標準單位向量 (第 … Continue reading →

Posted in 線性代數專欄, 二次型 | Tagged , , , | 3 Comments

主成分分析與奇異值分解

Posted on 04/18/2013 by ccjou

本文的閱讀等級：高級 給定一份樣本大小為 的數據 ，其中 是 維實向量，記錄 個變數的觀測值。所有的數據點 扣除平均數向量 可得 階離差矩陣 (deviation matrix) ，表示如下： ， 其中 是第 個數據點的第 個變數值，也就是說， 的每一列 (row) 對應一個數據點，每一行 (column) 對應一個變數。假設 不存在常數行，即每個變數總是存在若干變異。如欲將數據予以標準化 (每一變數的平均數等於 ，變異數等於 )，將 的每一行的所有元除以該變數的樣本標準差 (樣本變異數的平方根)，即有 ， 其中 是第 個變數的樣本變異數， 是第 個變數的樣本平均數 (見“樣本平均數、變異數和共變異數”)。令 。標準化後的離差矩陣可表示為 。當數據集的變數總數 很大或變數具有相關性時，主成分分析 (principal … Continue reading →

Posted in 線性代數專欄, 二次型 | Tagged , , , , , , , , , , | 4 Comments

線性變換觀點下的奇異值分解

Posted on 01/17/2013 by ccjou

本文的閱讀等級：中級 1960年代初以前，奇異值分解 (singular value decomposition，簡稱 SVD) 普遍被視為一個模糊的理論概念，原因在於當時並不具備實際可行的算法。自從美國計算機科學教授格魯布 (Gene Golub) 與卡韓 (William Kahan) 於1965年率先發表了第一個有效的算法後，奇異值分解的價值才逐漸受到學者肯定，至今已成為線性代數中應用最廣的矩陣分解式[1]。為甚麼奇異值分解這麼重要？這個問題可以從兩個層面加以剖析：奇異值分解的運作原理是甚麼？奇異值分解有哪些經典的應用？本文針對第一個問題提供部分解答。我們從線性變換觀點解釋奇異值分解的運算與意義，並藉此聯繫線性代數的一些核心概念，如值域、核、基本子空間、正交基底和座標變換。 (關於奇異值分解的推導和應用請參閱“奇異值分解專題”列舉的相關文章。)

Posted in 線性代數專欄, 二次型 | Tagged , , , , , , , , | 4 Comments

半正定矩陣的判別方法

Posted on 01/10/2013 by ccjou

本文的閱讀等級：中級 令 為一個 階實對稱矩陣。若任一向量 使得二次型 ，我們稱 是正定 (positive definite) 矩陣 (見“特殊矩陣 (6)：正定矩陣”)。若任一向量 皆滿足 ，則稱 為半正定 (positive semidefinite) 矩陣。本文介紹幾個半正定矩陣的判別方法。如欲將本文內容推廣至 Hermitian 複矩陣，僅須將實數系 替換為複數系 ，並且將轉置 替換為共軛轉置 即可。

Posted in 線性代數專欄, 二次型 | Tagged , , , , , , , | 2 Comments

答謝一誠──關於判斷正定、負定或未定二次型的問題

Posted on 01/07/2013 by ccjou

網友謝一誠留言： 老師您好，我想請問周老師，關於Quadratic Forms的定理。在 Elementary Linear Algebra (作者Howard Anton，Chris Rorres，第9版，2005)，書中Exercise set 9.5 (page 486)： 11. In each part, classify the quadratic form as positive definite, positive semidefinite, negative definite, negative semidefinite, or indefinite. (f) 方法一：用此書中定理9.5.2 (page 482) A symmetric matrix is … Continue reading →

Posted in 答讀者問, 二次型 | Tagged , , , , , , | 2 Comments

答陳威丞──關於半正定矩陣的一個證明問題

Posted on 11/30/2012 by ccjou

網友陳威丞留言： 老師我是某校經濟系的學生，有一題題目在我的能力範圍外，可以請老師有空幫我解題亦或是跟我說一下需要用的什麼定理好讓我有個方向嗎？ 設 和 之逆矩陣存在，若 為半正定且 ，，則試證 亦為半正定矩陣 (見“特殊矩陣 (6)：正定矩陣”)。

Posted in 答讀者問, 二次型 | Tagged , , , | 1 Comment

Hermitian 矩陣與實對稱矩陣的一些實例

Posted on 11/08/2012 by ccjou

本文的閱讀等級：初級 令 為一個 階矩陣。若 ，其中 ，即 ，我們稱 為 Hermitian 矩陣 (見“特殊矩陣 (9)：Hermitian 矩陣”)。若所有 都是實數，則 ，實 Hermitian 矩陣即為實對稱矩陣。Hermitian 矩陣和實對稱矩陣是目前應用最廣的特殊矩陣，原因有二：它們具備許多美好的特徵分析性質 (見“實對稱矩陣可正交對角化的證明”，“Hermitian 矩陣特徵值的變化界定”)，以及它們「天生地」出現在多樣應用場合。下面列舉一些實例，包括 Hessian 矩陣、共變異數矩陣、鄰接矩陣、二次型和雙線性形式。

Posted in 線性代數專欄, 二次型 | Tagged , , , , , , , , | Leave a comment

實對稱矩陣特徵值變化界定的典型問題

Posted on 10/19/2012 by ccjou

本文的閱讀等級：中級 線性代數所處理的最佳化問題可概分為兩大類：一是線性方程 的最小平方近似解問題，即求出 使得誤差平方 具有最小值。內積空間理論導出最佳解須滿足正規方程式 (normal equation) (見“ 從線性變換解釋最小平方近似”)。二是特徵分析推衍的二次型約束最佳化問題，即求單位向量 (unit vector) 使得 有最大值，其中 是實對稱矩陣。二次型 的極值產生條件是特徵方程式 ，極值大小則由 的特徵值決定 (見“二次型與正定矩陣”)。因為這個緣故，二次型約束最佳化也稱為實對稱矩陣的特徵值變化界定，下面我們討論兩個典型問題並說明完整的解法。   問題一 (取自 2012年台大資訊所碩士班入學試題)：令 為實數，且 ，求 的最大值。

Posted in 線性代數專欄, 二次型 | Tagged , , , , , | Leave a comment

偽逆矩陣與轉置矩陣的二三事

Posted on 07/06/2012 by ccjou

本文的閱讀等級：高級 令 為一個 階實矩陣且 。設矩陣 的奇異值分解為 ，其中 和 分別是 階和 階正交矩陣 (orthogonal matrix)，滿足 和 ， 階矩陣 包含可逆分塊 ，主對角元 為非零奇異值。偽逆矩陣 (pseudoinverse) 定義為下列 階矩陣 (見“Moore-Penrose 偽逆矩陣”)： ， 其中 是 階對角矩陣。偽逆矩陣 的表達式即為其奇異值分解。見下例 (取自“SVD 於剖析線性方程的應用”)： 偽逆矩陣計算如下： 。 偽逆矩陣 與轉置矩陣 皆為 階，兩者同為 映至 的線性變換。下文以問答方式解說偽逆矩陣與轉置矩陣的一些性質。開始之前，請讀者先參閱背景文章：“奇異值分解(SVD)”和“通過推導偽逆矩陣認識線性代數的深層結構”。

Posted in 線性代數專欄, 二次型 | Tagged , , , , , | 2 Comments

答levinc417──關於約束二次型極值

Posted on 02/07/2012 by ccjou

網友levinc417留言： 設 是 中標準內積，且 ，。令 是 實方陣，且考慮 ，。假設 ，存在一正數 ，使得 ，對所有 滿足 。那麼我們可以說： 對所有 成立嗎？ Prove or disprove it. 找到一個反例： 且 。 這樣可以嗎？ 有誤解題目意思嗎？

Posted in 答讀者問, 二次型 | Tagged , | 2 Comments