Tag Archives: 極小範數解

約束最小平方問題

本文的閱讀等級:中級 令 為一個 階實矩陣,。如果線性方程 是不一致的 (即不存在解),實務的作法是將線性方程問題改為最小平方近似問題: , 其中 是2-範數 (見“向量範數”),即 與 的歐幾里得距離。根據正交原則,最小平方解 滿足正規方程 (normal equation) (見“從線性變換解釋最小平方近似”)。若 ,也就是說 的行向量 (column vector) 構成一個線性獨立集合,則存在唯一的最小平方解 。 如果最小平方解必須滿足某些束縛條件,則稱為約束最小平方問題 (constrained least-squares problem)。本文討論兩種常出現在多種應用場合的約束形式。線性約束最小平方問題是指束縛條件為線性方程[1]: , 其中 是一個 階實矩陣,。正則 (regularized) 最小平方問題限制未知向量的長度必須固定: 。 Advertisements

Posted in 線性代數專欄, 內積空間 | Tagged , , , , | 4 Comments

每週問題 June 6, 2016

若線性方程 是一致的,則 的行空間 (column space) 存在唯一一個解。 Let be an complex matrix. If is consistent for some , prove that there exists a unique solution in the column space of .

Posted in pow 內積空間, 每週問題 | Tagged , , | 1 Comment

每週問題 June 23, 2014

這是求極小範數解的問題,高中數學即可作答。 The general solution to a linear system of equations is described by , where and are arbitrary parameters. Determine the vector that has minimum length.

Posted in pow 內積空間, 每週問題 | Tagged , | Leave a comment

每週問題 June 2, 2014

這是求極小範數解的問題,取自“2014年台大資工所碩士班招生考試試題”。 Consider the following system of linear equations: Find the solution to the above system of linear equations that minimizes .

Posted in pow 內積空間, 每週問題 | Tagged | Leave a comment

極小範數解

本文的閱讀等級:中級 令 為一個 階實矩陣。我們用 代表 的行空間 (值域,column space),即 。請注意, 是 的一個子空間。對於任一 ,線性方程 必定有解。在解集合中,有一個解最為特別,該特解位於 的列空間 (row space),即 的行空間 ,並具有最小的2-範數 (歐氏範數,見“向量範數”),稱為極小範數解 (minimum norm solution),記為 。這篇短文介紹極小範數解的性質與表達式。

Posted in 線性代數專欄, 內積空間 | Tagged , , , , | 11 Comments

偽逆矩陣與轉置矩陣的二三事

本文的閱讀等級:高級 令 為一個 階實矩陣且 。設矩陣 的奇異值分解為 ,其中 和 分別是 階和 階正交矩陣 (orthogonal matrix),滿足 和 , 階矩陣 包含可逆分塊 ,主對角元 為非零奇異值。偽逆矩陣 (pseudoinverse) 定義為下列 階矩陣 (見“Moore-Penrose 偽逆矩陣”): , 其中 是 階對角矩陣。偽逆矩陣 的表達式即為其奇異值分解。見下例 (取自“SVD 於剖析線性方程的應用”): 偽逆矩陣計算如下: 。 偽逆矩陣 與轉置矩陣 皆為 階,兩者同為 映至 的線性變換。下文以問答方式解說偽逆矩陣與轉置矩陣的一些性質。開始之前,請讀者先參閱背景文章:“奇異值分解(SVD)”和“通過推導偽逆矩陣認識線性代數的深層結構”。

Posted in 線性代數專欄, 二次型 | Tagged , , , , , | 2 Comments

通過推導偽逆矩陣認識線性代數的深層結構

本文的閱讀等級:高級 長久以來,機械學習法一直是廣被採用的學習方法,好處是短時間可以看見成效,壞處是很難繼續往前邁進。學習線性代數尤其如此,使用機械學習法頂多只能熟悉幾個演算法,記住一些性質和定理,但絲毫無助於理解線性代數的核心概念與結構。通過推導偽逆矩陣 (pseudo inverse),我們運用線性代數的基本定理將其深層結構,譬如向量空間、線性變換、正交、基底、基底變換等,全部予以呈現出來。無須背誦經文照樣可以輕鬆掌握線性代數的重要概念與技巧,何樂而不為之。

Posted in 線性代數專欄, 二次型 | Tagged , , , , , , , | 6 Comments

每週問題 May 4, 2009

本週問題是利用列空間和零空間的正交關係來討論方程式 Ax = b 通解的分解問題,並證明屬於列空間的特解有最小的長度,稱為極小範數解。 點選問題↓ Pow-May-4-09 解答↓ PowSol-May-4-09

Posted in pow 內積空間, 每週問題 | Tagged , , , , | Leave a comment