Tag Archives: 正交補餘

每週問題 October 8, 2012

若 是實矩陣,證明:若 ,則 。 Let and be an and real matrices, respectively. If , prove that .

Posted in pow 內積空間, 每週問題 | Tagged , | Leave a comment

答zonelin──關於特徵方程與矩陣基本子空間的關係

網友zonelin留言: 周老師您好:在Linear Algebra Problem Set 9 2009裡面的第五題(b),請問 particular solution 是如何算出來的?eigenvalue 和解的關係為何?若 有解,則 落在 的行空間中, 則是 particular solution 和 homogeneous solution 相加,那 particular solution 落在 轉置後的行空間中,那我想請問,若 , 是落在 轉置後的行空間中還是 的行空間中?在矩陣四個空間的圖像上要如何解釋。謝謝~   答曰: 這個練習題選自 Gilbert Strang 所著 Introduction to Linear Algebra (2003) … Continue reading

Posted in 特徵分析, 答讀者問 | Tagged , , , , , , | 2 Comments

樣本平均數、變異數和共變異數

本文的閱讀等級:中級 在統計學中,我們感興趣的全部個體或項目所成的集合稱為母體 (population),譬如,某農場的羊群,某國家的人民。母體的一個未知或已知數值稱為參數 (parameter),通常用來定義統計模型,譬如,某農場羊寄生蟲的發病率,某國家人均所得變異數。為了估計母體的參數,我們從母體選出一組個體或項目稱為樣本 (sample)。只要不含未知參數,任何一個由樣本數據構成的函數都稱為統計量 (statistic)。所以參數用於母體,統計量則用於樣本。本文介紹線性代數觀點下的三個統計量:樣本平均數 (sample mean),樣本變異數 (sample variance) 和樣本共變異數 (sample covariance)。   假設我們從調查或實驗中獲得一組樣本數據 ,一般人最先想到的統計量是集中趨勢測度,也就是這組數據的中心值或典型值,設為 。我們用一個誤差函數來測量單一數值 代表整組數據 的適合性。在統計學與工程應用中,均方誤差 (mean squared error) 是最常被採用的誤差函數,如下: 其中 是樣本數據構成的實向量,。樣本數據 是從母體抽取的 個觀測值,或視為 空間的一個點,從這個幾何觀點得以切進線性代數。理想的中心值 應該具有最小的均方誤差,而此最小均方誤差值可用來表示樣本的離散 (偏離中心值) 趨勢。稍後我會解釋為何均方誤差不除以樣本數 ,而是除以 ,但不論除以哪個 (非零) 常數都不會改變使誤差函數最小化的中心值。至少有三個方法可解出使 最小化的 值:根據基礎微分學,最小均方誤差發生於 [1];從幾何直覺下手,正交原則給出最小均方誤差的一個充要條件;在幾何座標空間 中,當 等於 … Continue reading

Posted in 機率統計 | Tagged , , , , , , , | 15 Comments

正交投影矩陣的性質與界定

本文的閱讀等級:高級 正交投影是一個威力強大的變換工具,它最主要的用途在於有效地分解向量空間。我們曾經在“正交投影──威力強大的線代工具”介紹正交投影矩陣的計算方法,並且利用正交投影解決了最小平方近似問題 (見“從線性變換解釋最小平方近似”)。本文欲進一步探討正交投影矩陣的性質和界定條件,並討論兩個正交子空間的正交投影矩陣關係。

Posted in 線性代數專欄, 內積空間 | Tagged , , , , , | Leave a comment

每週問題 December 12, 2011

本週問題是證明子空間之和與交集的正交補餘性質。 Pow-Dec-12-11 參考解答 PowSol-Dec-12-11

Posted in pow 內積空間, 每週問題 | Tagged | 4 Comments

行空間與零空間的互換表達

本文的閱讀等級:初級 對於一 階實矩陣 ,行空間 (column space) 乃 的行向量於 中擴張而成的子空間: 零空間 (nullspace) 則是齊次方程 所有解形成的一個屬於 的子空間: 在一般情況下,矩陣行空間採用明確的 (explicit) 建構式 (即擴張) 定義,而零空間則以隱含的 (implicit) 限制條件 (即線性方程組) 來定義。本文探討如何運用簡約列梯形式 (reduced row echelon form) 解決下面兩個子空間互換表達問題:給定 ,將零空間 表示成明確的向量集擴張,也就是說,求矩陣 使得 ;另一方面,行空間 也可以表示為隱含的限制條件,亦即求矩陣 使得 。

Posted in 線性代數專欄, 向量空間 | Tagged , , , , , | 9 Comments

正交補餘與投影定理

本文的閱讀等級:中級 正交補餘 (orthogonal complement) 是內積空間中最具實用價值的概念。我們曾經在“線性代數基本定理(二)”介紹過 階實矩陣 的四個基本子空間的正交補餘:零空間 (nullspace) 是列空間 (row space) 在向量空間 的正交補餘,左零空間 (left nullspace) 是行空間 (column space) 在向量空間 的正交補餘,分別記為 。 本文將正交補餘的討論範圍從幾何向量空間 (或 ) 延伸至一般內積空間 ,隨後解說投影定理 (正交補餘的性質),並給出兩個重要結果──正交分解定理與最佳近似定理。

Posted in 線性代數專欄, 內積空間 | Tagged , , | 2 Comments

曲線配適

本文的閱讀等級:初級 曲線配適 (curve fitting,或稱曲線擬合) 是一種廣泛使用於科學和工程學的模型分析法。假設我們從領域知識得知變數 和 的關係可用數學函數 來描述,但我們不知道 的內部參數值,例如,,其中參數 尚待決定。曲線配適是指利用實驗或調查收集得來的一組數據 找出函數的最佳參數,此處最佳的意義是指所有數據的誤差平方和為最小。我們之所以選擇誤差平方和作為評斷標準是因為它具有容易計算與便利理論推導的優點。下文我先介紹形式較為簡單的直線配適,接著再推廣至一般曲線配適。

Posted in 線性代數專欄, 應用之道 | Tagged , , , , | 4 Comments

實對稱矩陣可正交對角化的證明

本文的閱讀等級:中級 實對稱矩陣是應用最廣的一種特殊矩陣,主要原因在於實對稱矩陣可表達二次型且出現於許多應用領域 (見“二次型與正定矩陣”,“Hermitian 矩陣與實對稱矩陣的一些實例”)。實對稱矩陣具備美好的性質:特徵值皆為實數,並有完整的單範正交 (orthonormal) 特徵向量,也就是說,實對稱矩陣可正交對角化 (orthogonally diagonalizable)。令 為一個 階實對稱矩陣且 為 的特徵值。所謂正交對角化是指存在一個實正交矩陣 (orthogonal matrix) ,,使得 ,其中 的行向量 (column vector) 是 的特徵向量。實對稱矩陣屬正規 (normal) 矩陣家族的一員,滿足 ,這裡 代表共軛對稱。正規矩陣的標記性質是可么正對角化 (unitarily diagonalizable),即 ,其中 是么正 (unitary) 矩陣,滿足 ,因此立刻得知實對稱矩陣可正交對角化 (見“特殊矩陣 (2):正規矩陣”)。本文介紹另一個不常見於教科書的證明方法,此法結合了一些重要的線性代數分析技巧,包括不變子空間 (invariant subspace)、正交補餘 (orthogonal complement),以及分塊矩陣運算,值得讀者詳加探究。本文內容可以直接推廣至 Hermitian 矩陣,你只要將 … Continue reading

Posted in 線性代數專欄, 二次型 | Tagged , , , , , , , | 38 Comments

圖說矩陣基本子空間與線性方程解的結構

本文的閱讀等級:中級 線性代數的主體由一連串環環相扣的論述所構成,因此在學習過程中邏輯推理顯得格外重要。但是,如果跳脫符號組成的抽象世界,在現實世界中,知覺其實遠比邏輯來得重要。知覺指的是我們認識和理解世界的方法,它是探究新經驗並轉化為知識的主要途徑。所以,研習線性代數時,我們不應只注意術語的定義和符號的運算,而應當多花心力於瞭解符號所代表的概念與實質意義,將抽象的術語和符號轉換為可辨認的思考模式。建立思考模式的最簡單方法是以現實經驗作類比,藉此將抽象概念實體化,同時把推理論述架構在這個實體模型上。在“轉置矩陣的意義”一文,我曾經以桌球平台說明變換矩陣 及其轉置 於映射子空間的行為表現,本文則運用此平台呈現矩陣四個基本子空間和線性方程解的結構之間的關係。

Posted in 線性代數專欄, 向量空間 | Tagged , , , , | 5 Comments