Tag Archives: Gramian 矩陣

每週問題 November 14, 2016

證明一個常見於多變量統計學的矩陣 是半正定。 Let and let be a complex matrix of rank . Show that the Hermitian matrix is positive semidefinite. Advertisements

Posted in pow 內積空間, 每週問題 | Tagged , , , | Leave a comment

每週問題 October 17, 2016

判定一個 Gramian 矩陣 (樣本共變異數矩陣具備此型態) 的可逆性。 Let be vectors in . Show that Gramian matrix is nonsingular if and only if .

Posted in pow 二次型, 每週問題 | Tagged | Leave a comment

答erofish──關於 Gramian 行列式不為零的充要條件

網友erofish留言: 老师您好!非常喜欢您在博客上讲述的与线代有关的知识。最近学习数值分析的课程遇到了 Gram 矩阵,书上仅仅从内积空间的4个性质 (正定,齐次,分配,交换) 就证明了 Gram 矩阵行列式不为 的充要条件是 线性无关。我自己做推导却怎么也推不出来。不知道您能否在这篇博文 (見“特殊矩陣 (14):Gramian 矩陣”) 里面讲的更加详细一点,谢谢!

Posted in 答讀者問, 內積空間 | Tagged , | 2 Comments

每週問題 September 15, 2014

若 有單範正交的行向量 (orthonormal columns),求 Gramian 矩陣 與 的行列式。取自2006年台大電機研究所碩士班入學考試試題。 Let be a matrix with orthonormal columns. Determine and .

Posted in pow 行列式, 每週問題 | Tagged | Leave a comment

每週問題 August 11, 2014

這是關於 Gramian 矩陣 和 的正定性判別問題,修改自“台聯大2013年碩士班招生考試試題 (電機類工程數學C)”。 Consider an real matrix with linearly independent columns, and . Which of the following statements are true? (a) is positive definite. (b) is positive definite. (c) The column space of is spanned by all … Continue reading

Posted in pow 二次型, 每週問題 | Tagged , | Leave a comment

多變量常態分布的最大似然估計

本文的閱讀等級:中級 令 為 維連續型隨機向量。若 服從 (非退化) 多變量常態分布,則機率 (概率) 密度函數完全由 維平均數向量 和 階共變異數矩陣 決定,如下: , 其中 (見“共變異數矩陣與常態分布”)。英國統計學家費雪 (Ronald Fisher) 認為機率分布只是一個抽象的數學模型,而我們所蒐集的數據僅能用來估計機率分布的參數。給定一筆取自常態分布的隨機樣本 ,如何估計模型參數,即平均數向量 和共變異數矩陣 ?本文介紹費雪提出的參數估計法,稱為最大似然估計 (maximum likelihood estimation)。根據共變異數矩陣的最大似然估計,我們引進皮爾生 (Pearson) 相關係數,並討論平均數向量的最大似然估計的分布。

Posted in 機率統計 | Tagged , , , , , | 3 Comments

極小範數解

本文的閱讀等級:中級 令 為一個 階實矩陣。我們用 代表 的行空間 (值域,column space),即 。請注意, 是 的一個子空間。對於任一 ,線性方程 必定有解。在解集合中,有一個解最為特別,該特解位於 的列空間 (row space),即 的行空間 ,並具有最小的2-範數 (歐氏範數,見“向量範數”),稱為極小範數解 (minimum norm solution),記為 。這篇短文介紹極小範數解的性質與表達式。

Posted in 線性代數專欄, 內積空間 | Tagged , , , , | 11 Comments

利用 Gramian 矩陣的譜分解推導奇異值分解

本文的閱讀等級:中級 LU 分解是高斯消去法的一種表達形式 (見“LU 分解”),QR 分解記錄 Gram-Schmidt 正交化的結果 (見“Gram-Schmidt 正交化與 QR 分解”)。那麼奇異值分解的根基又是甚麼?答案並非一個演算法,而是一個性質:Gramian 矩陣的譜分解 (spectral decomposition)。矩陣的特徵值也稱為譜,所謂譜分解就是將特徵值分解出來。設 為一 階矩陣,我們稱 階 和 階 為 Gramian 矩陣。不難確認 和 皆為 Hermitian 半正定矩陣 (見“特殊矩陣 (14):Gramian 矩陣”)。Hermitian 矩陣的譜分解稱作么正對角化 (unitary diagonalization):任一 階 Hermitian 矩陣 可表示為 ,其中 是么正矩陣,,且 是實矩陣, … Continue reading

Posted in 線性代數專欄, 二次型 | Tagged , , , | Leave a comment

利用 Gramian 矩陣證明行秩等於列秩

本文的閱讀等級:中級 線性代數的基本定理建立在一個重要磐石之上,即矩陣的行秩 (column rank) 等於列秩 (row rank),意思是矩陣的行空間維數等於列空間維數。據此,一 階矩陣 的行秩和列秩通稱為秩,記作 。過去我們曾經在“行秩=列秩”利用矩陣乘法運算證明矩陣 的列空間維數不大於行空間維數,;將不等式的 替換為 ,因為 ,可知 ,因此得證。另外,透過秩分解 (rank decomposition) ,其中 階矩陣 的行向量是 的行空間基底, 階矩陣 的列向量是 的列空間基底,我們也得以目視矩陣的行秩等於列秩 (見“秩分解──目視行秩等於列秩”)。本文再介紹一個優雅的證明,整個論證核心在於 , 其中 是 的共軛轉置, 為 階 Hermitian 矩陣,稱為 Gramian 矩陣 (見“特殊矩陣 (14):Gramian 矩陣”)。

Posted in 線性代數專欄, 向量空間 | Tagged , , , , , , | Leave a comment

聯繫特徵值與奇異值的引線矩陣

本文的閱讀等級:高級 令 為一個 階矩陣, 的奇異值定義為 Gramian 矩陣 或 的特徵值的非負平方根 (見“奇異值分解(SVD)”),並以遞減排序表示:,。我們知道任一方陣的特徵值可能是複數,但 Hermitian 矩陣的所有特徵值都是實數 (見“特殊矩陣(9):Hermitian 矩陣”),因此 Hermitian 矩陣的特徵值也可按遞減方式排列。本文介紹一個建立於任意 階矩陣 的 階 Hermitian 矩陣 透過此矩陣,我們可將 Hermitian 矩陣的特徵值結果轉移至任意矩陣的奇異值上,所以視之為聯繫特徵值與奇異值的引線矩陣。

Posted in 線性代數專欄, 二次型 | Tagged , , , , | Leave a comment