Tag Archives: 正交投影

每週問題 November 23, 2015

Posted on 11/23/2015 by ccjou

證明實正交投影矩陣的主對角元性質。 Let be an real orthogonal projection matrix, i.e., . Show that for all , and .

Posted in pow 內積空間, 每週問題 | Tagged , , , | 5 Comments

每週問題 October 13, 2014

Posted on 10/13/2014 by ccjou

證明若二正交投影矩陣的值域相同，則二矩陣相等。 Let and be real orthogonal projection matrices, i.e., , . Show that implies . Note that denotes the column space or range of matrix .

Posted in pow 特徵分析, 每週問題 | Tagged , | Leave a comment

每週問題 September 1, 2014

Posted on 09/01/2014 by ccjou

本週問題是計算正交投影矩陣。 Let . Suppose is the orthogonal projection matrix onto the subspace spanned by the first column of , and is the orthogonal projection matrix onto the column space of . Determine the product .

Posted in pow 內積空間, 每週問題 | Tagged | Leave a comment

每週問題 June 30, 2014

Posted on 06/30/2014 by ccjou

這是揉合特徵值、特徵向量、線性方程和正交投影的問題，取自“台聯大2014年碩士班招生考試試題 (電機類工程數學D)”的部分試題。 Let and . (a) Find the general solution (also called the complete solution) of . (b) Find the distance from to the row space of .

Posted in pow 特徵分析, 每週問題 | Tagged , , , | Leave a comment

每週問題 June 23, 2014

Posted on 06/23/2014 by ccjou

這是求極小範數解的問題，高中數學即可作答。 The general solution to a linear system of equations is described by , where and are arbitrary parameters. Determine the vector that has minimum length.

Posted in pow 內積空間, 每週問題 | Tagged , | Leave a comment

矩陣的四個基本子空間的正交投影矩陣

Posted on 02/11/2014 by ccjou

本文的閱讀等級：中級 令 為幾何向量空間 的一個子空間，且 是 的正交補餘 (orthogonal complement)，意思是 且 。換一個說法，任一 可唯一分解成 ，其中 ，，且 。令 表示映射至子空間 的 階正交投影矩陣。下列性質成立 (見“正交投影矩陣的性質與界定”)： 對於每一 ，。 對於每一 ，。 是實對稱冪等矩陣，即 。 且 。 若 () 且 是 的一組基底，將所有的基底向量組成 階矩陣 ，正交投影矩陣 可由下列公式算得 (推導見“線代膠囊──正交投影矩陣”)： 。 值得注意的是 不因所選擇的基底 (即 矩陣) … Continue reading →

Posted in 線性代數專欄, 內積空間 | Tagged , , , , , , , , , | 5 Comments

古典多維標度法 (MDS)

Posted on 05/29/2013 by ccjou

本文的閱讀等級：中級 下圖顯示一份手寫數字的樣本，其中每一數字以大小為 像素 (pixel) 的灰階圖片儲存。讀者不妨想像樣本所含的200張數字圖片對應於 空間的200個數據點。我們提出下面的問題：給定這份樣本資料，如何「目視」數據點於高維空間的散佈？主成分分析 (principal components analysis) 是當今最常採行的一種降維技術 (見“主成分分析”)。在保留數據集的最大變異前提下，將高維數據點正交投影至一個特定的二維空間，此空間由對應樣本共變異數矩陣的最大兩個特徵值的特徵向量擴張而成。如此一來，我們可在平面上觀察所有數據點的投影位置 (稱為主成分係數)。   不過，在某些應用場合，我們僅知道任兩數據點的相異性 (dissimilarity)。舉例來說，手寫數字包含許多變異，如位移、旋轉、伸縮與形變，直接計算兩數字圖片於同一像素位置的灰階差距並不能反映實際的型態差異，我們必須先把兩圖放在可供比較的基準上。為了降低上述變異造成的影響，在比對圖片之前，我們容許一圖 (或兩圖) 些微調整轉變 (見“最小平方法於圖形比對的應用”)，並採用各種複雜的圖片相異性算法。因為這些緣故，主成分分析不適用於手寫數字圖片的降維。本文介紹一個建立於數據點的相異性的降維方法，稱為多維標度法 (multidimensional scaling，簡稱 MDS)。下圖顯示手寫數字集經多維標度法處理後得到的二維標度散佈圖。根據相異性的定義，多維標度法可區分為公制 (metric) 與非公制 (nonmetric)，前者採用歐幾里得距離 (簡稱歐氏距離)，後者則泛指任何非歐氏距離[1]。本文將介紹公制，也稱古典多維標度法，並解說古典多維標度法與主成分分析的關係。

Posted in 機器學習 | Tagged , , , , | Leave a comment

每週問題 May 20, 2013

Posted on 05/20/2013 by ccjou

在甚麼條件下，正交投影矩陣 (即實對稱冪等矩陣) 之和也是投影矩陣？ Let be real symmetric and idempotent, i.e., for all . Show that is an idempotent matrix if and only if for .

Posted in pow 內積空間, 每週問題 | Tagged , | 2 Comments

每週問題 May 13, 2013

Posted on 05/13/2013 by ccjou

這是正交投影矩陣的界定問題。 Let be an idempotent matrix, i.e., . Show that is Hermitian if and only if the column space of is orthogonal to the nullspace of , i.e., .

Posted in pow 內積空間, 每週問題 | Tagged , , | 4 Comments

線代膠囊──正交投影矩陣

Posted on 05/07/2013 by ccjou

本文的閱讀等級：中級 令 階實矩陣 有線性獨立的行向量 (column vector)。如何求得 階正交投影矩陣 ，其值域為 的行空間？   線代箴言：「工欲善其事，必先利其器。」我們先討論正交投影矩陣的性質。這裡面包含兩個子問題：一般的投影矩陣有甚麼性質？加入正交條件後，又多了甚麼性質？投影矩陣 將 維向量 映射至 ，其中 是 的值域 (行空間)，而且 經 的再次投影恆定不變 (投影兩次等於投影一次)，即 。 因為 是任意向量，可知 ，稱為冪等矩陣 (idempotent matrix)。若 是一正交投影矩陣，投影後的殘量 必定正交於投影子空間 ，其中成員可表示為 (這裡 是一 維向量)，於是有 。 因為 和 是任意向量，可知 。但 是對稱矩陣，故 。

Posted in 線性代數專欄, 內積空間 | Tagged , , , , | Leave a comment