SVD 於資訊檢索與文本搜尋的應用

Posted on 11/04/2009 by ccjou

本文的閱讀等級：高級

線性代數學習者或多或少可能曾經感到一種莫名的疑惑：針對一個特定主題，既使我們明白符號的定義，也瞭解如何執行計算程序，但卻苦於不能清楚掌握該主題的深層涵義。我相信最有效的解惑處方是選擇適當的應用來釋疑，一方面藉由附著於實例的情境闡述符號所代表的概念，另一方面透過回答一連串的問題引導我們理解計算程序背後的故事。本文就以奇異值分解為例，借用它在資訊檢索與文本搜尋的應用來說明矩陣的奇異值分解的功能與意義。繼續閱讀之前，請讀者先參考背景文章“奇異值分解 (SVD)”。

隱含語義索引 (latent semantic indexing)，簡稱 LSI，是潛在語義學應用於資訊檢索的一項技術，目的是探討隱藏在字詞背後的某種關係，這種關係並非以詞典中的定義為基礎，而是參考字詞的使用環境。LSI 的運作理論建基於奇異值分解，也就是以向量空間為分析模型，利用基底來呈現語料庫中不同字詞以及文件之間的關係。

LSI 以字詞—文件矩陣 (term-document matrix) 表示字詞與文件之間的關聯，習慣以列 (row) 代表字詞 (term)，以行 (column) 代表文件 (document)。考慮一給定的語料庫，字詞記為 $t_i$ ， $i=1,\ldots,m$ ，文件記為 $d_j$ ， $j=1,\ldots,n$ 。設 $A=[a_{ij}]$ 為 $m\times n$ 階字詞—文件矩陣， $a_{ij}$ 代表字詞 $t_i$ 與文件 $d_j$ 的相關權重值。第一個問題是如何從給定的 $n$ 個文件以及選定的 $m$ 個字詞得到字詞—文件矩陣 $A$ ？

TF-IDF (term frequency-inverse document frequency) 是一種常用於資訊檢索的權重計算方法。詞頻 (term frequency，TF) 代表局部權重，即某字詞在一份特定文件的重要性，逆向文件頻率 (inverse document frequency，IDF) 代表全域權重，即某字詞在整個語料庫中的普遍重要性。對於給定文件 $d_j$ ，TF 是字詞 $t_i$ 在該文件中出現的次數，以 $n_{ij}$ 表示。為排除文件長度的影響，我們將 TF 正規化：

$\displaystyle tf_{ij}=\frac{n_{ij}}{\sum_{k=1}^m n_{kj}}$

上式中分母是文件 $d_j$ 中所有字詞出現的次數總和。

一般來說，字詞的普遍重要性隨著它在語料庫中出現的頻率成反比；例如，字詞「我」的普遍重要性遠比「甜點」要低。針對字詞 $t_i$ ，IDF 定義為總文件數 ( $n$ ) 和包含字詞 $t_i$ 的文件數目 (記為 $df_i$ ) 比值的對數值，如下：

$\displaystyle idf_{i}=\log_{2}\frac{n}{df_{i}}+1$

上式中加入常數 $1$ 的目的是當字詞 $t_i$ 出現於語料庫裡的每一份文件時，亦即 $n=df_{i}$ ，IDF 仍保有一個基本量。TF-IDF 定義為 TF 和 IDF 的乘積：

$tfidf_{ij}=tf_{ij}\cdot idf_i$

TF-IDF 的意義是字詞相對一份文件的重要性隨著它在該文件中出現的頻率增加，但隨著它在語料庫中出現的頻率減少。

考慮下面這個小型語料庫，稱為「我的語料庫」，它包含選自本網站的 $5$ 份文件：“特殊矩陣 (1)：冪零矩陣”、“特殊矩陣 (2)：正規矩陣”、“特殊矩陣 (3)：么正矩陣（酉矩陣）”、“特殊矩陣 (4)：Householder 矩陣”和“特殊矩陣 (5)：冪等矩陣”。我們挑選的 $10$ 個字詞依序是：「秩」、「行列式」、「行空間」、「正交」、「特徵值」、「對稱」、「對角化」、「投影」、「相似」和「正定」。表一整理了「我的語料庫」裡每個字詞於各文件中出現的次數 ( $n_{ij}$ )，每份文件的字詞總數 ( $\sum_k n_{kj}$ )，以及包含某字詞的文件數目 ( $df_i$ )。字詞「正定」並未出現於任何文件中，我們可以將它由字詞—文件關聯矩陣中刪除。從表一的的統計資料可計算出 TF-IDF，「我的語料庫」的 $9\times 5$ 階字詞—文件關聯矩陣如下：

$A=\begin{bmatrix} 0.000 &0.000 &0.000 &0.000 &0.107\\ 0.767 &0.000 &0.000 &0.000 &0.000\\ 0.357 &0.000 &0.000 &0.000 &0.375\\ 0.000 &0.575 &0.661 &0.305 &0.341\\ 0.462 &0.130 &0.214 &0.385 &0.129\\ 0.000 &0.302 &0.000 &0.401 &0.056\\ 0.000 &0.453 &0.496 &0.134 &0.000\\ 0.000 &0.000 &0.000 &0.000 &1.286\\ 0.357 &0.000 &0.000 &0.179 &0.000 \end{bmatrix}$

表一文件的字詞頻率表

接下來是線性代數的工作，假設 $\mathrm{rank}A=r$ ，我們計算字詞—文件矩陣 $A$ 的「瘦」奇異值分解 (SVD)：

$A=T\Sigma D^T$

其中 $m\times r$ 階矩陣 $T$ 與 $r\times n$ 階矩陣 $D^T$ 分別滿足 $T^TT=I_r$ 和 $D^TD=I_r$ ，且 $\Sigma=\hbox{diag}(\sigma_1,\ldots,\sigma_r)$ ，主對角元 $\sigma_{1}\ge\sigma_{2}\ge\cdots\ge\sigma_{r}>0$ 為非零奇異值。寫出 $T=\begin{bmatrix} \mathbf{t}_1&\cdots&\mathbf{t}_r \end{bmatrix}$ 和 $D=\begin{bmatrix} \mathbf{d}_1&\cdots&\mathbf{d}_r \end{bmatrix}$ ，其中 $\mathbf{t}_1,\ldots,\mathbf{t}_r$ 組成一個單範正交 (orthonormal) 向量集，故可當作字詞空間的基底， $\mathbf{d}_1,\ldots,\mathbf{d}_r$ 也組成一個單範正交集，可作為文件空間的基底。奇異值分解也可以用 $r$ 個秩-1 (rank-one) 矩陣之和的形式表示：

$A=\sigma_1\mathbf{t}_1\mathbf{d}_1^T+\sigma_2\mathbf{t}_2\mathbf{d}_2^T+\cdots+\sigma_r\mathbf{t}_r\mathbf{d}_r^T$

奇異值 $\sigma_1,\ldots,\sigma_r$ 反映了字詞—文件矩陣 $A$ 裡隱藏的 $r$ 個獨立的概念強度。對應第 $j$ 個概念， $\mathbf{t}_j$ 代表構成此概念的 $m$ 個字詞權重， $\mathbf{d}_j$ 代表 $n$ 個文件包含此概念的權重，而 $\mathbf{t}_j\mathbf{d}_j^T$ 則表示此概念的字詞—文件關聯矩陣。因此， $T$ 稱為字詞—概念矩陣， $D$ 稱為概念—文件矩陣。

利用本網站提供的友好連結 Online Matrix Calculator 計算上述「我的語料庫」的字詞—文件矩陣 $A$ 的奇異值分解，結果如下 ( $m=9$ ， $n=r=5$ )：

$T=\begin{bmatrix} -0.058 &-0.053& 0.008& -0.003& 0.001\\ -0.116 & 0.127& -0.712& 0.305& 0.402\\ -0.258 &-0.127& -0.303& 0.133& 0.190\\ -0.512& 0.459& 0.309& 0.196& -0.095\\ -0.282& 0.281& -0.355& -0.295& -0.640\\ -0.163& 0.226& 0.059& -0.782& 0.548\\ -0.234& 0.451& 0.222& 0.334& 0.224\\ -0.698& -0.638& 0.100& -0.030& 0.010\\ -0.084& 0.115& -0.341& -0.198& -0.185 \end{bmatrix}$

$\Sigma=\begin{bmatrix} 1.499& 0.000& 0.000& 0.000& 0.000\\ 0.000& 1.160& 0.000& 0.000& 0.000\\ 0.000& 0.000& 1.006& 0.000& 0.000\\ 0.000& 0.000& 0.000& 0.433& 0.000\\ 0.000& 0.000& 0.000& 0.000& 0.168 \end{bmatrix}$

$D^T=\begin{bmatrix} -0.228& -0.324& -0.343& -0.251& -0.814\\ 0.192& 0.494& 0.507& 0.362& -0.576\\ -0.935& 0.248& 0.237& -0.050& 0.078\\ 0.172& -0.024& 0.536& -0.826& -0.010\\ 0.088& 0.767& -0.531& -0.349& 0.001 \end{bmatrix}$

得到了字詞—文件矩陣的 SVD 後，LSI 採用降低維度的近似作法，僅保留前面數值較大的 $k (k<r)$ 個奇異值，原矩陣 $A$ 因此近似於

$A\approx A_k=\sigma_1\mathbf{t}_1\mathbf{d}_1^T+\sigma_2\mathbf{t}_2\mathbf{d}_2^T+\cdots+\sigma_k\mathbf{t}_k\mathbf{d}_k^T=T_k\Sigma_k D_k^T$

上式中 $T_k$ 是 $m\times k$ 階， $\Sigma_k$ 是 $k\times k$ 階， $D_k^T$ 是 $k\times n$ 階。採用低維矩陣近似的作法有兩個主要原因，第一是減少計算量與儲存量，第二是去除雜音。雜音的強度較主要訊息微弱，省略較小的奇異值雖然遺失部分訊息，但遺失的訊息多屬於雜訊，所以用低維近似反而能夠提高資訊檢索的效能。以下為方便說明，「我的語料庫」僅保留 $2$ 個獨立概念 ( $k=2$ )，低維矩陣 $T_2$ ， $\Sigma_2$ 和 $D_2^T$ 分別是

$T_2=\begin{bmatrix} -0.058 &-0.053\\ -0.116 & 0.127\\ -0.258 &-0.127\\ -0.512& 0.459\\ -0.282& 0.281\\ -0.163& 0.226\\ -0.234& 0.451\\ -0.698& -0.638\\ -0.084& 0.115 \end{bmatrix},~\Sigma_2=\begin{bmatrix} 1.499& 0.000\\ 0.000& 1.160 \end{bmatrix}$

$D_2^T=\begin{bmatrix} -0.228& -0.324& -0.343& -0.251& -0.814\\ 0.192& 0.494& 0.507& 0.362& -0.576 \end{bmatrix}$

利用字詞—文件矩陣的 SVD 形式可回答與字詞分類、文件分類和資訊檢索密切相關的問題：

文件的相似度問題：文件 $d_i$ 和 $d_j$ 有多相似？
字詞的相似度問題：字詞 $t_i$ 和 $t_j$ 有多相似？
文件查詢問題：給出若干查詢字詞，哪些是最相關聯的文件？

透過比對文件所隱含的概念可度量文件之間的相似度。考慮特定文件 $d_j$ ，該文件的相關字詞向量近似於 $A_k=T_k\Sigma_k D_k^T$ 的第 $j$ 行，也就是 $T_k\Sigma_k$ 與 $D_k^T$ 的第 $j$ 行乘積；換句話說，以 $T_k\Sigma_k$ 的行向量為基底，文件 $d_j$ 的座標向量就是 $D_k^T$ 的第 $j$ 行。下圖為「我的語料庫」中 $5$ 份文件的座標散布圖 (由 $D_2^T$ 的行向量繪得)。

文件座標

下一個問題是從文件的座標向量判斷兩份文件之間的相似性。餘弦相似性 (cosine similarity) 是一種常用的方法，文件 $d_i$ 和 $d_j$ 的相似度定義為其座標向量夾角的餘弦，因此兩座標向量的夾角愈小其相似度愈高。計算方式是先將 $D_k^T$ 的每個行向量予以正規化，使各行向量長度為 $1$ ，記為 $\tilde{D}_k^T$ 。兩文件的餘弦相似性等於 $\tilde{D}_k^T$ 裡兩行向量的內積，「我的語料庫」之文件相似度矩陣 $\tilde{D}_k\tilde{D}_k^T$ 如下：

$\begin{matrix} 1.000 & 0.958 & 0.962 & 0.965 & 0.252\\ 0.958 & 1.000 & 1.000 & 1.000 &-0.035\\ 0.962 & 1.000 & 1.000 & 1.000 &-0.021\\ 0.965 & 1.000 & 1.000 & 1.000 &-0.010\\ 0.252 &-0.035 &-0.021 &-0.010 & 1.000 \end{matrix}$

檢視文件相似度矩陣並配合座標散布圖，「我的語料庫」裡的文件分為二類：第一類包含文件一、二、三和四，第二類包含文件五。

仿照文件相似度的計算程序，字詞之間的相似度也可經由比對字詞所隱含的概念來度量，將 $T_k$ 的列向量予以正規化，記為 $\tilde{T}_k$ ，字詞相似度矩陣為 $\tilde{T}_k\tilde{T}_k^T$ ，即

$\begin{matrix} 1.000 & 0.000 & 0.960 & 0.099 & 0.047& -0.115& -0.259 & 1.000 &-0.109\\ 0.000 & 1.000 & 0.279 & 0.995 & 0.999 & 0.993 & 0.966 & 0.000 & 0.994\\ 0.960 & 0.279 & 1.000 & 0.373 & 0.324 & 0.167 & 0.021 & 0.960 & 0.173\\ 0.099 & 0.995 & 0.373 & 1.000 & 0.999 & 0.977 & 0.935 & 0.099 & 0.978\\ 0.047 & 0.999 & 0.324 & 0.999 & 1.000 & 0.987 & 0.953 & 0.047 & 0.988\\ -0.115 & 0.993 & 0.167 & 0.977 & 0.987 & 1.000 & 0.989 &-0.115 & 1.000\\ -0.259 & 0.966 & 0.021 & 0.935 & 0.953 & 0.989 & 1.000 &-0.259 & 0.988\\ 1.000 & 0.000 & 0.960 & 0.099 & 0.047 &-0.115& -0.259 & 1.000& -0.109\\ -0.109 & 0.994 & 0.173 & 0.978 & 0.988 & 1.000 & 0.988 &-0.109 & 1.000 \end{matrix}$

由字詞相似度矩陣推知「我的語料庫」裡的字詞可區分為二類，第一類包含「秩」、「行空間」、「投影」，第二類包含「行列式」、「正交」、「特徵值」、「對稱」、「對角化」、「相似」。

最後我們回答資訊檢索問題：給出若干查詢字詞，哪些是最相關聯的文件？方法很簡單，我們可以將查詢字詞集合視為一份虛擬文件，將此虛擬文件的座標向量求出，再以類似文件之間相似度的比對方式即可找出符合的文件。例如，假定輸入查詢關鍵字詞「對稱」、「正交」和「對角化」，此虛擬文件的查詢字詞向量為

$\mathbf{q}=\begin{bmatrix} 0&0&0&1&0&1&1&0&0 \end{bmatrix}^T$

令查詢虛擬文件參考新基底 (即 $T_k\Sigma_k$ 的行向量集合) 的座標向量為 $[\mathbf{q}]$ ，就有

$\mathbf{q}=T_k\Sigma_k[\mathbf{q}]$

因為 $\Sigma_k$ 是可逆的，等號兩端左乘 $\Sigma_k^{-1}T_k^T$ 就得到

$[\mathbf{q}]=\Sigma_k^{-1}T_k^T\mathbf{q}$

代入數值計算出

$[\mathbf{q}]=\begin{bmatrix} -0.607\\ 0.081 \end{bmatrix}$

下圖為查詢虛擬文件與 $5$ 份文件的座標散布圖，查詢虛擬文件與語料庫中 $5$ 份文件的餘弦相似性依序為

$(0.843,~0.654,~0.665,~0.673,~0.733)$

結果顯示在「我的語料庫」中，“特殊矩陣 (1)：冪零矩陣”最符合給定的查詢意圖。

虛擬文件與查詢文件座標

本文的目的是通過 SVD 在 LSI 的應用認識如何解讀矩陣的奇異值分解，並非強調 LSI 在資訊檢索與文本搜尋的效能，有興趣進一步瞭解 LSI 效能和限制的讀者，請參見維基百科 http://en.wikipedia.org/wiki/Latent_semantic_indexing ，關於 TF-IDF 的介紹，請見 http://en.wikipedia.org/wiki/Tf%E2%80%93idf。此外，對於查詢網頁排名有興趣的讀者，建議閱讀“Google 搜尋引擎使用的矩陣運算”。

後記：
交大電機系的兩位同仁──林源倍教授和楊谷洋教授──不約而同地懷疑我撰寫「無關線代」雜文的興趣遠大於那些繞著線性代數打轉的「主題專欄」。為澄清誤會，我決心投入一整個工作天完成這篇介紹 SVD 實務應用的專文，藉此表明我對線性代數理論與應用始終如一未曾改變的熱愛。

本篇發表於線性代數專欄, 應用之道並標籤為隱含語義索引, 餘弦相似性, 資料檢索, LSI, SVD, TF-IDF, 奇異值分解。將永久鏈結加入書籤。

15 Responses to SVD 於資訊檢索與文本搜尋的應用

蔡金剛說道：

03/12/2012 at 9:12 下午

T稱為字詞—概念矩陣
D稱為概念—文件矩陣

請問老師如何知道T是字詞概念矩陣 D是文件矩陣

回應
- ccjou 說道：
  
  03/12/2012 at 10:32 下午
  
  A是9×5矩陣，由9個字詞在5份文件的詞頻構成，A的行空間C(A)屬於R^9，列空間C(A^T)屬於 R^5。A的SVD： $A=T\Sigma D^T$ 告訴我們以下訊息：
  
  rank(A)=非零奇異值數目，它代表獨立的概念數，奇異值 $\sigma_i$ 則代表每個概念的強度。
  
  T的行向量(t1,t2,…,t5)是行空間C(A)基底，行向量t_i告訴我們第i個概念對應哪些字詞分配，譬如說t1中數值較大的元是0.512和0.698即知第一個概念包含最主要的字詞是「正交」和「投影」，所以我們稱T是字詞-概念矩陣。
  
  同理D的行向量(d1,…,d5)是列空間C(A^T)基底，故D是文件-概念矩陣(或者說D^T是概念-文件矩陣)。
  
  回應
  - 李昀叡說道：
    
    01/20/2016 at 8:36 下午
    
    教授你好
    我不懂T的行向量(t1,t2,…,t5)是行空間C(A)基底
    和行向量t_i告訴我們第i個概念對應哪些字詞分配
    中間的關聯性要怎麼看？
    
    回應
    - ccjou 說道：
      
      01/21/2016 at 8:26 上午
      
      我不確定這是不是你要的答案：t1是組成第1個概念的字詞成分，數值(絕對值)越大則該字詞所佔的權重越大。假設一個向量表示長方體的(有號)長寬高，譬如 (0.987, 0.012, -0.893)，這是甚麼樣子的長方體？
      
      回應
Daniel Tsai 說道：

07/10/2013 at 11:01 下午

周老師您好，本文範例中字詞－文字矩陣輸入文中所提供的online matrix calculator
實際運算出來的T矩陣如下：
0.058 0.053 -0.008 -0.003 0.001
0.117 -0.127 0.712 0.306 0.402
0.258 0.127 0.303 0.133 0.190
0.512 -0.459 -0.309 0.197 -0.095
0.282 -0.282 0.356 -0.295 -0.640
0.163 -0.226 -0.059 -0.782 0.548
0.234 -0.451 -0.222 0.333 0.222
0.698 0.638 -0.100 -0.031 0.010
0.084 -0.115 0.340 -0.199 -0.185
跟本文產生出來的結果不同，例如第T[1,1]，本文產生的結果是，-0.058但是online calculator產生的結果是0.058
以下是我用Sparse Matrix計算出來的結果
0.058 0.053 0.008 0.003 0.001
0.117 -0.127 -0.712 -0.306 0.402
0.258 0.127 -0.303 -0.133 0.190
0.512 -0.459 0.309 -0.197 -0.095
0.282 -0.282 -0.356 0.295 -0.640
0.163 -0.226 0.059 0.782 0.548
0.234 -0.451 0.222 -0.333 0.222
0.698 0.638 0.100 0.031 0.010
0.084 -0.115 -0.340 0.199 -0.185
T[1,4]文中產生的結果是-0.003 online matrix calculator -0.003我的結果是0.003
我很好奇的是，數字都一樣，但是結果有些會正負號相反，想請問老師，這是因為SVD有不同的解，還是有其中有一個是計算錯誤？
哪一個是正確的？

回應
- Daniel Tsai 說道：
  
  07/11/2013 at 12:00 上午
  
  我仔細看了一下老師的文章，原來是沒有唯一解的原因。抱歉，在沒有看清老師提供的文章前，就先問問題。
  
  回應
  - ccjou 說道：
    
    07/11/2013 at 9:17 上午
    
    不要緊，奇異值分解是相當抽象的概念，全面理解需要各種努力。
    
    回應
moonape1226 說道：

05/09/2014 at 5:19 下午

老師想請問您，
這邊的文件作標的橫軸與縱軸，
是不是就是這些文件最強的兩項特徵了呢？

回應
- ccjou 說道：
  
  05/10/2014 at 10:13 上午
  
  精確的說法是變異最大的特徵，這裡的特徵是指所有變數的線性變換。
  
  回應
謝旻樺說道：

05/15/2014 at 11:11 上午

BRAVO！
原來奇異值分解可以這樣應用，大開眼界了！

回應
Hategold 說道：

05/07/2015 at 9:33 下午

想請問D^T是"概念—文件"矩陣
其根據SVD分解，是按照eigenvalue大小由左至右排出的原矩陣特徵向量建構而成
這樣的順序跟原本term i 及term j的對應順序會一樣嗎?
為什麼呢?

如果順序一樣那我不太懂按照奇異值進行的排序為何不會影響原本term在矩陣上的順序
可是如果順序不一樣，那該怎麼找到對應的位置去計算term相似度呢?

還是我的理解有錯誤..
對於SVD實在不太理解

回應
- ccjou 說道：
  
  05/08/2015 at 7:04 上午
  
  $T$ 是字詞(term)-概念矩陣， $\Sigma$ 是概念矩陣， $D^T$ 是文件(document)-概念矩陣。因為 $A=T\Sigma D^T$ ， $A$ 的字詞(列)順序對應 $T$ 的字詞順序， $A$ 的文件(行)順序對應 $D^T$ 的文件順序。
  
  回應
胡哲維說道：

08/21/2016 at 4:39 下午

老師你好:
請問這篇內容如果用主成分分析或因素分析加以詮釋的話應該是如何呢?

回應
- 胡哲維說道：
  
  08/21/2016 at 4:40 下午
  
  在拜讀老師其他文章後覺得好像有關聯卻又想不太清楚
  
  回應
- ccjou 說道：
  
  08/21/2016 at 8:43 下午
  
  PCA 與 LSI 雖然都引用SVD，但兩者的概念與目的不同，詳見下文：
  https://irthoughts.wordpress.com/2007/05/05/pca-is-not-lsi/
  
  回應

發表迴響取消回覆

在此輸入你的回應…

在下方填入你的資料或按右方圖示以社群網站登入：

電子郵件 (必) （電子郵件地址不會被公開）

名稱 (必)

個人網站

您的留言將使用 WordPress.com 帳號。 ( 登出 / 變更 )

您的留言將使用 Twitter 帳號。 ( 登出 / 變更 )

您的留言將使用 Facebook 帳號。 ( 登出 / 變更 )

您的留言將使用 Google+ 帳號。 ( 登出 / 變更 )

取消

連結到 %s

搜尋(繁體中文或英文)

搜尋：
訊息看板
近期文章
- 每週問題 June 26, 2017
- 每週問題 June 19, 2017
- 每週問題 June 12, 2017
- 每週問題 June 5, 2017
- 每週問題 May 29, 2017
線性代數專欄
其他主題專欄
每週問題
數據充分性問題
- 向量空間
- 特徵分析
其他分類

	「H. Dong」對「特殊矩陣 (13)：反對稱矩陣」留言
	「ccjou」對「特殊矩陣 (18)：正矩陣」留言
	「ccjou」對「矩陣範數」留言
	「ccjou」對「線性代數基本定理 (三)」留言
	「耿阳」對「矩陣範數」留言
	「耿阳」對「特殊矩陣 (18)：正矩陣」留言

近期最多人點閱
- 三階逆矩陣公式
- 利用行列式計算多邊形面積
- 三維空間的旋轉矩陣
- 行列式的運算公式與性質
- 奇異值分解 (SVD)
- 矩陣導數
- 牛頓法──非線性方程的求根方法
- 條件機率與貝氏定理
- 歐拉恆等式──最優美的數學定理
- 主成分分析

分類
分類
文章存檔
文章存檔
標籤雲
Cayley-Hamilton 定理 Frobenius 範數 Gram-Schmidt 正交化 Gramian 矩陣 Hermitian 矩陣 Householder 矩陣 Jordan 典型形式 LU 分解 QR 分解 Schur 定理 SVD Vandermonde 矩陣三角不等式不變子空間么正矩陣二次型代數重數伴隨矩陣內積冪矩陣冪等矩陣冪零矩陣分塊矩陣列空間半正定矩陣反對稱矩陣可交換矩陣可逆矩陣向量空間圖論基底基本列運算奇異值奇異值分解實對稱矩陣對角化座標變換微分方程投影矩陣排列矩陣旋轉矩陣最小多項式最小平方法正交性正交投影正交矩陣正交補餘正定矩陣正規矩陣特徵值特徵向量特徵多項式特殊矩陣相伴矩陣相似矩陣乘法矩陣多項式矩陣指數矩陣範數矩陣譜秩秩─零度定理簡約列梯形式組合數學線性獨立線性變換線性變換表示矩陣行列式行空間譜分解跡數逆矩陣通解零空間高斯消去法
線代線上影音課程
- Essence of linear algebra (3Blue1Brown)
- Khan Academy (Salman Khan)
- MIT OCW (Gilbert Strang)
- 國立台灣大學OCW (蘇柏青)
- 國立清華大學OCW (趙啟超)
- 國立交通大學OCW (莊重)
- 國立交通大學OCW (巫木誠)
線代學習網站
- 用maxima學數值分析─特徵值和特徵向量
- Free Online Books
- Math Insight
- MIT OCW
- Wikibooks: Linear Algebra
- Wolfram Demonstration Project
線代電子書
- A First Course in Linear Algebra (Robert A. Beezer)
- Fundamentals of Linear Algebra (James B. Carrell)
- Linear Algebra (Jim Hefferon)
- Linear Algebra Done Wrong (Sergei Treil)
- Linear Algebra Problems (Jerry L. Kazdan)
- Linear Algebra via Exterior Products (Sergei Winitzki)
- Linear Algebra, Theory and Applications (Kenneth Kuttler)
- Matrix Analysis and Applied Linear Algebra (Carl D. Meyer)
- Notes on Linear Algebra (Peter J. Cameron)
矩陣計算器
- Jordan Form Calculator
- Matrix Calculator
- Online Matrix Calculator
LaTeX
- Online LaTeX Equation Editor
- Wikibooks: LaTeX
Blogroll
- 陰暗的小角落
- Mark Chang's Blog
- 尼斯的靈魂
- 微積分福音
訂閱

請輸入您的email，當有新文章發表時，您將會收到通知。訂閱之後您隨時可以取消訂閱。

加入其他 317 位關注者