答f87110jim──關於矩陣的大小與方向

網友f87110jim留言:

老師我想問一個問題,因向量包含有大小跟方向,而矩陣都有包含嗎?那集合裡面的矩陣是向量嗎 (假如此矩陣為3×3,4×4,5×5…)?

 
答曰:

矩陣是向量嗎?你提的問題讓我想起一件陳年往事。話說一個悶熱的下午,我指導的一位研究生對著在座的口試委員報告他的碩士論文。在答辯過程中,主試委員不耐地打斷,問道:「你一直說特徵向量,那裡有向量?我怎麼沒看到?」另一位委員點頭表示贊同。學生回答:「我說的是主成分分析產生的特徵影像。」主試委員恍然大悟,「喔……是特徵影像……那你怎麼說它是向量呢?」另一位委員也跟著附和。在這種場合,照例,我一語不發地呆坐不動。

 
甚麼是向量?維基百科解釋如下[1]

向量 (拉丁語:Vector) 是數學、物理學和工程科學等多個自然科學中的基本概念,指一個同時具有大小和方向的幾何對象,因常常以箭頭符號標示以區別於其它量而得名。直觀上,向量通常被標示為一個帶箭頭的線段 (如 \stackrel\longrightarrow{AB})。線段的長度可以表示向量的大小,而向量的方向也就是箭頭所指的方向。物理學中的位移、速度、力、動量、磁矩、電流密度等,都是向量。與向量概念相對的是只有大小而沒有方向的純量。

向量也常被稱為矢量。並採用更為抽象的向量空間 (也稱為線性空間) 來定義,而定義具有物理意義上的大小和方向的矢量概念則需要引進了範數和內積的歐幾里得空間。

 
原來如此。口試委員所認知的向量是帶著箭頭的幾何量,如 \stackrel\longrightarrow{\mathbf{v}}\stackrel\longrightarrow{AB},或者是數組 (x_1,x_2,\ldots,x_n);學生則將矩陣視為向量空間的一員,故稱儲存影像的矩陣為向量。為甚麼他們對於向量有如此不同的詮釋?數學家喜歡把簡單的、基本的物件或性質予以「推而廣之」。譬如,我們熟悉的歐幾里得空間 (幾何座標空間) \mathbb{R}^2\mathbb{R}^3 可以引伸為 (廣義) 向量空間,其核心概念表示如下:

向量空間 = 向量集合 + 向量加法與純量乘法 + 8個公理

(關於向量空間的定義,白話文見“同構的向量空間”,文言文見“線代入道要門論”。) 因為 m\times n 階矩陣滿足上述定義,這些矩陣形成的集合為一向量空間。就這層意義來說,矩陣確實是向量。

 
當我們說向量具有大小和方向時,通常意指該向量屬於歐幾里得空間。幾何座標向量的長度和角度可由點積 (dot product,也稱內積) 求得。在 \mathbb{R}^2 空間中,向量 \mathbf{a}=(a_1,a_2)^T\mathbf{b}=(b_1,b_2)^T 的點積定義如下:

\mathbf{a}\cdot\mathbf{b}=a_1b_1+a_2b_2

根據畢氏定理,向量 \mathbf{a} 的長度為 \Vert\mathbf{a}\Vert=\sqrt{a_1^2+a_2^2}=\sqrt{\mathbf{a}\cdot\mathbf{a}}。兩向量 (或點) \mathbf{a}\mathbf{b} 的距離為 \Vert\mathbf{a}-\mathbf{b}\Vert=\sqrt{(\mathbf{a}-\mathbf{b})\cdot(\mathbf{a}-\mathbf{b})},夾角的餘弦為 \cos\theta=(\mathbf{a}\cdot\mathbf{b})/(\Vert\mathbf{a}\Vert\cdot\Vert\mathbf{b}\Vert)。若 \mathbf{a}\cdot\mathbf{b}=0,則 \mathbf{a} 垂直於 \mathbf{b}。然而,矩陣形成的向量空間不同於歐幾里得空間,那要如何計算矩陣的大小和方向呢?沿用老方法,數學家將幾何向量的點積推廣成廣義內積 (inner product),所謂內積空間即是具有內積定義的向量空間。(詳細的推理過程與數學原因,請見“內積的定義”。) 這麼說來,兩矩陣也有內積運算。例如,m\times n 階實矩陣 AB 的內積可定義為

\displaystyle\left\langle A,B\right\rangle=\hbox{trace}(A^TB)

其中 \hbox{trace} 稱為跡數,即方陣 A^TB 的主對角元之和。模仿幾何向量長度 \Vert\mathbf{x}\Vert 的計算,我們稱 A=[a_{ij}] 的 Frobenius 範數 (norm,長度的度量) 為

\displaystyle \Vert A\Vert_F=\sqrt{\hbox{trace}(A^TA)}=\sqrt{\sum_{i=1}^m\sum_{j=1}^n a_{ij}^2}

(關於範數的介紹,請參閱“矩陣範數”。) 當然,我們也可以算出 AB 的夾角餘弦 \cos\theta=\left\langle A,B\right\rangle/(\Vert A\Vert\cdot\Vert B\Vert)。矩陣的夾角餘弦雖不具備清晰的幾何意義,但可以用來度量兩矩陣的相似性 (similarity)[2]。同樣地,若 \left\langle A,B\right\rangle=0,我們說 A 正交於 B。下面是一組兩兩正交的二階矩陣,稱為 Haar 小波 (wavelet)[3]

\displaystyle  \begin{bmatrix} 1&1\\ 1&1 \end{bmatrix},~~\left[\!\!\begin{array}{rr} 1&1\\ -1&-1 \end{array}\!\!\right],~~\left[\!\!\begin{array}{cr} 1&-1\\ 0&0 \end{array}\!\!\right],~~\left[\!\!\begin{array}{cr} 0&0\\ 1&-1 \end{array}\!\!\right]

 
下圖顯示一組定義於單位圓上的正交函數,稱為 Zernike 多項式[4]。很多年前,我的學生在昏暗的研討室裡,指著投影幕上類似 Zernike 多項式的特徵影像,口中唸唸有詞,「因為這些特徵『向量』兩兩正交,於是……」

 
參考來源:
[1] 維基百科:向量
[2] 維基百科:Cosine similarity
[3] 維基百科:Haar wavelet
[4] 維基百科:Zernike polynomials

廣告
本篇發表於 答讀者問, 向量空間 並標籤為 , , 。將永久鏈結加入書籤。

5 Responses to 答f87110jim──關於矩陣的大小與方向

  1. levinc417 說道:

    PCA不是可視為一種投影到特徵向量上嗎…
    姑且不論工學院與理學院的差異,對向量的認知有這麼大歐…@@"

  2. npes_87184 說道:

    這是真的,很多人無法接受矩陣是向量,不過對於數學系的學生來說,根據定義幾乎是一種本能,所以把只要符合向量空間定義的東西,都稱作向量,算是很正常。 XDD

  3. ccjou 說道:

    Anaïs Nin說過:我們看待事物往往不是客觀評價,而是主觀臆測。
    We don’t see things as they are, we see them as we are.

    • levinc417 說道:

      這是否告誡著人們對於萬物,應抱持著更謙卑的態度面對。因為主觀就難免有錯,相對的被臆測的一方就要承受被錯誤評價的風險?

      • ccjou 說道:

        這句話的意涵頗深,有很多種解讀。針對「定義」而言,所指即是每個人對同一名詞可能有不同的定義,也就是說,每個人對名詞所攜帶的概念有不同的認知。在答辯過程中,學生應當告知老師們這些細節,以降低他被錯誤評價的風險。

        不過事情往往會出乎我們意料之外。我之所以對這件事印象深刻,原因是「另一位口試委員」曾經教過線性代數。

發表迴響

在下方填入你的資料或按右方圖示以社群網站登入:

WordPress.com Logo

您的留言將使用 WordPress.com 帳號。 登出 / 變更 )

Twitter picture

您的留言將使用 Twitter 帳號。 登出 / 變更 )

Facebook照片

您的留言將使用 Facebook 帳號。 登出 / 變更 )

Google+ photo

您的留言將使用 Google+ 帳號。 登出 / 變更 )

連結到 %s