線代膠囊──正交投影矩陣

本文的閱讀等級:中級

m\times n 階實矩陣 A 有線性獨立的行向量 (column vector)。如何求得 m\times m 階正交投影矩陣 P,其值域為 A 的行空間?

 
線代箴言:「工欲善其事,必先利其器。」我們先討論正交投影矩陣的性質。這裡面包含兩個子問題:一般的投影矩陣有甚麼性質?加入正交條件後,又多了甚麼性質?投影矩陣 Pm 維向量 \mathbf{x} 映射至 P\mathbf{x}\in C(P),其中 C(P)P 的值域 (行空間),而且 P\mathbf{x}P 的再次投影恆定不變 (投影兩次等於投影一次),即

P(P\mathbf{x})=P\mathbf{x}

因為 \mathbf{x} 是任意向量,可知 P^2=P,稱為冪等矩陣 (idempotent matrix)。若 P 是一正交投影矩陣,投影後的殘量 \mathbf{x}-P\mathbf{x} 必定正交於投影子空間 C(P),其中成員可表示為 P\mathbf{y} (這裡 \mathbf{y} 是一 m 維向量),於是有

0=(\mathbf{x}-P\mathbf{x})^TP\mathbf{y}=((I-P)\mathbf{x})^TP\mathbf{y}  =\mathbf{x}^T(I-P)^TP\mathbf{y}=\mathbf{x}^T(P-P^TP)\mathbf{y}

因為 \mathbf{x}\mathbf{y} 是任意向量,可知 P=P^TP。但 P^TP 是對稱矩陣,故 P^T=P

 
備妥正交投影性質後,現在可以開始推導正交投影矩陣 P 的計算公式。已知 m\times n 階矩陣 A 有線性獨立的行向量,表明 \hbox{rank}A=n。因為 A 的行空間即為 P 的值域,C(A)=C(P),可設 P=AX,其中 X 是一 n\times m 階矩陣,且 \hbox{rank}X=n。原因如下:若 \hbox{rank}X<n,則 \hbox{rank}P=\hbox{rank}(AX)<n,違反 PA 有相同的行空間。利用交互乘積的矩陣秩不變性,\hbox{rank}(A^TA)=\hbox{rank}A=n,可知 A^TA 可逆;類似地,\hbox{rank}(XX^T)=\hbox{rank}X^T=\hbox{rank}X=n,得知 XX^T 也可逆。冪等矩陣性質 P^2=P 給出 AXAX=AX,等號兩邊同時右乘 X^T(XX^T)^{-1},即得 AXA=A。另外,P=P^T 給出 AX=(AX)^T=X^TA^T。等號兩邊左乘 A^T,並使用前面結果,

A^TAX=A^TX^TA^T=(AXA)^T=A^T

上式左邊通乘 (A^TA)^{-1},可得

X=(A^TA)^{-1}A^T

所以正交投影矩陣公式為

P=A(A^TA)^{-1}A^T

 
最後說明正交投影矩陣的一些變化情況。

(1) 如果改變 A 的行空間基底,正交投影矩陣 P 是否也隨之改變?不會。令 M 是一 n\times n 階可逆矩陣,B=AM,矩陣 AB 有相同的行空間。將上式代入正交投影矩陣公式,推演如下:

\begin{aligned}  P&=B(B^TB)^{-1}B^T=(AM)((AM)^T(AM))^{-1}(AM)^T\\  &=AM(M^TA^TAM)^{-1}M^TA^T\\  &=AMM^{-1}(A^TA)^{-1}(M^T)^{-1}M^TA^T\\  &=A(A^TA)^{-1}A^T.\end{aligned}

(2) 正交投影矩陣公式看似相當複雜,有甚麼支援記憶的方法?若 A 是一 m\times 1 階非零矩陣,則 A 僅有一個非零行向量 \mathbf{a}。以 \mathbf{a} 取代 A

\displaystyle  P=\mathbf{a}(\mathbf{a}^T\mathbf{a})^{-1}\mathbf{a}^T=\frac{\mathbf{a}\mathbf{a}^T}{\mathbf{a}^T\mathbf{a}}

上面這個退化公式可以幫助我們聯想起正交投影矩陣公式。

(3) 正交投影矩陣公式可以加以簡化嗎?如果我們知道 QR 分解 A=QR,其中 Q 有單範正交 (orthonormal) 行向量,R 是一可逆上三角矩陣,將 QR 分解式代入計算公式,利用 Q^TQ=I_n,可得

\begin{aligned}  P&=(QR)((QR)^T(QR))^{-1}(QR)^T\\  &=QR(R^TQ^TQR)^{-1}R^TQ^T=QR(R^TR)^{-1}R^TQ^T\\  &=QRR^{-1}(R^T)^{-1}R^TQ^T=QQ^T.\end{aligned}

 
如果 A 不具有線性獨立的行向量,\hbox{rank}A<n,則 A^TA 不可逆。在此情況下,正交投影矩陣的公式為何?仿造費瑪 (Pierre de Fermat) 在頁邊筆記留下的名言,「關於這個問題,我確信已發現了一個美妙的公式,可惜這裡空白的地方太小,寫不下。」

廣告
本篇發表於 線性代數專欄, 內積空間 並標籤為 , , , , 。將永久鏈結加入書籤。

發表迴響

在下方填入你的資料或按右方圖示以社群網站登入:

WordPress.com Logo

您的留言將使用 WordPress.com 帳號。 登出 / 變更 )

Twitter picture

您的留言將使用 Twitter 帳號。 登出 / 變更 )

Facebook照片

您的留言將使用 Facebook 帳號。 登出 / 變更 )

Google+ photo

您的留言將使用 Google+ 帳號。 登出 / 變更 )

連結到 %s