每週問題 May 2, 2016

證明正規方程 (normal equation) 是一致的,意指存在解。

Let A be an m\times n complex matrix. Show that for any \mathbf{b}\in\mathbb{C}^m, the normal equation A^\ast A\mathbf{x}=A^\ast\mathbf{b} is consistent, meaning that it has solutions.

 
參考解答:

證明 1. 令 C(X) 表示矩陣 X 的行空間 (column space),即值域 (range)。因為 C(A^\ast A)\subseteq C(A^\ast)\hbox{rank}(A^\ast A)=\hbox{rank}A^\ast,推得 C(A^\ast A)=C(A^\ast)。換句話說,對於每一 \mathbf{b}\in\mathbb{C}^mA^\ast\mathbf{b}\in C(A^\ast A),證明存在 \mathbf{x}\in\mathbb{C}^n 使得 A^\ast A\mathbf{x}=A^\ast \mathbf{b}

證明 2. 類似證明 1,使用秩運算推論。寫出

\hbox{rank}(A^\ast A)\le\hbox{rank}\begin{bmatrix}  A^\ast A&A^\ast\mathbf{b}  \end{bmatrix}=\hbox{rank}(A^\ast\begin{bmatrix}  A&\mathbf{b}  \end{bmatrix})\le\hbox{rank}A^\ast

\hbox{rank}(A^\ast A)=\hbox{rank}A^\ast,因此 \hbox{rank}(A^\ast A)=\hbox{rank}\begin{bmatrix}  A^\ast A&A^\ast\mathbf{b}  \end{bmatrix},證明 A^\ast A\mathbf{x}=A^\ast \mathbf{b} 是一致的。

證明 3. 令 N(X) 表示矩陣 X 的零空間 (nullspace)。因為 N(A^\ast)C(A) 的正交補餘 (orthogonal complement),任一 \mathbf{b}\in\mathbb{C}^m 可唯一表示為 \mathbf{b}=\mathbf{p}+\mathbf{q},其中 \mathbf{p}\in C(A)\mathbf{q}\in N(A^\ast)。因此,存在 \mathbf{x}\in\mathbb{C}^n 使得 \mathbf{p}=A\mathbf{x},也就有 \mathbf{b}-A\mathbf{x}\in N(A^\ast),即 A^\ast(\mathbf{b}-A\mathbf{x})=\mathbf{0}

證明 4. 使用奇異值分解 A=U\Sigma V^\ast,其中 UV 是么正矩陣 (unitary matrix),U^\ast=U^{-1}V^\ast=V^{-1}\Sigma=\begin{bmatrix}  D&0\\  0&0  \end{bmatrix}m\times n 階矩陣,D=\hbox{diag}(\sigma_1,\ldots,\sigma_r)\sigma_1,\ldots,\sigma_r>0。因此,

\begin{aligned}   A^\ast A\mathbf{x}=A\mathbf{b}&\Leftrightarrow V\Sigma^\ast U^\ast U\Sigma V^\ast\mathbf{x}=V\Sigma^\ast U^\ast\mathbf{b}\\  &\Leftrightarrow V\Sigma^\ast \Sigma V^\ast\mathbf{x}=V\Sigma^\ast U^\ast\mathbf{b}\\  &\Leftrightarrow \Sigma^\ast \Sigma V^\ast\mathbf{x}=\Sigma^\ast U^\ast\mathbf{b}\\  &\Leftrightarrow \begin{bmatrix}  D^2&0\\  0&0  \end{bmatrix}\begin{bmatrix}  (V^\ast\mathbf{x})_1\\  (V^\ast\mathbf{x})_2  \end{bmatrix}=\begin{bmatrix}  D&0\\  0&0  \end{bmatrix}\begin{bmatrix}  (U^\ast\mathbf{b})_1\\  (U^\ast\mathbf{b})_2  \end{bmatrix}\\  &\Leftrightarrow D(V^\ast\mathbf{x})_1=(U^\ast\mathbf{b})_1  \end{aligned}

D 是可逆矩陣,因此證明所求。

相關閱讀:
廣告
本篇發表於 pow 內積空間, 每週問題 並標籤為 。將永久鏈結加入書籤。

2 Responses to 每週問題 May 2, 2016

  1. Meiyue Shao 說道:

    还可以用SVD证

  2. ccjou 說道:

    補充了SVD的證明。

發表迴響

在下方填入你的資料或按右方圖示以社群網站登入:

WordPress.com Logo

您的留言將使用 WordPress.com 帳號。 登出 / 變更 )

Twitter picture

您的留言將使用 Twitter 帳號。 登出 / 變更 )

Facebook照片

您的留言將使用 Facebook 帳號。 登出 / 變更 )

Google+ photo

您的留言將使用 Google+ 帳號。 登出 / 變更 )

連結到 %s