每週問題 January 27, 2014

這是最小平方法的正規方程的等價表達問題。

Let A be an m\times n real matrix and \mathbf{b}\in\mathbb{R}^m. Show that \mathbf{z} is a least squares solution for A\mathbf{x}=\mathbf{b} if and only if \mathbf{z} is part of a solution to the larger system

\displaystyle  \begin{bmatrix}  I_m&A\\  A^T&0  \end{bmatrix}\begin{bmatrix}  \mathbf{y}\\  \mathbf{z}  \end{bmatrix}=\begin{bmatrix}  \mathbf{b}\\  \mathbf{0}  \end{bmatrix}.

 
參考解答:

假設 \mathbf{z}A\mathbf{x}=\mathbf{b} 的一個最小平方解,滿足正規方程 (normal equation) A^TA\mathbf{z}=A^T\mathbf{b},或 A^T(\mathbf{b}-A\mathbf{z})=\mathbf{0}。設 \mathbf{y}=\mathbf{b}-A\mathbf{z},則

\displaystyle  \begin{bmatrix}  I_m&A\\  A^T&0  \end{bmatrix}\begin{bmatrix}  \mathbf{y}\\  \mathbf{z}  \end{bmatrix}=\begin{bmatrix}  I_m&A\\  A^T&0  \end{bmatrix}\begin{bmatrix}  \mathbf{b}-A\mathbf{z}\\  \mathbf{z}  \end{bmatrix}=\begin{bmatrix}  \mathbf{b}-A\mathbf{z}+A\mathbf{z}\\  A^T(\mathbf{b}-A\mathbf{z})  \end{bmatrix}=\begin{bmatrix}  \mathbf{b}\\  \mathbf{0}  \end{bmatrix}

反過來說,如果下式成立:

\displaystyle  \begin{bmatrix}  I_m&A\\  A^T&0  \end{bmatrix}\begin{bmatrix}  \mathbf{y}\\  \mathbf{z}  \end{bmatrix}=\begin{bmatrix}  \mathbf{b}\\  \mathbf{0}  \end{bmatrix}

乘開可得 \displaystyle  \mathbf{y}+A\mathbf{z}=\mathbf{b}A^T\mathbf{y}=\mathbf{0}。第一式左乘 A^T 並使用第二式,即得 \displaystyle  A^TA\mathbf{z}=A^T\mathbf{b}

廣告
本篇發表於 pow 內積空間, 每週問題 並標籤為 , 。將永久鏈結加入書籤。

發表迴響

在下方填入你的資料或按右方圖示以社群網站登入:

WordPress.com Logo

您的留言將使用 WordPress.com 帳號。 登出 / 變更 )

Twitter picture

您的留言將使用 Twitter 帳號。 登出 / 變更 )

Facebook照片

您的留言將使用 Facebook 帳號。 登出 / 變更 )

Google+ photo

您的留言將使用 Google+ 帳號。 登出 / 變更 )

連結到 %s