每週問題 February 9, 2015

證明一特殊矩陣的2-範數等於 Frobenius 範數。

If \mathbf{u},\mathbf{v}\in\mathbb{R}^n, show that

\displaystyle  \Vert\mathbf{u}\mathbf{v}^T\Vert_2=\Vert\mathbf{u}\Vert \Vert\mathbf{v}\Vert=\Vert\mathbf{u}\mathbf{v}^T\Vert_F,

where \Vert\cdot\Vert_2 is the 2-norm and \Vert\cdot\Vert_F is the Frobenius norm.

 
參考解答:

給定一 n\times n 階矩陣 A,2-範數 (norm) 定義為

\displaystyle  \Vert A\Vert_2=\max_{\mathbf{x}\neq\mathbf{0}}\frac{\Vert A\mathbf{x}\Vert}{\Vert\mathbf{x}\Vert}=\max_{\Vert\mathbf{x}\Vert=1}\Vert A\mathbf{x}\Vert

其中 \Vert\cdot\Vert 表示向量2-範數,即歐氏範數。若 \mathbf{u}=\mathbf{0}\mathbf{v}=\mathbf{0},即有 \Vert\mathbf{u}\mathbf{v}^T\Vert_2=\Vert\mathbf{u}\Vert\Vert\mathbf{v}\Vert=0。下面考慮 \mathbf{u}\mathbf{v} 皆不為零的情況。對於 n\times n 階矩陣 \mathbf{u}\mathbf{v}^T,假設 \Vert\mathbf{u}\mathbf{v}^T\mathbf{x}\Vert 的最大值發生於 \mathbf{x}_0\Vert\mathbf{x}_0\Vert=1。利用 Schwarz 不等式,

\displaystyle\begin{aligned}  \Vert\mathbf{u}\mathbf{v}^T\Vert_2&=\Vert\mathbf{u}\mathbf{v}^T\mathbf{x}_0\Vert=\Vert\mathbf{u}\Vert\vert \mathbf{v}^T\mathbf{x}_0\vert\\  &\le \Vert\mathbf{u}\Vert\Vert\mathbf{v}\Vert\Vert\mathbf{x}_0\Vert=\Vert\mathbf{u}\Vert\Vert\mathbf{v}\Vert.  \end{aligned}

運用一些代數技巧,可推得

\displaystyle\begin{aligned}  \Vert\mathbf{u}\Vert\Vert\mathbf{v}\Vert&=\Vert\mathbf{u}\Vert  \frac{\Vert\mathbf{v}\Vert^2}{\Vert\mathbf{v}\Vert}=\Vert\mathbf{u}\Vert  \frac{\mathbf{v}^T\mathbf{v}}{\Vert\mathbf{v}\Vert}\\  &=\frac{\Vert\mathbf{u}(\mathbf{v}^T\mathbf{v})\Vert}{\Vert\mathbf{v}\Vert}=\left\|\mathbf{u}\mathbf{v}^T\frac{\mathbf{v}}{\Vert\mathbf{v}\Vert}\right\|\\  &\le\max_{\Vert\mathbf{x}\Vert=1}\Vert\mathbf{u}\mathbf{v}^T\mathbf{x}\Vert=\Vert\mathbf{u}\mathbf{v}^T\Vert_2.  \end{aligned}

上面兩式表明 \Vert\mathbf{u}\mathbf{v}^T\Vert_2=\Vert\mathbf{u}\Vert\Vert\mathbf{v}\Vert。根據矩陣的 Frobenius 範數定義並使用跡數的循環不變性,可得

\displaystyle\begin{aligned}  \Vert \mathbf{u}\mathbf{v}^T\Vert^2_F&=\text{trace}\left((\mathbf{u}\mathbf{v}^T)^T(\mathbf{u}\mathbf{v}^T)\right)=\text{trace}(\mathbf{v}\mathbf{u}^T\mathbf{u}\mathbf{v}^T)\\  &=\text{trace}(\mathbf{u}^T\mathbf{u}\mathbf{v}^T\mathbf{v})=\text{trace}(\Vert\mathbf{u}\Vert^2\Vert\mathbf{v}\Vert^2)=\Vert\mathbf{u}\Vert^2\Vert\mathbf{v}\Vert^2.  \end{aligned}

 
另外,我們可以使用奇異值證明 \Vert\mathbf{u}\mathbf{v}^T\Vert_2=\Vert\mathbf{u}\mathbf{v}^T\Vert_F。若 n\times n 階矩陣 A 的奇異值為 \sigma_1\ge\cdots\ge\sigma_r>0\sigma_{r+1}=\cdots=\sigma_n=0,其中 r=\text{rank}A\le n,則

\displaystyle  \Vert A\Vert_2=\sigma_1,~~\Vert A\Vert_F=\sqrt{\sigma_1^2+\cdots+\sigma_r^2}

\mathbf{u}\mathbf{v} 為非零向量,則 \text{rank}(\mathbf{u}\mathbf{v}^T)=1,可知 \mathbf{u}\mathbf{v}^T 的非零奇異值為 \sigma_1,故 \Vert\mathbf{u}\mathbf{v}^T\Vert_2=\Vert\mathbf{u}\mathbf{v}^T\Vert_F=\sigma_1。若 \mathbf{u}\mathbf{v} 為零向量,則 \text{rank}(\mathbf{u}\mathbf{v}^T)=0,即有 \Vert\mathbf{u}\mathbf{v}^T\Vert_2=\Vert\mathbf{u}\mathbf{v}^T\Vert_F=0

廣告
本篇發表於 pow 二次型, 每週問題 並標籤為 , , 。將永久鏈結加入書籤。

5 Responses to 每週問題 February 9, 2015

  1. Meiyue Shao 說道:

    这题最好是用奇异值和范数的关系来理解,对技巧的依赖也比较少。另外,归一化条件 v^Tu=1 不需要。

發表迴響

在下方填入你的資料或按右方圖示以社群網站登入:

WordPress.com Logo

您的留言將使用 WordPress.com 帳號。 登出 / 變更 )

Twitter picture

您的留言將使用 Twitter 帳號。 登出 / 變更 )

Facebook照片

您的留言將使用 Facebook 帳號。 登出 / 變更 )

Google+ photo

您的留言將使用 Google+ 帳號。 登出 / 變更 )

連結到 %s