每週問題 February 9, 2015

證明一特殊矩陣的2-範數等於 Frobenius 範數。

If \mathbf{u},\mathbf{v}\in\mathbb{R}^n, show that

\displaystyle  \Vert\mathbf{u}\mathbf{v}^T\Vert_2=\Vert\mathbf{u}\Vert \Vert\mathbf{v}\Vert=\Vert\mathbf{u}\mathbf{v}^T\Vert_F,

where \Vert\cdot\Vert_2 is the 2-norm and \Vert\cdot\Vert_F is the Frobenius norm.

 
參考解答:

給定一 n\times n 階矩陣 A,2-範數 (norm) 定義為

\displaystyle  \Vert A\Vert_2=\max_{\mathbf{x}\neq\mathbf{0}}\frac{\Vert A\mathbf{x}\Vert}{\Vert\mathbf{x}\Vert}=\max_{\Vert\mathbf{x}\Vert=1}\Vert A\mathbf{x}\Vert

其中 \Vert\cdot\Vert 表示向量2-範數,即歐氏範數。若 \mathbf{u}=\mathbf{0}\mathbf{v}=\mathbf{0},即有 \Vert\mathbf{u}\mathbf{v}^T\Vert_2=\Vert\mathbf{u}\Vert\Vert\mathbf{v}\Vert=0。下面考慮 \mathbf{u}\mathbf{v} 皆不為零的情況。對於 n\times n 階矩陣 \mathbf{u}\mathbf{v}^T,假設 \Vert\mathbf{u}\mathbf{v}^T\mathbf{x}\Vert 的最大值發生於 \mathbf{x}_0\Vert\mathbf{x}_0\Vert=1。利用 Schwarz 不等式,

\displaystyle\begin{aligned}  \Vert\mathbf{u}\mathbf{v}^T\Vert_2&=\Vert\mathbf{u}\mathbf{v}^T\mathbf{x}_0\Vert=\Vert\mathbf{u}\Vert\vert \mathbf{v}^T\mathbf{x}_0\vert\\  &\le \Vert\mathbf{u}\Vert\Vert\mathbf{v}\Vert\Vert\mathbf{x}_0\Vert=\Vert\mathbf{u}\Vert\Vert\mathbf{v}\Vert.  \end{aligned}

運用一些代數技巧,可推得

\displaystyle\begin{aligned}  \Vert\mathbf{u}\Vert\Vert\mathbf{v}\Vert&=\Vert\mathbf{u}\Vert  \frac{\Vert\mathbf{v}\Vert^2}{\Vert\mathbf{v}\Vert}=\Vert\mathbf{u}\Vert  \frac{\mathbf{v}^T\mathbf{v}}{\Vert\mathbf{v}\Vert}\\  &=\frac{\Vert\mathbf{u}(\mathbf{v}^T\mathbf{v})\Vert}{\Vert\mathbf{v}\Vert}=\left\|\mathbf{u}\mathbf{v}^T\frac{\mathbf{v}}{\Vert\mathbf{v}\Vert}\right\|\\  &\le\max_{\Vert\mathbf{x}\Vert=1}\Vert\mathbf{u}\mathbf{v}^T\mathbf{x}\Vert=\Vert\mathbf{u}\mathbf{v}^T\Vert_2.  \end{aligned}

上面兩式表明 \Vert\mathbf{u}\mathbf{v}^T\Vert_2=\Vert\mathbf{u}\Vert\Vert\mathbf{v}\Vert。根據矩陣的 Frobenius 範數定義並使用跡數的循環不變性,可得

\displaystyle\begin{aligned}  \Vert \mathbf{u}\mathbf{v}^T\Vert^2_F&=\text{trace}\left((\mathbf{u}\mathbf{v}^T)^T(\mathbf{u}\mathbf{v}^T)\right)=\text{trace}(\mathbf{v}\mathbf{u}^T\mathbf{u}\mathbf{v}^T)\\  &=\text{trace}(\mathbf{u}^T\mathbf{u}\mathbf{v}^T\mathbf{v})=\text{trace}(\Vert\mathbf{u}\Vert^2\Vert\mathbf{v}\Vert^2)=\Vert\mathbf{u}\Vert^2\Vert\mathbf{v}\Vert^2.  \end{aligned}

 
另外,我們可以使用奇異值證明 \Vert\mathbf{u}\mathbf{v}^T\Vert_2=\Vert\mathbf{u}\mathbf{v}^T\Vert_F。若 n\times n 階矩陣 A 的奇異值為 \sigma_1\ge\cdots\ge\sigma_r>0\sigma_{r+1}=\cdots=\sigma_n=0,其中 r=\text{rank}A\le n,則

\displaystyle  \Vert A\Vert_2=\sigma_1,~~\Vert A\Vert_F=\sqrt{\sigma_1^2+\cdots+\sigma_r^2}

\mathbf{u}\mathbf{v} 為非零向量,則 \text{rank}(\mathbf{u}\mathbf{v}^T)=1,可知 \mathbf{u}\mathbf{v}^T 的非零奇異值為 \sigma_1,故 \Vert\mathbf{u}\mathbf{v}^T\Vert_2=\Vert\mathbf{u}\mathbf{v}^T\Vert_F=\sigma_1。若 \mathbf{u}\mathbf{v} 為零向量,則 \text{rank}(\mathbf{u}\mathbf{v}^T)=0,即有 \Vert\mathbf{u}\mathbf{v}^T\Vert_2=\Vert\mathbf{u}\mathbf{v}^T\Vert_F=0

This entry was posted in pow 二次型, 每週問題 and tagged , , . Bookmark the permalink.

5 Responses to 每週問題 February 9, 2015

  1. Meiyue Shao says:

    这题最好是用奇异值和范数的关系来理解,对技巧的依赖也比较少。另外,归一化条件 v^Tu=1 不需要。

    • ccjou says:

      What’s the rush? We’ve got plenty of time.

      我需要時間慢慢看你的回應。

    • ccjou says:

      是的,\mathbf{u}^T\mathbf{v}=1 的條件多餘,已經移除,並補充採用奇異值的證明。

      • Meiyue Shao says:

        小细节:一般来讲奇异值最好写成 n 个而不是 r 个,这样会比较方便。还有“秩一矩阵”有时也包含零矩阵( \mathrm{rank}(uv^T)\leq1)。

        • ccjou says:

          謝謝,我漏打了後面為零的奇異值,已補上。另,\text{rank}(uv^T=1) 前面已經假設 u,v 不為零向量。

Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out /  Change )

Google photo

You are commenting using your Google account. Log Out /  Change )

Twitter picture

You are commenting using your Twitter account. Log Out /  Change )

Facebook photo

You are commenting using your Facebook account. Log Out /  Change )

Connecting to %s