每週問題 June 30, 2014

這是揉合特徵值、特徵向量、線性方程和正交投影的問題,取自“台聯大2014年碩士班招生考試試題 (電機類工程數學D)”的部分試題。

Let

\displaystyle  A=\left[\!\!\begin{array}{rcc}  3&3&3\\  -6&6&2\\  7&1&2  \end{array}\!\!\right]\left[\!\!\begin{array}{ccr}  3&0&0\\  0&0&0\\  0&0&-2  \end{array}\!\!\right]\left[\!\!\begin{array}{rcc}  3&3&3\\  -6&6&2\\  7&1&2  \end{array}\!\!\right]^{-1}

and \mathbf{b}=\left[\!\!\begin{array}{r}  15\\  -14\\  25  \end{array}\!\!\right].

(a) Find the general solution (also called the complete solution) of A\mathbf{x}=\mathbf{b}.
(b) Find the distance from \mathbf{b} to the row space of A.

繼續閱讀

張貼在 pow 特徵分析, 每週問題 | 標記 , , , | 發表留言

共形映射

本文的閱讀等級:中級

A 為一 n\times n 階實矩陣。我們可以將 A 視為一個從幾何向量空間 \mathbb{R}^n 映至 \mathbb{R}^n 的線性變換:\mathbf{x}\mapsto A\mathbf{x},其中 \mathbf{x}\in\mathbb{R}^n。如果線性變換 A 不改變向量長度,則 A 稱為保長 (length-preserving) 映射或等距同構 (isometry)。保長映射 A 有下列等價的定義方式 (見“等距同構與么正矩陣”):

  1. A 是一正交 (orthogonal) 矩陣,即 A^TA=AA^T=I
  2. 對於每一 \mathbf{x}\in\mathbb{R}^n\Vert A\mathbf{x}\Vert=\Vert\mathbf{x}\Vert
  3. 對於任意 \mathbf{x},\mathbf{y}\in\mathbb{R}^n\Vert A\mathbf{x}-A\mathbf{y}\Vert=\Vert\mathbf{x}-\mathbf{y}\Vert
  4. 對於任意 \mathbf{x},\mathbf{y}\in\mathbb{R}^n(A\mathbf{x})^T(A\mathbf{y})=\mathbf{x}^T\mathbf{y}

保長映射的定義條件相當嚴苛,我們可以將它稍微放鬆。根據實向量的內積定義 (見“內積的定義”),

\displaystyle  \mathbf{x}^T\mathbf{y}=\Vert\mathbf{x}\Vert \Vert\mathbf{y}\Vert\cos\theta

其中 \theta 是向量 \mathbf{x}\mathbf{y} 的夾角。對於任意非零向量 \mathbf{x},\mathbf{y}\in\mathbb{R}^n,若線性變換 A 不改變 \mathbf{x}\mathbf{y} 的夾角,也就是說,

\displaystyle  \frac{(A\mathbf{x})^T(A\mathbf{y})}{\Vert A\mathbf{x}\Vert\Vert A\mathbf{y}\Vert}=\frac{\mathbf{x}^T\mathbf{y}}{\Vert \mathbf{x}\Vert\Vert \mathbf{y}\Vert}

A 稱為保角 (angle-preserving) 映射。這個定義隱含了 A 必須是一個可逆矩陣,否則存在 \mathbf{x}\neq\mathbf{0} 使得 A\mathbf{x}=\mathbf{0},如此便無從計算夾角。

繼續閱讀

張貼在 特別主題, 主題專欄 | 標記 , , , , , , | 2 則迴響

每週問題 June 23, 2014

這是求極小範數解的問題,高中數學即可作答。

The general solution to a linear system of equations is described by

\displaystyle  \begin{bmatrix}  x\\  y\\  z  \end{bmatrix}=\begin{bmatrix}  1\\  2\\  4  \end{bmatrix}+\alpha\left[\!\!\begin{array}{r}  1\\  0\\  -1  \end{array}\!\!\right]+\beta\begin{bmatrix}  0\\  1\\  2  \end{bmatrix},

where \alpha and \beta are arbitrary parameters. Determine the vector (x,y,z) that has minimum length.

繼續閱讀

張貼在 pow 內積空間, 每週問題 | 標記 , | 發表留言

別再算逆矩陣了

本文的閱讀等級:初級

不知道從甚麼時候開始,“三階逆矩陣公式”經常雄踞本站「近期最多人點閱」表單的榜首,每日點閱該文的次數少則幾十,多則上百,下圖是過去一年以來的瀏覽次數統計 (主要的峰值所在的日期大致與台灣高等院校春秋二季期中和期末考試相吻合)。對於所見的逆矩陣風潮,我感到相當困惑:究竟出於甚麼樣的動機眾多年輕讀者願意不辭勞苦求算 (三階) 逆矩陣?如果尋覓逆矩陣公式的行動單純源於人類天生想要探索未知世界的好奇心,那我沒甚麼意見。不過,倘若只因為要解線性方程而計算逆矩陣,我可就忍不住要奉勸諸位:「省點力氣,別再算逆矩陣了!」

3by3 inverse

「三階逆矩陣公式」的瀏覽次數統計圖 (按圖放大)

繼續閱讀

張貼在 數值線性代數, 主題專欄 | 標記 , , , , | 8 則迴響

每週問題 June 16, 2014

這是一個非常重要的命題:實對稱矩陣對應相異特徵值的特徵向量必定正交。

Let A be a real symmetric matrix. If \mathbf{x} and \mathbf{y} are eigenvectors of A, corresponding to distinct eigenvalues, show that \mathbf{x} and \mathbf{y} are orthogonal.

繼續閱讀

張貼在 pow 內積空間, 每週問題 | 標記 , | 發表留言

多變量常態分布的最大似然估計

本文的閱讀等級:中級

\mathbf{x} 為一 p 維連續型隨機向量。若 \mathbf{x} 服從 (非退化) 多變量常態分布,則機率 (概率) 密度函數完全由 p 維平均數向量 \boldsymbol{\mu}=E[\mathbf{x}]p\times p 階共變異數矩陣 \Sigma=\text{Cov}[\mathbf{x}] 決定,如下:

\displaystyle  \mathcal{N}(\mathbf{x}\vert\boldsymbol{\mu},\Sigma)=\frac{1}{(2\pi)^{p/2}\vert\Sigma\vert^{1/2}}\exp\left\{-\frac{1}{2}(\mathbf{x}-\boldsymbol{\mu})^T\Sigma^{-1}(\mathbf{x}-\boldsymbol{\mu})\right\}

其中 \vert\Sigma\vert=\det \Sigma>0 (見“共變異數矩陣與常態分布”)。英國統計學家費雪 (Ronald Fisher) 認為機率分布只是一個抽象的數學模型,而我們所蒐集的數據僅能用來估計機率分布的參數。給定一筆取自常態分布的隨機樣本 \mathcal{X}=\{\mathbf{x}_1,\ldots,\mathbf{x}_n\},如何估計模型參數,即平均數向量 \boldsymbol{\mu} 和共變異數矩陣 \Sigma?本文介紹費雪提出的參數估計法,稱為最大似然估計 (maximum likelihood estimation)。根據共變異數矩陣的最大似然估計,我們引進皮爾生 (Pearson) 相關係數,並討論平均數向量的最大似然估計的分布。

繼續閱讀

張貼在 特別主題, 主題專欄 | 標記 , , , , | 發表留言

回歸均值

本文的閱讀等級:初級

《聖經》創世紀41(17-32)記載約瑟為法老解夢的故事。

法老對約瑟說:「我夢見我站在河邊,有七隻母牛從河裡上來,又肥壯又美好,在蘆荻中吃草。隨後又有七隻母牛上來,又軟弱又醜陋又乾瘦,在埃及遍地我沒有見過這樣不好的。這又乾瘦又醜陋的母牛吃盡了那以先的七隻肥母牛,吃了以後卻看不出是吃了,那醜陋的樣子仍舊和先前一樣。我就醒了。我又夢見一棵麥子,長了七個穗子,又飽滿又佳美。隨後又長了七個穗子,枯槁細弱,被東風吹焦了。這些細弱的穗子吞了那七個佳美的穗子。我將這夢告訴了術士,卻沒有人能給我解說。」

約瑟對法老說:「法老的夢乃是一個,神已將所要做的事指示法老了。七隻好母牛是七年,七個好穗子也是七年。這夢乃是一個。那隨後上來的七隻又乾瘦又醜陋的母牛是七年,那七個虛空、被東風吹焦的穗子也是七年,都是七個荒年。這就是我對法老所說,神已將所要做的事顯明給法老了。埃及遍地必來七個大豐年,隨後又要來七個荒年,甚至埃及地都忘了先前的豐收,全地必被饑荒所滅。因那以後的饑荒甚大,便不覺得先前的豐收了。至於法老兩回做夢,是因神命定這事,而且必速速成就。」

從古至今,世上每一個文明總會對「好景難常在,過眼韶華如箭」發出無奈的感嘆。然而,我們也都相信「柳暗花明又一村」,事情終有好轉的一天。「樂極生悲」和「否極泰來」真的是大自然的定則嗎?

繼續閱讀

張貼在 特別主題, 主題專欄 | 標記 , | 2 則迴響

每週問題 June 9, 2014

這是計算四階矩陣的特徵值的交互乘積 \sum_{i\neq j}\lambda_i\lambda_j 的問題,取自“2013年台大資工所碩士班招生考試試題”。

Let

\displaystyle  A=\begin{bmatrix}  1&2&3&4\\  8&7&6&5\\  1&4&5&8\\  2&3&6&7  \end{bmatrix}.

If \lambda_1,\lambda_2,\lambda_3,\lambda_4 are eigenvalues of A, determine \lambda_1\lambda_2+\lambda_1\lambda_3+\lambda_1\lambda_4+\lambda_2\lambda_3+\lambda_2\lambda_4+\lambda_3\lambda_4.

繼續閱讀

張貼在 pow 特徵分析, 每週問題 | 標記 , | 發表留言

多變量常態分布

本文的閱讀等級:中級

在數學、統計學、物理和工程等領域,常態分佈 (normal distribution,Gaussian distribution) 是一個非常重要的連續型機率分布模型。本文將回答下列問題:

  • 如何推導多變量常態分布的機率 (概率) 密度函數 (probability density function)?
  • 怎麼證明服從常態分布的隨機向量的線性變換也為常態分布?
  • 怎麼證明服從常態分布的多隨機變數的子集合亦為常態分布?
  • 如何判別二 (常態分布) 隨機變數集的獨立性?
  • 具有常態分布的條件機率密度函數為何?

為了避免繁瑣的積分運算,我們採用動差生成函數 (moment generating function) 進行推演,這個方法的理論基礎在於動差生成函數唯一決定機率密度函數 (見“動差生成函數 (上)”)。下面先介紹標準化多變量常態分布,隨後通過仿射變換 (affine transformation) 推廣至一般多變量常態分布。

繼續閱讀

張貼在 特別主題, 主題專欄 | 標記 , , , , , , , , , | 發表留言

共變異數矩陣的性質

本文的閱讀等級:初級

\mathbf{x}=(x_1,\ldots,x_p)^T 為一隨機向量,其中 x_1,\ldots,x_p 是隨機變數。共變異數矩陣 (covariance matrix) 定義為

\displaystyle  \text{Cov}[\mathbf{x}]=E\left[  (\mathbf{x}-E[\mathbf{x}])(\mathbf{x}-E[\mathbf{x}])^T\right]

其中 E[\cdot] 是期望值算子,E[\mathbf{x}]=(E[x_1],\ldots,E[x_p])^T。根據定義,\text{Cov}[\mathbf{x}] 為一 p\times p 階矩陣,結構如下:

\displaystyle\begin{aligned}  \text{Cov}[\mathbf{x}]&=E\begin{bmatrix}  (x_1-E[x_1])(x_1-E[x_1])&\cdots&(x_1-E[x_1])(x_p-E[x_p])\\  \vdots&\ddots&\vdots\\  (x_p-E[x_p])(x_1-E[x_1])&\cdots&(x_p-E[x_p])(x_p-E[x_p])  \end{bmatrix}\\  &=\begin{bmatrix}  E\left[(x_1-E[x_1])^2\right]&\cdots&E\left[(x_1-E[x_1])(x_p-E[x_p])\right]\\  \vdots&\ddots&\vdots\\  E\left[(x_p-E[x_p])(x_1-E[x_1])\right]&\cdots&E\left[(x_p-E[x_p])^2\right]  \end{bmatrix}\\  &=\begin{bmatrix}  \text{Var}[x_1]&\cdots&\text{Cov}[x_1,x_p]\\  \vdots&\ddots&\vdots\\  \text{Cov}[x_p,x_1]&\cdots&\text{Var}[x_p]  \end{bmatrix}.  \end{aligned}

共變異數矩陣 \text{Cov}[\mathbf{x}](i,j) 元是 x_ix_j 的共變異數 (covariance,或稱協方差) \text{Cov}[x_i,x_j]=E\left[(x_i-E[x_i])(x_j-E[x_j])\right]。因為 \text{Cov}[x_i,x_i]=\text{Var}[x_i],共變異數矩陣的主對角元為隨機變數 x_i 的變異數 (variance)。本文介紹共變異數矩陣的一些基本性質。

繼續閱讀

張貼在 特別主題, 主題專欄 | 標記 , , | 發表留言