每週問題 February 13, 2017

證明遍歷定理 (ergodic theorem)。

Let A be a unitary matrix, i.e., A^\ast=A^{-1}. Prove that

\displaystyle  \lim_{m\to\infty}\frac{1}{m}\sum_{k=0}^{m-1}A^k\mathbf{x}=P\mathbf{x},

where P is the Hermitian projection matrix onto N(I-A^\ast).

繼續閱讀

張貼在 pow 內積空間, 每週問題 | 標記 , | 1 則迴響

翻轉 LU 分解

本文的閱讀等級:初級

愛因斯坦說[1]:「邏輯可以將你由 A 點帶到 B 點,想像則可以帶你到任何地方。」在我想像的翻轉課堂,學生會先在家裡觀看交大出版社發行的線性代數《教學光碟》,沒有購買光碟的學生則到學校圖書館觀看。在教室的時間,學生跟老師一起交流互動,我們經常以問答方式討論課程內容,但學生與老師的角色對調。底下抄錄一段關於 LU 分解的對話,大家可以體驗翻轉課堂的學習情境。

繼續閱讀

張貼在 線性方程, 線性代數專欄 | 標記 , , | 發表留言

Karush-Kuhn-Tucker (KKT) 條件

本文的閱讀等級:中級

在優化理論,Karush-Kuhn-Tucker (KKT) 條件是非線性規劃 (nonlinear programming) 最佳解的必要條件[1]。KKT 條件將 Lagrange 乘數法 (Lagrange multipliers) 所處理涉及束縛等式的約束優化問題推廣至不等式。在實際應用上,KKT 條件 (方程組) 一般不存在代數解,許多優化算法可供數值計算選用[2]。這篇短文從 Lagrange 乘數法推導 KKT 條件並舉一個簡單的例子說明解法。

繼續閱讀

張貼在 特別主題 | 標記 , , | 2 則迴響

每週問題 February 6, 2017

計算多變數高斯積分。

Let A be an n\times n real symmetric positive definite matrix. Prove that

\displaystyle  \int_{-\infty}^\infty\cdots\int_{-\infty}^\infty e^{-\mathbf{x}^TA\mathbf{x}}dx_1\cdots dx_n=\pi^{n/2}(\det A)^{-1/2},

where \mathbf{x}=(x_1,\ldots,x_n)^T.

繼續閱讀

張貼在 pow 二次型, 每週問題 | 標記 , | 發表留言

每週問題 January 30, 2017

證明反對稱矩陣的秩必為偶數。

Prove that the rank of a real skew-symmetric matrix is an even number.

繼續閱讀

張貼在 pow 二次型, 每週問題 | 標記 | 發表留言

線性基函數模型

本文的閱讀等級:中級

在數理統計與機器學習,線性回歸 (linear regression) 是一種形式最簡單的回歸模型。令 \mathbf{x}=(x_1,\ldots,x_d)^T 表示輸入變數,或稱預測變數。輸入變數的線性組合再加上一個數即構成線性回歸:

\displaystyle   y(\mathbf{x};\mathbf{w})=w_0+w_1x_1+\cdots+w_dx_d

其中 \mathbf{w}=(w_0,w_1,\ldots,w_d)^T 是待決定的參數,w_0 稱為偏權值 (bias),w_j 是對應輸入變數 x_j 的權值 (weight)[1]j=1,\ldots,d。線性回歸既是權值 w_j,也是輸入變數 x_j 的一個線性函數,應用範疇因此受到很大的限制。在保留線性模型架構的前提下,如欲將線性回歸推廣為非線性函數,你可以考慮一組固定的非線性函數的線性組合:

\displaystyle   y(\mathbf{x};\mathbf{w})=w_0+w_1\phi_1(\mathbf{x})+\cdots+w_{m-1}\phi_{m-1}(\mathbf{x})

其中 \phi_j(\mathbf{x}) 稱為基函數 (basis function)。為簡化書寫,定義 \phi_0(\mathbf{x})=1。線性基函數模型 (linear basis function model) 的表達式如下:

\displaystyle   y(\mathbf{x};\mathbf{w})=\sum_{j=0}^{m-1}w_j\phi_j(\mathbf{x})=\mathbf{w}^T\boldsymbol{\phi}(\mathbf{x})

其中 \mathbf{w}=(w_0,\ldots,w_{m-1})^T\boldsymbol{\phi}=(\phi_0,\ldots,\phi_{m-1})^T:\mathbb{R}^d\to\mathbb{R}^m 是一個向量函數,\boldsymbol{\phi}(\mathbf{x}) 稱為基函數向量。由於 y(\mathbf{x};\mathbf{w}) 是權值 w_j 的線性函數,同時也是基函數 \phi_j(\mathbf{x}) 的線性函數,因此我們稱之為線性基函數模型。若 m-1=d\phi_j(\mathbf{x})=x_jj=1,\ldots,d,線性基函數模型退化為線性回歸。如果使用非線性基函數,y(\mathbf{x};\mathbf{w}) 實質上是輸入變數 \mathbf{x} 的一個非線性函數。

繼續閱讀

張貼在 機器學習 | 標記 , , , , , , , , , , , | 發表留言

每週問題 January 23, 2017

證明正定矩陣的伴隨矩陣 (adjugate) 也是一個正定矩陣。

Prove that if A is a real symmetric positive definite then \hbox{adj}A is also a symmetric positive definite matrix.

繼續閱讀

張貼在 pow 二次型, 每週問題 | 標記 , | 發表留言

2017 年大學學測的線性代數問題

網友周伯欣轉來2017年大學學測的一道線性代數問題

a_1,\ldots,a_9 為等差數列,且 k 為實數,若方程組

\left\{\begin{aligned}  a_1x-a_2y+2a_3z&=k+1\\  a_4x-a_5y+2a_6z&=-k-5\\  a_7x-a_8y+2a_9z&=k+9  \end{aligned}\right.

有解,則 k=?

網友周伯欣分享了他的解答:https://goo.gl/photos/WVfF3Kg5LzWNcHUSA並問道:周老師有興趣談談今年大學學測的一次方程組題目嗎?

繼續閱讀

張貼在 隨筆雜談 | 2 則迴響

文字超脫現實的魔幻魅力──細品《陰陽師》

哈洛‧卜倫(Harold Bloom)說:「善於閱讀是獨處所能帶來最大的樂趣之一,因為這種樂趣最能撫慰人心。」當我們困在一輛壅堵於車陣的巴士裡,閱讀日本作家夢枕獏的小說系列《陰陽師》引領我們超脫現實進入幻境或可稍減無聊煩悶之苦。

 
〈迷神〉開頭寫道:

櫻花盛開了。愈是沉沉低垂的樹枝,愈是密密麻麻地開滿櫻花。

沒有風。連吹動一片櫻花花瓣的風都沒有。陽光自青空照射在櫻花上。

安倍晴明宅邸──源博雅坐在窄廊,與晴明一起觀看庭院中那株櫻花。兩人面前,有盛酒的酒瓶與兩只酒杯。酒杯是黑玉製的高腳杯。那是夜光杯。

繼續閱讀

張貼在 無關線代 | 發表留言

高斯混合模型與最大期望算法

本文的閱讀等級:中級

假設你知道一個連續型隨機向量 \mathbf{x} 的機率密度函數 (以下簡稱密度函數) p(\mathbf{x}|\boldsymbol{\theta}) 受一組參數 \boldsymbol{\theta} 制約。譬如,常態分布 (高斯分布) 的密度函數 \mathcal{N}(\mathbf{x}|\boldsymbol{\mu},\Sigma) 受期望值 \boldsymbol{\mu} 與共變異數矩陣 \Sigma 制約,常態分布的參數為 \boldsymbol{\theta}=\{\boldsymbol{\mu},\Sigma\} (見“多變量常態分布”)。為了估計機率模型的參數,你需要取得該機率分布的樣本。假設我們有一筆大小為 n 的樣本 \mathcal{X}=\{\mathbf{x}_i\}_{i=1}^n,這些數據點是獨立的,而且服從相同的機率分布 p。最大似然估計 (maximum likelihood estimation) 是一種常用的參數估計法。對於給定的樣本 \mathcal{X},參數 \boldsymbol{\theta} 的似然函數 (likelihood) 定義為

\displaystyle  \mathcal{L}(\boldsymbol{\theta}|\mathcal{X})=p(\mathcal{X}|\boldsymbol{\theta})=\prod_{i=1}^np(\mathbf{x}_i|\boldsymbol{\theta})

也就是說似然函數是給定參數後,樣本的條件密度函數。在樣本 \mathcal{X} 固定的情形下,我們將似然函數看作 \boldsymbol{\theta} 的一個函數。顧名思義,最大似然估計的目標要找出 \boldsymbol{\theta}^\ast 使得 \mathcal{L} 有最大值:

\displaystyle  \boldsymbol{\theta}^\ast=\arg\max_{\boldsymbol{\theta}}\mathcal{L}(\boldsymbol{\theta}|\mathcal{X})

對數 \log 是一個單調遞增函數,可知 \mathcal{L} 的最大值與 \log\mathcal{L} 的最大值發生在同一個 \boldsymbol{\theta}^\ast。在實際應用時,我們通常考慮較易於計算的 \log\mathcal{L}(\boldsymbol{\theta}|\mathcal{X})。對於某些機率分布,最大似然估計很容易求得,譬如常態分布,計算 \log\mathcal{L}(\{\boldsymbol{\mu},\Sigma\}|\mathcal{X})\boldsymbol{\mu}\Sigma 的偏導數並設為零,可得代數解 (見“多變量常態分布的最大似然估計”)。不過,對於一些形式較為複雜的機率分布,最大似然估計未必存在代數解,這時我們必須使用迭代法計算。

繼續閱讀

張貼在 機器學習 | 標記 , , , , , | 2 則迴響