Monthly Archives: January 2017

每週問題 January 30, 2017

證明反對稱矩陣的秩必為偶數。 Prove that the rank of a real skew-symmetric matrix is an even number. Advertisements

Posted in pow 二次型, 每週問題 | Tagged | Leave a comment

線性基函數模型

本文的閱讀等級:中級 在數理統計與機器學習,線性回歸 (linear regression) 是一種形式最簡單的回歸模型。令 表示輸入變數,或稱預測變數。輸入變數的線性組合再加上一個數即構成線性回歸: , 其中 是待決定的參數, 稱為偏權值 (bias), 是對應輸入變數 的權值 (weight)[1],。線性回歸既是權值 ,也是輸入變數 的一個線性函數,應用範疇因此受到很大的限制。在保留線性模型架構的前提下,如欲將線性回歸推廣為非線性函數,你可以考慮一組固定的非線性函數的線性組合: , 其中 稱為基函數 (basis function)。為簡化書寫,定義 。線性基函數模型 (linear basis function model) 的表達式如下: , 其中 , 是一個向量函數, 稱為基函數向量。由於 是權值 的線性函數,同時也是基函數 的線性函數,因此我們稱之為線性基函數模型。若 且 ,,線性基函數模型退化為線性回歸。如果使用非線性基函數, 實質上是輸入變數 的一個非線性函數。

Posted in 機器學習 | Tagged , , , , , , , , , , , | Leave a comment

每週問題 January 23, 2017

證明正定矩陣的伴隨矩陣 (adjugate) 也是一個正定矩陣。 Prove that if is a real symmetric positive definite then is also a symmetric positive definite matrix.

Posted in pow 二次型, 每週問題 | Tagged , | Leave a comment

2017 年大學學測的線性代數問題

網友周伯欣轉來2017年大學學測的一道線性代數問題: 設 為等差數列,且 為實數,若方程組 有解,則 網友周伯欣分享了他的解答:https://goo.gl/photos/WVfF3Kg5LzWNcHUSA並問道:周老師有興趣談談今年大學學測的一次方程組題目嗎?

Posted in 隨筆雜談 | 2 Comments

文字超脫現實的魔幻魅力──細品《陰陽師》

哈洛‧卜倫(Harold Bloom)說:「善於閱讀是獨處所能帶來最大的樂趣之一,因為這種樂趣最能撫慰人心。」當我們困在一輛壅堵於車陣的巴士裡,閱讀日本作家夢枕獏的小說系列《陰陽師》引領我們超脫現實進入幻境或可稍減無聊煩悶之苦。   〈迷神〉開頭寫道: 櫻花盛開了。愈是沉沉低垂的樹枝,愈是密密麻麻地開滿櫻花。 沒有風。連吹動一片櫻花花瓣的風都沒有。陽光自青空照射在櫻花上。 安倍晴明宅邸──源博雅坐在窄廊,與晴明一起觀看庭院中那株櫻花。兩人面前,有盛酒的酒瓶與兩只酒杯。酒杯是黑玉製的高腳杯。那是夜光杯。

Posted in 無關線代 | Leave a comment

高斯混合模型與最大期望算法

本文的閱讀等級:中級 假設你知道一個連續型隨機向量 的機率密度函數 (以下簡稱密度函數) 受一組參數 制約。譬如,常態分布 (高斯分布) 的密度函數 受期望值 與共變異數矩陣 制約,常態分布的參數為 (見“多變量常態分布”)。為了估計機率模型的參數,你需要取得該機率分布的樣本。假設我們有一筆大小為 的樣本 ,這些數據點是獨立的,而且服從相同的機率分布 。最大似然估計 (maximum likelihood estimation) 是一種常用的參數估計法。對於給定的樣本 ,參數 的似然函數 (likelihood) 定義為 , 也就是說似然函數是給定參數後,樣本的條件密度函數。在樣本 固定的情形下,我們將似然函數看作 的一個函數。顧名思義,最大似然估計的目標要找出 使得 有最大值: 。 對數 是一個單調遞增函數,可知 的最大值與 的最大值發生在同一個 。在實際應用時,我們通常考慮較易於計算的 。對於某些機率分布,最大似然估計很容易求得,譬如常態分布,計算 對 和 的偏導數並設為零,可得代數解 (見“多變量常態分布的最大似然估計”)。不過,對於一些形式較為複雜的機率分布,最大似然估計未必存在代數解,這時我們必須使用迭代法計算。

Posted in 機器學習 | Tagged , , , , , | 3 Comments

每週問題 January 16, 2017

這是兩個實對稱矩陣以相合變換同時可對角化問題。 Let and be real symmetric matrices, and , . If there exists a such that is a positive semidefinite matrix and , then there exists a nonsingular matrix such that both and are diagonal. Note that denotes the nullspace … Continue reading

Posted in pow 二次型, 每週問題 | Tagged , | 10 Comments

因素分析

本文的閱讀等級:高級 因素分析 (factor analysis) 是統計學中一種多變量分析法。因素分析與主成分分析具有一些相同的概念與技巧,但兩者的建模推理方向相反。假設可量測的隨機向量 服從一個未知的機率分布 ,期望值為 ,共變異數矩陣為 ,。主成分分析的主要功用是降維 (dimension reduction),我們從原始的變數 構築一組新變數 ,。具體地說,低維隨機向量 由離差 (deviation) 的線性映射產生: , 其中 是一個 階矩陣滿足 (見“主成分分析”)。在因素分析,我們設想隨機向量 的資料生成模型 (generative model) 為 , 其中 是一組無法量測的隱藏變數,稱為隱藏因素 (hidden factor)、共同因素 (common factor) 或簡稱因素, 是一個 階變換矩陣[1], 是代表雜音的隨機向量。本文討論的問題包括: 因素分析如何描述多隨機變數的產生? 如何估計因素分析的模型參數? 因素分析如何解釋隱藏因素的涵義? 因素分析如何應用於降維? … Continue reading

Posted in 機器學習 | Tagged , , , | Leave a comment

主成分分析與低秩矩陣近似

本文的閱讀等級:高級 假設我們有一筆維數等於 ,樣本大小為 的數據 ,也就是說每一個數據點 包含 個變數的量測值。沿用統計學與數據科學的慣例 (見“數據矩陣的列與行”),定義 階數據矩陣 , 其中 代表第 個變數的第 個量測值,,。在不造成混淆的情況下,以下用 表示第 個變數。如果數據包含大量的變數 ( 很大) 或者變數之間存在顯著的共線性關係[1],你可以設計一個從向量空間 映至 的線性映射,,數據點 經映射後的像 (image) 構築另一筆變數較少且兩兩變數不存在線性相關性的新數據,這個方法稱為主成分分析 (principal components analysis)。從統計學的觀點,主成分分析的目的是找到少量的新變數,稱為降維 (dimension reduction),同時盡可能地保留變數的總變異量。從線性代數的觀點,主成分分析其實是一種矩陣近似法,我們希望得到一個最近似於原數據矩陣 的低秩 (low rank) 同尺寸矩陣。本文證明證明主成分分析與低秩矩陣近似在本質上是相同的問題。

Posted in 線性代數專欄, 應用之道 | Tagged , , , , | Leave a comment

每週問題 January 9, 2017

這是一道線性變換的證明問題。 Let and be two vector spaces over the same field. Suppose and are two linear transformations such that for every , is s scalar multiple (depending on ) of . Prove that is a scalar multiple of .

Posted in pow 線性變換, 每週問題 | Tagged | Leave a comment