Tag Archives: 因素負荷

因素分析

本文的閱讀等級:高級 因素分析 (factor analysis) 是統計學中一種多變量分析法。因素分析與主成分分析具有一些相同的概念與技巧,但兩者的建模推理方向相反。假設可量測的隨機向量 服從一個未知的機率分布 ,期望值為 ,共變異數矩陣為 ,。主成分分析的主要功用是降維 (dimension reduction),我們從原始的變數 構築一組新變數 ,。具體地說,低維隨機向量 由離差 (deviation) 的線性映射產生: , 其中 是一個 階矩陣滿足 (見“主成分分析”)。在因素分析,我們設想隨機向量 的資料生成模型 (generative model) 為 , 其中 是一組無法量測的隱藏變數,稱為隱藏因素 (hidden factor)、共同因素 (common factor) 或簡稱因素, 是一個 階變換矩陣[1], 是代表雜音的隨機向量。本文討論的問題包括: 因素分析如何描述多隨機變數的產生? 如何估計因素分析的模型參數? 因素分析如何解釋隱藏因素的涵義? 因素分析如何應用於降維? … Continue reading

Posted in 機器學習 | Tagged , , , | Leave a comment

答Regan Yuan──關於主成分分析的奇異值分解算法

網友Regan Yuan留言: 老师您好,首先对您以往的支持和耐心详细的讲解,表示由衷的敬意和感谢!再次虚心请教老师一个问题,对于采用singular value decomposition的principal components analysis算法,最近总是有些搞不清,能否提供一个具体的例子呢?比如下面这个问题:五个学生 (5 cases or observations) 的跳高,跳远,乒乓球三门具有相关性的体育成绩 (3 variables or dimensions) 的 矩阵, , 用PCA进行降维度,具体解决方法如何?请明示,谢谢您!祝您开心每一天!

Posted in 答讀者問, 應用之道 | Tagged , , , | 31 Comments

主成分分析與奇異值分解

本文的閱讀等級:高級 給定一份樣本大小為 的數據 ,其中 是 維實向量,記錄 個變數的觀測值。所有的數據點 扣除平均數向量 可得 階離差矩陣 (deviation matrix) ,表示如下: , 其中 是第 個數據點的第 個變數值,也就是說, 的每一列 (row) 對應一個數據點,每一行 (column) 對應一個變數。假設 不存在常數行,即每個變數總是存在若干變異。如欲將數據予以標準化 (每一變數的平均數等於 ,變異數等於 ),將 的每一行的所有元除以該變數的樣本標準差 (樣本變異數的平方根),即有 , 其中 是第 個變數的樣本變異數, 是第 個變數的樣本平均數 (見“樣本平均數、變異數和共變異數”)。令 。標準化後的離差矩陣可表示為 。當數據集的變數總數 很大或變數具有相關性時,主成分分析 (principal … Continue reading

Posted in 線性代數專欄, 二次型 | Tagged , , , , , , , , , , | 4 Comments