每週問題 January 16, 2017

這是兩個實對稱矩陣以相合變換同時可對角化問題。

Let A and B be n\times n real symmetric matrices, and C(\lambda)=\lambda A+(1-\lambda)B, \lambda\in\mathbb{R}. If there exists a \lambda\in[0,1] such that C(\lambda) is a positive semidefinite matrix and \hbox{null}\,C(\lambda)=\hbox{null}\,A\cap \hbox{null}\,B, then there exists a nonsingular matrix P such that both P^TAP and P^TBP are diagonal. Note that \hbox{null}\,X denotes the nullspace of X.

繼續閱讀

張貼在 pow 二次型, 每週問題 | 標記 , | 2 則迴響

因素分析

本文的閱讀等級:高級

因素分析 (factor analysis) 是統計學中一種多變量分析法。因素分析與主成分分析具有一些相同的概念與技巧,但兩者的建模推理方向相反。假設可量測的隨機向量 \mathbf{x}=(x_1,\ldots,x_p)^T 服從一個未知的機率分布 p(\mathbf{x}),期望值為 \hbox{E}[\mathbf{x}]=\boldsymbol{\mu}=(\mu_1,\ldots,\mu_p)^T,共變異數矩陣為 \hbox{cov}[\mathbf{x}]=\Sigma=[\sigma_{ij}]1\le i,j\le p。主成分分析的主要功用是降維 (dimension reduction),我們從原始的變數 x_1,\ldots,x_p 構築一組新變數 z_1,\ldots,z_k1\le k<p。具體地說,低維隨機向量 \mathbf{z}=(z_1,\ldots,z_k)^T 由離差 (deviation) \mathbf{x}-\boldsymbol{\mu} 的線性映射產生:

\displaystyle  \mathbf{z}=W^T(\mathbf{x}-\boldsymbol{\mu})

其中 W 是一個 p\times k 階矩陣滿足 W^TW=I_k (見“主成分分析”)。在因素分析,我們設想隨機向量 \mathbf{x} 的資料生成模型 (generative model) 如下:

\displaystyle   \mathbf{x}=\boldsymbol{\mu}+F\mathbf{z}+\boldsymbol{\epsilon}

其中 \mathbf{z}=(z_1,\ldots,z_k)^T 是一組無法量測的隱藏變數,稱為隱藏因素 (hidden factor)、共同因素 (common factor) 或簡稱因素,F 是一個 p\times k 階變換矩陣[1]\boldsymbol{\epsilon}=(\epsilon_1,\ldots,\epsilon_p)^T 是代表雜音的隨機向量。本文討論的問題包括:

  • 因素分析如何描述多隨機變數的產生?
  • 如何估計因素分析的模型參數?
  • 因素分析如何解釋隱藏因素的涵義?
  • 因素分析如何應用於降維?
  • 因素分析與主成分分析有哪些相同與相異的性質?

繼續閱讀

張貼在 機器學習 | 標記 , , , | 發表留言

主成分分析與低秩矩陣近似

本文的閱讀等級:高級

假設我們有一筆維數等於 p,樣本大小為 n 的數據 \{\mathbf{x}_1,\ldots,\mathbf{x}_n\},也就是說每一個數據點 \mathbf{x}_i=(x_{i1},\ldots,x_{ip})^T\in\mathbb{R}^p 包含 p 個變數的量測值。沿用統計學與數據科學的慣例 (見“數據矩陣的列與行”),定義 n\times p 階數據矩陣

X=\begin{bmatrix}  \mathbf{x}_1^T\\  \vdots\\  \mathbf{x}_n^T  \end{bmatrix}=\begin{bmatrix}  x_{11}&\cdots&x_{1p}\\  \vdots&\ddots&\vdots\\  x_{n1}&\cdots&x_{np}  \end{bmatrix}

其中 x_{ij} 代表第 j 個變數的第 i 個量測值,i=1,\ldots,nj=1,\ldots,p。在不造成混淆的情況下,以下用 x_j 表示第 j 個變數。如果數據包含大量的變數 (p 很大) 或者變數之間存在顯著的共線性關係[1],你可以設計一個從向量空間 \mathbb{R}^p 映至 \mathbb{R}^k 的線性映射,1\le k<p,數據點 \mathbf{x}_1,\ldots,\mathbf{x}_n 經映射後的像 (image) 構築另一筆變數較少且兩兩變數不存在線性相關性的新數據,這個方法稱為主成分分析 (principal components analysis)。從統計學的觀點,主成分分析的目的是找到少量的新變數,稱為降維 (dimension reduction),同時盡可能地保留變數的總變異量。從線性代數的觀點,主成分分析其實是一種矩陣近似法,我們希望得到一個最近似於原數據矩陣 X 的低秩 (low rank) 同尺寸矩陣。本文證明證明主成分分析與低秩矩陣近似在本質上是相同的問題。

繼續閱讀

張貼在 線性代數專欄, 應用之道 | 標記 , , , , | 發表留言

每週問題 January 9, 2017

這是一道線性變換的證明問題。

Let \mathcal{V} and \mathcal{W} be two vector spaces over the same field. Suppose F and G are two linear transformations \mathcal{V}\to \mathcal{W} such that for every \mathbf{x}\in\mathcal{V}, G(\mathbf{x}) is s scalar multiple (depending on \mathbf{x}) of F(\mathbf{x}). Prove that G is a scalar multiple of F.

繼續閱讀

張貼在 pow 線性變換, 每週問題 | 標記 | 發表留言

每週問題 January 2, 2017

A 是一個二階方陣且 \hbox{trace}A=0,證明存在一個么正 (unitary) 矩陣 U 使得 U^\ast AU 的主對角元為零。

Let A be a 2\times 2 matrix and \hbox{trace}A=0. Show that there exists a unitary matrix U such that the diagonal elements of U^\ast AU are equal to zero.

繼續閱讀

張貼在 pow 二次型, 每週問題 | 標記 , | 1 則迴響

每週問題 December 26, 2016

證明一個特殊非負矩陣的逆矩陣也是非負矩陣。

Let A be an n\times n real matrix. Show that A and A^{-1} have all elements nonnegative if and only if each row and each column of A has exactly one positive element and the rest of the elements are zeros.

繼續閱讀

張貼在 pow 線性方程與矩陣代數, 每週問題 | 標記 | 1 則迴響

約束最小平方問題

本文的閱讀等級:中級

A 為一個 m\times n 階實矩陣,\mathbf{b}\in\mathbb{R}^m。如果線性方程 A\mathbf{x}=\mathbf{b} 是不一致的 (即不存在解),實務的作法是將線性方程問題改為最小平方近似問題:

\displaystyle \min_{\mathbf{x}}\Vert A\mathbf{x}-\mathbf{b}\Vert^2

其中 \Vert A\mathbf{x}-\mathbf{b}\Vert 是2-範數 (見“向量範數”),即 A\mathbf{x}\mathbf{b} 的歐幾里得距離。根據正交原則,最小平方解 \hat{\mathbf{x}} 滿足正規方程 (normal equation) A^TA\hat{\mathbf{x}}=A^T\mathbf{b} (見“從線性變換解釋最小平方近似”)。若 \hbox{rank}A=n,也就是說 A 的行向量 (column vector) 構成一個線性獨立集合,則存在唯一的最小平方解

\displaystyle \hat{\mathbf{x}}=(A^TA)^{-1}A^T\mathbf{b}

如果最小平方解必須滿足某些限制條件,則稱為約束最小平方問題 (constrained least-squares problem)。本文討論兩種常出現在多種應用場合的約束形式。線性約束最小平方問題是指限制條件為線性方程:

\displaystyle \min_{C\mathbf{x}=\mathbf{d}}\Vert A\mathbf{x}-\mathbf{b}\Vert^2

其中 C 是一個 p\times n 階實矩陣,\mathbf{d}\in\mathbb{R}^p。正則 (regularized) 最小平方問題限制未知向量的長度必須固定:

\displaystyle \min_{\Vert\mathbf{x}\Vert=d}\Vert A\mathbf{x}-\mathbf{b}\Vert^2

繼續閱讀

張貼在 線性代數專欄, 內積空間 | 標記 , , , | 4 則迴響

每週問題 December 19, 2016

線性相關的向量集的一道線性組合問題。

Let \mathcal{V} be a vector space, \dim\mathcal{V}=n, and let \mathbf{x}_1,\ldots,\mathbf{x}_m\in\mathcal{V}. Prove that if m\ge n+2, then there exist scalars c_1,\ldots,c_m not all of them equal to zero such that \sum_{i=1}^mc_i\mathbf{x}_i=\mathbf{0} and \sum_{i=1}^mc_i=0.

繼續閱讀

張貼在 pow 向量空間, 每週問題 | 標記 , | 1 則迴響

每週問題 December 12 , 2016

這是關於半幻方 (semi-magic) 矩陣的分解式問題。

An n\times n matrix is said to be a semi-magic matrix if the sums of the rows and columns are all equal. Show that a semi-magic matrix A can be decomposed as A=B+C such that for integer k\ge 1,

A^k=B^k+C^k.

繼續閱讀

張貼在 pow 線性方程與矩陣代數, 每週問題 | 標記 | 發表留言

每週問題 December 5, 2016

給定正整數 k,證明任一矩陣 A 可分解為 A=B(B^\ast B)^k

Let A be any n\times n complex matrix. Show that for each positive integer k there exists a unique matrix B such that A=B(B^\ast B)^k.

繼續閱讀

張貼在 pow 二次型, 每週問題 | 標記 | 發表留言