## 最小平方法於圖形比對的應用

\begin{aligned} T(x_1,x_1)&=\begin{bmatrix} w_{11}&w_{12}\\ w_{21}&w_{22} \end{bmatrix}\begin{bmatrix} x_1\\ x_2 \end{bmatrix}+\begin{bmatrix} w_{10}\\ w_{20} \end{bmatrix}=\begin{bmatrix} w_{10}&w_{11}&w_{12}\\ w_{20}&w_{21}&w_{22} \end{bmatrix}\begin{bmatrix} 1\\ x_1\\ x_2 \end{bmatrix}\\ &=\begin{bmatrix} w_{10}+w_{11}x_1+w_{12}x_2\\ w_{20}+w_{21}x_1+w_{22}x_2 \end{bmatrix},\end{aligned}

\displaystyle\begin{aligned} E&=\sum_{i=1}^n\left\Vert\begin{bmatrix} y_{i1}\\ y_{i2} \end{bmatrix}-T(x_{i1},x_{i2})\right\Vert^2\\ &=\sum_{i=1}^n(y_{i1}-w_{10}-w_{11}x_{i1}-w_{12}x_{i2})^2+\sum_{i=1}^n(y_{i2}-w_{20}-w_{21}x_{i1}-w_{22}x_{i2})^2.\end{aligned}

$X=\begin{bmatrix} 1&x_{11}&x_{12}\\ 1&x_{21}&x_{22}\\ \vdots&\vdots&\vdots\\ 1&x_{n1}&x_{n2} \end{bmatrix},~~~Y=\begin{bmatrix} \mathbf{y}_1&\mathbf{y}_2 \end{bmatrix}=\begin{bmatrix} y_{11}&y_{12}\\ y_{21}&y_{22}\\ \vdots&\vdots\\ y_{n1}&y_{n2} \end{bmatrix}$

$\displaystyle E=\left\Vert\mathbf{y}_1-X\begin{bmatrix} w_{10}\\ w_{11}\\ w_{12} \end{bmatrix}\right\Vert^2+ \left\Vert\mathbf{y}_2-X\begin{bmatrix} w_{20}\\ w_{21}\\ w_{22} \end{bmatrix}\right\Vert^2$

$\begin{bmatrix} \hat{w}_{10}\\ \hat{w}_{11}\\ \hat{w}_{12} \end{bmatrix}=(X^TX)^{-1}X^T\mathbf{y}_1,~~~\begin{bmatrix} \hat{w}_{20}\\ \hat{w}_{21}\\ \hat{w}_{22} \end{bmatrix}=(X^TX)^{-1}X^T\mathbf{y}_2$

$\begin{bmatrix} \hat{w}_{10}&\hat{w}_{20}\\ \hat{w}_{11}&\hat{w}_{21}\\ \hat{w}_{12}&\hat{w}_{22}\end{bmatrix}=(X^TX)^{-1}X^T\begin{bmatrix} \mathbf{y}_1&\mathbf{y}_2 \end{bmatrix}=(X^TX)^{-1}X^TY$

$\begin{bmatrix} \hat{w}_{10}&\hat{w}_{11}&\hat{w}_{12}\\ \hat{w}_{20}&\hat{w}_{21}&\hat{w}_{22} \end{bmatrix}=Y^TX(X^TX)^{-1}$

\begin{aligned} E^{\ast}&=\left\Vert(I-X(X^TX)^{-1}X^T)\mathbf{y}_1\right\Vert^2+\left\Vert(I-X(X^TX)^{-1}X^T)\mathbf{y}_2\right\Vert^2\\ &=\left\Vert(I-X(X^TX)^{-1}X^T)Y\right\Vert^2_F\\ &=\left\Vert Y-X(X^TX)^{-1}X^TY\right\Vert^2_F,\end{aligned}

(1) 圖P的所有界標座標 (即 $X$ 的兩個行向量) 經仿射變換 $T$ 映射至 $X(X^TX)^{-1}X^TY$，最小目標函數 $E^{\ast}$ 即是圖Q的座標矩陣 $Y$ 和映射結果 $X(X^TX)^{-1}X^TY$ 的差距矩陣範數平方。

(2) $3\times 3$ 階矩陣 $X(X^TX)^{-1}X^T$$X$ 的行空間的正交投影矩陣，因此 $X(X^TX)^{-1}X^TY$ 也可以解釋為圖Q座標矩陣 $Y$ 的兩個行向量 $\mathbf{y}_1$$\mathbf{y}_2$$X$ 行空間的正交投影。

(3) 若 $n=3$ 且圖P的3個界標點不在一直線上，$X$ 是可逆矩陣，則 $X(X^TX)^{-1}X^T=I$，不論 $Y$ 的數值為何，$E^{\ast}=0$

(4) 為了方便，我們可以定義圖P和圖Q的距離如下：

$\mathrm{dist}(P,Q)=\Vert Y-X(X^TX)^{-1}X^TY\Vert_F$

### 2 Responses to 最小平方法於圖形比對的應用

1. 張盛東 說道：

老師，請問一下統計學中的線性回歸，無論是單變數還是多變數，本質上都只是最小平方的延伸？

• ccjou 說道：

線性回歸因為有不同的模型假設與目標函數，所以存在很多種參數估計方法，最小平方(ordinary least squares)是最常用的方法之一。如果樣本誤差服從常態分佈，最大概似估計(max likelihood estimation)給出的估計方式即為最小平方。

維基百科列舉了很多其他估計方法，請參考：
http://en.wikipedia.org/wiki/Linear_regression