## 曲線配適

$\begin{matrix} \hline x_i&\vert&1&2&3&5\\ \hline y_i&\vert&2&3&5&8 \\ \hline \end{matrix}$

\begin{aligned} b_0+b_1&=2\\ b_0+2b_1&=3\\ b_0+3b_1&=5\\ b_0+5b_1&=8\end{aligned}

\begin{aligned} E(b_0,b_1)\displaystyle&\overset{\underset{\mathrm{def}}{}}{=}\sum_{i=1}^ne_i^2=\sum_{i=1}^n(y_i-{b_0}-{b_1}x_i)^2\end{aligned}

\begin{aligned} \displaystyle\frac{\partial E}{\partial{b_0}}&=-2\sum_{i=1}^n(y_i-{b_0}-{b_1}x_i)=0\\ \frac{\partial E}{\partial{b_1}}&=-2\sum_{i=1}^n(y_i-{b_0}-{b_1}x_i)x_i=0\end{aligned}

\begin{aligned} nb_0+\displaystyle\left(\sum_{i=1}^nx_i\right)b_1&=\sum_{i=1}^ny_i\\ \left(\sum_{i=1}^nx_i\right)b_0+\left(\sum_{i=1}^nx_i^2\right)b_1&=\sum_{i=1}^nx_iy_i\end{aligned}

$\begin{bmatrix} n&\sum_{i}x_i\\ \sum_{i}x_i&\sum_{i}x_i^2 \end{bmatrix}\begin{bmatrix} b_0\\ b_1 \end{bmatrix}=\begin{bmatrix} \sum_{i}y_i\\ \sum_{i}x_iy_i \end{bmatrix}$

$\begin{bmatrix} e_1\\ \vdots\\ e_n \end{bmatrix}=\begin{bmatrix} y_1\\ \vdots\\ y_n \end{bmatrix}-\begin{bmatrix} 1&x_1\\ \vdots&\vdots\\ 1&x_n \end{bmatrix}\begin{bmatrix} b_0\\ b_1 \end{bmatrix}$

$E(\mathbf{b})=\Vert\mathbf{y}-X\mathbf{b}\Vert^2$

$X^TX\hat{\mathbf{b}}=X^T\mathbf{y}$

\begin{aligned} X^TX&=\displaystyle\begin{bmatrix} 1&\cdots&1\\ x_1&\cdots&x_n \end{bmatrix}\begin{bmatrix} 1&x_1\\ \vdots&\vdots\\ 1&x_n \end{bmatrix}=\begin{bmatrix} n&\sum_{i}x_i\\ \sum_{i}x_i&\sum_{i}x_i^2 \end{bmatrix}\end{aligned}

\begin{aligned} X^T\mathbf{y}&=\begin{bmatrix} 1&\cdots&1\\ x_1&\cdots&x_n \end{bmatrix}\begin{bmatrix} y_1\\ \vdots\\ y_n \end{bmatrix}=\begin{bmatrix} \sum_{i}y_i\\ \sum_{i}x_iy_i \end{bmatrix}\end{aligned}

$X=\begin{bmatrix} 1&1\\ 1&2\\ 1&3\\ 1&5 \end{bmatrix},~\hat{\mathbf{b}}=\begin{bmatrix} \hat{b}_0\\ \hat{b}_1 \end{bmatrix},~\mathbf{y}=\begin{bmatrix} 2\\ 3\\ 5\\ 8 \end{bmatrix}$

$\begin{bmatrix} 4&11\\ 11&39 \end{bmatrix}\begin{bmatrix} \hat{b}_0\\ \hat{b}_1 \end{bmatrix}=\begin{bmatrix} 18\\ 63 \end{bmatrix}$

$\displaystyle y=\frac{9}{35}+\frac{54}{35}x$

$y=b_1\phi_1(x)+\cdots+b_k\phi_k(x)$

\begin{aligned} b_1\phi_1(x_1)+b_2\phi_2(x_1)+\cdots+b_k\phi_k(x_1)&=y_1\\ b_1\phi_1(x_2)+b_2\phi_2(x_2)+\cdots+b_k\phi_k(x_2)&=y_2\\ &\vdots\\ b_1\phi_1(x_n)+b_2\phi_2(x_n)+\cdots+b_k\phi_k(x_n)&=y_n\end{aligned}

$X=\begin{bmatrix} \phi_1(x_1)&\phi_2(x_1)&\cdots&\phi_k(x_1)\\ \vdots&\vdots&\ddots&\vdots\\ \phi_1(x_n)&\phi_2(x_n)&\cdots&\phi_k(x_n) \end{bmatrix},~\mathbf{b}=\begin{bmatrix} b_1\\ \vdots\\ b_k \end{bmatrix},~\mathbf{y}=\begin{bmatrix} y_1\\ \vdots\\ y_n \end{bmatrix}$

$X^TX=\begin{bmatrix} \sum_{i}\phi_1(x_i)\phi_1(x_i)& \sum_{i}\phi_1(x_i)\phi_2(x_i)&\cdots&\sum_{i}\phi_1(x_i)\phi_k(x_i)\\ \vdots&\vdots&\ddots&\vdots\\ \sum_{i}\phi_k(x_i)\phi_1(x_i)& \sum_{i}\phi_k(x_i)\phi_2(x_i)&\cdots&\sum_{i}\phi_k(x_i)\phi_k(x_i) \end{bmatrix}$

$X^T\mathbf{y}$$k$ 維向量，

$X^T\mathbf{y}=\begin{bmatrix} \sum_{i}\phi_1(x_i)y_i\\ \vdots\\ \sum_{i}\phi_k(x_i)y_i \end{bmatrix}$

$X$ 的行向量線性獨立，$\mathrm{rank}X=k$，正規方程式便有唯一解

$\hat{\mathbf{b}}=(X^TX)^{-1}X^T\mathbf{y}$

This entry was posted in 線性代數專欄, 應用之道 and tagged , , , , . Bookmark the permalink.

### 4 則回應給 曲線配適

1. Liang Dai 說：

周老师，用QR分解来计算那个正规方程的解比直接代入X与b计算有什么优势呢？

2. ccjou 說：

該文最後提到…
讀者或許納悶：以高斯消去法解線性方程式比 QR 分解簡單容易，何須如此費事呢？從表面上看，似乎如此。然而，在一些特定的問題中，QR 分解的精確度比高斯消去法高；另外，QR 分解有它自己的典型應用——求解最小平方法。

不過該文沒有提到…
$X$$m\times n$ 階，當 $m>>n$，正規方程僅使用約 QR 分解的一半運算量，儲存量也較少。

換句話說，選擇"正確"的方法是很困難的，沒有一定的答案，這件事到現在還是爭論不休。

3. ming 說：

老師，方程式的顯示壞掉了…

• ccjou 說：

出現黃色盒子的latex path not specified？WordPress的LaTeX rendering錯誤，但我用Chrome，IE11都可以顯示本文。