de Moivre-Laplace 定理與大數定律

本文的閱讀等級:初級

在伯努利試驗 (Bernoulli trials),設事件 A 發生的機率為 p,即 P(A)=pP(A^c)=q=1-p,在 n 次實驗中,事件 A 出現 k 次的機率為 (見“伯努利試驗”)

\displaystyle P_n(k)=\binom{n}{k}p^kq^{n-k}=\frac{n!}{k!\,(n-k)!}p^kq^{n-k}

本文討論兩個問題:當 n 很大時,如何簡化 P_n(k) 的計算?從機率的頻率觀點,\frac{k}{n} 近似 p 是依據甚麼理論?

 
de Moivre-Laplace 定理

npq\gg 1k 鄰近 np (差距數量級為 \sqrt{npq}),則

\displaystyle P_n(k)=\binom{n}{k}p^kq^{n-k}\simeq\frac{1}{\sqrt{2\pi npq}}e^{-\frac{(k-np)^2}{2npq}}

這個漸近定理稱為 de Moivre-Laplace 定理,可以這麼說:當 n\to\infty,上式等號兩邊的比值趨近於 1。de Moivre-Laplace 定理的證明步驟相當繁複,請讀者參閱附註[1]。de Moivre-Laplace 定理可推廣至多個事件。對於 i=1,\ldots,r,設事件 A_i 的機率為 p_ip_1+\cdots+p_r=1。在 n 次實驗中,事件 A_i 發生 k_i 次,k_1+\cdots+k_r=n,的機率近似公式為

\displaystyle P_n(k_1,\ldots,k_r)=\frac{n!}{k_1!\cdots k_r!}p_1^{k_1}\cdots p_r^{k_r}\simeq\frac{\exp\left(-\frac{1}{2}\left(\frac{(k_1-np_1)^2}{np_1}+\cdots+\frac{(k_r-np_r)^2}{np_r}\right)\right)}{\sqrt{(2\pi n)^{r-1}p_1\cdots p_r}}

r=2,上式退化為 de Moivre-Laplace 定理。

 
例1. 投擲一枚公正硬幣10次,出現5次正面的機率是多少?考慮伯努利試驗,p=q=0.5n=10k=5,計算 P_n(k)。使用精確公式,

\displaystyle P_{10}(5)=\frac{10!}{5!\,5!}\frac{1}{2^{10}}=0.2461

使用近似公式,

\displaystyle P_{10}(5)\simeq\frac{1}{\sqrt{2\pi\cdot 2.5}}e^{-(5-10\cdot 0.5)^2/(2\cdot 2.5)}=\frac{1}{\sqrt{5\pi}}=0.2523

這個例子顯示即便在 n 的數值不大的情形下,DeMoivre-Laplace 定理給出的近似值也有令人滿意的精確度。下面以近似公式計算當 n=100k=50,以及 n=1000k=500 的伯努利試驗的機率:

\displaystyle\begin{aligned} P_{100}(50)&\simeq\frac{1}{\sqrt{50\pi}}=0.0798\\ P_{1000}(500)&\simeq\frac{1}{\sqrt{500\pi}}=0.0252. \end{aligned}

隨著擲幣次數 n 增大,出現 k=\frac{n}{2} 次正面的機率跟著下降。

 
接著我們討論 de Moivre-Laplace 定理的機率近似公式。在機率學中,高斯函數 (Gauss function) 是一個非常重要的函數,定義如下:

\displaystyle g(x)=\frac{1}{\sqrt{2\pi}}e^{-\frac{x^2}{2}}

下式稱為高斯積分:

\displaystyle G(x)=\int_{-\infty}^x g(t)dt=\frac{1}{\sqrt{2\pi}}\int_{-\infty}^x e^{-\frac{t^2}{2}}dt

我們可以證明 G(\infty)=1 (見“共變異數矩陣與常態分布”,附註2)。因為 g(-x)=g(x),可知 G(-x)=1-G(x)。de Moivre-Laplace 定理的機率公式可用高斯函數表示:

\displaystyle \binom{n}{k}p^kq^{n-k}\simeq \frac{1}{\sqrt{2\pi npq}}\,e^{-\frac{(k-np)^2}{2npq}}=\frac{1}{\sqrt{npq}}\,g\left(\frac{k-np}{\sqrt{npq}}\right)

高斯函數 g(x)G(x) 的導數,或表示為增量變化,

\displaystyle g\left(\frac{k-np}{\sqrt{npq}}\right)\simeq \sqrt{npq}\left(G\left(\frac{k+0.5-np}{\sqrt{npq}}\right)-G\left(\frac{k-0.5-np}{\sqrt{npq}}\right)\right)

因此,P_n(k) 的高斯積分表達式為

\displaystyle P_n(k)=\binom{n}{k}p^kq^{n-k}\simeq G\left(\frac{k+0.5-np}{\sqrt{npq}}\right)-G\left(\frac{k-0.5-np}{\sqrt{npq}}\right)

使用上式可導出 P_n(k_1\le k\le k_2) 的近似公式,如下:

\displaystyle\begin{aligned} P_n(k_1\le k\le k_2)&=\sum_{k=k_1}^{k_2}\binom{n}{k}p^kq^{n-k}\\ &\simeq \sum_{k=k_1}^{k_2}\left(G\left(\frac{k+0.5-np}{\sqrt{npq}}\right)-G\left(\frac{k-0.5-np}{\sqrt{npq}}\right)\right)\\ &=G\left(\frac{k_2+0.5-np}{\sqrt{npq}}\right)-G\left(\frac{k_1-0.5-np}{\sqrt{npq}}\right). \end{aligned}

剩下的問題是計算高斯積分 G(x)。在科學與工程領域,誤差函數 (error function) 是一個常見的函數:

\displaystyle \hbox{erf}(x)=\frac{2}{\sqrt{\pi}}\int_0^xe^{-t^2}dt

給定 x\ge 0,查表可得 \hbox{erf}(x)[2]。下圖顯示誤差函數 \hbox{erf}(x) 的形式如S型函數 (sigmoid function),\hbox{erf}(-x)=1-\hbox{erf}(x)\hbox{erf}(0)=0\hbox{erf}(-\infty)=0\hbox{erf}(\infty)=1。高斯積分可用誤差函數表達,

\displaystyle G(x)=\frac{1}{\sqrt{2\pi}}\int_{-\infty}^xe^{-\frac{t^2}{2}}dt=\frac{1}{2}\left(1+\hbox{erf}\left(\frac{x}{\sqrt{2}}\right)\right)

Error_Function

誤差函數 From Wikimedia

 
例2. 投擲一枚公正硬幣100次,問出現40至60次正面的機率有多大?考慮伯努利試驗,p=q=0.5n=100k_1=40k_2=60。使用近似公式,

\displaystyle\begin{aligned} P_{100}(40\le k\le 60)&\simeq G\left(\frac{60+0.5-50}{\sqrt{25}}\right)-G\left(\frac{40-0.5-50}{\sqrt{25}}\right)\\ &=G(2.1)-G(-2.1)=2G(2.1)-1\\ &=\hbox{erf}\left(\frac{2.1}{\sqrt{2}}\right)=\hbox{erf}(1.4849)=0.9643. \end{aligned}

 
大數定律

 
根據機率的頻率觀點,設事件 A 發生的機率為 P(A)=p,若 n 次實驗中事件 A 發生 k 次,則 p\simeq \frac{k}{n},但這這並不表示 k 將會接近 np。事實上,根據 de Moivre-Laplace 定理,當 n\to\infty

\displaystyle P_n(np)\simeq\frac{1}{\sqrt{2\pi npq}}\to 0

這裡 \frac{k}{n}\simeq p 的意思是當 n\to\infty\frac{k}{n} 非常接近 p。大數定律 (law of large numbers) 是一個機率學定理[3]:對於任一 \epsilon>0,當 n\to\infty

\displaystyle P\left(\left|\frac{k}{n}-p\right|\le\epsilon\right)\to 1

證明於下:不等式 \vert \frac{k}{n}-p\vert\le\epsilon 等價於 n(p-\epsilon)\le k\le n(p+\epsilon)。令 k_1=n(p-\epsilon)k_2=n(p+\epsilon)。若 n 足夠大,

\displaystyle\begin{aligned} P\left(\left|\frac{k}{n}-p\right|\le\epsilon \right)&=P_n(k_1\le k\le k_2)\\ &=\sum_{k=k_1}^{k_2}\binom{n}{k}p^kq^{n-k}\\ &\simeq G\left(\frac{k_2+0.5-np}{\sqrt{npq}}\right)- G\left(\frac{k_1-0.5-np}{\sqrt{npq}}\right)\\ &=2G\left(\frac{\epsilon\sqrt{n}+0.5/\sqrt{n}}{\sqrt{pq}}\right)-1\\ &\simeq 2G\left( \epsilon \sqrt{\frac{n}{pq}}\right)-1. \end{aligned}

對於任一 \epsilon>0,當 n\to\infty\epsilon \sqrt{\frac{n}{pq}}\to\infty,也就有

\displaystyle P\left(\left|\frac{k}{n}-p\right|\le\epsilon \right)\simeq 2G\left(\epsilon\sqrt{\frac{n}{pq}}\right)-1\to 1

 
例3. 投擲一枚公正硬幣 n 次,求出 n 使得出現 0.49n0.51n 次正面的機率至少為 0.99?考慮伯努利試驗,p=q=0.5\epsilon=0.01。使用上面的近似公式,

\displaystyle\begin{aligned} P\left(\left|\frac{k}{n}-0.5\right|\le 0.01\right)&\simeq 2G\left(0.01\sqrt{\frac{n}{0.25}}\right)-1\\ &=\hbox{erf}\left(0.02\sqrt{\frac{n}{2}}\right)\ge 0.99. \end{aligned}

查表可得 0.02\sqrt{\frac{n}{2}}\ge =\hbox{erf}^{-1}(0.99)=1.822,因此 n\ge 16599

 
在伯努利試驗,若 npq\gg 1,我們可以用 de Moivre-Laplace 定理近似 k 次事件發生的機率 P_n(k)。然而,如果 np 的數量級為 1,具體地說,若 n\to\inftyp\to 0np\to\lambda,則 de Moivre-Laplace 定理不再適用,此情況下的近似定理稱為卜瓦松定理 (Poisson theorem),將留待討論機率分布時一併介紹。

 
附註:
[1] 維基百科:De Moivre–Laplace theorem
[2] 誤差函數線上計算器:Error Function Calculator
[3] 本文所述的大數定律稱為弱大數定律,一般以隨機變數的形式陳述。定義隨機變數 \mathbf{x}_i=1 若事件 A 發生於第 i 次試驗,否則 \mathbf{x}_i=0。當 n 趨於無限大,樣本平均數

\displaystyle \overline{\mathbf{x}}_n=\frac{\mathbf{x}_1+\cdots+\mathbf{x}_n}{n}

依機率收斂於 p,也就是說,對於任一 \epsilon>0,當 n\to\infty

\displaystyle P\left(\vert\overline{\mathbf{x}}_n-p\vert\le\epsilon\right)\to 1

繼續閱讀:
廣告
本篇發表於 機率統計 並標籤為 , , , 。將永久鏈結加入書籤。

發表迴響

在下方填入你的資料或按右方圖示以社群網站登入:

WordPress.com Logo

您的留言將使用 WordPress.com 帳號。 登出 / 變更 )

Twitter picture

您的留言將使用 Twitter 帳號。 登出 / 變更 )

Facebook照片

您的留言將使用 Facebook 帳號。 登出 / 變更 )

Google+ photo

您的留言將使用 Google+ 帳號。 登出 / 變更 )

連結到 %s