伯努利試驗

本文的閱讀等級:初級

考慮投擲一枚硬幣,樣本空間為 \Omega=\{H,T\},其中 H (head) 表示擲出正面,T (tail) 表示擲出反面。設 P(\{H\})=p,則 P(\{T\})=1-P(\{H\})=1-p。任何一個參數 p\in[0,1] 都可定義合法的機率函數,因此存在無窮多個機率函數,我們應該挑選那一個?機率函數制定的目的是為了準確預測未來事件發生的可能性。假如投擲一枚硬幣非常多次,我們期待參數 p 等於正面出現的次數與總投擲次數的比值。統計學提供了運用實驗數據來選取參數 p 的方法,稱為估計。我們可以進行多次擲幣試驗,假如投擲一枚硬幣100次,共出現54次正面,可設 \hat{p}=0.54,以後便使用這個機率函數來預測未來的擲幣實驗結果 (見“機率學的基本語彙”)。本文討論這個估計方法背後的機率學基礎。

 
結合實驗

結合實驗 (combined experiments) 是機率學最有趣的應用之一,下面以一個例子說明。假設我們有兩個實驗:第一個實驗投擲一枚公正硬幣,樣本空間為 \Omega_1=\{H,T\}P_1(\{H\})=P_1(\{T\})=\frac{1}{2}。第二個實驗投擲一顆公正骰子,樣本空間為 \Omega_2=\{F_1,F_2,F_3,F_4,F_5,F_6\},其中 F_i 表示擲出點數 i,且 P_2(\{F_i\})=\frac{1}{6}i=1,\ldots,6。假設我們進行這兩個實驗,試問第一個實驗擲出正面 \{H\} 且第二個實驗擲出3點 \{F_3\} 的機率是多少?為簡化計算,我們可以做一個合理的假設:投擲一枚硬幣的結果獨立於投擲一顆骰子的結果,因此所求的機率為 \frac{1}{2}\cdot\frac{1}{6}=\frac{1}{12}。這是正確的推論,但裡面有一個漏洞。根據定義,兩個獨立事件必須是同一個樣本空間的子集合 (見“條件機率與貝氏定理”)。為了使上面的結論與理論吻合,我們在兩個實驗的樣本空間 \Omega_1\Omega_2 上建立一個包含 2\cdot 6=12 個元素的樣本空間

\Omega=\left\{\begin{array}{cccccc} HF_1&HF_2&HF_3&HF_4&HF_5&HF_6\\ TF_1&TF_2&TF_3&TF_4&TF_5&TF_6 \end{array}\right\}

A 表示硬幣擲出正面,B 表示骰子擲出3點。事件 A 的機率為

\displaystyle P(A)=P(\{HF_1,HF_2,HF_3,HF_4,HF_5,HF_6\})=P_1(\{H\})=\frac{1}{2}

事件 B 的機率為

\displaystyle  P(B)=P(\{HF_3,TF_3\})=P_2(\{F_3\})=\frac{1}{6}

而事件 A\cap B 的機率為 P(A\cap B)=P(\{HF_3\})=\frac{1}{12}。因為 P(A\cap B)=P(A)P(B),表明 AB 是獨立事件。上述結合兩個實驗的樣本空間有必要予以精確地規範。

 
笛卡爾積

給定兩個集合 ST,下列集合稱為笛卡爾積 (Cartesian product):

S\times T=\{(s,t)|s\in S, t\in T\}

其中 (s,t) 是一個有序對。如果 ST 是有限集合,\vert S\times T\vert=\vert T\times S\vert=\vert S\vert\cdot\vert T\vert。注意 S\times TT\times S 是不同的集合。例如,S=\{a,b\}T=\{c,d\},則有 S\times T=\{ac,ad,bc,bd\},但 T\times S=\{ca,cb,da,db\}。上例中,投擲硬幣的樣本空間 \Omega_1 與投擲骰子的樣本空間 \Omega_2 的笛卡爾積 \Omega=\Omega_1\times\Omega_2 即為結合實驗的樣本空間。下面再舉一個例子。

例1. 投擲一枚硬幣兩次,第一次擲幣的樣本空間為 \Omega_1=\{H,T\},第二次擲幣的樣本空間為 \Omega_2=\{H,T\},則擲幣兩次的樣本空間為 \Omega_1\times\Omega_2=\{HH,HT,TH,TT\}。如果我們將投擲一枚硬幣兩次看作一個實驗,也可以立刻寫出樣本空間 \Omega

 
笛卡爾積不僅可由兩個集合定義出來,同樣也適用於兩個子集合。因此,任兩個事件 (未必定義於相同的樣本空間) 都可以定義笛卡爾積。考慮 \Omega=\Omega_1\times\Omega_2。若事件 AB 分別定義於樣本空間 \Omega_1\Omega_2A\times B 是一個定義於 \Omega 的事件,且

\displaystyle A\times B=(A\times\Omega_2)\cap(\Omega_1\times B)

其中 A\times\Omega_2 表示定義於 \Omega_1 的事件 A 發生,不論 \Omega_2 的結果為何。類似地,\Omega_1\times B 表示定義於 \Omega_2 的事件 B 發生,不論 \Omega_1 的結果為何。對於這個結合實驗,

\displaystyle P(A\times\Omega_2)=P_1(A),~~P(\Omega_1\times B)=P_2(B)

其中 P_1(A) 是事件 A\Omega_1 的機率,P_2(B) 是事件 B\Omega_2 的機率。

 
例2. 若 \Omega_1=\{H,T\}\Omega_2=\{F_1,F_2,F_3,F_4,F_5,F_6\},且 A=\{H\}B=\{F_1,F_2\},則 A\times B=\{HF_1,HF_2\}。另一方面,

\begin{aligned} A\times \Omega_2&=\{HF_1,HF_2,HF_3,HF_4,HF_5,HF_6\}\\ \Omega_1\times B&=\{HF_1,HF_2,TF_1,TF_2\},\end{aligned}

取交集即可得到 A\times B

 
獨立實驗

A\Omega_1 上的事件,B\Omega_2 上的事件。我們稱 AB 為獨立事件,若

\displaystyle P(A\times B)=P(A\times \Omega_2)P(\Omega_1\times B)=P_1(A)P_2(B)

 
例3. 我們有兩個甕。第一個甕有3顆紅球和2顆白球,第二個甕有 3 顆紅球和 5 顆白球。從每個甕中各抽出一顆球。第一個甕與第二個甕都抽出紅球的機率是多少?

\Omega_1\Omega_2 分別代表第一個甕和第二個甕的樣本空間,且 R_1R_2 分別表示從第一個甕和第二個甕抽出一顆紅球。因為這是兩個獨立實驗,

\displaystyle P(R_1\times R_2)=P_1(R_1)P_2(R_2)=\frac{3}{5}\cdot\frac{3}{8}=\frac{9}{40}

 
結合實驗可推廣至 n 個實驗。設樣本空間為 \Omega_1,\ldots,\Omega_n,定義笛卡爾積 \Omega=\Omega_1\times\cdots\times\Omega_n。在結合實驗中,樣本空間 \Omega 的元素為 (\omega_1,\ldots,\omega_n),其中 \omega_i\in\Omega_i,事件的形式為 A_1\times\cdots\times A_n,其中 A_i\subset\Omega_i。設 P_i(A_i) 表示事件 A_i 發生的機率。若 A_1,\ldots,A_n 是獨立事件,則

\displaystyle P(A_1\times\cdots\times A_n)=P_1(A_1)\cdots P_n(A_n)

 
在機率學中,重複實驗有兩個不同的概念。設實驗的樣本空間為 \Omega,共進行 n 次實驗。第一個概念是相對頻率。一個事件 A 發生的機率 P(A) 近似 A 發生的次數 n_A 與總試驗次數 n 的比值。譬如,投擲一枚公正硬幣 n 次,n_A 表示擲出正面的次數。當 n 很大時,擲出正面的機率接近 \frac{n_A}{n}\simeq \frac{1}{2}。第二個概念建立在結合實驗的樣本空間 \Omega^n=\Omega\times\cdots\times\Omega ,每進行 n 次實驗表示一個試驗。如果 \Omega^n 的每一個元素有相同的機率,則定義於 \Omega^n 上的一個事件 A 發生的機率等於 P(A)=\frac{\vert A\vert}{\vert \Omega^n\vert}。譬如,投擲一枚公正硬幣 n 次的樣本空間包含 2^n 個元素且每一個元素出現的機率都等於 \frac{1}{2^n}。擲出 n_A 次正面的機率等於 \Omega^n 中所有出現 n_A 次正面的元素數與 2^n 的比值。

 
伯努利試驗

伯努利試驗 (Bernoulli trials) 是指一個實驗進行 n 次試驗,找出一個事件發生 k 次的機率。伯努利試驗的本質同於在 n 次擲幣試驗計算出現 k 次正面的機率。

 
例4. 投擲一枚公正硬幣 5 次,出現 2 次正面的機率是多少?

重複 5 次試驗的樣本空間為 \Omega^5,裡面包含 2^5 個結果。設 A 表示擲出 2 次正面,則

A=\left\{\begin{array}{c} HHTTT, HTHTT, HTTHT, HTTTH, THHTT, \\ THTHT, THTTH, TTHHT, TTHTH, TTTHH \end{array}\right\}

事實上,\vert A\vert 等於從 5 個元素中選出 2 個元素的組合數,\vert A\vert=\binom{5}{2}。因此,投擲硬幣 5 次,出現 2 次正面的機率為

\displaystyle P(A)=\frac{\vert A\vert}{\vert\Omega^5\vert}=\frac{\binom{5}{2}}{2^5}=\frac{10}{32}=\frac{5}{16}

 
我們考慮一般性的伯努利試驗。假設給定一個實驗,樣本空間為 \Omega,事件 A 發生的機率為 P(A)=p,且 P(A^c)=qp+q=1。換句話說,[A,A^c]\Omega 的一個分割。重複這個實驗 n 次的樣本空間為 \Omega^n=\Omega\times\cdots\times\Omega。令 P_n(k) 表示在 n 次試驗中,事件 A 出現 k 次的機率。我們可以證明

\displaystyle P_n(k)=\binom{n}{k}p^kq^{n-k}

其中 \binom{n}{k}=\frac{n!}{k!(n-k)!}。事件 A 按照某個特定的順序出現 k 次可表示為笛卡爾積 B_1\times\cdots B_n,其中 k 個事件 B_i 等於 A,其餘的 n-k 個事件等於 A^c。若 B_i=A,則 P(B_i)=p;若 B_i=A^c,則 P(B_i)=q。因為 B_1,\ldots,B_n 是獨立事件,事件 A 按照某個特定的順序出現 k 次的機率為

\displaystyle  P(B_1)\cdots P(B_n)=p^kq^{n-k}

若不考慮順序,在 n 次試驗中事件 A 出現 k 次的所有組合數等於 \binom{n}{k}。又所有的組合兩兩互斥,因此證明所求。

 
例5. 投擲一顆公正骰子 10 次,出現 2 次點數 6 的機率是多少?

A=\{6\},則 P(A)=\frac{1}{6}P(A^c)=\frac{5}{6}。因此,

\displaystyle P_{10}(2)=\binom{10}{2}\left(\frac{1}{6}\right)^2\left(\frac{5}{6}\right)^{8}=\frac{90}{2}\cdot\frac{5^8}{6^{10}}

 
利用伯努利試驗的機率公式 P_n(k),我們也可以回答事件 A 發生次數 k 介於 k_1k_2 之間的機率,記為 P_n(k_1\le k\le k_2)。因為 A 發生 i 次與 A 發生 j 次是互斥事件,i\neq j

\displaystyle P_n(k_1\le k\le k_2)=\sum_{k=k_1}^{k_2}P_n(k)=\sum_{k=k_1}^{k_2}\binom{n}{k}p^kq^{n-k}

 
例6. 一間便利商店的營業時間 (0,T) 內共有 100 個客人隨機進入。在期間 (t_1,t_2) 至少有 10 個客人來訪的機率是多少?

將樣本空間設為 \Omega=(0,T),設事件 A 表示一個客人在期間 (t_1,t_2) 進入商店,則 p=P(A)=\frac{t_2-t_1}{T}。因此,在 (t_1,t_2) 出現至少 10 個客人的機率為

\displaystyle  P_{n}(10\le k)=\sum_{k=10}^{100}\binom{100}{k}p^k(1-p)^{100-k}

 
n 次伯努利試驗中,事件 A 出現 k 次的機率 P_n(k)k 的函數,那麼使得 P_n(k) 最大的 k 值是多少?答案是

k^\ast=[(n+1)p]

其中 [\cdot] 是高斯符號代表不大於 (n+1)p 的最大整數。為比較相鄰兩個 k 值的機率,寫出

\displaystyle \frac{P_n(k-1)}{P_n(k)}=\frac{k(1-p)}{(n-k+1)p}

因為 P_n(k-1)<P_n(k) 等價於 k < (n+1)p,當 k 增大,P_n(k) 隨之增大,直到 k=[(n+1)p]。若 k>(n+1)p,則 P_n(k) 隨著 k 增大而減小。

 
假設我們不確知伯努利試驗中事件 A 發生的機率 p,譬如,投擲一枚硬幣出現正面的機率。如果進行 n 次實驗,事件 A 發生了 k 次,我們可以用實驗數據來估計 p 值。值得注意的是合理的估計方法並非唯一,這裡介紹一個方法,稱為最大似然估計 (maximum likelihood estimation)。我們選擇的估計值 \hat{p} 使得 n 次實驗中事件 A 發生 k 次的機率最大。換句話說,\hat{p} 滿足下面兩個不等式:

\displaystyle \frac{P_n(k-1)}{P_n(k)}< 1,~~\frac{P_n(k)}{P_n(k+1)}>1

等價於

\displaystyle \frac{k(1-\hat{p})}{(n-k+1)\hat{p}}< 1,~~\frac{(k+1)(1-\hat{p})}{(n-k)\hat{p}}>1

合併兩式,整理可得

\displaystyle \frac{k}{n+1}< \hat{p}< \frac{k+1}{n+1}

不令人意外,\hat{p}=\frac{k}{n} 滿足這個條件。

 
例7. 一個工廠生產的燈泡不良率為0.1%,在一批1,000個燈泡的出貨中最可能有幾顆瑕疵燈泡,機率又是多少?

因為 p=0.001n=1000,出貨中有 k 個瑕疵品的機率為

\displaystyle P_{1000}(k)=\binom{1000}{k}(0.001)^k(1-0.001)^{1000-k}

k=[(1000+1)\cdot 0.001]=1 有最大的機率。下面計算出貨中有 k 顆瑕疵燈泡的機率:對於 k=0,1,2,3

\displaystyle\begin{aligned} P_{1000}(0)&=0.3677\\ P_{1000}(1)&=0.3681\\ P_{1000}(2)&=0.1840\\ P_{1000}(3)&=0.0613. \end{aligned}

 
在工廠中,品管工程師的工作是確定每批產品的良率符合要求。為了降低成品,工程師從100,000個產品中抽出100個燈泡檢驗。假設抽驗樣本檢出1個瑕疵品。在不良率為0.1%的假設下 (產品的長期平均不良率),100個抽樣貨品檢出0個瑕疵品的機率為 P_{100}(0)=0.9048,檢出1個瑕疵品的機率為 P_{100}(1)=0.0906,換句話說,檢出0個瑕疵品的機率與檢出1個瑕疵品的機率比值約等於10,工程師因此懷疑這批貨品的實際不良率可能高於以往的產品。品管科長獲報後下令工程師再行抽驗100個燈泡,結果仍檢出1個瑕疵品。在主管會議上,廠長問:「有誰能告訴我這批貨品的不良率究竟是多少?」除非我們一一檢驗100,000個燈泡,否則這個問題的答案屬於留待日後討論的統計學範圍。

 
伯努利試驗可推廣至多個事件。設 [A_1,\ldots,A_r] 是樣本空間 \Omega 的一個分割,即 \Omega=A_1\cup\cdots\cup A_rA_1,\ldots,A_r 兩兩互斥。設 P(A_i)=p_ii=1,\ldots,r,且 p_1+\cdots+p_r=1。令 P_n(k_1,\ldots,k_r) 表示重複實驗 n 次,事件 A_i 出現 k_i 次,i=1,\ldots,r,的機率。明顯地,k_1+\cdots+k_r=n。因為每次實驗是獨立的,某一特定順序發生的機率為 p_1^{k_1}\cdots p_r^{k_r}。又所有可能的順序為組合數 n!/(k_1!\cdots k_r!),故

\displaystyle P_n(k_1,\ldots,k_r)=\frac{n!}{k_1!\cdots k_r!}p_1^{k_1}\cdots p_r^{k_r}

 
例8. 投擲一顆公正骰子 10 次,出現 2 次點數 6 以及 5 次奇數點的機率是多少?

A_1=\{6\}A_2=\{1,3,5\}A_3=\{2,4\},則 p_1=P(A_1)=\frac{1}{6}p_2=P(A_2)=\frac{3}{6},且 p_3=P(A_3)=\frac{2}{6}。因此,

\displaystyle P_{10}(2,5,3)=\frac{10!}{2!\, 5!\, 3!}\left(\frac{1}{6}\right)^2\left(\frac{1}{2}\right)^{5}\left(\frac{1}{3}\right)^3

 
在伯努利試驗中,當 n 很大時,發生 k 次事件 A 的機率 P_n(k)=\binom{n}{k}p^kq^{n-k} 的計算將變得十分複雜。下篇介紹 P_n(k) 的近似公式,並證明當 n 趨於無限大時,\frac{k}{n} 逼近 p

繼續閱讀:
This entry was posted in 機率統計 and tagged , , . Bookmark the permalink.

發表迴響

在下方填入你的資料或按右方圖示以社群網站登入:

WordPress.com Logo

你正使用 WordPress.com 帳號留言。 登出 / 變更 )

Twitter picture

你正使用 Twitter 帳號留言。 登出 / 變更 )

Facebook照片

你正使用 Facebook 帳號留言。 登出 / 變更 )

Google+ photo

你正使用 Google+ 帳號留言。 登出 / 變更 )

連結到 %s