## 條件機率與貝氏定理

$\displaystyle \frac{1}{\binom{30}{20}}=\frac{1}{30,045,015}=3.32\times 10^{-8}$

$\displaystyle P(A|C)=\frac{P(A\cap C)}{P(C)}$

• $A\cap C=\emptyset$，則 $P(A|C)=0$
• $C\subset A$，則 $A\cap C=C$，故 $P(A|C)=P(C)/P(C)=1$
• $A\subset C$，則 $A\cap C=A$，故 $P(A|C)=P(A)/P(C)\ge P(A)$。不等式是因為 $P(C)\le 1$

\displaystyle\begin{aligned} P(A|B)&=\frac{P(A\cap B)}{P(B)}=\frac{\frac{1}{6}}{\frac{3}{6}}=\frac{1}{3},\\ P(B|A)&=\frac{P(B\cap A)}{P(A)}=\frac{\frac{1}{6}}{\frac{2}{6}}=\frac{1}{2}.\end{aligned}

1. $P(A|C)\ge 0$，因為 $P(A\cap C)\ge 0$$P(C)> 0$
2. $P(\Omega|C)=1$，因為 $C\subset\Omega$，可知 $C\cap \Omega=C$，故 $P(\Omega|C)=P(C)/P(C)=1$
3. $A\cap B=\emptyset$，則 $P(A\cup B|C)=P(A|C)+P(B|C)$。因為 $A$$B$ 互斥意味 $A\cap C$$B\cap C$ 互斥，則有

\displaystyle\begin{aligned} P(A\cup B|C)&=\frac{P((A\cup B)\cap C)}{P(C)}=\frac{P((A\cap C)\cup(B\cap C))}{P(C)}\\ &=\frac{P(A\cap C)}{P(C)}+\frac{P(B\cap C)}{P(C)}=P(A|C)+P(B|C). \end{aligned}

$P(A\cap B)=P(A|B)P(B)$

$P(A\cap B)=P(B|A)P(A)$

$P(A\cap B|C)=P(A|B\cap C)P(B|C)$

$P(A\cap B\cap C)=P(A|B\cap C)P(B|C)P(C)$

$\displaystyle P(A|C)=\frac{P(A\cap C)}{P(C)}\simeq\frac{n_{A\cap C}/n}{n_C/n}=\frac{n_{A\cap C}}{n_C}$

$\Omega=\left\{\begin{array}{cccc}r_1r_2&r_1r_3&r_1w_1&r_1w_2\\ r_2r_1&r_2r_3&r_2w_1&r_2w_2\\ r_3r_1&r_3r_2&r_3w_1&r_3w_2\\ w_1r_1&w_1r_2&w_1r_3&w_1w_2\\ w_2r_1&w_2r_2&w_2r_3&w_2w_1\end{array}\right\}$

$\displaystyle P(R_1\cap W_2)=P(W_2|R_1)P(R_1)=\frac{2}{4}\cdot\frac{3}{5}=\frac{6}{20}=\frac{3}{10}$

$\displaystyle P(B_1)+\cdots+P(B_k)=P(B_1\cup\cdots\cup B_k)=P(\Omega)=1$

$\displaystyle P(A)=P(A|B_1)P(B_1)+\cdots+P(A|B_k)P(B_k)$

$A=A\cap \Omega=A\cap(B_1\cup\cdots\cup B_k)=(A\cap B_1)\cup\cdots\cup(A\cap B_k)$

$A=A\Omega=A(B_1+\cdots+B_k)=AB_1+\cdots+AB_k$

$P(A)=P(A\cap B_1)+\cdots+P(A\cap B_k)$

$\displaystyle P(A)=a_1P(B_1)+\cdots+a_kP(B_k)$

\displaystyle\begin{aligned} P(A)&=P(A|U_1)P(U_1)+P(A|U_2)P(U_2)\\ &=\frac{3}{3}\cdot\frac{1}{2}+\frac{1}{3}\cdot\frac{1}{2}=\frac{3}{6}+\frac{1}{6}=\frac{4}{6}.\end{aligned}

$P(A\cap B)=P(A)P(B)$

• $A$$B$ 是獨立事件，則 $A^c$$B$ 是獨立事件，且 $A^c$$B^c$ 也是獨立事件。寫出 $B=(A\cap B)\cup (A^c\cap B)$，其中 $A\cap B$$A^c\cap B$ 互斥，故

\begin{aligned} P(A^c\cap B)&=P(B)-P(A\cap B)=P(B)-P(A)P(B)\\ &=(1-P(A))P(B)=P(A^c)P(B).\end{aligned}

繼續上面的性質，$A^c$$B$ 是獨立事件蘊含 $A^c$$B^c$ 是獨立事件。

• $A,B,C$ 是相互獨立事件，其中任一個事件與其餘兩個事件的交集是獨立的。寫出

$P(A\cap B\cap C)=P(A)P(B)P(C)=P(A)P(B\cap C)$

$A$$B\cap C$ 是獨立事件。

• $A,B,C$ 是相互獨立事件，其中任一個或多個事件以補集取代仍構成相互獨立事件。
寫出 $B\cap C=(A\cap B\cap C)\cup(A^c\cap B\cap C)$，則

\begin{aligned} P(A^c\cap B\cap C)&=P(B\cap C)-P(A\cap B\cap C)\\ &=P(B)P(C)-P(A)P(B)P(C)\\ &=(1-P(A))P(B)P(C)\\ &=P(A^c)P(B)P(C).\end{aligned}

• $A,B,C$ 是相互獨立事件，其中任一個事件與其餘兩個事件的聯集是獨立的。使用前述性質，$A, B^c, C^c$ 是相互獨立事件，再者 $A$$B^c\cap C^c=(B\cup C)^c$ 是獨立事件，推論 $A$$B\cup C$ 是獨立事件。

$A$$B$ 為兩個事件，$P(A)\neq 0$$P(B)\neq 0$。合併兩個條件機率

$\displaystyle P(A|B)=\frac{P(A\cap B)}{P(B)},~~P(B|A)=\frac{P(A\cap B)}{P(A)}$

$\displaystyle P(B|A)=\frac{P(A|B)P(B)}{P(A)}$

$\displaystyle P(B_i|A)=\frac{P(A|B_i)P(B_i)}{P(A|B_1)P(B_1)+\cdots+P(A|B_k)P(B_k)}$

\begin{aligned} P(U_1|A)&=\frac{P(A|U_1)P(U_1)}{P(A|U_1)P(U_1)+P(A|U_2)P(U_2)}\\ &=\displaystyle\frac{1\cdot\frac{1}{2}}{1\cdot\frac{1}{2}+\frac{1}{3}\cdot\frac{1}{2}}=\frac{\frac{1}{2}}{\frac{4}{6}}=\frac{3}{4}.\end{aligned}

$\displaystyle P(U_1|A')=\frac{1\cdot\frac{1}{2}}{1\cdot\frac{1}{2}+\frac{2}{3}\cdot\frac{1}{2}}=\frac{\frac{1}{2}}{\frac{5}{6}}=\frac{3}{5}$

• 車子隨機置放於一扇門後面。
• 主持人不會打開你選擇的那扇門，他只能打開其他的兩扇門之一。主持人絕對不會打開有車子的那扇門，如果兩扇門後面都是山羊，他將隨機打開其中的一扇門。

\displaystyle\begin{aligned} P(D_1|H_3)&=\frac{P(H_3|D_1)P(D_1)}{P(H_3|D_1)P(D_1)+P(H_3|D_2)P(D_2)+P(H_3|D_3)P(D_3)}\\ P(D_2|H_3)&=\frac{P(H_3|D_2)P(D_2)}{P(H_3|D_1)P(D_1)+P(H_3|D_2)P(D_2)+P(H_3|D_3)P(D_3)}. \end{aligned}

$\displaystyle P(D_1|H_3)=\frac{\frac{1}{2}\cdot\frac{1}{3}}{\frac{1}{2}\cdot\frac{1}{3}+1\cdot\frac{1}{3}+0\cdot\frac{1}{3}}=\frac{\frac{1}{6}}{\frac{3}{6}}=\frac{1}{3}$

$\displaystyle P(D_2|H_3)=\frac{1\cdot\frac{1}{3}}{\frac{1}{2}\cdot\frac{1}{3}+1\cdot\frac{1}{3}+0\cdot\frac{1}{3}}=\frac{\frac{1}{3}}{\frac{3}{6}}=\frac{2}{3}$

[1] 原文：“The only real valuable thing is intuition.”
[2] 故事一：在一個暴風夜，你和兩個朋友一起走獨木橋渡河，上帝決定只讓一個人抵達彼岸。三人行走至橋中間，你的一個朋友不幸失足落河，你為此感到高興，因為你可以安全過河的機率從 $\frac{1}{3}$ 提高到 $\frac{1}{2}$。故事二：你和兩個朋友一起被關在地牢裡，撒旦決定只讓一個人存活，令每人吞服一顆藥丸，其中一顆是維他命，另兩顆是毒藥。過了三分鐘，你的一個朋友口吐白沫死了，但你無須感到高興，因為你早已經服下藥丸，倖存的機率依然是 $\frac{1}{3}$

This entry was posted in 機率統計 and tagged , , , . Bookmark the permalink.

### 8 Responses to 條件機率與貝氏定理

1. txshi says:

最近为了学机器学习正在恶补数学基础，时常希望在概率统计这个领域里能看到与线代启示录媲美的中文博客，没想到老师也在写概率方面的文章了，非常期待。祝周老师新年快乐，身体健康，工作顺利，阖家幸福

• ccjou says:

謝謝，我也祝福讀者朋友們

身無疾，體無病，心無罣礙
囊有錢，倉有米，腹有詩書

2. 黃舶暢 says:

老師您好，請問例3.問”抽中2顆紅球”，因此P(A|U2)的機率是否為2/3?

• ccjou says:

你可以用例2介紹的兩種方法計算 $P(A|U_2)$

3. Joan says:

A 為抽出兩紅球的事件
P(A|U1) = 3/3 = 1, P(A|U2) = 1/3 = 1/3
P(A) = 1/2 *1 + 1/2 * 1/3 = 2/3
P(U1 | A) = (1/2) / (2/3) = 3/4
個人見解, 若錯誤怪

4. 曾晨維 says:

老師好,可否請老師些一篇關於條件p.d.f和條件p.m.f還有連續跟離散混和的條件機率的觀念. 因為有點搞不太清楚這些觀念 不行也沒關西 打擾了

5. Pingback: 貝氏分類器的直觀理解 (上)-貝氏定理的推導 – Epic

6. Conan Yang says:

貝氏定理在生活中很有用，可是它到底怎麼算？https://whogovernstw.org/2019/03/07/tseminlin13/#comment-66870