Chapter 5 在介紹 Ratio 形式的機率表示法，並轉換成 Bayes’s theorem 的形式，並以 Oliver’s Blood 為範例展示不需計算 Posterior 也能從 Likelihood Ratio 得出結果。此外也介紹了 Mixture Distribution 以及如何使用 Python 計算該分佈的方式。

ThinkBayes Note

Chapter 5 - Odds and Addends

Odds in favor and odds against

機率表示法除了一般 [0..1] 與百分比外，還有另一種 odds 表示法。如有人說 “the odds are three to one"，這種稱呼法被稱為 odds in favor，代表發生機率與不發生機率的比例 (Ratio)。假如玩一個遊戲有 80% 的勝率，代表玩五次可能贏四次輸一次，因此可說 “the odds are four to one”，並寫成 “4:1” 這樣的比例表示式，也可用 0.8/0.2 = 4 來代表 odds。

相對於 odds in favor，還有另一種表示法稱為 odds against 的表示法，在機率較小時常用。該方式就是 odds in favor 的相反，先寫不發生的機率再寫發生的機率。以前面 80% 勝率為例， odds against 可寫成 “1:4” 的格式。

Odds form of bayes’s theorem

假設在 Bayes’s Theorem 中，Hypothesis 只有 A 與 B 兩種，則 Posterior Probability 的比例為

$$P(A \mid D) : P(B \mid D)$$

Odds 形式為

$$\frac{P(A \mid D)}{P(B \mid D)}=\frac{P(A)P(D \mid A)}{P(B)P(D \mid B)}$$

若 A, B 為互斥事件，則可知

$$P(B) = 1 - P(A)$$

。設

$$o(A)$$

為 A 的 odds in favor 的 odds

$$o(A) = \frac{P(A)}{P(B)}$$

則

$$o(A \mid D) = o(A)\frac{P(D \mid A)}{P(D \mid B)}$$

可知 Posterior 的 odds 為 Prior 的 odds 乘上 Likelihood Ratio，上式也被是 Bayes’s theorem 的 odds form。該特性可以幫助我們更快的計算出結果。以之前 Cookie Problem 為例，因 Likelihood Ratio 為 (3/4):(1/2) = 3/2，因此 Posterior odds 為 3:2，機率為 3/(3+2) = 0.6。

Olivers’ blood

假設在命案現場有兩灘血跡，一灘為 O 型血而另一灘為 AB 型。在統計結果中， 0 型血人數約佔總人口 60%，而 AB 型則是 1%。假設嫌疑犯 Oliver 被檢驗出為 O 型血。則資料是否足夠證明為 Oliver 為其中一灘血跡的遺留人。

由先前的公式移項後可得

$$\frac{o(A|D)}{o(A)} = \frac{P(D|A)}{P(D|B)}$$

左項為 Posterior 與 Prior 的 odds，右項為 Likelihood Ratio，也被稱為 Bayes Factor。假設 Bayes Factor 大於 1，可知資料 D 更可能出現在 A 事件中。現考慮 Oliver 是否到達現場的情況

  • Oliver 有到現場，則兩灘血之中的 O 型必定由 Oliver 所留下，而另一灘 AB 型血則由另一人留下。而由先前的統計可知留下 AB 型血的機率為 1%，因此在 Oliver 有在現場時出現該狀況的機率為 1%。

  • Oliver 沒有到達現場，則會有另外兩人在現場。而兩灘血中一個為 O 型而另一為 AB 型，因此發生機率為第一人為 O 型且第二人為 AB 型的機率，與第一人為 AB 而第二人為 O 的機率的加總，即

$$0.6*0.1 + 0.1*0.6 = 1.2\%$$

若以 E 代表 Oliver 有到現場而 E’ 為沒有到現場的機率，從前面的 Bayes Factor 推斷可知 Likelihodd Ratio 為

$$P(D \mid E) = 0.01, P(D \mid E') = 0.012$$

Likelihood Ratio 為

$$\frac{P(D \mid E)}{P(D \mid E')} = \frac{0.01}{0.012} < 1$$

就算不計算 Posterior 

$$P(D \mid E)$$

的數值，也可從 Likelihood Ratio 得知 Oliver 沒有到達現場出現的該血跡狀況的機率較高。

結果似乎反直覺但並沒有錯。

Mixtures - Addends and Maxima

之前的機率很單純是由單一模型構成，但實際的機率模型可能是由多種機率分佈混合 (Mixtures) 合成，因此作者在城市中給出了另外兩種計算方式 - Add 與 Maxima，並以遊戲 Dungeons & Dragons 擲骰子建立角色初始數值當範例。詳細內容可自行參照該書內容。

Reference