初等的机率论(6)条件机率与Bayes公式

2020-06-19 8W访问

连结:初等的机率论(5)有限机率空间

摘要:本篇介绍何谓「条件机率(conditional probability)」,从而导出「机率的乘法公式」、「全机率公式(the total probability formula)」、以及「Bayes公式」,并分别举例阐述其内涵。

在机率论中,条件式的思考是非常重要的一种思考方法。本节我们只介绍较简单的条件机率(conditional probability)之概念。事件 $$A$$ 的机率 $$P(A)$$ 是在 $$\Omega$$ 铁定发生的条件下,描述 $$A$$ 发生的机率。现在作推广,假设已经知道事件 $$B$$ 发生了,要问事件 $$A$$ 发生的机率。照理说此时可能会跟 $$P(A)$$ 不一样。我们先观察一个例子。

【例7】考虑某个家庭有 $$5$$ 男 $$7$$ 女,其中男生有$$3$$人就业,女生有$$5$$人就业。今从这个家庭任取一个人,那幺样本空间 $$\Omega$$ 为由这 $$12$$ 人组成,假设取到每个人的机会均等。令 $$W$$ 表示女生的集合, $$E$$ 表示就业者的集合。任取一个人为女生的机率是 $$P(W)=7/12$$。

假设我们知道此人是就业的,那幺样本空间已改变成为 $$E$$,此人为女生的机率是 $$5/8$$。这就是条件机率(conditional probability)的概念。我们注意到,若还原到原来的样本空间,计算方法就是

$$\displaystyle\frac{P(W\cap E)}{P(E)}=\frac{5/12}{8/12}=\frac{5}{8}$$

这就是条件机率,是很自然而重要的机率思考方法,值得我们另创一个新记号 $$P(W|E)$$ 来表达它,亦即:

$$\displaystyle P(W|E)=\frac{P(W\cap E)}{P(E)}=\frac{5}{8}$$

一般而言,我们有如下的定义。

【定义 1】

在初等机率空间 $$(\Omega,\mathfrak{A},P)$$ 中,假设 $$A,B$$ 为两个事件,并且 $$P(B)>0$$,则在给定 $$B$$ 发生的条件下,$$A$$ 的条件机率 $$P(A|B)$$ 就定义为

$$\displaystyle P(A|B)=\frac{P(A\cap B)}{P(B)}~~~~~~~~~(1)$$

注意到,$$P(A)$$ 是条件机率的特例:$$P(A)=P(A|\Omega)$$。因此,相对地,我们称 $$P(A)$$ 为绝对机率(absolute probability)。另外,映射 $$P($$●$$|B):\mathfrak{A}\rightarrow [0,1]$$ 也是一个机率测度。

由 $$(1)$$ 式立得机率的乘法公式

$$P(A\cap B)=P(B)\cdot P(A|B)~~~~~~~~~(2)$$

此式表示事件 $$A$$ 与 $$B$$ 同时都发生的机率,等于 $$B$$ 发生的机率乘以给 $$B$$ 的条件之下 $$A$$ 的条件机率。如果 $$P(A)>0$$,$$(2)$$ 式可进一步写成

$$P(A\cap B)=P(B)\cdot P(A|B)=P(A)\cdot P(B|A)~~~~~~~~~(3)$$

【例8】一个瓮中装有 $$8$$ 个红球与 $$13$$ 个白球,我们接续抽出两个球,抽出的第一球不再放回。假设抽到每一个球的机率相等。求两球都抽到红色的机率。

【解答】令 $$R_1$$ 与 $$R_2$$ 分别表示第一次与第二次抽到红色的事件,则 $$P(R_1)=\frac{8}{21}$$。当第一次抽到红色 $$R_1$$ 的条件下,瓮中剩下 $$7$$ 个红球与 $$13$$ 个白球,故第二次抽到红色 $$R_2$$ 的条件机率为 $$P(R_2|R_1)=\frac{7}{20}$$。因此两球都抽到红色的机率为

$$\displaystyle P(R_1\cap R_2)=P(R_1)\cdot P(R_2|R_1)=\frac{8}{21}\times\frac{7}{20}=\frac{2}{15}$$

【定义 2】

如果 $$n$$ 个事件 $$B_1,B_2,\cdots,B_n$$ 具有两两互斥且 $$\Omega=B_1\cup B_2\cup\cdots\cup B_n$$

则我们称 $$\{B_1,B_2,\cdots,B_n\}$$ 为 $$\Omega$$ 的一个可测分割(a partition)。

【定理 4】(全机率公式,the total probability formula)

假设 $$\{B_1,B_2,\cdots,B_n\}$$ 为 $$\Omega$$ 的一个可测分割,$$P(B_k)>0,~k=1,2,\cdots,n$$,

并且 $$A\in\mathfrak{A}$$,则

$$P(A)=\displaystyle\sum^n_{k=1}P(A|B_k)P(B_k)~~~~~~~~~(4)$$

特别地,若 $$0

【注】$$(4)$$ 式叫做「全机率公式」,有化整为零的意味。

【例9】(摸彩问题)
假设瓮中有 $$n$$ 个球,其中有 $$m$$ 个球有奖($$3

【解答】这是全机率公式的应用。首先,甲中奖的机率为 $$m/n$$。乙的中奖是在甲中奖与不中奖的分割之下进行思考,即甲中奖后乙又中奖,加上甲不中奖后乙又中奖,故乙中奖的机率为:

$$\displaystyle\frac{m}{n}\cdot\frac{m-1}{n-1}+(1-\frac{m}{n})\cdot\frac{m}{n-1}=\frac{m}{n}$$

同理,丙的中奖是在:甲中奖且乙中奖,甲中奖且乙不中奖,甲不中奖且乙中奖,甲不中奖且乙不中奖,这个分割之下进行思考。从而,丙中奖的机率为:

$$\frac{m}{n}\frac{m-1}{n-1}\frac{m-2}{n-2}+\frac{m}{n}\frac{n-m}{n-1}\frac{m-1}{n-2}+\frac{n-m}{n}\frac{m}{n-1}\frac{m-1}{n-2}+\frac{n-m}{n}\frac{n-m-1}{n-1}\frac{m}{n-2}=\frac{m}{n}$$

因此,理性论述告诉我们,三人中奖的机率都相等,跟抽球的顺序无关,但是一般常识却让我们错觉为先抽球者比较有利。

假设 $$H$$ 与 $$A$$ 为两个事件,并且 $$P(H)> 0$$,$$P(A)>0$$。由条件机率的定义与乘法公式得到:

$$\displaystyle P(A|H)=\frac{P(A\cap H)}{P(H)}=\frac{P(A)P(H|A)}{P(H)}~~~~~~~~~(5)$$

$$P(H)P(A|H)=P(A)P(H|A)$$

因此 $$\displaystyle P(H|A)=\frac{P(H)P(A|H)}{P(A)}~~~~~~~~~(6)$$

由 $$(5)$$ 式的 $$P(A|H)$$ 到 $$(6)$$ 式的 $$P(H|A)$$,在科学方法论上有重大意义。

在科学研究中,探求事物的因果关係是一个的核心课题。有因必有果,有果必有因,我们要「由因推果」,并且「由果追因」。

我们对 $$(6)$$ 式作如下的解释:在一个因 $$H$$ 之下,可能产生各种的果,而产生果 $$A$$ 的条件机率为 $$P(A|H)$$。今已知 $$A$$ 发生了,我们要反过来追究它是由因 $$H$$ 产生的条件机率 $$P(H|A)=?$$ 答案就是 $$(6)$$ 式。

推而广之,假设 $$\mathcal{H}=\{H_1,H_2,\dots,H_n\}$$ 为 $$\Omega$$ 的一个分割,$$A\in\mathfrak{A}$$ ,我们将 $$\{H_1,H_2,\dots,H_n\}$$ 想像成是产生 $$A$$ 的 $$n$$ 种因,并且假设知道 $$P(A|H_k)$$ 与 $$P(H_k)$$。现在已知事件 $$A$$ 发生了,我们要反过来追究 $$A$$ 是由因 $$H_k$$ 促成的条件机率 $$P(H_k|A)$$。

答案就是下列的Bayes公式:

【定理 6】(Bayes 公式)

$$\displaystyle P(H_k|A)=\frac{P(H_k)P(A|H_k)}{\sum\limits^n_{i=1}P(H_i)P(A|H_i)},~~k=1,2,\cdots,n~~~~~~~~~(7)$$

【注】此式是Bayes统计的发源地。$$P(H_i)$$ 叫做 $$H_i$$ 的先验机率(a priori probability of $$H_i$$);$$P(H_i|A)$$ 叫做 $$A$$ 发生后,$$H_i$$ 的后验机率(a posteriori probability of $$H_i$$ after the occurrence of event $$A$$)。先验机率 $$P(H_i)$$,在 $$A$$ 发生的资讯下,修正为后验机率 $$P(H_i|A)$$。因此Bayes公式甚有从经验中学习、不断修正的意味。

【例10】有一个瓮装有两个硬币: $$A_1$$ 为公正硬币,掷出 $$H$$ 的机率为 $$1/2$$;另一个 $$A_2$$ 为不公正硬币,掷出 $$H$$ 的机率为 $$1/3$$。今我们从瓮中任意取出一个硬币(机会均等),再掷此硬币,得到正面 $$H$$。求此硬币为公正硬币 $$A_1$$ 的机率。

【解答】让我们先建构相应的机率模型。取样本空间为 $$\Omega=\{A_{1}H, A_{1}T,A_{2}H, A_{2}T\}$$

这描述着从瓮中任意取出一个硬币,再掷此硬币的随机实验之所有结果($$A_{1}H$$表示取到公正硬币$$A_1$$,再掷出正面$$H$$)。

根据假设条件得知 $$P(A_1)=P(A_2)=\frac{1}{2}$$ 并且 $$P(H|A_1)=\frac{1}{2}$$ ,$$ P(H|A_2)=\frac{1}{3}$$

由此可唯一得到样本点的机率测度 $$\displaystyle P(A_{1}H)=P(A_1)P(H|A_1)=\frac{1}{2}\cdot\frac{1}{2}=\frac{1}{4}$$

同理 $$\displaystyle P(A_{1}T)=\frac{1}{4}$$,$$\displaystyle P(A_{2}H)=\frac{1}{6}$$,$$\displaystyle P(A_{2}T)=\frac{1}{3}$$

现在由Bayes公式得到所要的答案

$$\displaystyle P(A_1|H)=\frac{P(A_1)P(H|A_1)}{P(A_1)P(H|A_1)+P(A_2)P(H|A_2)}=\frac{3}{5}$$

从而又有 $$\displaystyle P(A_2|H)=\frac{2}{5}$$

连结:初等的机率论(7)独立事件的概念

参考书目:

注:通常要讲述机率论必须用到「测度积分论」的数学工具,或至少要用到微积分。因此要为一般读者介绍机率论的读物诚属不容易。上述八本书尽量压低要用到的数学工具,大部分只需排列与组合,只有少部份要用到一点儿微积分。

从科学方法论的观点来看,机率论与统计学是一体的两面,机率论是「演绎法」,统计学是「归纳法」。因此,本文的主题虽然是机率论,但是也顺便介绍一点点统计学的概念。