从“三门问题”引出的条件概率、全概率和贝叶斯推导
背景
一共有三个门，门后分别放着两只羊和一辆车。选手并不知道哪个门后是什么，随机选择一扇门后，主持人打开剩下两个门中没有车的一扇门。此时，主持人提问：选手是否更换自己的选择？
如果你是选手，你换吗？为什么？
最近了解到著名的“三门问题”，也通过程序模拟了多次试验，结果也再次证实了条件概率的正确性。所以，我们是无法靠感性或者直觉判断问题的，还是应该多多充实知识库啦。
本节从条件概率、全概率，再到贝叶斯公式，最后回到“三门问题”上。
条件概率
P(A|B)=P(AB)/P(B)
现有事件A、事件B，如果事件B已发生，此时事件A发生的概率是多少？
即P(A|B)=?
用集合表示的话，更加直观。
1）计算P(A)或者P(B)时，是以Ω为样本空间的。
2）而计算P(A|B)时，意味着P(B)已发生。即样本空间已经从Ω变成了B。
当事件B已发生时，事件A如果要发生，就只能是在A∩B的部分，即P(AB)。
因此，P(A|B)=P(AB)/P(B)
小试牛刀：
一对夫妻有两个小孩，已知其中一个是女孩，则另一个是女孩子的概率是多少？
假定B=两个小孩中有一个是女孩 A=两个小孩中有一个是女孩，因此，P(B)=P(A)=3/4 ，P(AB)=1/4，应用条件概率公式： P(A/B)=P(AB)/P(B)=1/3。
全概率公式
全概率公式，将一个复杂的事件，转换为在不同情况下的简单事件概率的求解。
1、完备事件组
定义：
设S为试验E的样本空间，B1，B2，…，Bn为E的一组事件。若
(i)Bi ∩ Bj=∅ （i≠j且i、j=1，2，…，n）；
(ii)B1∪B2∪…∪Bn=S，
则称B1，B2，…，Bn为样本空间S的一个完备事件组。
简单地说，可以理解成，一个完备事件组分割了样本空间S。
2、全概率公式推导
事件A的完备事件组B1,B2,B3……Bn，且概率不为0，因此，
P(A)=P(AB1)P(AB2)P(AB3)……P(ABn)
=P(A|B1)P(B1)P(A|B2)P(B2)P(A|B3)P(B3)……P(A|Bn)P(Bn)
=
贝叶斯定理
贝叶斯定理描述了事件 A 在事件 B 发生的条件下的概率，与事件 B 在事件 A 发生的条件下概率的关系。
表达式：P(A|B)=P(A)P(B|A)/P(B)
1、表达式推导
由条件概率公式得：
P(A|B)=P(AB)/P(B)
P(B|A)=P(AB)/P(A)
简化，得：
P(A|B)P(B)=P(B|A)P(A)
P(A|B)=P(A)P(B|A)/P(B)
得证。
对于
先验概率：在B事件发生前，此事件的概率已知，即P(A)。
后验概率：在B事件发生之后，我们对事件A发生概率的再次估计。
贝叶斯另一公式证明，需结合全概率公式：
2、举个栗子
经典三门问题：
一共有三个门，门后分别放着两只羊和一辆车。选手并不知道哪个门后是什么，随机选择一扇门后，主持人打开剩下两个门中没有车的一扇门。此时，主持人提问：选手是否更换自己的选择？
如果你是选手，你换吗？为什么？
1）在主持人不打开门时，选手抽中车的概率为1/3。
2）而在主持人打开门后，就涉及到条件概率的知识了。
由于选手抽中车的概率为1/3，这个很简单。但主持人打开哪个门是不确定的，主持人需要选择不是车的那个门来打开。
因此，我们假定选手选择第一扇门，而主持人打开第三扇门。
即：
A=选手选择第一扇门，第一扇门中是车
B=选手选择第一扇门，第二扇门中是车
C=选手选择第一扇门，第三扇门中是车
D=主持人打开第三扇门
P(D|A)=1/2
P(D|B)=1
P(D|C)=0
P(A)=P(B)=P©=1/3
根据贝叶斯公式：
P(D)=P(A)P(D|A)+P(B)P(D|B)+P©P(D|C)=1/2
P(A|D)=P(A)P(D|A)/P(D)=1/3
P(B|D)=P(B)P(D|B)/P(D)=2/3
由此可见，当主持人打开第三扇门后，选手选择第一扇门且抽中车的概率仍为1/3，这与主持人是否打开第三扇门的概率相同。但第二扇门抽中车的概率就变成了2/3。
因此，对于选手来说，在主持人打开一扇门后，选手更换手中的选择抽中车的概率更大。
扩展
此外，在机器学习中，还会接触“朴素贝叶斯”。
作为监督学习中基于概率论的分类算法，朴素贝叶斯是基于贝叶斯原理，其“朴素”一词是包含两种假设：一是数据特征之间是独立的，二是数据特征是同等重要的。只有在这两种假设成立的前提下，用贝叶斯公式去计算数据所属的类别概率才是比较合理的。
小结
贝叶斯公式并不是新的东西，是基于条件概率、全概率公式的推论和变种罢了。重要的是明确事件的概率有先验概率和后验概率之分。