两篇文章带你深入理解A/B Testing（一）
作者：PMCoder
来源：PMCoder之路
导读：如果希望了解A/B Testing 实际应用的指标说明，可以直接读文章的第二部分。如果你希望了解一些理论基础，可以从这篇文章开始读。
一、为什么要进行AB Testing：
AB实验的前身是随机对照试验-双盲测试，是“医疗/生物实验将研究对象随机分组，对不同组实施不同的干预，对照效果进行分析。
AB实验在互联网公司更加普及，因为实验的成本更低。
互联网公司经常要上线各种各样的实验，例如修改UI界面的某个按钮，上线一个新的算法等等。通过实验的对比指标来衡量这些优化或者策略对用户的影响程度，以此来提高用户体验，提高公司收益等。
A/B 实验有以下几个好处
1. 通过小量抽样流量，评估对整体的影响。互联网产品量级都非常大，每一个策略的上线都需要十分谨慎，否则影响的就是一大片的流量，因此，通过AB实验，可以通过小成本的流量来实现效果的评估；
2. 通过实验进行决策的辅导：原来做决策，很多情况都是依靠历史经验或者老板拍板，有了AB实验，是驴是马拉出去遛遛才知道。
3. AB实验可以低成本的实现创新的验证：由于流量分层和AB测试平台的普及，使得很多想法都可以快速得到验证，从而使得更多创新的想法得到低成本的验证。
二、A/B test 能做什么，不能做什么？
A/B Testing 是用来衡量我们提出的业务改进假设是否有效的一种方法，从统计学意义上说是一类假设验证的方法。AB Testing，主要是针对产品当前的状态，验证哪个方案更优，也就是说，AB Testing可以将产品从1到10，但是无法从0到1 的创造产品。乔布斯说：消费者并不知道自己需要什么，直到我们拿出自己的产品，他们就发现，这是我要的东西。从这个意义上说，A/B Testing 很难用于发明创造（发明创造成本更高是主要原因），主要用于迭代和改进。打个比方，AB Testing 无法预测需要爬那座山峰，但是可以测试出通过那条路更快的登上峰顶；
三、全概率公式：
标准定义：全概率公式为概率论中的重要公式，它将对一复杂事件A的概率求解问题转化为了在不同情况下发生的简单事件的概率的求和问题。
内容：如果事件B1、B2、B3…Bn 构成一个完备事件组，即它们两两互不相容，其和为全集；并且P（Bi)大于0，则对任一事件A有
P(A)=P(A|B1)P(B1) + P(A|B2)P(B2) + ... + P(A|Bn)P(Bn)
如何简单的理解？
1. 应用场景：全概率公式能很好的评估单个人群或者某个实验流量的效果对于全局的影响。比如说，某个地区男女占比分别是55%，45%，某个营销策略（A事件）对于男同学的效果提升30%，对于女同学提升10%，那么评估整体影响的计算公式就是P(A) = P(A|B1)*P(B1) + P(A|B2)*P(B2), 其中男女占比分别是B1和B2。那么这个营销策略对于该地区的提升效果则是P(A) = 30% * 55% + 10% * 45% = 21%。
全概率公式能够比较容易的在当一个策略针对不同的人群有不同的效果时预估对于全集的影响。同时，有时候某个策略对于全局效果不显著，但当我们下钻时发现对于某个人群效果显著，其实也可以用于预估当策略全量时根据这个人群的占比情况预估整体的效果影响；
四、大数定律 和中心极限定理：
1. 大数定律：
复杂的说法：大数定律是我们从统计数字中推测真相的理论基础。大数定律说如果统计数据足够大，那么事物出现的频率就能无限接近他的期望值。（在概率论和统计学中，数学期望(mean)（或均值，亦简称期望）是试验中每次可能结果的概率乘以其结果的总和，是最基本的数学特征之一。它反映随机变量平均取值的大小）。
随着重复次数接近无穷大，数值的算术平均值几乎肯定地收敛于期望值。这个就是大数定理；
简单理解：当抽样数据越来越大，重复次数越来越多，你需要验证的指标的均值会逐步接近于真实值。这个定理是我们实验能成立的理论基础，也是实验要一定的样本，实验周期要多天的理论基础。
这里会有经常用的一个例子就是抛筛子，我们知道筛子一共有6点，每个点的概率都是1/6; 那么根据前面的定义，多次抛出筛子之后，得到的一个“期望“就是1/6*1+1/6*2+1/6*3+1/6*4+1/6*5+1/6*6 = 3.5；这个 3.5 代表是什么的一个物理意义，其实就是你每次获取点数的一个算术平均值。大数定理告诉我们，如果抛筛子的次数足够多，那么最终抛出筛子的平均点数一定是接近3.5的。
2.中心极限定理：
中心极限定理是概率论中最重要的一个定理之一，它支撑着和置信区间相关的T检验和假设检验的计算公式和相关理论。如果没有这个定理，很多的置信区间、显著性等公式的推导都是不成立的。也就是说，中心极限定理是我们AB Testing 理论的最重要的基础。
它总体阐述了两个重要的知识点：
1. 样本的平均值约等于总体的平均值。也就是说，每次的抽样样本获取的平均值都在总体均值的附近波动。
2. 不管总体是什么分布，任意一个总体的样本平均值都会围绕在总体的整体平均值周围，并且呈正态分布。第二点这里又有两个非常重要的知识点，首先，不管总体的数据是怎样的一个分布，也不管总体的数据是否是正太分布。如下图就是典型的正太分布图形，那么非正太分布会有哪些？比方说，三角形分布，矩形分布，梯形分布等等是非正太分布。
在不管总体是怎样分布的情况下，任意一个分布的样本的均值，都会围绕着其本身的整体均值周围波动，并且呈正太分布。
简单理解来说就是，每一次我们抽样做实验得到的指标的均值都是实际整体均值的一个大约的数，并且随着实验次数的增多，把这些点的值描绘成一条曲线是一个正太分布曲线。
中心极限定理有什么用？
在没有办法得到总体全部数据的情况下，我们可以用样本来估计总体。特别是互联网产品，一个产品能力的上线影响上亿的用户量，必须经过较为严格的灰度和实验。我们所做的实验，其实就是使用这样的定理基础，通过某个百分比的用户量的实验，进行对照实验分析，来推断实验的策略对于整体用户的影响。举个例子，在某个推荐策略版本的能力上，我们优化了推荐算法，抽样10%用户的实验数据显示用户对内容的点击率对比对照组是显著提升10%，那么我们有理由相信，这个策略全量之后，对于整体的提升也是10%。因为样本的均值约等于总体的均值（当然要配合置信度验证）。对于其他领域，比如民意调查，国民消费水平调研等，更多也是通过抽样反应整体的逻辑来做的，依赖的理论基础也是这个。