1.AB实验的定义
AB实验又称为受控实验（Controlled Experiment）或者对照实验。AB实验的概念来自生物医学的双盲测试，双盲测试中病人被随机分成两组，在不知情的情况下分别给予安慰剂和测试用药，经过一段时间的实验后，比较这两组病人的表现是否具有显著的差异，从而确定测试用药是否有效。
2000年，Google工程师将这一方法应用在互联网产品测试中，此后AB实验变得越来越重要，逐渐成为互联网产品运营迭代科学化、数据驱动增长的重要手段。
从国外的Apple、Airbnb、Amazon、Facebook、Google、LinkedIn、Microsoft、Uber等公司，到国内的百度、阿里、腾讯、滴滴、字节跳动、美团等公司，在各种终端（网站、PC应用程序、移动应用程序、电子邮件等）上运行着大量的AB实验。
这些公司每年进行数千到数万次实验，涉及上亿的用户，测试内容涵盖了绝大多数产品特征的优化，包括用户体验（颜色、字体和交互等）、算法优化（搜索、广告、个性化、推荐等）、产品性能（响应速度、吞吐量、稳定性、延迟）、内容（商品、资讯、服务）生态管理系统、商业化收入等。
因为AB实验被引入互联网公司后，应用场景主要是大规模的在线测试，所以也被称作在线AB实验或者在线对照实验（Online Controlled Experiment，OCE）。
常见的在线AB实验中，用户被随机、均匀地分为不同的组，同一组内的用户在实验期间使用相同的策略，不同组的用户使用相同或不同的策略。
同时，日志系统根据实验系统为用户打标记，用于记录用户的行为，然后数据计算系统根据带有实验标记的日志计算用户的各种实验数据指标。实验者通过这些指标去理解和分析不同的策略对用户起了什么样的作用，是否符合实验预先的假设。如图1-1所示，图中流程概括了AB实验的经典模式。
▲图1-1 AB实验流程
将图1-1所示的流程应用到产品迭代中，就是将具有不同功能、不同策略的产品版本，在同一时间，分别让两个或多个用户组访问。这些参与实验的用户组是从总体用户中随机抽样出来的，一般只占总体用户的一小部分，而且不同组用户的属性、构成成分是相同或相似的。
先通过日志系统、业务系统收集各组用户的行为数据和业务数据，然后基于这些数据指标分析、评估出相比之下更好的产品版本，最后推广到全部用户。
以图1-2为例，我们试图通过AB实验找出哪个颜色的横幅位点击率更高：A组保持浅色横幅不变，B组采用深色的横幅，分析哪个颜色更能引起用户的关注，提升用户的点击率。如果通过实验发现深色横幅的点击率更高，就将深色横幅位推广到全部用户。
当然，在实际应用中，AB实验的效果评估一般没有这么简单，比如除了点击率之外，还需要综合考虑其他的指标。
▲图1-2 AB实验测试哪个颜色横幅位点击率更高
2.AB实验的类型
从不同分类视角来看，AB实验有着不同的类型。
- 从实验实施的产品形态来看，AB实验可以分为App类型、PC类型、网页页面类型等。
- 从实验代码运行的机制来看，AB实验可以分为前端页面类型、后端服务类型等。
- 从实验分流的对象来看，AB实验可以分为用户类型、会话类型、页面类型、元素类型等。
- 从实验服务调用的方式来看，AB实验可以分为SDK类型、接口服务类型等。
- 从实验内容来看，AB实验可以分为交互类、算法类、内容类、工程性能类等。
这些是AB实验常见的分类方式。当然，AB实验的分类不局限于以上分类，可以根据实际情况，采用不同的分类方式。不管何种类型的AB实验，都应符合分流→实验→数据分析→决策的基本流程。
本文摘编自《AB实验：科学归因与增长的利器》（ISBN：978-7-111-70713-4），经出版方授权发布。
