ab实验平台，ab实验平台实测价值？

作者在《推荐系统评估》和《推荐系统的商业价值》这两篇文章中提到了AB测试的重要性，新的推荐算法在上线到现网时需要做AB测试，对比新算法和老算法在关键指标上的差异，只有当新算法明显优于老算法时才会完全取代老算法。其实，AB测试的价值不止体现在推荐系统中，它在整个互联网产品迭代周期中得到了广泛深入的应用。
本文试图对AB测试做一个比较全面的介绍，会从什么是AB测试、AB测试的价值、什么时候需要AB测试、AB测试的应用场景、AB测试平台核心模块、业界AB测试的架构实现方案、推荐系统业务AB测试实现方案、构建AB测试需要的资源及支持、构建AB测试需要关注的问题等9个方面来讲解AB测试技术。
希望本文能够帮助读者更好地理解AB测试的价值和应用场景，并结合本文提供的实现方案，可以在具体业务中快速落地AB测试技术，应用到真实业务场景中，真正用AB测试工具驱动公司业务增长。
一，什么是AB测试AB测试的本质是分离式组间试验，也叫对照试验，在科研领域中已被广泛应用（它是药物测试的最高标准）。自2000年谷歌工程师将这一方法应用在互联网产品以来，AB测试越来越普及，已逐渐成为衡量互联网产品运营精细度的重要体现。
简单来说，AB测试在产品优化中的应用方法是：在产品正式迭代发版之前，为同一个目标制定两个（或以上）可行方案，将用户流量分成几组，在保证每组流量在控制特征不同而其他特征相同的前提下，让用户分别看到不同的方案设计，根据几组用户的真实数据反馈，科学地帮助产品进行决策(比如你想优化某个位置的文案颜色，觉得蓝色比红色好，就可以保持这个位置一组流量的文案红色，一组蓝色，其他都相同，进行AB测试) 。AB测试原理如下面图1 。

文章插图
图1：AB测试原理
AB测试是一种科学的评估手段，具备概率统计学理论的支撑。这里我简单解释一下原因。概率论中有一个中心极限定理，意思是独立同分布的随机变量的和服从正态分布。对于AB测试，我们比较的是两组样本的平均表现，AB测试保证AB两组某个因素不一样(这个就是我们要验证的优化点)，AB两组其他很多未知影响因素一样(这些因素是独立同分布的随机变量)，当AB两组样本足够多时，这些其他因素产生的效果是满足同一正态分布的，因此可以认为对要验证的变量的作用是相互抵消的，这样待验证因素(即我们的控制变量)的影响就可以比较了，因此我们就可以通过实验来验证优化是否有效。
像Google，Facebook，百度，阿里，微博，大众点评等互联网公司很早就采用AB测试框架来驱动业务发展，为公司创造价值。
业内也有很多提供AB测试SAAS服务的创业公司，通过定制化的AB测试方案来为其他公司提供AB测试能力，如吆喝科技(http://www.appadhoc.com/)，ABTester(http://www.abtester.cn/), 云眼(
https://www.eyeofcloud.com/), Testin云测(http://ab.testin.cn/)等等。
讲完了什么是AB测试，我们知道AB测试可以驱动业务发展，那么AB测试的价值到底体现在哪些方面呢？这就是下节主要讲的内容。
二，AB测试的价值最近几年增长黑客的理念在国内互联网盛行，有很多这方面的专业书出版，很多公司甚至设立了CGO(首席增长官)的高管职位。增长黑客思维希望通过从产品中找到创造性的优化点，利用数据来驱动产品优化，提升用户体验及收益增长，最终达到四两拨千斤的效果。随着公司业务规模及用户的增长，利用数据来驱动业务发展越来越重要。增长黑客本质上就是一种数据驱动的思维，并且有一套完善的技术管理体系来科学地驱动业务发展，而这套体系中最重要的一种技术手段就是AB测试。