ab实验平台，ab实验平台实测价值？( 四 )

我们团队基于分组模块设计了两个算法，在推荐算法AB测试中得到大量使用及验证，可以保证分组的均匀性和公平性，并申请了相关专利。
实验管理模块实验管理模块的目的是让产品经理、运营人员或者开发人员方便快速的创建AB测试案例，增加新的AB测试分组，调整AB测试方案各个组的比例，让AB测试跑起来。同时也用于管理AB测试平台用户创建、权限管理，让用户具备编辑、拷贝、使用AB测试实验的能力，做到高效易用。
业务接入模块接入模块的主要目的是方便在产品迭代优化的各个阶段整合AB测试能力，对优化点做各种AB测试。一般通过提供一个AB测试SDK或者AB测试Restful接口的形式供业务方使用。接入模块需要做到高效易用，最好能够适用于产品上所有类型的AB测试优化。
我们会在第七节结合我们团队的真实业务情况详细介绍推荐系统AB测试的接入实现方案，为读者提供业务接入AB测试的参考。
行为记录分析模块行为记录分析模块包含AB测试行为数据打点、数据收集、数据分析和数据可视化展示等子模块。
行为记录分析模块主要的目的是当某个产品功能的AB测试在线上运行时，记录用户的在AB测试模块的行为，将用户的行为收集到数据中心，借助大数据分析平台来做各种效果评估指标的统计分析与评估，最终确定新的优化点是否是有效的。
在业务实现上, 需要前端在用户访问做AB测试页面的过程中记录做AB测试的业务标识及对应的方法(策略)标识。因为在一段时间或者在同一时间整个产品中会有各类AB测试在运行，只有记录了对应的业务和策略, 我们在数据分析时才能更好的区分一条日志到底是哪个业务上的哪个策略产生的。最终方便我们将整个AB测试的效果评估、指标分析及可视化做到全自动化，提升整个AB测试迭代的速度。
效果评估模块AB测试效果评估组件是用于跟踪AB测试的效果，根据AB测试效果来做出业务、运营、算法调整的决策。
AB测试要评估出A方案和B方案的好坏，这时就需要一个较好的衡量指标了，一般可以采用人均播放量，人均点击量，人均浏览次数，转化率，CTR等指标来评估。
具体效果评估指标的定义需要读者根据自己公司行业特点、产品形态、功能点等来定义，指标能够方便量化，并能够直接或者间接跟产品体验、用户增长、商业变现联系起来，毕竟这才是公司整体目标。
定义好各类效果评估指标后，最好可以将指标计算通用化、模块化，方便实验人员快速上线AB实验，根据不同产品及AB测试案例选择合适的指标。
有些AB测试(如猜你喜欢推荐系统)只要T+1尺度的指标计算就够了，有些(如广告投放算法的AB测试)需要具备分钟级输出AB测试结果的能力。尽早知道AB测试结果可以快速做有利决策，避免对用户体验产生不好的影响，同时快速决策也可以减少损失或者增加收益。
我们初略介绍完了AB测试平台的各个模块，知道了每个模块的作用和价值，那么在实际构建AB测试系统时，这些模块是怎么组织起来提供服务的呢？这就涉及到AB测试架构实现问题了，这是我们下节主要讲解的。
六，业界流行的AB测试架构实现方案本节我们来讲解有哪些可行的AB测试架构实现方案，这些方案是作者结合自己的经验、思考及参考了业界一些公司AB测试实现方案后的总结。读者可以根据自己公司的产品特性、现有的基础架构、人力资源及未来需要做的AB测试类别来选择适合自己的AB测试架构。
根据作者自己这几年在推荐系统中做AB测试的经验及调研和自己的思考整理，我认为目前有3种主要的AB测试框架实现方案，具体见下面图3 。