ab实验平台，ab实验平台实测价值？( 七 )

文章插图
图12：推荐算法根据用户所属的分组分别计算推荐
对于图9中标注数字3的部分，当用户使用产品触发对应的推荐系统时，会调用对应的接口，从相关数据库中获取对应的推荐结果，并将结果展示给用户。其中返回给用户的接口中是包含biz和alg字段的(见下面图13中红色虚线框中部分，该图就是用户触发推荐后后端返回的推荐结果json), 包含这两个字段的目的主要是将用户的行为打点记录下来，方便对用户行为进行统计分析，最终评估出算法的效果。这两个字段及字段的值就是从存入数据库的用户的推荐结果中获得的。
图13：返回给用户的推荐结果中包含biz和alg两个字段
对于图9中标注数字4的部分，我们会基于用户对AB测试模块的点击行为，计算出各个算法的核心评估指标，见下面图14 。其中直接转化率(从节目曝光给用户到用户进入详情页的转化率)，有效转化率(从节目曝光给用户到用户产生播放行为的转化率)，付费入口转化率(从用户进入付费节目详情页到用户点击付费按钮的转化率)是核心指标。

文章插图
图14：根据用户对AB测试模块的访问记录计算出评估指标，并可视化出来
对于非个性化推荐(如相似影片)的AB测试，基本跟个性化推荐一样，这里不再赘述。需要注意的是节目有热门和冷门之分，在分组中需要加入时间的扰动因子，让X节目在不同时间段分别用AB两种策略来计算关联节目，这在前面也提到了。
针对我们公司推荐系统的AB测试实现，我这里就介绍完了，其他算法类的AB测试也类似。希望读者从本节中学到怎么落地AB测试方案。从中我们也可以看出要实现完整的AB测试能力还是需要做很多开发工作的，涉及到前后端、大数据等多个业务部门，因此需要得到很多部门的支持。
八，开发AB测试平台需要的资源及支持前面提到任何涉及到数据驱动运营策略、产品优化都需要依赖AB测试能力。因此，要想更好的利用数据来驱动业务发展，让产品快速增长，互联网公司具备AB测试能力是必须的，可以说AB测试平台作为一个基础服务平台，在互联网公司的地位举足轻重。目前市面上也有很多AB测试的SAAS服务，通过购买这些SAAS服务可以方便的让自己的产品具备AB测试能力。当然也可以通过自己来开发实现AB测试能力。那到底是自己开发还是选择第三方的呢？
作者建议初创公司、规模不大的小公司或者非技术驱动但是需要AB测试能力的公司采购SAAS方案，这样可以快速的让自己的产品具备AB测试能力，将主要精力放到优化产品体验上，而不是将精力放到实现一个AB测试框架上。
如果外面的AB测试SAAS方案满足不了本公司的业务需求，而公司领导非常认可数据驱动方法，并且希望将数据驱动作为自己团队的核心能力，期待努力践行，这时就可以自研AB测试平台了。下面我讲讲自研构建AB测试平台需要哪些团队的配合和支持。
AB测试属于基础架构能力，同时又跟业务紧密结合，需要公司的基础架构后端团队、大数据算法团队、产品团队、前端团队、业务部门一起沟通，明确AB测试应用的范围，短期目标，未来的发展方向，确定AB测试的价值体现形式。最终大家一起协力开发一个适合本公司当前阶段和产品形态的AB测试平台。
其中，业务部门和产品确定需要在产品上进行AB测试的种类，需要具备什么样AB测试的能力，大数据算法团队实现分组的算法方案和进行日志的收集分析、可视化展示，基础架构后端团队设计适合公司业务的AB测试框架并开发后端的各模块及与前端交互的接口等，前端团队负责AB测试管理平台的开发，让业务部门可以更加方面的使用AB测试工具，同时实现日志打点及与AB测试平台的交互能力。