ab实验平台,ab实验平台实测价值?( 三 )


如果上面4个条件都满足的话,我觉得这个功能点是可以做AB测试的 。对于toC的互联网产品来说,其实上面几个条件是很容易满足的,所以在互联网公司有很多地方都可以通过AB测试来优化产品功能,那AB测试在互联网公司到底有哪些应用场景呢?
四,AB测试的应用场景在互联网公司AB测试可以落地的场景是很多的,具体包括如下3大类:
1.算法类
各类算法是AB测试应用场景最多的地方,算法开发人员通过AB测试来验证一个新的算法或者小的算法优化是否可以提升算法的业务指标 。包括推荐、搜索、精准广告、精细化运营等涉及到算法的产品和业务都是可以利用AB测试技术的 。
2.运营类
任何一个互联网产品少不了运营,在互联网红利消失的当下,某个产品是否可以“占领”用户的心智,运营将起到越来越重要的作用,甚至有人说互联网时代将进入一个运营驱动的时代 。各类运营手段,如用户运营(用户拉新、会员运营等)、内容运营(视频行业的节目编排等)、活动运营(抽奖等)等都可以借用AB测试技术来验证哪种运营策略是更加有效的 。
3.UI展示及交互类
UI是任何一个互联网产品可直接被用户感知的部分,用户通过UI与互联网产品交互,用户对一个产品的感知也是首先通过UI建立的 。简洁美观的UI界面,流畅的UI交互往往能够给用户留下好的第一印象 。对于UI视觉及交互部分的优化,往往凭设计师的经验是不够的,需要利用技术手段来验证哪种UI展示风格、哪种交互方式是用户更喜欢的、能够带来最大收益的 。
像颜色、字体、按钮形状、页面布局、操控方式的调整及优化都是可以通过AB测试来验证的 。
现在我们知道了互联网产品哪些模块和功能是可以利用AB测试驱动做得越来越好的,那么大家一定想知道我们怎么构建一个高效易用的AB测试平台,并怎样通过该平台更好地支撑各类AB测试任务 。在下面两节我们就来讲讲一个完备可用的AB测试平台有哪些模块,怎么构建一个完整的AB测试平台 。
五,AB测试平台核心模块根据作者构建AB测试平台的经验,我认为一个完备的AB测试平台至少需要分组模块、实验管理平台、业务接入模块、行为记录分析模块、效果评估模块这5大部分(见下面图2),这其中分组模块、实验管理平台、业务接入模块是构建完整AB测试体系必须具备的模块,行为收集分析模块和效果评估模块是配合AB测试能够更好的得出可信结论必须具备的支撑模块 。下面我们分别对这5个模块的功能和价值做简单说明,让大家更好的理解为什么需要这几个模块 。
图2:AB测试平台核心模块及支撑模块
分组模块分组模块的目的是根据各种业务规则,将流量(用户)分为AB两组(或者多组) 。可以说分组模块是AB测试最核心的模块,好的AB分组方案可以让流量分配的更均匀随机 。同时需要具备根据用户、地域、时间、版本、系统、渠道、事件等各种维度来对请求进行分组的能力,并且保证分组的均匀性和一致性 。
对于推荐系统,“完全个性化范式”和“标的物关联标的物范式”两种推荐范式是主要的推荐范式(不熟悉的读者可以参考《推荐系统的工程实现》第五节推荐系统范式),第一种范式是个性化推荐,为每个用户生成推荐,这时我们可以对用户做随机分组 。对于第二种范式,如果我们对标的物做随机分组,是存在问题的,因为不同的标的物是不一样的,有些是热门的,有些是冷门的,可能存在分配不均的现象 。我们可以采用基于时间的分配策略,某段时间标的物X分配到A组,另一段时间X分配到B组,只要保证分到AB两组的时间是公平的就行(比如第一天分到A组第二天分到B组) 。