ab实验平台，ab实验平台实测价值？( 八 )

AB测试平台构建完善后，需要产品提供完善的AB测试接入文档，让大家都能够轻松使用该平台，需要大家一起努力打造利用AB测试来驱动产品迭代的团队文化，让更多的业务接入AB测试平台，通过数据分析得出有价值的结论，让数据说话，最终让AB测试平台为业务带来价值。
公司管理层一定需要有数据驱动的意识，否则即使有了AB测试能力也不太会在产品迭代中推进利用AB测试来驱动业务。如果老板有了数据驱动的意识，需要自上而下推动数据驱动和AB测试在企业的落地。
自己构建一套完备好用的AB测试平台不是一件容易的事情，还有很多细节方面需要注意，才能让AB测试真正发挥价值。
九，构建AB测试平台需要关注的重要问题我们讲完了AB测试平台的具体实现方案，在设计AB测试平台中，我们需要关注如下几点，才能让AB测试能力得到正确的运用，更好的发挥应有的价值。
1.灵活的分组/分桶
AB测试一般需要根据各种维度对用户来分组，因此需要设计灵活(方便快速迭代)、有效(效果评估置信度高)的分组方案。
具体可能会根据随机、用户版本、用户地域、时间、渠道、年龄、性别、收入、行为等各种维度来对用户分组。AB测试平台要具备多维度分组的能力。
2.AB测试一定要具备统计学意义上“显著”的置信度
AB测试是有成本的，AB测试的目的是得出正确的结论来优化产品体验、提升收益转化，所以AB测试指标的提升一定要是统计学上“显著”的，是真实有效的。
关于置信度有很多统计学方法来验证，这里我不细讲，有兴趣的读者可以自行搜索相关材料。
3.用户体验一致性
根据上节讲的AB测试的实现方案，有些方案(如方案3)用户在一定周期内体验是一致的(同一天多次重复进入该页面或者使用该功能看到的结果是一样的)，而有的方案(如方案2第一类)用户每次进入页面或者使用该功能看到的结果可能是不一样的。显然前一种用户体验是一致的，后一种不一致。
个人建议涉及到UI展示及交互的、用户会多次进入/使用的功能点，利用体验一致的AB测试方案比较好。但是像广告投放这类业务，是在不同场景不一样的，没必要采用用户体验一致的做法。
4.测试周期要足够长
要让AB测试得出可信服的结论，AB测试需要经历一定的周期，才能得出比较有价值的结论。这里举一些例子来说明。
像UI及用户交互的优化，新的UI及交互方式可能开始用户有新鲜感，但是等用户新鲜感过去后可能就对该功能没有那么热衷了(这就像你刚找了个女朋友，恨不得每时每刻待在一起，但是过了2年3年，甚至几个月后，你可能就不是这种想法了) 。如果只测试较短时间，发现新功能使用更频繁，这时如果我们就得出新的优化是比老的好，可能就被数据欺骗了。这时最好的做法是让AB测试运营一个足够长的时间段，让结果稳定下来，再来比较核心指标。具体选用多长的时间需要根据行业及经验来定，并且在在计算核心指标时，可以剔除掉初期的数据，避免初期的新鲜感影响最终评估结果。
另外，像有些特殊行业的产品，用户在不同时间行为是不一样的，比如视频行业(特别是智能电视上的视频应用，由于是多人使用一个产品，每个人的时间是不一样的，父母可能平时要上班，小孩只有在晚上有时间看电视，老人整天都有机会看电视)，用户在周末跟工作日的行为是不一样的。这是AB测试周期不能是一天的某段时间，也不能是某几天，最好是一周的整数倍，得出的结论才比较可靠。
5.损失最小性原则