对比分析和错误分析 2种模式对比分析

控制变量法简单来讲，就是我们工作中最常见的A/B test 。制定两种方案，将用户随机分成实验组与对照组，实验组用户进行产品功能或营销激励的单一变量干预，对照组不进行任何干预自然运行，一段时间后分别统计两组用户的数据表现，评估功能或激励效果。
A/B test 的优化内容主要有6个方向，可以根据不同的内容设计不同的优化方案，进行效果测试；

文章插图
2. 控制变量法分析过程
我们以发放6元无门槛红包激励用户下单为例，看下A/B test在营销中分析过程；
将目标用户群随机划分为实验组和对照组，每组各10万人，保证两组用户随机分布；将实验组进行单一变量营销，如发放6元无门槛红包，对照组不进行营销，用于观测自然转化情况；观察一段时间内的转化率及客单价数据，评估支付人数提升与GMV提升效果；

文章插图
【对比分析和错误分析 2种模式对比分析】提升支付人数：对实验组进行干预后提升了转化率，实际提升支付人数2000人。
GMV提升：将提升的支付人数结合客单价进行计算，统计最终的GMV提升40万。
3. 特别注意两点
通过ABtest只能减少未知情况带来的干扰，无法做到完全排除未知情况带来的干扰，所以在落地的过程中，仍有两点需要特别注意，不要被数据欺骗：
（1）实验组与对照组的用户群样本量太少
实验组和对照组的样本量不需要完全一致，但至少需要保障一定的量级，如果样本量级太小，很容易受到个体的影响，导致结果异常。
若想降低个体影响可以参考以下两种方案：
扩大试验样本：提高实验组或对照组的用户群，降低个体影响；延长试验时间：将数据监控的时间延长，让数据结果尽可能的收敛；
（2）实验组和对照组的用户群没有做到绝对的随机
例如，产品或技术同学通过尾号单双来进行实验组和对照组的划分，进行产品新功能的实验。此时运营同学又针对尾号0和1的用户进行营销测试，最后肯定会导致双方的实验结果异常，得出错误的结论。
参考方法：不要通过简单规则分组，尽量通过随机数或者随机序列进行随机分组。
总结
通过对比分析法对数据进行环比、同比等多维度的评估，通过控制变量分析法减少未知干扰的误差，做到数据分析的相对科学，才能为业务提供正确的数据指导。
以上是最近学习工作中的一些案例和心得分享，希望能给你带来一些思路！
相关阅读
数据分析：三步搭建基础分析框架
本文由 @许金坤原创发布于人人都是产品经理。未经许可，禁止转载。
题图来自Unsplash，基于CC0协议