灰度测试怎么做 微博和微信测试详解?( 二 )

其次选择合适的对比方法 。数据的对比有两种方法 , 时间先后的对比和不同用户群体的对比 。
四、灰度测试和A/B测试的区别A/B测试定义:AB测试是为Web或APP页面或流程制作两个(A/B)或多个(A/B/n)版本 , 在同一时间维度 , 分别让组成成分相同(相似)的访客群组(目标人群)随机地访问这些版本 , 收集各群组的用户体验数据和业务数据 , 最后分析、评估出最好版本 , 正式采用 。
灰度测试指的是系统测试通过后 , 将测试版本发布到线上环境 , 替换部分的线上服务器代码进行预测试 。当灰度测试结束后 , 线上版本实现会统一 。
本质上是上线前的测试 , 收集用户的反馈 。
例:知乎升级了视频资源的播放格式 , 但不知道新版本是否有问题 。那么知乎可以通过配置下发 , 控制一部分的知乎APP去播放新格式的视频 。然后通过监控来观测播放成功率和卡顿率等 , 一旦有问题会立即回滚 。
A/B测试指的是系统测试通过并发布后 , 同一个软件功能不同的用户会看到不同的实现方式 , 收集每个用户的反馈 。
本质上是上线后的测试 , 收集用户的反馈 。
例:知乎春节换皮肤 , 可以把两种待选皮肤都投入市场 , 看哪种皮肤的按钮用户点击量大 , 用户停留时长高 。
总结:AB的两种功能都是可用的 , 投放的用户群体无差别 , 让用户选择更受欢迎的功能 。目标不明确 , 后期可能是A上线 , 也可能是B上线 。
灰度版本未必是可用的 , 或者说没有严重bug的 , 投放的客户群体可能被选择和约束(例如只投放安卓低端机) , 由监控确定是否有问题 , 目标明确 , 只要灰度版本没问题 , 就会继续放量上线 , 直到全量 。
五、总结不知道大家心中会不会有着这样的疑惑 , 微信号不就是微信的一个小得不能再小的东西了 , 为什么要大费周章地进行灰度测试 。换个思维去想 , 微信用户过亿 , 但是这几亿的用户微信号不能重复 , 如果不经过灰度测试吧 , 直接上线 , 后果就是会有人的微信号重复、修改申请不过等问题 。
在将产品大规模退给用户时 , 灰度测试是必须的 , 如果要使用灰度发布 , 与往常的项目过程不同的是 , 需要做好提升点的准备 , 通过数据分析、日志分析找到改进点 , 快速地定位到问题 , 并解决 。
【灰度测试怎么做 微博和微信测试详解?】 好了 , 这篇文章的内容蜀川号就和大家分享到这里!