编辑导读:A/B测试支撑着产品的高速迭代发展,同时也沉淀着海量的最佳实践和方法论。本文作者从自身工作经验出发,讲述如何更专业地做A/B测试,如何拿到更加置信的数据结论,希望对你有帮助。

A/B测试支撑着产品的高速迭代发展,同时也沉淀着海量的最佳实践和方法论。笔者在某头条做C端产品时,做了大量的A/B实验,快捷测试验证新功能。其中在2020年8月份,1个月做了12个A/B实验,带来明显的OKR指标提升,当月获得绩效最高档(盖章可查询)。给大家整理了一些A/B实验方法论,分享给需要的同学。

本文讲述如何更专业的做A/B测试,如何拿到更加置信的数据结论。后续会陆续给大家分享如何思考设计新的功能,确保A/B实验的正向率,避免成为A/B实验的终结者(结论总是负向)。

一、什么情况下需要做A/B实验?

大多数A/B实验建立在:当不确定哪种方案更有利于达成核心目标,不确定新的方案会不会对核心指标之外的其他指标造成负向影响,我们通过做A/B实验来进行测试。

关于A/B实验的功能场景,我们看个简单的例子:

场景还原:优化前的商品详情页展示商品价格以及该商品可以用的优惠券,如何提升商品的交易转化率呢,产品经理想:帮用户把券后价直接展示出来是否能提升转化率,能提升多少。

由于商品详情页是电商交易链路的核心页面,直接全量上某个功能,万一效果不好则影响巨大。通过切一部分流量进行A/B测试,密切观察实验数据、灰度发布是最佳策略。

大家熟知的今日头条、抖音、西瓜这些产品的名字,都不是产品经理或者业务负责人拍脑袋经验主义决策的结果,而是把不同名称的应用包上架到应用市场,看哪个名字的下载率和分享率最高,就用哪个。本质上通过A/B测试的思想,把产品决策权交给了用户。

二、怎样设计A/B试验?

A/B实验的整体流程:

2.1 确定实验目标

确定实验目标即以什么指标衡量实验组的好坏。

提升页面转化率:例如电商行业中,提升列表页到商详页的转化率,商详页到订单确认页的转化率,订单确认页到交易成功页的转化率。在家装行业中,最常见的是提升留资页面内“预约装修”提交按钮的点击转化率。
提升用户留存:提升用户在平台内的次日、3日、7日等留存率

在观察实验组数据指标时,以一个核心指标为主,同时需要观注其他相关指标,全面衡量,得出结论。

举个栗子:笔者在爱奇艺任职期间,为了提升核心指标“人均VV(人均播放次数)”,产品做了“自动播放”功能。短期内核心指标显著提升,但由于自动播放功能造成用户反感,用户留存指标受到了影响。为避免长期造成用户流失,该功能下线。

2.2 设计实验

2.2.1 设置实验组和对照组

  • 唯一变量:实验组和对照组的设置采用控制变量法,实验组和对照组设置本次实验想要验证的唯一的变量,其他条件均不变。
  • 同层实验:如果有多个实验在进行,选择同层实验,避免分层实验。因为同层实验互斥(用户只会在一个实验组),而分层实验可以复用流量(一个用户可以命中多个实验)

以上是基础的流量分层设置,A/B实验成熟的情况下,还可以进行独占实验和长期对照。

独占实验:某些实验层专门为某些特定的实验准备,其他实验不可使用。

长期对照:设置一部分用户做长期对照,不参加任何实验,可以评估多种实验叠加后的效果。

例如笔者所在部门,有几十个实验专项层,笔者独占3个,专门用于做交易链路相关的A/B实验。

流量设置:给实验组和对照组分别设置一定的流量,这是做实验的必要准备条件。

例如:如果实验分对照组和实验组2个组,选择“层1”取40%的流量,每组20%。如果实验分3个组,对照组和实验组1、实验组2,那么在“层1”取60%的流量,每组20%。

另外,初期每组设置多少百分比的流量,这个要参考当前页面平均每天有多少UV,每组至少保证2000个以上UV,实验相对置信。

2.2.2 空转实验

空转即A/A实验,在成熟的实验平台可自行设置。

例如:设置7-8组实验流量,空转3天,监控PV/UV、转化、留存等核心指标,看有无明显差异。取2组最相近的用来做实验,其余的释放掉。

空转可以明显地发现抽样不均,去掉因为抽样不均带来的实验影响因素,提升实验置信度。

2.2.3 反转实验

  • 反转的前提:A/B实验根据需求功能不同,实验进行的周期不同,短则3-7天,长则1个月。当观察实验结果正向的情况下,可对实验进行反转。
  • 反转操作:将实验组和对照组进行对调,实验组变成对照组,对照组变成实验组,再次观察实验结果。
  • 反转分析:如果反转后的对照组和实验组相比是正向,那么实验成功,可全量。
  • 不可反转的情况:如果A/B实验观察的结论为负向,切记不可进行反转实验,会损伤原对照组的用户体验。

三、如何分析A/B试验

举2个例子进行说明:

实验一:对最近7日流失新用户进行push召回,以提升新用户留存。

由于目标用户群大多为白领,早上7点在吃饭或者通勤,很少有机会打开APP。而中午到下午有些许的休息时间,推送效果最好。

实验二:对秒杀商品列表页价格样式做优化,以提升秒杀频道转化率。

通过优化秒杀商品原价展示样式,突出商品原价的展示,进而强调秒杀频道的商品的价格差,提升用户购买转化率。

四、A/B测试的价值

数据驱动创新,数据驱动增长,A/B测试是其中核心的工具和引擎。字节跳动的实验平台,每天新开的实验有1500多个,同时运行的实验有上万个。上到中高层管理人员,下到一线产品和运营人员,大家的普遍共识是:A/B测试是一切决策的前提和基础,用数据说话。

业务创新:通过持续的功能优化打磨,累积创新效果,逐步形成迄今最优的产品形态,同时可将优秀的功能模块抽象沉淀至通用化组件平台。

笔者曾将验证过后最优的产品功能,抽象为可配置通用组件,沉淀在乐高平台(自助搭建h5页面的平台,类似京东的通天塔),供不同业务使用,从而将产品效应发挥到最大。

收益提升:在电商/金融等交易相关产品中,通过优化交易链路可直接带来可观的经济收益。

管理提效:通过A/B实验精准衡量新功能产出,为管理层提供准确的数据依据和科学度量。

五、写在最后

A/B测试是一个非常有用的工具,它很强大,但它仅仅是一个工具。产品经理在日常工作中,应该是带着想法、思考,然后再去运用它来帮助验证。张一鸣在2019年字节成立7周年大会上说过一句话:“同理心是地基,想象力是天空,中间是逻辑和工具” ,希望A/B测试这些理论的基石,能够成为大家解锁未来产品之门的一把钥匙。