You need to enable JavaScript to run this app.
导航

开实验前准备工作

最近更新时间2023.12.12 19:39:34

首次发布时间2021.02.23 10:41:56

在A/B测试之前,你需要先接入应用、明确实验类型,再设计实验,最后在火山引擎A/B测试中创建实验。

一、接入应用

A/B测试支持客户端、Web端、服务端等多种接入方式。请参考以下文档,根据需接入的应用类型,完成SDK的接入、数据和分流服务的接入。
数据接入工作一般由研发人员完成,您可通过查看SDK接入概述了解如何进行接入,也可通过下方直接查看各客户端和服务端的数据集成说明。
客户端SDK

服务端SDK

二、明确实验类型

你需要先明确客户端实验和服务端实验,再选择具体的实验类别。

服务端实验

服务端实验,指通过服务端获取实验分组信息并控制配置生效或下发的实验。
适用场景:

  • 部分功能只能由服务端来控制,比如内容分发算法(如用户打开今日头条以后在feed流中会看见什么内容)、由服务端逻辑控制的产品功能(如推送)等。
  • 不要求唤起APP时就使实验配置生效。客户端有充分时间向服务端发起请求,获得实验配置后再向用户展示策略。

服务端实验有:

  • 编程实验:通过代码编程进行AB实验,广泛使用于前端优化、策略优化和后端算法优化多种实验场景。参见新建「编程实验」
  • 推送实验:推送通知类实验可以对推送通知的标题、内容、点击动作等进行测试。当您要向现有用户发布通知消息或者开始新的营销通知,但不确定效果如何时,您创建推送通知类实验,通过在您所选的用户群中测试各种通知实验组,来找出最理想的通知文案和消息呈现方式。参见新建「推送实验」
  • 广告实验:可以对广告计划中的素材创意、人群定向、预算出价等作为实验变量进行实验,选出最优方案。参见「广告实验」

客户端实验

客户端实验,指通过客户端获取实验分组信息并控制配置生效的实验。
适用场景

  • 部分功能只能通过客户端控制,比如客户端的UI样式、交互功能设计等。
  • APP唤起时,配置即需生效。比如我们要针对APP的开屏页面进行A/B实验,用户刚刚打开APP,客户端就需要向用户展现开屏界面了。这种情况下客户端可能来不及向服务端请求配置参数。

客户端实验有

  • 编程实验:通过代码编程进行AB实验,广泛使用于前端优化、策略优化和后端算法优化多种实验场景,参见新建「编程实验」
  • 可视化实验:通过所见即所得的在线编辑(比如对页面中的图片、文字、颜色、位置等元素和属性进行编辑),在Web/H5页面优化的场景下,降低产品方和运营方使用A/B实验工具的成本,免除编码。参见新建「可视化实验」
  • 多链接实验:也称为 Split URL 实验,根据实验分流结果,你的用户会访问不同版本的链接。参见新建「多链接实验」

三、准备基本信息

设计 A/B 实验之前,先准备以下信息:

  1. 提出问题:为什么我的注册页面转化率不够高?或者为什么我的推荐系统 点击/曝光 比率不理想?
  2. 建立实验假设:让注册的按钮文案更有吸引力些?或者更换一套推荐模型?
  3. 准备方案:不同的按钮文案,按钮的点击次数和页面进入的流量统计,或者不同的推荐模型,推荐内容点击和进入推荐页面的流量统计。
  4. 验证这个假设:构建了一个不同的按钮文案作为实验组B,与对照组A同时上线,展示给具有相同属性的两部分用户,并获得统计数据。
  5. 分析数据得出初步结果:如果实验组B成功提高了转化率,那么这个假设得到了验证。否则,需要返回第二步来做出其他假设。

除此之外,你还需要确定实验名称、实验类型以及预估的实验时长。

实验基本信息

实验名称

注册页面注册按钮文案测试

实验描述(问题、目标和假设)

问题:注册页面转化率不够高
目标:提升注册页面的转化率
假设:将按钮文案从“注册”改为“去探索”,会提升注册页面的转化率

实验类型

客户端实验

实验时长

14 天

四、选择关注指标

明确实验基本信息后,你需要确定一个决定实验成败的核心指标,和在实验过程中同时需要监测的必看指标。

  • 核心指标:决策实验功能是否符合预期的「直接效果指标」 ,也叫「成功指标」。只可以设置一个指标为某个实验的核心指标,可在实验报告里面查看实验数据。例如开设「按钮文案」的优化实验,「按钮点击率」就是该实验的核心指标。
  • 必看指标:必须守护的业务线指标,实验功能可能对其无直接的因果关联、无法直接带来提升,但一般而言不能对其有显著负向影响。

更多指标定义,详见指标列表

五、设置实验版本/实验组

确定好关注指标后,需要设置实验对照版本和实验版本的参数细节。在只有2个实验版本前提下,允许两个实验组的参数组合取值相同,即开启AA实验。
实验参数:对实验业务策略、功能的配置化映射。实验参数决定了每个实验分组生效什么策略,因此在创建实验的时候需要配置实验参数。
对照版本:一般来说,对照组采取线上原始策略。
实验组:采取新策略。
参数值:为实验组和对照组确定的参数值,被划分到这一组的用户的行为会带上这个参数值的标识。
示例:业务为了提高相关推荐的效果,针对相关推荐设计了一种新的召回策略。
原策略:基于内容的协同过滤
新策略:基于用户的协同过滤
则在开发中约定策略的配置化映射关系如下:

collaborative_filtering="content" ——表示基于内容的协同过滤
collaborative_filtering="user" ——表示基于用户的协同过滤

六、分配流量、设置目标受众

最后,你需要确定实验整体所需的流量比例及每个实验组的流量权重(通常是均匀分配),并判断实验是否要加入一个互斥组。
所占流量比例:本次实验所占整体进组的流量比例。
互斥组:也叫互斥层、实验层。 互斥组中的所有实验不会共享用户,如果一个用户/设备进入了实验A,就不会进入该互斥组中的其他实验。

七、诊断实验

开启实验后,如果用户无法进入实验,可查看以下信息解决。更多详情,参见实验诊断工具

原因

详细解释

实验状态为关闭

该实验已关闭,任何用户都无法命中实验。

互斥层命中规则

白名单用户,命中同层其它实验。

不属于流量区间

该用户分流结果不属于该实验的流量区间,当前实验分配总流量为<实验赋予流量百分比>,该用户属于剩余流量空间。

实验状态为暂停

该实验当时处于暂停状态时,该用户虽然属于流量区间,但无法命中。

实验状态为预览/调试

该实验当时处于调试状态,该用户非白名单用户,无法命中。

实验状态为冻结

该实验当时处于冻结状态,该用户冻结前未曝光实验,虽然属于流量区间,但无法命中。

流量过滤条件不符合

该用户不满足受众过滤条件,无法命中。
eg.该用户“操作系统=Windows”,不满足过滤条件“操作系统=MAC/Android”,无法命中。

未命中多链接实验

该用户请求URL未命中多链接实验目标URL。

更多

优化计划:通过制定业务优化计划、管理优化目标、绑定相关实验,帮助你更系统地设计实验,跟踪效果。
经验库:当你已有一定的历史实验经验积累后,可使用经验库筛选符合条件的历史实验,用于新开实验的参考。