You need to enable JavaScript to run this app.
导航
新建实验
最近更新时间:2023.09.08 11:12:05首次发布时间:2022.10.09 14:14:18
我的收藏
有用
有用
无用
无用

新建实验包含 4 个步骤,包括输入基本信息、选择关注指标、设置实验版本、设置目标受众。
step1:输入基本信息
填写实验名称、实验描述、实验时长。
图片
step2:选择核心指标
不同行业有不同的关注指标,实验开始后,在实验报告页面可以看到全部关注指标在实验版本和对照版本的对比。核心指标是指用来决策实验功能是否符合预期的直接效果指标 ,也叫成功指标,一个实验只可设置 1 个核心指标。
图片
step3:设置实验版本
对照版本默认为栏位下已经上线的在线服务,如果在线服务未上线不可以创建 ab 实验。
实验版本可以创建多个,可以直接创建,也可以通过复制某一个对照/实验版本后创建。召回策略、排序策略、业务规则各环节,若不需要做 AB,则开关可以直接关闭,则默认继承对照版本配置;若需要做 AB,则打开开关,开关打开后,实验版本整个环节的配置直接覆盖对照版本配置,因此对业务规则做 AB 时需要注意,与对照版本一致的规则也需要配置一遍。建议直接复制对照版本后进行修改,如:对照版本配置了去重规则和加权规则,需要针对加权规则做 AB 实验,则直接复制对照版本生成实验版本 1 后,开启业务规则开关,并修改加权规则即可。

特殊情况说明:实验版本与对照版本的区别是召回,实验版本是使用客户自有召回,对照版本是平台召回规则,为召回规则{召回 1,召回 2,召回 3}。在配置实验版本时,召回策略开启,排序/规则保持关闭,实验版本召回策略开启后不进行任何配置,保存上线即可。

图片
step4:设置目标受众
设置目标受众是指哪些流量可以进入到实验,以及流量如何在不同实验版本间分配。包括是否将实验加入某个互斥组、流量分配设置。
图片

  • 互斥实验:互斥组开关为“是”时,配置互斥组,您可以在下拉选项中创建互斥层或是选择一个剩余流量足够的互斥层,每个互斥层显示当前剩余流量,以及可点“详情”查看实验列表信息。
    图片
  • 冲突检测:实验调试/上线要保证实验与其他实验均无冲突,如果存在冲突实验可通过设置互斥组,保证实验在同一层,如果冲突实验不为 0 则不可调试/上线实验。
    图片
  • 实验流量建议工具: 对于新手用户,在开启实验时往往对于分配多少线上流量缺少经验性的判断,从而影响实验结果。AB 测试提供实验流量推荐工具,通过设定一系列的目标参数,推荐线上流量分配比例。假定新策略对核心指标在真实场景能带来提升,使用流量推荐工具能帮助用户在一次实验中就可得到显著的结果。
    图片
  • 总流量设置: 您可以拖动流量进度条或者输入数值,来控制命中实验的用户比例。例如实验流量分配 20%,将为实验中的各个组总共分配 20%线上流量。