新建实验包含 4 个步骤,包括输入基本信息、选择关注指标、设置实验版本、设置目标受众。
step1:输入基本信息
填写实验名称、实验描述、实验时长。
step2:选择核心指标
不同行业有不同的关注指标,实验开始后,在实验报告页面可以看到全部关注指标在实验版本和对照版本的对比。核心指标是指用来决策实验功能是否符合预期的直接效果指标 ,也叫成功指标,一个实验只可设置 1 个核心指标。
step3:设置实验版本
对照版本默认为栏位下已经上线的在线服务,如果在线服务未上线不可以创建 ab 实验。
实验版本可以创建多个,可以直接创建,也可以通过复制某一个对照/实验版本后创建。召回策略、排序策略、业务规则各环节,若不需要做 AB,则开关可以直接关闭,则默认继承对照版本配置;若需要做 AB,则打开开关,开关打开后,实验版本整个环节的配置直接覆盖对照版本配置,因此对业务规则做 AB 时需要注意,与对照版本一致的规则也需要配置一遍。建议直接复制对照版本后进行修改,如:对照版本配置了去重规则和加权规则,需要针对加权规则做 AB 实验,则直接复制对照版本生成实验版本 1 后,开启业务规则开关,并修改加权规则即可。
特殊情况说明:实验版本与对照版本的区别是召回,实验版本是使用客户自有召回,对照版本是平台召回规则,为召回规则{召回 1,召回 2,召回 3}。在配置实验版本时,召回策略开启,排序/规则保持关闭,实验版本召回策略开启后不进行任何配置,保存上线即可。
step4:设置目标受众
设置目标受众是指哪些流量可以进入到实验,以及流量如何在不同实验版本间分配。包括是否将实验加入某个互斥组、流量分配设置。