反转实验

什么是反转实验？

当一个AB实验的某个实验组指标胜出并上线后，为了观测该组策略/功能更长期的收益和影响，会在对照组（未体验过新策略/功能）中抽一部分流量再开一个AB实验-即「反转实验」，通过此反转实验长期跟踪观测其核心指标的变化。

为什么要开反转？

随着业务的快速迭代，AB实验的观测时间有限，往往经短期实验验证得到正向结论后就会全量发布，然而短期内的正向结果不足以评估长期收益，因此「反转实验」日渐成为AB实验评估的必要环节，能用来长期观测重要功能/策略上线后，其关键指标的提升是否仍然符合预期、是否会带来其他负面影响。建议所有要全量上线的实验都开一个小流量反转。

入口

1. 实验详情→顶部导航→开启反转实验

2. 手动结束的实验可通过提示开启反转实验

反转实验创建流程

反转实验的创建与正常编程实验的创建类似，也分为基本信息、生效策略、版本配置、添加关注指标四步

基本信息

实验名称： 默认会在原实验名称后增加“-反转实验”作为该实验的名称，支持修改
实验标签： 默认会加上【反转实验】标签，支持修改
实验类型： 与原实验相同，不可修改

设置生效策略

是否互斥： 反转实验与原实验不可开在同一个流量层
实验流量： 根据流量层的选择进行选择即可
用户受众规则： 反转实验继承原实验的过滤条件（不可变更），支持在此基础上新增，可以点击查看原实验的受众规则

配置实验版本

参数配置
实验的参数配置置灰不可修改，默认的对照和实验版本配置与原实验相同，可以根据需要进行调整

流量分配
反转原实验对照组，即反转实验的流量从原实验的哪个版本中选择，默认选择原实验的第一个版本，可根据需要进行调整（如原实验将新策略作为对照组，那反转实验流量就需要在实验组中选取）
实验流量，即第三步中填写的实验流量
流量分配占比，即反转实验版本间的流量分配比例
实际生效流量，指反转实验的某个版本实际会有多少线上流量命中，其数值=要反转的原实验版本流量*实验流量*流量分配占比

添加实验指标

默认关注为原实验关注的指标，可根据需要进行调整