体验一致性:指进组不出组,保证参与调优的用户,每次进入到同一个实验版本中。
非体验一致性:指进组后允许出组,参与调优的用户可能在过程中进入到不同实验版本中。
非体验一致性场景:在实验中关闭了体验一致性功能的场景。
比较非体验一致性与体验一致性
模块 | 差异点 | 相同点 | 非体验一致性场景下示例图 |
|---|---|---|---|
MAB实验整体收益提升 | 增加在实验中编辑时点的提示,点击后可展示对应时点编辑前后的版本及流量变化 | 展示的数据含义及功能相同 | |
核心指标明细表 | 核心指标明细,由实验版本信息改为调优参数信息; | 在线参数同样展示指标取值、进组用户数及成为最优组概率 | |
核心指标趋势 | 指标趋势图,由实验版本信息改为调优参数信息; | 展示每一轮调优的累计指标数据 | |
实验流量分配 | 实验流量分配趋势,由实验版本信息改为调优参数信息; | 展示每一轮调优的累计以及单轮次的流量分配情况 |