MAB报告综述

• MAB实验收益提升： MAB智能调优实验相对于平均分流实验，核心指标整体的提升比例

• 成为最优组概率（P2BA）： 该版本相对全部版本胜出的概率大小，计算逻辑是该版本获胜的轮数/总调优轮数

• 击败对照组概率（P2BB）： 实验版本相对于对照版本胜出的概率大小，计算逻辑是该版本实验组相比于对照组获胜的轮数/总调优轮数

• 指标分布区间估计： 展示核心指标随机变化的概率分布范围，即所有的调优轮次下，指标25,50（即中位数）和75分位点

• 实验流量分配： 每轮调优各版本流量的比例分配情况

2.1 MAB实验整体收益提升

• 收益汇总：常规实验更关注的是优胜组的选择，而MAB实验相更关注的是整个实验期间核心指标达到最优。因此，MAB报告页中，整体收益提升作为最重要的部分突出展示。

• 趋势图：核心指标在做MAB实验时相对于平均分流到各个实验版本时，核心指标的收益提升比例。

  • 横坐标指的是调优的轮次，纵坐标是核心指标累积提升值，需要查看各个轮次调节的具体时间以及各节点的提升值，可以将鼠标移入折线图上即可展示。

2.2 核心指标明细表

MAB实验只关注核心指标的变化，此处展示的是各个实验组中核心指标的明细情况，表中展示都是累计数据

• 指标取值：核心指标的截止当前的累计值

• 进组用户数：该实验版本累计的进组用户数

• 成为最优组概率：该版本相对全部版本胜出的概率大小

• 击败对照组概率：实验版本相对于对照版本胜出的概率大小，对照组没有该指标，因此用“-”表示

• 指标分布区间预估：各组指标值的数学期望的区间估计

2.3 核心指标明细图

核心指标明细图展示的是核心指标在每一轮调优中的变化情况，分相对趋势和绝对趋势两种展示方式：

• 绝对趋势： 以对照版本为基准，分析实验组中每一轮调优结果中核心指标相对于对照组随时间变化的趋势图，指标包含按轮次对比指标提升比例和提升度的95分位区间；

• 相对趋势： 展示随着时间变化，每一个版本按轮次调优后的指标变化情况以及95分位区间。

2.4 实验流量分配

展示每一轮调节后，流量的分配情况。顶部会有一个汇总数据展示当前时间段内最后一次调优的比例分配情况，鼠标移入图表可以查询每一轮的流量比例分配情况。