MAB报告综述

• MAB实验收益提升： MAB智能调优实验相对于平均分流的普通A/B实验，核心指标整体的提升比例。
• 成为最优组概率Probability-to-beat-all（P2BA）： 该版本相对全部版本胜出的概率大小，计算逻辑是使用蒙特卡洛法计算每个分组获胜的概率。
• 指标分布区间估计： 展示核心指标随机变化的概率分布范围，即所有的调优轮次下，指标25,50（即中位数）和75分位点。
• 实验流量分配： 每轮调优时，MAB 算法给各个版本分配的流量比例。
• **评估流量：**在总流量中拿取一部分进行正常AB实验，其数据结果用作算法调优和收益计算。

2.1 MAB实验整体收益提升

常规实验更关注的是优胜组的选择，而MAB实验相更关注的是整个实验期间整体流量上核心指标达到最优。因此，MAB报告页中，整体收益提升作为最重要的部分放在首位。

• 累计收益：核心指标在做MAB实验时相对于平均分流到各个实验版本时，核心指标的收益提升比例。
  • 收益汇总：展示到截止日期的目标优化指标的提升值。
  • 横坐标指的是调优的时间，纵坐标是核心指标累积提升值，需要查看各个轮次调节的具体时间以及各节点的提升值，可以将鼠标移入折线图上即可展示。

• 明细收益：聚焦每次新进组用户，其核心指标在当前轮次的提升比例。
  • 横坐标指的是调优的时间，纵坐标是核心指标累积提升值，需要查看各个轮次调节的具体时间以及各节点的提升值，可以将鼠标移入折线图上即可展示。

2.2 核心指标明细表

当前版本下，MAB实验提供核心指标数据。此处展示的是各个实验组中核心指标的明细情况，表中展示都是累计数据。

• 指标取值：核心指标的截止当前的累计值
• 进组用户数：该实验版本累计的进组用户数
• 成为最优组概率：该版本相对全部版本胜出的概率大小
• 指标分布区间预估：各组指标值的数学期望的区间估计

2.3 核心指标明细图

核心指标明细图展示的是核心指标在每一轮调优中的变化情况，分绝对趋势和相对趋势两种展示方式：

• 绝对趋势： 展示随着时间变化，每一次调优后的指标变化情况以及95分位区间（阴影部分）。

• 相对趋势： 以版本1为基准，分析所有版本每一次调优结果中核心指标相对于版本1随时间变化的趋势图，指标包含按轮次对比指标提升比例和提升度的95分位区间（阴影部分）。

2.4 实验流量分配

展示每一次调节后，流量随时间的分配情况。用作流量的监控和观察。

• **累计数据：**展示从实验开始截至目前的各组流量参与智能调优的流量比例，鼠标移入图表可以查询每一轮累计流量比例在智能调优实验分配的情况。
  
• **明细数据-实际分配：**展示某个时刻线上实际参与智能调优的流量比例。
  
• 明细数据-理论分配：更多用作算法/技术监控排查问题，展示的为某个时刻线上算法给出的权重比例。
  

3.1 核心指标明细图与流量分配之间的关系

t 时刻的核心指标绝对趋势图中，版本指标之间的大小关系，对应到流量分配图上 t 时刻的流量分配，t 时刻核心指标越大的版本会在 t 时刻流量分配图上呈现越多的流量。

3.2 流量最高的实验版本与版本优胜

当前版本下，流量最高的实验版本不一定是最优的版本，但高概率是次优、最优版本。实验时间越长、样本越多，流量高的版本越可能是最优版本。