最近更新时间:2023.03.15 18:15:45
首次发布时间:2023.03.15 17:30:27
MAB实验收益提升: MAB智能调优实验相对于平均分流实验,核心指标整体的提升比例
成为最优组概率(P2BA): 该版本相对全部版本胜出的概率大小,计算逻辑是该版本获胜的轮数/总调优轮数
击败对照组概率(P2BB): 实验版本相对于对照版本胜出的概率大小,计算逻辑是该版本实验组相比于对照组获胜的轮数/总调优轮数
指标分布区间估计: 展示核心指标随机变化的概率分布范围,即所有的调优轮次下,指标25,50(即中位数)和75分位点
实验流量分配: 每轮调优各版本流量的比例分配情况
收益汇总:常规实验更关注的是优胜组的选择,而MAB实验相更关注的是整个实验期间核心指标达到最优。因此,MAB报告页中,整体收益提升作为最重要的部分突出展示。
趋势图:核心指标在做MAB实验时相对于平均分流到各个实验版本时,核心指标的收益提升比例。
MAB实验只关注核心指标的变化,此处展示的是各个实验组中核心指标的明细情况,表中展示都是累计数据
指标取值:核心指标的截止当前的累计值
进组用户数:该实验版本累计的进组用户数
成为最优组概率:该版本相对全部版本胜出的概率大小
击败对照组概率:实验版本相对于对照版本胜出的概率大小,对照组没有该指标,因此用“-”表示
指标分布区间预估:各组指标值的数学期望的区间估计
核心指标明细图展示的是核心指标在每一轮调优中的变化情况,分相对趋势和绝对趋势两种展示方式:
展示每一轮调节后,流量的分配情况。顶部会有一个汇总数据展示当前时间段内最后一次调优的比例分配情况,鼠标移入图表可以查询每一轮的流量比例分配情况。