运行中或已结束的实验可查看报告,点击报告名称或在操作点击“查看报告”。
说明
- 实验报告中的指标数据为T+1产出
- 每次进入报告页后数据不会自动刷新,如需更新数据,请点击报告右上角的刷新按钮

报告概览
AB测试在实验报告概览区域,基于假设检验理论针对实验结果对比、提供结论性的推断。如下:

进组用户口径
- 实验运行第一天:从实验开启到打开报告的时候,上报过实验曝光事件(即命中实验,非行为表中的曝光行为)的人
- 实验运行中非首日:从实验开启到昨天累计上报过实验曝光事件的人
- 实验关闭:从实验开启到结束所有累计上报过实验曝光事件的人
添加过滤条件
支持添加时间、维度的过滤条件。

切换视图

- 全局视图:支持全局查看实验关注指标的相关数据,以及各个指标的时间趋势。
- 详细视图:支持针对单一指标进行下钻分析,可计算差异绝对值、差异相对值、置信区间(若可计算)、p-value(若可计算)、MDE(若可计算),支持天级趋势、概率分布、盒须快照、累积趋势。
实验关注指标
指标口径
- 单天统计:(假定实验运行时间是1月1日~1月31日,选定1月8日作为查询区间):
- 进组用户口径:1月8日命中实验的人
- 事件指标口径:1月8日发生过该事件的数据统计
- 区间累计(假定实验运行时间是1月1日~1月31日,选定1月8日~1月10日作为查询区间):
- 进组用户口径(去重):1月8日~1月10日累计命中实验的人
- 事件指标口径:1月8日~1月10日发生过该事件的数据统计
天级趋势
- 可查看当日指标的统计值和p-value,以及当日统计值的范围。日均定义口径为当前所有已经进组的用户在当日的指标表现,并非当日新进组用户。
- 当打开「范围展示」,出现范围,会产出重叠效果,并查看各个版本的核心指标范围随时间变化的情况。
- 理想情况下,范围会随着时间而变小,并且在图中反映出来。
- 如果范围扩大,则表明数据波动。
- 如果范围重叠,则表示不确定哪个版本效果更好。

概率分布
- 概率分布,展示的是指标的取值及其出现的概率分布,横轴是指标值,纵轴是指标值出现的概率密度,通过均值和方差反映指标的分布情况。实验组和对照组的概率分布对比,可辅助判断实验组和对照组的差异情况。
- 默认对照版本采用灰色系,其他版本采用彩色系。
- 在不同实验版本的正态分布曲线上,鼠标hover会显示各个版本的“进组人数、p-value、指标方差、MDE、置信区间”信息
