You need to enable JavaScript to run this app.
导航
查看报告
最近更新时间:2023.09.22 10:43:10首次发布时间:2022.10.09 14:14:18
我的收藏
有用
有用
无用
无用

运行中或已结束的实验可查看报告,点击报告名称或在操作点击“查看报告”。

说明

  • 实验报告中的指标数据为T+1产出
  • 每次进入报告页后数据不会自动刷新,如需更新数据,请点击报告右上角的刷新按钮

图片

报告概览

AB测试在实验报告概览区域,基于假设检验理论针对实验结果对比、提供结论性的推断。如下:
图片
进组用户口径

  • 实验运行第一天:从实验开启到打开报告的时候,上报过实验曝光事件(即命中实验,非行为表中的曝光行为)的人
  • 实验运行中非首日:从实验开启到昨天累计上报过实验曝光事件的人
  • 实验关闭:从实验开启到结束所有累计上报过实验曝光事件的人

添加过滤条件

支持添加时间、维度的过滤条件。
图片

切换视图

图片

  • 全局视图:支持全局查看实验关注指标的相关数据,以及各个指标的时间趋势。
  • 详细视图:支持针对单一指标进行下钻分析,可计算差异绝对值、差异相对值、置信区间(若可计算)、p-value(若可计算)、MDE(若可计算),支持天级趋势、概率分布、盒须快照、累积趋势。

实验关注指标

指标口径

  • 单天统计:(假定实验运行时间是1月1日~1月31日,选定1月8日作为查询区间):
    • 进组用户口径:1月8日命中实验的人
    • 事件指标口径:1月8日发生过该事件的数据统计
  • 区间累计(假定实验运行时间是1月1日~1月31日,选定1月8日~1月10日作为查询区间):
    • 进组用户口径(去重):1月8日~1月10日累计命中实验的人
    • 事件指标口径:1月8日~1月10日发生过该事件的数据统计

天级趋势

  • 可查看当日指标的统计值和p-value,以及当日统计值的范围。日均定义口径为当前所有已经进组的用户在当日的指标表现,并非当日新进组用户。
  • 当打开「范围展示」,出现范围,会产出重叠效果,并查看各个版本的核心指标范围随时间变化的情况。
    • 理想情况下,范围会随着时间而变小,并且在图中反映出来。
    • 如果范围扩大,则表明数据波动。
    • 如果范围重叠,则表示不确定哪个版本效果更好。

图片

概率分布

  • 概率分布,展示的是指标的取值及其出现的概率分布,横轴是指标值,纵轴是指标值出现的概率密度,通过均值和方差反映指标的分布情况。实验组和对照组的概率分布对比,可辅助判断实验组和对照组的差异情况。
  • 默认对照版本采用灰色系,其他版本采用彩色系。
  • 在不同实验版本的正态分布曲线上,鼠标hover会显示各个版本的“进组人数、p-value、指标方差、MDE、置信区间”信息

图片