事件指标
添加过滤条件
支持添加时间、属性维度的过滤条件。如下：
- 时间过滤条件：
- 对于进行中的实验：支持天级、小时级、5分钟级的时间粒度过滤。小时级和5分钟级分别支持查看最近两天和最近1天的数据。
- 对于已结束的实验：实验结束当天仍然支持小时级、5分钟级的粒度过滤，支持天级时间粒度过滤。非实验结束当天的话，仅能查看天级的数据。
- 属性过滤条件：支持通过属性和用户分群来过滤，属性与用户分群的过滤条件为“且”的逻辑关系。
指标视图
实验指标支持以单个指标或指标组维度查看数据，单指标视图展示版本进组人数、指标值、实验版本相对指标的diff值以及相对变化和置信区间等信息，并支持查看天级趋势、概率分布和箱型图，如下：
3.1.3 指标组视图
指标组视图下将会展示对照组的指标值，以及各实验组指标相对对照组的变化率以及置信区间，可以通过hover置信区间查看指标的详细信息
3.1.4 时间趋势
根据实验报告的时间颗粒度，展示某个指标的「天级趋势」、「时级趋势」、「分钟趋势」。 以「天级趋势」举例：
- 可查看当日指标的实际取值和p-value，以及当日数值的范围。日均定义口径为当前所有已经进组的用户在当日的指标表现，并非当日新进组用户。
- 当打开「范围展示」，出现范围，会产出重叠效果，并查看各个版本的核心指标范围随时间变化的情况。
- 理想情况下，范围会随着时间而变小，并且在图中反映出来。
- 如果范围扩大，则表明数据波动。
- 如果范围重叠，则表示不确定哪个版本效果更好。
3.1.5 概率分布
概率分布，展示的是指标的取值及其出现的概率分布，横轴是指标值，纵轴是指标值出现的概率密度，通过均值和方差反映指标的分布情况。实验组和对照组的概率分布对比，可辅助判断实验组和对照组的差异情况。
- 默认对照版本采用灰色系，其他版本采用彩色系。
- 在不同实验版本的正态分布曲线上，鼠标hover会显示各个版本的“进组人数、p-value、指标方差、MDE、置信区间”信息。
3.1.6 箱型图
盒须快照，又称为箱型图，是通过数据的最大值、最小值、中位数和两个四分位数，反映原始数据分布特征。通过实验组和对照组的盒须快照对比，可以进行两组数据分布特征的比较。
应用说明：
- 针对人均类型（PV/AU、PV/UV、SUM/AU、SUM/UV）、PV类型、SUM类型、CTR点击率类型、PV/SUM & SUM/PV & SUM/SUM & PV/PV等类型指标均可适用。
- 「CVR转化率类型」因对单个个体是二元值（即取值仅为0或1），目前不支持盒须图。
- 小时级/分钟级的粒度展示，不提供盒须图。
重叠区域说明：各颜色的阴影区域为对应实验组和基准组的重叠区域，重叠区域表示有重叠部分的实验版本，指标表现类似，无法确定哪种版本效果更佳。如果您表现最好的版本有很多不确定性重叠，我们建议您将实验运行时间调的更长。
3.2 留存指标
3.2.1 同期群留存趋势
同期群留存趋势，指的是将实验用户以首次进入实验的日期拆分，观察不同天首次进组的用户在后续的留存趋势。 支持细分群组的累计趋势图，支持1日留存率至30日留存率的天级趋势图。
3.2.2 N日留存日趋势
表示筛选时间范围内进组用户的第N日留存趋势。
留存率是系统默认配置的，如何计算留存率？
规则 | 处理逻辑 |
|---|---|
分组方式 | 首次进入实验组的用户（不一定是新用户） |
归因方式 | 把留存用户按照进组时间划分，分别归因到首次进组的时间 |
回访规则 | 回到APP即视为回访 |
举个例子说明：
- 第一天实验组A的用户数为：10000，第一天base_user为10000；
- 第二天实验组A的用户数为：10400，其中9200用户是第一天便已经在A中的用户，1200用户为当天新进组用户；第二天base_user为1200，第一天的次日留存为9200/10000=92%；
- 第三天实验组A的用户数为：10200，其中8000用户为第一天便已经在A中的用户，1100用户为第二天进入A中的用户，1100为第三天进入A的用户；第三天的base_user为1100， 第一天的2日留存为8000/10000=80%， 第二天的次日留存为1100/1200=91.67%；
- 然后分别把每个进入实验日期的指标用base_user进行加权平均，得到次日留存率、第2天留存率等。
如何计算「同期群留存趋势」每日每个实验版本的详细数据？
示例如下：
日期 | 新进组人数 | 1天后 | 2天后 | 3天后 | 4天后 | 5天后 | 6天后 | 7天后 | 8天后 | 9天后 | 10天后 | 11天后 | 12天后 | 13天后 | 14天后 |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
全部新进组用户 | 317907 | 4.99% | 5.11% | 5.24% | 5.42% | 5.58% | 5.81% | 6.11% | 6.49% | 6.93% | 7.44% | 8.48% | 10.06% | 13.77% | 15.96% |
20200715 | 24,230 | ||||||||||||||
20200714 | 23,941 | 1.60% | |||||||||||||
20200713 | 23,551 | 1.70% | 1.70% | ||||||||||||
20200712 | 23,160 | 1.82% | 1.85% | 1.89% | |||||||||||
20200711 | 22,725 | 1.74% | 1.64% | 1.70% | 1.69% | ||||||||||
20200710 | 22,391 | 1.79% | 1.87% | 1.73% | 1.85% | 1.76% | |||||||||
20200709 | 22,014 | 1.83% | 1.91% | 1.86% | 1.93% | 1.89% | 1.84% | ||||||||
20200708 | 21,631 | 1.89% | 1.83% | 1.90% | 1.75% | 1.87% | 1.76% | 1.90% | |||||||
20200707 | 21,237 | 1.93% | 1.96% | 1.87% | 1.90% | 1.86% | 1.80% | 1.91% | 1.92% | ||||||
20200706 | 20,857 | 1.97% | 1.80% | 1.87% | 1.84% | 1.86% | 1.84% | 1.78% | 1.91% | 1.90% | |||||
20200705 | 20,480 | 1.98% | 1.98% | 1.90% | 2.01% | 2.01% | 2.02% | 2.06% | 2.03% | 1.97% | 1.91% | ||||
20200704 | 20,104 | 2.01% | 2.04% | 2.05% | 2.05% | 2.06% | 2.20% | 2.21% | 2.23% | 2.12% | 1.88% | 2.09% | |||
20200703 | 19,813 | 2.44% | 2.40% | 2.47% | 2.51% | 2.27% | 2.17% | 2.17% | 2.29% | 2.24% | 2.06% | 2.04% | 1.96% | ||
20200702 | 27,373 | 30.55% | 29.08% | 27.47% | 26.19% | 24.61% | 23.36% | 21.84% | 20.36% | 18.99% | 17.42% | 16.04% | 14.56% | 13.16% | |
20200701 | 4,400 | 30.93% | 29.73% | 28.70% | 27.48% | 26.59% | 25.32% | 24.25% | 23.23% | 21.89% | 20.77% | 19.68% | 18.57% | 17.52% | 15.95% |
1天后：4.99%=（239411.60% + 235511.70% + 231601.82% + …+ 2737330.55% + 440030.93%）/（23941 + 23551 + … + 27373 + 4400）
4天后：5.42%=（227251.69% + 223911.85% + 220141.93% +… +2737326.19% + 440027.48%）/（22725 + 22391+…+27373 + 4400）