实验进组用户口径说明

客户端实验

• 进组判定逻辑：某段时间内所有上报带ab_version事件的人

• 计算方式：客户端触发分流的时候同时上报ab_version事件，仅使用用户行为埋点日志计算实验指标

二者保持一致，服务端实验口径不变，客户端实验部分口径升级，完成统一

• 进组判定逻辑：实验开始后上报过曝光事件的人

• 计算方式：统一使用用户行为埋点日志作为左表、AB分流日志AB_Log表作为右表进行join计算实验指标

【注】AB_Log表逻辑：使用实验曝光事件来记录用户命中实验的情况，支持实时和天级，天级离线数据会基于人+实验组（即ab_version）的粒度进行聚合
曝光事件统计依据：

• 普通实验曝光字段：abtest_exposure

• 推送实验曝光字段：rangers_push_send

服务端实验

• 进组判定逻辑：实验开始后上报过曝光事件并且在某段时间内上报过事件的人

• 计算方式：使用用户行为埋点日志作为左表、服务端记录进组曝光ab_version事件的表作为右表进行join计算实验指标

报告概览

定义：实验开始后截止当前所有完整天从头累积的实验数据，实验第一天为截止当前时间的累积数据

• 指标：仅核心指标

• 用户进组口径（去重）：

  • 实验运行第一天：从实验开启到打开报告的时候上报过实验曝光事件的人

  • 实验运行中非首日：从实验开启到昨天累计上报过实验曝光事件的人

  • 实验关闭：从实验开启到结束所有累计上报过实验曝光事件的人

用途：用于提供实验结论，因此仅计算核心指标、并需要采用完整天的累积数据，Q2会拆解为独立的「实验结论」模块

有变化

实验关注指标

定义：默认为实验开始后截止当前所有完整天从头累积的实验数据，实验第一天为截止当前时间的累积数据，支持按照不同时间区间、时间粒度进行查询
用途和查询模式：

• 天级（默认）

  • 用途：用于查看实验已关注事件指标、漏斗指标、留存指标，以及进行其他高级分析功能来评估效果

  • 指标口径：

    • 从头累计：从实验开启到所选截止日期内累计上报过实验曝光事件的人

    • 区间累计（假定选定1月8日-1月10日作为查询区间）

      • 进组用户口径（去重）：1月1日（实验开始）-1月10日累计上报过实验曝光事件的人（人均指标都采用此作为base user）

      • 事件指标口径：1月8日-1月10日发生过该事件的数据统计

• 小时级

  • 用途：在实验运行初期实时查询，及时发现实验设置、数据上报等问题，仅支持查询最近两天的小时级数据（最多48h）

  • 指标口径：所选时间区间内的指标数据统计

• 5分钟级

  • 用途：在实验运行初期实时查询，及时发现实验设置、数据上报等问题，仅支持查询最近24小时级的分钟级数据

  • 指标口径：所选时间区间内的指标数据统计

有变化

留存指标

无变化

同期群分析

无变化