You need to enable JavaScript to run this app.
导航

用户命中实验查询

最近更新时间2023.11.10 16:01:12

首次发布时间2023.11.10 16:01:12

1.工具能力

通过用户ssid查询用户命中的实验详情、命中时间和命中次数,辅助排查定位跟实验相关的问题

  1. 查询单个、多个用户ssid命中的实验,可查询在近七天时间范围内的实验,建议选择单天进行查询

  2. 增加查询条件,可根据实验名称、实验组配置参数、实验标签、操作系统、实验owner、实验ID、实验组ID(版本ID)、实验状态、流量区间等过滤符合需求的实验

  3. 可将查询条件存为模板,后需查询同一批用户命中实验情况可直接调用模板

  4. 对查询结果支持自定义排序,可使用“查询id命中数”、“实验总命中用户数”、“查询用户分布情况”、“实验放量时间”、“实验暂停时间”、“实验关闭时间”来进行排序,找到最有可能的实验

  5. 支持下载数据,导出实验数据和实验组数据

2.适用场景
  1. 个体问题排查:通过查询用户是否命中某个实验的实验组,来定位是否是某个实验引起的问题。

    1. 常见使用场景
      1. 开发测试实验阶段:确认用户是否正确进组且被正确记录。

      2. 根因定位&Debug:快速查找符合预期的case,定位和排查问题。

  2. 多用户查询:遇到相似问题的用户反馈集中爆发,怀疑可能跟某实验有关,可以通过此工具来定位问题。

    1. 常见使用场景
      1. 线上排障:通过用户反馈信息,批量查询,找出最可疑的实验。
3.如何使用?

工具入口

查询方式

1. 通过输入用户ssid点击查询

  • 查询范围为有权限产品的全部接入来源

  • 默认时间范围为最近七天,可选择范围为最近7天内的数据,可查询用户在该时间范围内命中的实验

  • 默认勾选“过滤100%单组实验”和“过滤对照组”


2. 可按需增加查询条件
通过增加查询条件,选择条件类型,过滤出你需要的实验list。支持条件如下:

  • 实验名称:可输入多个关键词,用,英文逗号分割

  • 实验组配置参数:过滤实验配置参数,可输入key或value值

  • 实验标签:可选择对应的标签

  • 操作系统:目前支持全部、iphone和android

  • 实验owner:支持owner和群组

  • 实验ID:输入单个实验ID

  • 实验组ID(版本ID):输入单个实验组ID

  • 实验状态:支持全部状态、已结束、进行中、调试中等


3. 其他说明

  • 当查询中遇到希望取消的情况,可以点击取消按钮进行取消

  • 可将查询条件存为模板,后需查询同一批用户命中实验情况可直接调用模板

查询结果

1. 排序功能
对查询结果提供自定义排序功能

  • 查询id命中数/实验总命中用户数:从大到小(默认值)/从小到大

  • 查询用户分布情况:优先展示不均等(默认值)/优先展示均等

  • 实验放量时间/实验暂停时间/实验关闭时间:从远到近(默认值)/从近到远

  • 通过左侧四条杠,可以实现排序优先级的调整,1为最高优先级,3为最低优先级。

  • 通过右侧开关,可将该排序功能关闭。

  • 任意排序数据如无,则置底。

  • 可一键恢复默认排序规则。


2. 结果展示
查询结果会以实验粒度进行展示,结果中也将显示
(1) 实验信息:实验名称,运行状态,实验命中人数,流量比例,实验开始和结束时间

  • 鼠标在实验名称上将浮层展示具体信息:实验描述、实验类型、实验层等信息


(2) 点击左侧箭头,将展示和查询结果相关的实验组信息:实验组名称,实验组ID,实验组命中人数,流量比例

  • 鼠标在实验组上将浮层展示实验配置信息:


(3) 查询id命中数:当前查询id中,与本实验命中的数量(多组将去重)

  • 鼠标在实验组数值上将浮层展示命中用户明细数据:用户id,命中次数,首次命中时间,最新命中时间


(4) 点击最近一次操作:实验放量(开始时间为准),实验暂停,实验关闭(结束时间为准),实验开启,实验恢复(开始时间为准),点击后可展示当前实验日志信息。

(5) 结果中的id命中数下提示了各组均等的结果提示,便于用户快速定位。

  • 点击提示可查看id命中数计算公式

  • 实验中任意实验组结果为不均等,实验则为不均等

  • 过滤对照组时,对照组不计算在内;反之需要加入计算。

(6)点击【下载数据】支持将查询结果导出

  • 导出格式为csv

  • 可导出两张表格

    • 实验数据(实验ID,实验名称,实验查询id命中数,实验人数,实验流量,实验owner,实验起止时间,实验最近一次操作,实验生效方式)

    • 实验组数据(实验ID,实验名称,实验组名称,实验组id,命中人数,流量,实验查询id命中数 )