You need to enable JavaScript to run this app.
导航

实验诊断工具

最近更新时间2023.05.24 11:55:14

首次发布时间2021.02.23 10:41:56

一. 概述

针对实验协作者,从实验角度出发,用于监控分析当前实验的分流和白名单正常服务的健康度,能力又细分为「实验分流命中诊断」、「实验白名单命中诊断」和「实验调试日志」。
当前只有「调试中」、「运行中」的客户端实验(包括冻结和暂停),可诊断。

权限相关:拥有实验「协作者权限」的用户,可以从实验角度进行诊断分析,查看某些用户在某个时间段内,针对某个实验版本(或不选定实验版本)是否命中实验,以及未命中的原因分析。

二. 应用场景

如果你在AB实验中出现以下问题,均可使用命中诊断,排查出实验无法命中的详细原因。

  • 为什么我的测试机明明填了白名单,但是没生效?
  • 实验已经开始了,我已经把实验版本的流量权重调到90%,为什么测试机还没命中实验版本?
  • 实验开始有一阵子了,但是进组用户数不太符合预期,是不是分流出了问题?
三. 实验命中诊断

1. 诊断入口

1.1 实验列表页

在实验列表页,点击实验名称,随后点击“诊断icon”。如下图:

alt

1.2 实验编辑/详情页

在实验列表页,点击“操作-编辑”,即可进入实验编辑页面,在页面左下角有“诊断工具”入口。如下图:
alt

1.3 实验报告页

在实验列表页,点击“实验名称”、“操作-查看报告”,即可进入实验报告页面,在概览区域右下角有“实验诊断”入口。如下图:
image.png

2. 如何诊断?

从入口一、入口二、入口三进入当前实验的诊断工具页面,主要分为“列表模式”和“时间线模式”。

  • 您可以从下拉选框选择白名单或手工输入目标用户的分流ID,查询该用户在目标时间窗口内的请求分流情况和命中实验情况;
  • 日志回溯周期为3个月。

2.1 列表模式

image.png

2.2 时间线模式

image.png

3. 用户为什么无法命中实验?

序号原因详细解释
1实验状态为关闭该实验已关闭,任何用户都无法命中实验。
2互斥层命中规则白名单用户,命中同层其它实验。
3不属于流量区间该用户分流结果不属于该实验的流量区间,当前实验分配总流量为<实验赋予流量百分比>,该用户属于剩余流量空间。
4实验状态为暂停该实验当时处于暂停状态时,该用户虽然属于流量区间,但无法命中。
5实验状态为预览/调试该实验当时处于调试状态,该用户非白名单用户,无法命中。
6实验状态为冻结该实验当时处于冻结状态,该用户冻结前未曝光实验,虽然属于流量区间,但无法命中。
7流量过滤条件不符合该用户不满足受众过滤条件,无法命中。
eg.该用户“操作系统=Windows”,不满足过滤条件“操作系统=MAC/Android”,无法命中。
8未命中多链接实验该用户请求URL未命中多链接实验目标URL。