编程实验

1. 实验名称 ：实验名称建议取与实验内容相关的名称，如有实验版本迭代可以增加版本号后缀，让你的伙伴能够快速了解到实验是做什么的、是在哪个迭代版本的。

2. 实验描述 ：实验内容简述，可以让项目相关人员更清晰地知道到这个实验是如何做的，解决什么问题，同时也便于后期查看和管理历史实验时一目了然。

3. 实验类型 ：客户端实验、服务端实验。

4. 实验时长 ：指实验开启的时间，一般为了避免工作日与周末的用户行为差异，至少观察 2 个完整周(14天)

5. 实验标签：可以给实验打上自定义或者通用标签，用于筛选、归类实验。

6. 实验负责人：默认为实验创建者。

1. 是否互斥：当前实验是否需要与其他实验互斥来避免同一个用户进入两个会相互影响的实验时可以选择手动创建。例如，你要同时做按钮颜色和按钮形状的实验，就需要将两个实验加入到一个互斥组列表。了解更多互斥组相关内容及如何创建互斥组可查看：互斥组

2. 实验流量：生效实验的用户占满足用户受众用户比例。系统默认为100%流量，您可以通过建议工具（点击流量计算器）来看设置多少流量合适。详见：实验流量建议工具

3. 用户受众规则：通过请求参数、用户分群等来圈选你的实验是面向哪些用户生效的。

4. 体验一致性：保障同一个用户只进入一个实验版本。开启后，用户只要进过当前实验版本(除非暂停，关闭实验)，就不再出实验。各实验版本流量权重变更后，历史进组用户不会受到影响，只会影响已分配但未进组的用户，以及未分配的用户。

客户端实验

• 添加过滤条件和分群

  • 支持多个筛选组，组间关系为“或”，每个筛选组内的过滤条件为“且”。

  • 可以拖拽右侧的「筛选维度」和「用户分群」作为过滤条件。

• 可以配置您希望参与实验的用户群体，支持系统提供的「默认属性」和「自定义属性」。

  • 默认属性：比如用户分群、软件语言、utm_source、utm_medium、utm_campaign、utm_term、utm_content、小程序基础库版本号、小程序平台、平台版本号、网络类型、前向域名、前向地址、系统版本、操作系统、浏览器、浏览器版本、系统语言、设备型号、分辨率、软件版本。

  • 自定义属性：比如custom_platformVersionCode、custom_email、custom_useN、custom_userName、custom_useName、custom_gender、custom_custom_platform、custom_adidas_server_cookie_id、custom_screen_height、custom_screen_width、custom_org_id、用户首次安装时间。

• 新用户实验

在「选择目标受众」过滤器中，可以针对新用户添加“用户首次安装时间”过滤条件，使用首次安装时间识别新用户，即首次安装时间晚于实验开启时间的所有用户被划入“新用户”范畴。在实验开启期间，只有新用户进组，其他存量用户不进组。

服务端实验

• 服务端实验添加过滤条件和分群同客户端实验

• 添加受众规则：可下拉选择已注册的服务端过滤参数，也可重新创建服务端过滤参数。

1. 测试用户命中条件：测试用户的命中逻辑是否忽略发布受众的过滤条件，默认为"无需满足"

2. 是否关联Feature：选择关联后，可以将实验与 Feature 版本进行绑定，方便后续全量管理

3. 实验版本/对照版本选择：对照版本一般是当前的策略，实验版本一般是我们想要尝试的新策略，同时可以修改版本的名称；

4. 实验配置参数：填写在调用AB时需要获取的实验配置参数，用来区分当前用户命中的不同的实验策略

5. 测试用户：创建实验后进行测试实验的用户ID列表。在实验正式开启之前，通常需要先选择几名用户进入测试阶段，观察实验是否能够正常获取想要收集的数据，或客户端是否有bug等。

6. 添加实验版本：点击后可新增一个实验版本

7. 实验组流量比例分配：用户命中实验后，不同实验版本之间分配的流量比例

客户端实验

服务端实验

• 流量均匀分配-开启：默认为开启状态，开启状态下为强制各实验版本流量均匀分配。

• 流量均匀分配-关闭：关闭后可调配对照版本和实验版本的流量相对占比。 可通过输入数值，来控制每个实验版本命中的用户比例。例如，当关闭均匀分配后，三个实验版本，可配置对照版本占比20%，实验版本1占比为50%，实验版本2占比为30%，整体总和为100%。

1. 核心指标配置：用来决策实验功能是否符合预期的「直接效果指标」或「成功指标」。更多查看确定评估指标。

2. 监控报警：可选择目标指标点击“监控报警”，填写具体需要的报警策略，选择是否勾选“效果显著”，以及选择报警策略的生效方式。

3. 编辑指标：点击图例中3位置处可进入指标编辑页面，对可指标进行名称、指标类型、是否设为必看指标等进行编辑。

4. 关注指标配置：对需要关注的指标进行配置。

5. 移除指标：移除指标，则在实验报告看不到该指标的数据。

6. 新建指标：可新建一个需要查看的指标。

7. 置信水平：置信水平（也称置信度、置信系数、统计显著性），是指实验组与对照组之间存在真正性能差异的概率。例如在置信水平是95%的情况下，如果某个实验指标的置信度p值<0.05，则说明这个指标相比对照组，是有显著(超过置信水平)差异的。 如需设置置信水平参数值，则需联系集团管理员或应用管理员，前往“系统管理-置信水平设置”进行设置。