系统设置

在系统管理-系统设置模块，火山引擎A/B测试为您提供了【实验创建/编辑】、【置信水平】和【系统提示】的能力。系统设置中的参数设置成功，将会对当前应用内新建实验以及历史的“草稿+调试中+运行中”的实验生效，历史“已结束”的不会发生改变。

1. 实验创建/编辑

1.1 支持去除被动事件

在火山引擎A/B测试，实验进组条件可以按【主动任意事件和被动事件】进行区分，您可对【被动事件】设置为不作为进组标准，使实验数据满足您真实业务情况。

您可对【进组用户剔除被动事件触发条件】这一选项进行设置， 系统默认为"否", 如修改为"是"的话则在进组用户中, 将剔除仅触发被动事件的用户。

关于主动事件和被动事件，详细可参考：被动和关系事件

1.2 置信水平

1.2.1 置信水平概述

置信水平（也称置信度、置信系数、统计显著性），指实验组与对照组之间存在真正性能差异的概率，实验组和对照组之间衡量目标（即配置的指标）的差异不是因为随机而引起的概率。置信水平使我们能够理解结果什么时候是正确的， 对于大多数企业而言，一般来说，置信水平高于95％都可以理解为实验结果是正确的。因此，默认情况下， 「A/B 测试」产品 将置信水平参数值设置为95%，您也可按需设置。

在A/B实验中，由于我们只能抽取流量做小样本实验，样本流量的分布与总体流量不会完全一致。这就导致没有一个实验结果可以100%准确——即使数据涨了，也可能仅仅由抽样误差造成，跟我们采取的策略无关。在统计学中， 置信度的存在就是为了描述实验结果的可信度。

1.2.2 置信水平与实验结果

实验结果需要从两方面评估：第一是数据结果的涨跌；第二是判断是否可以相信数据结果，即结果是否“显著”。

如何理解数据是否显著呢？

• A/B实验是一种小流量实验，我们需要从总体流量中抽取一定量的样本来验证新策略是否有效。抽样过程中，样本并不能完全代表整体。样本分布不均导致实验结果可能出现一种情况——“我采取的策略其实没用，但是实验结果显示策略有效”。

• 统计学告诉我们，这种错误不可能完全避免，但是我们可以通过一些统计学方法，在得出实验数据结果的过程中，计算上述错误发生的概率。换句话说，我们可以判断我们的实验有百分之多少的概率是可信的。

根据业界的公认标准，在A/B实验中，如经统计学计算，实验数据结果有95%以上的概率可信，我们便称数据结果是显著的。这样的数据结果才能够用于判断实验假设是否成立。

1.2.3 使用场景

置信水平参数值，可以理解为是一个标准、一个门槛，同一个实验，门槛越高显著的指标就越少，门槛越低显著的指标就越多。置信水平参数值设置的越高，实验结果越可信。

• 如果你想显著的指标数量越多，那么可以设置较低的置信水平参数值，但实验结果的可信度就会降低；

• 如果你想提升实验结果的可信度，那么可以设置较高的置信水平参数值，但显著的指标数量就会越少。

1.2.4 如何操作

火山引擎AB测试默认置信水平参数值为95%，您可按需进行设置，可设置的参数值为99%、95%、90%、80%，点选百分比数字后保存即可。

• 权限：只有集团管理员、应用管理员才可设置该参数值。

• 说明：置信水平参数设置成功，将会对当前应用内新建实验以及历史的“草稿+调试中+运行中”的实验生效，历史“已结束”的不会发生改变。

如下图：

1.3 系统设置

在系统设置处，您可对单个实验支持最多的指标数进行设置，上限为1000

2. 系统提示

火山引擎AB测试支持您自定义设置无权限提示信息，您可通过修改文案，对您无权限的用户/同事进行提示和引导。具体位置如下图：