You need to enable JavaScript to run this app.
导航
系统设置
最近更新时间:2023.05.24 11:55:14首次发布时间:2021.02.23 10:41:57
一. 概述

在系统管理-系统设置模块,火山引擎A/B测试为您提供了【实验创建/编辑】、【置信水平】和【系统提示】的能力。系统设置中的参数设置成功,将会对当前应用内新建实验以及历史的“草稿+调试中+运行中”的实验生效,历史“已结束”的不会发生改变。

二. 功能介绍

1. 实验创建/编辑

1.1 支持去除被动事件

在火山引擎A/B测试,实验进组条件可以按【主动任意事件和被动事件】进行区分,您可对【被动事件】设置为不作为进组标准,使实验数据满足您真实业务情况。

您可对【进组用户剔除被动事件触发条件】这一选项进行设置, 系统默认为"否", 如修改为"是"的话则在进组用户中, 将剔除仅触发被动事件的用户。

关于主动事件和被动事件,详细可参考:被动和关系事件

image.png

1.2 置信水平

1.2.1 置信水平概述

置信水平(也称置信度、置信系数、统计显著性),指实验组与对照组之间存在真正性能差异的概率,实验组和对照组之间衡量目标(即配置的指标)的差异不是因为随机而引起的概率。置信水平使我们能够理解结果什么时候是正确的, 对于大多数企业而言,一般来说,置信水平高于95%都可以理解为实验结果是正确的。因此,默认情况下, 「A/B 测试」产品 将置信水平参数值设置为95%,您也可按需设置。

在A/B实验中,由于我们只能抽取流量做小样本实验,样本流量的分布与总体流量不会完全一致。这就导致没有一个实验结果可以100%准确——即使数据涨了,也可能仅仅由抽样误差造成,跟我们采取的策略无关。在统计学中, 置信度的存在就是为了描述实验结果的可信度。

1.2.2 置信水平与实验结果

实验结果需要从两方面评估:第一是数据结果的涨跌;第二是判断是否可以相信数据结果,即结果是否“显著”。

如何理解数据是否显著呢?

  • A/B实验是一种小流量实验,我们需要从总体流量中抽取一定量的样本来验证新策略是否有效。抽样过程中,样本并不能完全代表整体。样本分布不均导致实验结果可能出现一种情况——“我采取的策略其实没用,但是实验结果显示策略有效”。

  • 统计学告诉我们,这种错误不可能完全避免,但是我们可以通过一些统计学方法,在得出实验数据结果的过程中,计算上述错误发生的概率。换句话说,我们可以判断我们的实验有百分之多少的概率是可信的。

根据业界的公认标准,在A/B实验中,如经统计学计算,实验数据结果有95%以上的概率可信,我们便称数据结果是显著的。这样的数据结果才能够用于判断实验假设是否成立。

1.2.3 使用场景

置信水平参数值,可以理解为是一个标准、一个门槛,同一个实验,门槛越高显著的指标就越少,门槛越低显著的指标就越多。置信水平参数值设置的越高,实验结果越可信。

  • 如果你想显著的指标数量越多,那么可以设置较低的置信水平参数值,但实验结果的可信度就会降低;

  • 如果你想提升实验结果的可信度,那么可以设置较高的置信水平参数值,但显著的指标数量就会越少。

1.2.4 如何操作

火山引擎AB测试默认置信水平参数值为95%,您可按需进行设置,可设置的参数值为99%、95%、90%、80%,点选百分比数字后保存即可。

  • 权限:只有集团管理员、应用管理员才可设置该参数值。

  • 说明:置信水平参数设置成功,将会对当前应用内新建实验以及历史的“草稿+调试中+运行中”的实验生效,历史“已结束”的不会发生改变。

如下图:

image.png

1.3 系统设置

在系统设置处,您可对单个实验支持最多的指标数进行设置,上限为1000

image.png

2. 系统提示

火山引擎AB测试支持您自定义设置无权限提示信息,您可通过修改文案,对您无权限的用户/同事进行提示和引导。具体位置如下图:

image.png