最近更新时间:2023.04.25 15:25:07
首次发布时间:2021.02.23 10:41:56
编程实验:指的是通过代码编程进行AB实验,广泛使用于前端优化、策略优化和后端算法优化多种实验场景,包含客户端和服务端实验。
前置条件:接入客户端SDK或者服务端SDK,详见:应用接入
如何选择实验类型?适用场景是什么?
服务端实验 :指通过服务端获取实验分组信息并控制配置生效或下发的实验。
部分功能只能由服务端来控制,比如内容分发算法(如用户打开今日头条以后在feed流中会看见什么内容)、由服务端逻辑控制的产品功能(如推送)等。
不要求唤起APP时就使实验配置生效。客户端有充分时间向服务端发起请求,获得实验配置后再向用户展示策略。
客户端实验 :指通过客户端获取实验分组信息并控制配置生效的实验。
部分功能只能通过客户端控制,比如客户端的UI样式、交互功能设计等。
APP唤起时,配置即需生效。比如我们要针对APP的开屏页面进行A/B实验,用户刚刚打开APP,客户端就需要向用户展现开屏界面了。这种情况下客户端可能来不及向服务端请求配置参数。
快速了解编程实验创建流程👇
在实验列表页点击“+创建实验”,选择编程实验,进入实验创建流程:
产品示例图 | 操作项说明 |
---|---|
|
产品示例图 | 操作项说明 |
---|---|
|
实验 | 产品示例图 | 操作项说明 |
---|---|---|
客户端实验 |
| |
| ||
在「选择目标受众」过滤器中,可以针对新用户添加“用户首次安装时间”过滤条件,使用首次安装时间识别新用户,即首次安装时间晚于实验开启时间的所有用户被划入“新用户”范畴。在实验开启期间,只有新用户进组,其他存量用户不进组。 | ||
服务端实验 |
|
产品示例图 | 操作项说明 |
---|---|
|
什么是测试用户?
SSID和UUID是什么?
SSID:即标准化服务ID(Standardized Service Id),是火山引擎增长营销套件系列产品用来标记和识别用户而提供的用户标识。SSID由DataRanges生成和维护,您和团队可以根据需要使用。
UUID:即User Unique Id,一般与用户的登录id(如手机号、email)一一对应,UUID由您和团队来维护。
SSID的添加方式
1) 手动录入:点击“+常用白名单”,填写“白名单名称、描述、SSID/UUID、标签”即可创建。白名单名称和SSID/UUID添加后不可修改。
可在「全局设置-用户细查」输入UUID,可查询SSID。
获取SSID的方法,可参考「应用接入」文档。
2) 扫码录入:填写白名单,手动输入的UUID、SSID数字较长(如:ssid="a0166a58-137a-410c-af02-04acc905edc9"),容易出错且不方便。因此对移动端的应用(iOS、Android),支持扫描二维码来录入设备ID。 详见:扫码录入设备ID
3)模式说明:
单个模式: 一次录入一个ssid
批量模式: 可多次扫码录入多个ssid,以逗号分割
注:
如果一个用户是某个版本的白名单用户,那么实验分流对该用户是没有影响的,会固定在该版本。白名单的用户,实验开启后的数据也会被计算到实验报告里。
更多关于白名单的说明,可参考文档。
在录入完实验参数后,会自动生成示例代码,需要开发人员通过编程去实现实验的逻辑。
实验 | 产品内容示例代码样式 |
---|---|
客户端实验 | |
服务端实验 |
实验流量分配设置:即分配每个实验版本之间的流量比例分配。
产品示例图 | 操作项说明 |
---|---|
|
实验指标可以衡量实验成功与否,实验开始后,在实验报告页面可以看到关注指标在实验版本和对照版本的对比,在这一步,需要选择实验关注指标。
产品示例图 | 操作项说明 |
---|---|
|
实验调试完毕,在实验列表页点击“开始”,即可开启实验。实验开始后,进组用户可实时查看,指标置信度第二日产出。如下图: