You need to enable JavaScript to run this app.
最新活动
产品
解决方案
定价
生态与合作
支持与服务
开发者
了解我们
导航

编程实验

最近更新时间2023.04.25 15:25:07

首次发布时间2021.02.23 10:41:56

一. 概述

编程实验:指的是通过代码编程进行AB实验,广泛使用于前端优化、策略优化和后端算法优化多种实验场景,包含客户端和服务端实验。
前置条件:接入客户端SDK或者服务端SDK,详见:应用接入

二. 应用场景

如何选择实验类型?适用场景是什么?

  • 服务端实验 :指通过服务端获取实验分组信息并控制配置生效或下发的实验。

    • 部分功能只能由服务端来控制,比如内容分发算法(如用户打开今日头条以后在feed流中会看见什么内容)、由服务端逻辑控制的产品功能(如推送)等。

    • 不要求唤起APP时就使实验配置生效。客户端有充分时间向服务端发起请求,获得实验配置后再向用户展示策略。

  • 客户端实验 :指通过客户端获取实验分组信息并控制配置生效的实验。

    • 部分功能只能通过客户端控制,比如客户端的UI样式、交互功能设计等。

    • APP唤起时,配置即需生效。比如我们要针对APP的开屏页面进行A/B实验,用户刚刚打开APP,客户端就需要向用户展现开屏界面了。这种情况下客户端可能来不及向服务端请求配置参数。

三、操作演示

快速了解编程实验创建流程👇


四. 操作说明

在实验列表页点击“+创建实验”,选择编程实验,进入实验创建流程:

4.1 创建实验

4.1.1 输入基本信息

产品示例图操作项说明

  1. 实验名称 :实验名称建议取与实验内容相关的名称,如有实验版本迭代可以增加版本号后缀,让你的伙伴能够快速了解到实验是做什么的、是在哪个迭代版本的。

  2. 实验描述 :实验内容简述,可以让项目相关人员更清晰地知道到这个实验是如何做的,解决什么问题,同时也便于后期查看和管理历史实验时一目了然。

  3. 实验类型 :客户端实验、服务端实验。

  4. 实验时长 :指实验开启的时间,一般为了避免工作日与周末的用户行为差异,至少观察 2 个完整周(14天)

  5. 实验标签:可以给实验打上自定义或者通用标签,用于筛选、归类实验。

  6. 实验负责人:默认为实验创建者。

4.1.2 设置生效策略

产品示例图操作项说明

  1. 是否互斥:当前实验是否需要与其他实验互斥来避免同一个用户进入两个会相互影响的实验时可以选择手动创建。例如,你要同时做按钮颜色和按钮形状的实验,就需要将两个实验加入到一个互斥组列表。了解更多互斥组相关内容及如何创建互斥组可查看:互斥组

  2. 实验流量:生效实验的用户占满足用户受众用户比例。系统默认为100%流量,您可以通过建议工具(点击流量计算器)来看设置多少流量合适。详见:实验流量建议工具

  3. 用户受众规则:通过请求参数、用户分群等来圈选你的实验是面向哪些用户生效的。

  4. 体验一致性:保障同一个用户只进入一个实验版本。开启后,用户只要进过当前实验版本(除非暂停,关闭实验),就不再出实验。各实验版本流量权重变更后,历史进组用户不会受到影响,只会影响已分配但未进组的用户,以及未分配的用户。

  • 用户受众规则说明:
实验产品示例图操作项说明

客户端实验

  • 添加过滤条件和分群
    • 支持多个筛选组,组间关系为“或”,每个筛选组内的过滤条件为“且”。

    • 可以拖拽右侧的「筛选维度」和「用户分群」作为过滤条件。

  • 可以配置您希望参与实验的用户群体,支持系统提供的「默认属性」和「自定义属性」。
    • 默认属性:比如用户分群、软件语言、utm_source、utm_medium、utm_campaign、utm_term、utm_content、小程序基础库版本号、小程序平台、平台版本号、网络类型、前向域名、前向地址、系统版本、操作系统、浏览器、浏览器版本、系统语言、设备型号、分辨率、软件版本。

    • 自定义属性:比如custom_platformVersionCode、custom_email、custom_useN、custom_userName、custom_useName、custom_gender、custom_custom_platform、custom_adidas_server_cookie_id、custom_screen_height、custom_screen_width、custom_org_id、用户首次安装时间。

  • 新用户实验

在「选择目标受众」过滤器中,可以针对新用户添加“用户首次安装时间”过滤条件,使用首次安装时间识别新用户,即首次安装时间晚于实验开启时间的所有用户被划入“新用户”范畴。在实验开启期间,只有新用户进组,其他存量用户不进组。

服务端实验

  • 服务端实验添加过滤条件和分群同客户端实验

  • 添加受众规则:可下拉选择已注册的服务端过滤参数,也可重新创建服务端过滤参数

4.1.3 配置实验版本

产品示例图操作项说明

  1. 测试用户命中条件:测试用户的命中逻辑是否忽略发布受众的过滤条件,默认为"无需满足"

  2. 是否关联Feature:选择关联后,可以将实验与 Feature 版本进行绑定,方便后续全量管理

  3. 实验版本/对照版本选择:对照版本一般是当前的策略,实验版本一般是我们想要尝试的新策略,同时可以修改版本的名称;

  4. 实验配置参数:填写在调用AB时需要获取的实验配置参数,用来区分当前用户命中的不同的实验策略

  5. 测试用户:创建实验后进行测试实验的用户ID列表。在实验正式开启之前,通常需要先选择几名用户进入测试阶段,观察实验是否能够正常获取想要收集的数据,或客户端是否有bug等。

  6. 添加实验版本:点击后可新增一个实验版本

  7. 实验组流量比例分配:用户命中实验后,不同实验版本之间分配的流量比例


  • 添加测试用户

  1. 什么是测试用户?

    • 在实验正式开启之前,通常需要先选择几名用户进入测试阶段,观察实验是否能够正常获取想要收集的数据,或客户端是否有bug等。参与这一步的用户被称为“白名单用户”。
  2. SSID和UUID是什么?

    • SSID:即标准化服务ID(Standardized Service Id),是火山引擎增长营销套件系列产品用来标记和识别用户而提供的用户标识。SSID由DataRanges生成和维护,您和团队可以根据需要使用。

    • UUID:即User Unique Id,一般与用户的登录id(如手机号、email)一一对应,UUID由您和团队来维护。

  3. SSID的添加方式

    • 1) 手动录入:点击“+常用白名单”,填写“白名单名称、描述、SSID/UUID、标签”即可创建。白名单名称和SSID/UUID添加后不可修改。

      • SSID获取方式:
        • 可在「全局设置-用户细查」输入UUID,可查询SSID。

        • 获取SSID的方法,可参考「应用接入」文档。

    • 2) 扫码录入:填写白名单,手动输入的UUID、SSID数字较长(如:ssid="a0166a58-137a-410c-af02-04acc905edc9"),容易出错且不方便。因此对移动端的应用(iOS、Android),支持扫描二维码来录入设备ID。 详见:扫码录入设备ID

    • 3)模式说明:

      • 单个模式: 一次录入一个ssid

      • 批量模式: 可多次扫码录入多个ssid,以逗号分割

注:

  • 如果一个用户是某个版本的白名单用户,那么实验分流对该用户是没有影响的,会固定在该版本。白名单的用户,实验开启后的数据也会被计算到实验报告里。

  • 更多关于白名单的说明,可参考文档

  • 示例代码

在录入完实验参数后,会自动生成示例代码,需要开发人员通过编程去实现实验的逻辑。

实验产品内容示例代码样式

客户端实验

服务端实验

  • 流量分配

实验流量分配设置:即分配每个实验版本之间的流量比例分配。

产品示例图操作项说明

  • 流量均匀分配-开启:默认为开启状态,开启状态下为强制各实验版本流量均匀分配。

  • 流量均匀分配-关闭:关闭后可调配对照版本和实验版本的流量相对占比。 可通过输入数值,来控制每个实验版本命中的用户比例。例如,当关闭均匀分配后,三个实验版本,可配置对照版本占比20%,实验版本1占比为50%,实验版本2占比为30%,整体总和为100%。

4.1.4 实验指标

实验指标可以衡量实验成功与否,实验开始后,在实验报告页面可以看到关注指标在实验版本和对照版本的对比,在这一步,需要选择实验关注指标。

产品示例图操作项说明

  1. 核心指标配置:用来决策实验功能是否符合预期的「直接效果指标」或「成功指标」。更多查看确定评估指标

  2. 监控报警:可选择目标指标点击“监控报警”,填写具体需要的报警策略,选择是否勾选“效果显著”,以及选择报警策略的生效方式。

  3. 编辑指标:点击图例中3位置处可进入指标编辑页面,对可指标进行名称、指标类型、是否设为必看指标等进行编辑。

  4. 关注指标配置:对需要关注的指标进行配置。

  5. 移除指标:移除指标,则在实验报告看不到该指标的数据。

  6. 新建指标:可新建一个需要查看的指标。

  7. 置信水平:置信水平(也称置信度、置信系数、统计显著性),是指实验组与对照组之间存在真正性能差异的概率。例如在置信水平是95%的情况下,如果某个实验指标的置信度p值<0.05,则说明这个指标相比对照组,是有显著(超过置信水平)差异的。 如需设置置信水平参数值,则需联系集团管理员或应用管理员,前往“系统管理-置信水平设置”进行设置。

4.2 开启实验

实验调试完毕,在实验列表页点击“开始”,即可开启实验。实验开始后,进组用户可实时查看,指标置信度第二日产出。如下图: