多链接实验

最近更新时间：2023.05.24 11:55:13

首次发布时间：2021.02.23 10:41:56

一. 概述

多链接实验，也称为Split url实验，用户根据分流结果访问不同版本的url。

举个例子：
当您有两个不同样式的落地页 https://example.com/1.html 和 https://example.com/2.html，想要对比这两个页面的转化效果时，可以选择将 https://example.com/1.html设置为对照版本链接，https://example.com/2.html 设置为实验版本链接。
实验开始运行后，将对照版本链接推送给用户。如果为两个版本各分配50%的流量，那么用户访问对照版本链接 https://example.com/1.html时，有50%用户进入原始版本，其余50%用户会进入实验版本，跳转到 https://example.com/2.html。如果直接访问 https://example.com/2.html 将不会进入实验。

前置条件及限制 ：
目前多链接实验支持在Web及H5页面开启。
创建多链接实验，需要安装「A/B 测试」的Web/H5/WAP SDK。
实验类型：
多链接实验的实验类型为客户端实验。

二. 应用场景

市场同学对不同广告落地页进行测试，以期比对各落地页的转化率，选出优胜页面。
运营同学对不同内容页进行测试，尤其是H5活动页，以期比对各活动页带来的转化情况，从而选出优胜活动页。
产品同学对不同的注册流程页面进行测试，以期比对不同流程带来的用户注册流失率情况。

三. 操作演示

快速了解多链接实验创建流程👇

四. 操作说明

4.1 创建实验

在实验列表页点击“+创建实验”，选择多链接实验，进入实验创建流程：

4.1.1 输入基本信息

产品示例图	操作项说明
	实验名称：实验名称建议取与实验内容相关的名称，如有实验版本迭代可以增加版本号后缀，让你的伙伴能够快速了解到实验是做什么的、是在哪个迭代版本的。实验描述：实验内容简述，可以让项目相关人员更清晰地知道到这个实验是如何做的，解决什么问题，同时也便于后期查看和管理历史实验时一目了然。实验类型：客户端实验（不可改）。实验时长：指实验开启的时间，一般为了避免工作日与周末的用户行为差异，至少观察 2 个完整周(14天) 实验标签：可以给实验打上自定义或者通用标签，用于筛选、归类实验。实验负责人：默认为实验创建者。

产品示例图

操作项说明

实验名称 ：实验名称建议取与实验内容相关的名称，如有实验版本迭代可以增加版本号后缀，让你的伙伴能够快速了解到实验是做什么的、是在哪个迭代版本的。
实验描述 ：实验内容简述，可以让项目相关人员更清晰地知道到这个实验是如何做的，解决什么问题，同时也便于后期查看和管理历史实验时一目了然。
实验类型 ：客户端实验（不可改）。
实验时长 ：指实验开启的时间，一般为了避免工作日与周末的用户行为差异，至少观察 2 个完整周(14天)
实验标签：可以给实验打上自定义或者通用标签，用于筛选、归类实验。
实验负责人：默认为实验创建者。

4.1.2 选择生效策略

产品示例图	操作项说明
	是否互斥：当前实验是否需要与其他实验互斥来避免同一个用户进入两个会相互影响的实验时可以选择手动创建。例如，你要同时做按钮颜色和按钮形状的实验，就需要将两个实验加入到一个互斥组列表。了解更多互斥组相关内容及如何创建互斥组可查看：互斥组实验流量：生效实验的用户占满足用户受众用户比例。系统默认为100%流量，您可以通过建议工具（点击流量计算器）来看设置多少流量合适。详见：实验流量建议工具用户受众规则：通过请求参数、用户分群等来圈选你的实验是面向哪些用户生效的。体验一致性：保障同一个用户只进入一个实验版本。开启后，用户只要进过当前实验版本(除非暂停，关闭实验)，就不再出实验。各实验版本流量权重变更后，历史进组用户不会受到影响，只会影响已分配但未进组的用户，以及未分配的用户。

产品示例图

操作项说明

是否互斥：当前实验是否需要与其他实验互斥来避免同一个用户进入两个会相互影响的实验时可以选择手动创建。例如，你要同时做按钮颜色和按钮形状的实验，就需要将两个实验加入到一个互斥组列表。了解更多互斥组相关内容及如何创建互斥组可查看：互斥组
实验流量：生效实验的用户占满足用户受众用户比例。系统默认为100%流量，您可以通过建议工具（点击流量计算器）来看设置多少流量合适。详见：实验流量建议工具
用户受众规则：通过请求参数、用户分群等来圈选你的实验是面向哪些用户生效的。
体验一致性：保障同一个用户只进入一个实验版本。开启后，用户只要进过当前实验版本(除非暂停，关闭实验)，就不再出实验。各实验版本流量权重变更后，历史进组用户不会受到影响，只会影响已分配但未进组的用户，以及未分配的用户。

4.1.3 配置实验版本

在多链接实验中，只需要根据实际场景配置对照版本及实验版本的url即可，其中对照版本是分流的基本url，此处填写的url及url匹配方式是决定用户访问的页面是否可以命中实验的依据，命中实验后会访问到哪个版本是分流服务决定的。

匹配规则	产品示例图	规则说明
简单匹配		用于定位单个页面的网站，当指定的URL匹配时，实验将在特定页面上运行。在url进行匹配时，简单匹配会忽略url中的查询参数和锚点，在用户访问页面的url域名和路径匹配的情况即可命中实验。简单匹配会忽略网址中的以下部分：查询参数哈希或锚标记 url中是否存在www url简单匹配会对比以下部分：子域名子目录文件扩展名（.html，.php等）
精准匹配		url精准匹配，即完全匹配，不会忽略网址的任何部分，且只有在完全匹配网址后，实验才会运行。当您需要排除带有参数的页面时，可使用「精准匹配」。
参数匹配		「热力图」跟「URL参数匹配」功能无法同时开启，如需使用「URL参数匹配」，请在热力图位置点击关闭（如上图所示）支持用户自定义页面的域名、路径以及参数。适用于在某些投放场景下，投放的渠道会随机增加参数的场景，在这种场景下，简单匹配无法区分让某些投放渠道，精准匹配无法提前预知具体的链接。用户输入域名为：https://www.volcengine.com 路径为：/docs/search 参数为：q 包含【aaa】【bbb】、c 等于【111】【222】则当用户访问以下url时，匹配情况如表中所示：

匹配规则

产品示例图

规则说明

简单匹配

alt

用于定位单个页面的网站，当指定的URL匹配时，实验将在特定页面上运行。

在url进行匹配时，简单匹配会忽略url中的查询参数和锚点，在用户访问页面的url域名和路径匹配的情况即可命中实验。

简单匹配会忽略网址中的以下部分：
- 查询参数
- 哈希或锚标记
- url中是否存在www
url简单匹配会对比以下部分：
- 子域名
- 子目录
- 文件扩展名（.html，.php等）

精准匹配

url精准匹配，即完全匹配，不会忽略网址的任何部分，且只有在完全匹配网址后，实验才会运行。当您需要排除带有参数的页面时，可使用「精准匹配」。

参数匹配

「热力图」跟「URL参数匹配」功能无法同时开启，如需使用「URL参数匹配」，请在热力图位置点击关闭（如上图所示）

支持用户自定义页面的域名、路径以及参数。适用于在某些投放场景下，投放的渠道会随机增加参数的场景，在这种场景下，简单匹配无法区分让某些投放渠道，精准匹配无法提前预知具体的链接。

用户输入域名为：https://www.volcengine.com
路径为：/docs/search
参数为：q 包含【aaa】【bbb】、c 等于【111】【222】
则当用户访问以下url时，匹配情况如表中所示：

url参数传递说明：

多链接实验中提供了「重定向时保留原始url的参数和锚点」选项，当用户勾选后，用户到访地址url中的参数及锚点将会保留并与用户最终实际命中的版本中url的参数和锚点合并，若参数值有冲突则会以填写的url中的参数值及锚点值为准。
举个例子，用户勾选了「重定向时保留原始url的参数和锚点」则在 简单匹配 的情况下，填写的
对照版本url为： https://app.test.com?param1=origin#frag1
实验版本url为： https://miniapp.test.com/path?param1=redirect#frag1
则重定向结果如下表：

序号	到访url	是否匹配	命中对照版本后，最终的url	命中实验版本后，最终的url
1	https://app.test.com	匹配	https://app.test.com?param1=origin#frag1	https://miniapp.test.com/path?param1=redirect#frag1
2	https://app.test.com?utm_source=5&utm_medium=sembaidu&userid=23	匹配	https://app.test.com?utm_source=5&utm_medium=sembaidu&userid=23&param1=origin#frag1	https://miniapp.test.com/path?utm_source=5&utm_medium=sembaidu&userid=23&param1=redirect#frag1
3	https://app.test.com/#AKYlHl	匹配	https://app.test.com?param1=origin#frag1	https://miniapp.test.com/path?param1=redirect#frag1
4	https://app.test.com/?param1=origin&utm_medium=sembaidu&userid=23#frag2	匹配	https://app.test.com?param1=origin&utm_medium=sembaidu&userid=23#frag1	https://miniapp.test.com/path?param1=redirect&utm_medium=sembaidu&userid=23#frag1
5	https://test.com	不匹配	--	--
6	https://miniapp.test.com
7	https://app.test.com/index.php	不匹配	--	--
8	https://app.test.com/subdirector	不匹配	--	--
9	https://docs.app.test.com/	不匹配	--	--
10	https://docs.test.com/	不匹配	--	--

4.1.4 实验指标

实验指标可以衡量实验成功与否，实验开始后，在实验报告页面可以看到关注指标在实验版本和对照版本的对比，在这一步，需要选择实验关注指标。

产品示例图	操作项说明
	核心指标配置：用来决策实验功能是否符合预期的「直接效果指标」或「成功指标」。更多查看确定评估指标。监控报警：可选择目标指标点击“监控报警”，填写具体需要的报警策略，选择是否勾选“效果显著”，以及选择报警策略的生效方式。编辑指标：点击图例中3位置处可进入指标编辑页面，对可指标进行名称、指标类型、是否设为必看指标等进行编辑。关注指标配置：对需要关注的指标进行配置。移除指标：移除指标，则在实验报告看不到该指标的数据。新建指标：可新建一个需要查看的指标。置信水平：置信水平（也称置信度、置信系数、统计显著性），是指实验组与对照组之间存在真正性能差异的概率。例如在置信水平是95%的情况下，如果某个实验指标的置信度p值<0.05，则说明这个指标相比对照组，是有显著(超过置信水平)差异的。如需设置置信水平参数值，则需联系集团管理员或应用管理员，前往“系统管理-置信水平设置”进行设置。

产品示例图

操作项说明

核心指标配置：用来决策实验功能是否符合预期的「直接效果指标」或「成功指标」。更多查看确定评估指标。
监控报警：可选择目标指标点击“监控报警”，填写具体需要的报警策略，选择是否勾选“效果显著”，以及选择报警策略的生效方式。
编辑指标：点击图例中3位置处可进入指标编辑页面，对可指标进行名称、指标类型、是否设为必看指标等进行编辑。
关注指标配置：对需要关注的指标进行配置。
移除指标：移除指标，则在实验报告看不到该指标的数据。
新建指标：可新建一个需要查看的指标。
置信水平：置信水平（也称置信度、置信系数、统计显著性），是指实验组与对照组之间存在真正性能差异的概率。例如在置信水平是95%的情况下，如果某个实验指标的置信度p值<0.05，则说明这个指标相比对照组，是有显著(超过置信水平)差异的。如需设置置信水平参数值，则需联系集团管理员或应用管理员，前往“系统管理-置信水平设置”进行设置。

4.2 开启实验

实验调试完毕，在实验列表页点击“开始”，即可开启实验。实验开始后，进组用户可实时查看，指标置信度第二日产出。如下图：

一. 概述

二. 应用场景

三. 操作演示

四. 操作说明

4.1 创建实验

4.1.1 输入基本信息

4.1.2 选择生效策略

4.1.3 配置实验版本

4.1.4 实验指标

4.2 开启实验

A/B测试

多链接实验

4.1 创建实验

4.1.1 输入基本信息

4.1.2 选择生效策略

4.1.3 配置实验版本

url参数传递说明：

4.1.4 实验指标

4.2 开启实验