文档中心

可视化实验

最近更新时间：2023.12.04 15:18:36

首次发布时间：2021.02.23 10:41:56

一、概述

可视化实验，通过所见即所得的可视化编辑器进行可视化操作（比如编辑元素和属性，新增widgets组件，删除元素等），形成不同实验版本，通过分流和用户实际反馈来探究不同版本的页面效果最佳，从而确定哪个版本的页面更能吸引用户，提高转化率和用户留存率。

最大的亮点：无需编码，快速实验，降低产品和运营的使用成本。

前置条件及限制：

支持Web及H5页面，包括App内的H5页面
可视化实验的页面需要接入「A/B 测试」的Web/JS SDK集成开发指南。
页面传输协议需使用HTTPS（Hypertext Transfer Protocol Secure：超文本传输安全协议）。

实验类型：可视化实验的实验类型为客户端实验。
浏览器建议： AB系统建议使用最新版Chrome。

二、应用场景

可视化实验适用于落地页、主页等单页面+多页面的场景。

多页面可视化实验：在一个版本中可以包含多个页面，适用于优化前后有关联的多个页面。

AB可视化实验的使用场景包括：

界面设计优化：通过对比不同版本的界面设计，确定哪个版本更能吸引用户，提高用户留存率和转化率。
内容优化：通过对比不同版本的内容，确定哪个版本更能吸引用户，提高用户留存率和转化率。
功能优化：通过对比不同版本的功能，确定哪个版本更能满足用户需求，提高用户留存率和转化率。
营销策略优化：通过对比不同版本的营销策略，确定哪个版本更能吸引用户，提高用户留存率和转化率。

三、操作演示

快速了解可视化实验创建流程👇

四. 操作说明

4.1 创建实验

在实验列表页点击“+创建实验”，选择可视化实验，进入实验创建流程：
alt

4.1.1 输入基本信息

产品示例图	操作项说明
	实验名称：实验名称建议取与实验内容相关的名称，如有实验版本迭代可以增加版本号后缀，让你的伙伴能够快速了解到实验是做什么的、是在哪个迭代版本的。实验描述：实验内容简述，可以让项目相关人员更清晰地知道到这个实验是如何做的，解决什么问题，同时也便于后期查看和管理历史实验时一目了然。实验标签：可以给实验打上自定义或者通用标签，用于筛选、归类实验。实验类型：客户端实验（可视化实验只有客户端实验）实验时长：指实验开启的时间，一般为了避免工作日与周末的用户行为差异，至少观察 2 个完整周(14天) 实验负责人：默认为实验创建者。

产品示例图

操作项说明

实验名称 ：实验名称建议取与实验内容相关的名称，如有实验版本迭代可以增加版本号后缀，让你的伙伴能够快速了解到实验是做什么的、是在哪个迭代版本的。
实验描述 ：实验内容简述，可以让项目相关人员更清晰地知道到这个实验是如何做的，解决什么问题，同时也便于后期查看和管理历史实验时一目了然。
实验标签：可以给实验打上自定义或者通用标签，用于筛选、归类实验。
实验类型 ：客户端实验（可视化实验只有客户端实验）
实验时长 ：指实验开启的时间，一般为了避免工作日与周末的用户行为差异，至少观察 2 个完整周(14天)
实验负责人：默认为实验创建者。

4.1.2 选择生效策略

产品示例图	操作项说明
	是否互斥：当前实验是否需要与其他实验互斥来避免同一个用户进入两个会相互影响的实验时可以选择手动创建。例如，你要同时做按钮颜色和按钮形状的实验，就需要将两个实验加入到一个互斥组列表。了解更多互斥组相关内容及如何创建互斥组可查看：互斥组实验流量：生效实验的用户占满足用户受众用户比例。系统默认为100%流量，您可以通过建议工具（点击流量计算器）来看设置多少流量合适。详见：实验流量建议工具用户受众规则：通过请求参数、用户分群等来圈选你的实验是面向哪些用户生效的。体验一致性：保障同一个用户只进入一个实验版本。开启后，用户只要进过当前实验版本(除非暂停，关闭实验)，就不再出实验。各实验版本流量权重变更后，历史进组用户不会受到影响，只会影响已分配但未进组的用户，以及未分配的用户。

产品示例图

操作项说明

是否互斥：当前实验是否需要与其他实验互斥来避免同一个用户进入两个会相互影响的实验时可以选择手动创建。例如，你要同时做按钮颜色和按钮形状的实验，就需要将两个实验加入到一个互斥组列表。了解更多互斥组相关内容及如何创建互斥组可查看：互斥组
实验流量：生效实验的用户占满足用户受众用户比例。系统默认为100%流量，您可以通过建议工具（点击流量计算器）来看设置多少流量合适。详见：实验流量建议工具
用户受众规则：通过请求参数、用户分群等来圈选你的实验是面向哪些用户生效的。
体验一致性：保障同一个用户只进入一个实验版本。开启后，用户只要进过当前实验版本(除非暂停，关闭实验)，就不再出实验。各实验版本流量权重变更后，历史进组用户不会受到影响，只会影响已分配但未进组的用户，以及未分配的用户。

用户受众规则说明：

产品示例图	操作项说明
	添加过滤条件和分群支持多个筛选组，组间关系为“或”，每个筛选组内的过滤条件为“且”。可以拖拽右侧的「筛选维度」和「用户分群」作为过滤条件。
	可以配置您希望参与实验的用户群体，支持系统提供的「默认属性」和「自定义属性」。默认属性：比如用户分群、软件语言、utm_source、utm_medium、utm_campaign、utm_term、utm_content、小程序基础库版本号、小程序平台、平台版本号、网络类型、前向域名、前向地址、系统版本、操作系统、浏览器、浏览器版本、系统语言、设备型号、分辨率、软件版本。自定义属性：比如custom_platformVersionCode、custom_email、custom_useN、custom_userName、custom_useName、custom_gender、custom_custom_platform、custom_adidas_server_cookie_id、custom_screen_height、custom_screen_width、custom_org_id、用户首次安装时间。
	新用户实验在「选择目标受众」过滤器中，可以针对新用户添加“用户首次安装时间”过滤条件，使用首次安装时间识别新用户，即首次安装时间晚于实验开启时间的所有用户被划入“新用户”范畴。在实验开启期间，只有新用户进组，其他存量用户不进组。

产品示例图

操作项说明

添加过滤条件和分群
- 支持多个筛选组，组间关系为“或”，每个筛选组内的过滤条件为“且”。
- 可以拖拽右侧的「筛选维度」和「用户分群」作为过滤条件。

可以配置您希望参与实验的用户群体，支持系统提供的「默认属性」和「自定义属性」。
- 默认属性：比如用户分群、软件语言、utm_source、utm_medium、utm_campaign、utm_term、utm_content、小程序基础库版本号、小程序平台、平台版本号、网络类型、前向域名、前向地址、系统版本、操作系统、浏览器、浏览器版本、系统语言、设备型号、分辨率、软件版本。
- 自定义属性：比如custom_platformVersionCode、custom_email、custom_useN、custom_userName、custom_useName、custom_gender、custom_custom_platform、custom_adidas_server_cookie_id、custom_screen_height、custom_screen_width、custom_org_id、用户首次安装时间。

新用户实验

在「选择目标受众」过滤器中，可以针对新用户添加“用户首次安装时间”过滤条件，使用首次安装时间识别新用户，即首次安装时间晚于实验开启时间的所有用户被划入“新用户”范畴。在实验开启期间，只有新用户进组，其他存量用户不进组。

4.1.3 配置实验版本

产品示例图	操作项说明
	测试用户命中条件：测试用户的命中逻辑是否忽略发布受众的过滤条件，默认为"无需满足" 热力图：支持开启页面热力图，热力图功能介绍详见热力图分析。配置url规则：只决定用户访问的url是否可以命中实验，可以匹配即表示可以命中实验，不匹配即表示无法命中实验；用户命中实验的具体哪个版本是分流服务来决定的；在不同的url匹配方式下，我们关注到访的url是否可以成功匹配实验版本的url即可。预览版本：支持预览对照版本url的页面内容。进入编辑器：支持进入填写url对应的页面，并进行可视化编。添加页面：支持在同一版本中添加多个页面进行实验，用于优化前后有关联的多个页面。

产品示例图

操作项说明

测试用户命中条件：测试用户的命中逻辑是否忽略发布受众的过滤条件，默认为"无需满足"
热力图：支持开启页面热力图，热力图功能介绍详见热力图分析。
配置url规则：只决定用户访问的url是否可以命中实验，可以匹配即表示可以命中实验，不匹配即表示无法命中实验；用户命中实验的具体哪个版本是分流服务来决定的；在不同的url匹配方式下，我们关注到访的url是否可以成功匹配实验版本的url即可。
预览版本：支持预览对照版本url的页面内容。
进入编辑器：支持进入填写url对应的页面，并进行可视化编。
添加页面：支持在同一版本中添加多个页面进行实验，用于优化前后有关联的多个页面。

配置url规则说明

匹配规则	产品示例图	规则说明
简单匹配		在url进行匹配时，简单匹配会忽略url中的查询参数和锚点，在用户访问页面的url域名和路径匹配的情况即可命中实验。例如，实验的目标url为https://app.test.com/path?param=a#frag1，则当用户访问以下url时，匹配情况如表中所示：
精准匹配		即完全匹配，只有用户访问页面的url完全匹配实验页面url时，才会命中实验。例如实验的目标url为https://app.test.com/path?param=a#frag1，则在精准匹配下，只有用户访问https://app.test.com/path?param=a#frag1时，才会命中实验。适用于用户需要排除带参数的页面，且明确知道页面url的场景。

可视化编辑操作说明

点击某个实验版本的「进入编辑器」，即可进入可视化编辑页面。

模块	子项	操作说明
顶部导航栏	/	支持查看操作记录：鼠标hover操作记录的元素，可查看修改人、修改日期、修改详情信息。支持切换宽度，如全屏宽度、平板电脑、移动端、自定义宽度。支持切换“预览模式、编辑模式”，支持切换“实验版本”,“实验页面”。支持对操作进行“撤销、重做、保存”。支持查看圈选事件详情。
内容	字体排版	支持对字号、颜色、文本内容、加粗/倾斜、对齐方式等属性进行编辑
样式	尺寸、布局、背景	尺寸支持元素尺寸相关CSS样式编辑
事件	圈选事件	针对「按钮」、「链接」、「图片」、「文本」类型的元素提供圈选事件能力。在编辑栏下，点击事件，新增事件名称；保存后新建指标：点击新建指标，会弹出指标新建页面。
HTML新增元素	/	支持通过HTML代码的方式新增元素。（1）格式化（2）换行和取消换行（3）HTML代码格式校验（4）手动输入标签，自动闭合标签（5）优化默认初始化示例代码

添加页面（多页面可视化实验）
- 点击【添加页面】，可在一个版本中添加多个页面，可对每个页面单独进行编辑。注：页面顺序不会影响用户浏览页面体验。举例，假如用户首先看到的是页面2，然后再看到的是页面1，用户仍然会看到同一实验版本的页面1。
- 多页面编辑：可在左上角切换至不同页面进行可视化编辑，具体可操作项同可视化编辑操作说明。

删除：点击删除标识可删除该页面，删除页面后无法恢复。

4.1.4 实验指标

实验指标可以衡量实验成功与否，实验开始后，在实验报告页面可以看到关注指标在实验版本和对照版本的对比，在这一步，需要选择实验关注指标。

产品示例图	操作项说明
	核心指标配置：用来决策实验功能是否符合预期的「直接效果指标」或「成功指标」，建议合理的进行实验设计，谨慎选择（如有特殊情况需要修改请进入实验详情页进行修改）。更多查看确定评估指标。监控报警：可选择目标指标点击“监控报警”，填写具体需要的报警策略，选择是否勾选“效果显著”，以及选择报警策略的生效方式。编辑指标：点击图例中3位置处可进入指标编辑页面，对可指标进行名称、指标类型、是否设为必看指标等进行编辑。关注指标配置：对需要关注的指标进行配置。移除指标：移除指标，则在实验报告看不到该指标的数据。新建指标：可新建一个需要查看的指标。置信水平：置信水平（也称置信度、置信系数、统计显著性），是指实验组与对照组之间存在真正性能差异的概率。例如在置信水平是95%的情况下，如果某个实验指标的置信度p值<0.05，则说明这个指标相比对照组，是有显著(超过置信水平)差异的。如需设置置信水平参数值，则需联系集团管理员或应用管理员，前往“系统管理-置信水平设置”进行设置。

产品示例图

操作项说明

核心指标配置：用来决策实验功能是否符合预期的「直接效果指标」或「成功指标」，建议合理的进行实验设计，谨慎选择（如有特殊情况需要修改请进入实验详情页进行修改）。更多查看确定评估指标。
监控报警：可选择目标指标点击“监控报警”，填写具体需要的报警策略，选择是否勾选“效果显著”，以及选择报警策略的生效方式。
编辑指标：点击图例中3位置处可进入指标编辑页面，对可指标进行名称、指标类型、是否设为必看指标等进行编辑。
关注指标配置：对需要关注的指标进行配置。
移除指标：移除指标，则在实验报告看不到该指标的数据。
新建指标：可新建一个需要查看的指标。
置信水平：置信水平（也称置信度、置信系数、统计显著性），是指实验组与对照组之间存在真正性能差异的概率。例如在置信水平是95%的情况下，如果某个实验指标的置信度p值<0.05，则说明这个指标相比对照组，是有显著(超过置信水平)差异的。如需设置置信水平参数值，则需联系集团管理员或应用管理员，前往“系统管理-置信水平设置”进行设置。