最近更新时间:2023.04.25 15:25:07
首次发布时间:2022.11.20 11:07:43
多变体可视化实验(简称MVT,全称Multi-variate Visual Test)是同时AB实验一个网页的两个或更多元素的变体,以查看哪个组合产生最好的结果。
相关术语
元素(Element):页面中的元素,针对页面中的多个Element元素做实验。
变体(variant): 元素中的修改,元素进行修改内容和样式保存之后就是变体。
组合(combination): 组合即实验组,一个元素下有多个变体,一个变体下有同一个元素不同修改,元素中不同的变体相互交叉组成的一个版本。例如,如果正在对3个Element进行测试,每个Element分别有2,3,4个变体,每个变体下都有不同的元素修改内容和样式,则一共有24种组合 (2x3x4)。
前置条件及限制 :
目前MVT支持在Web及H5页面开启。
用于创建MVT的页面需要接入「A/B 测试」的Web/H5/WAP SDK。
页面传输协议需使用HTTPS(Hypertext Transfer Protocol Secure:超文本传输安全协议)。
实验类型 : MVT类型为客户端实验。
浏览器建议: 主流的浏览器均可支持;iOS系统自带Safari浏览器支持iOS10及以上版本(若系统版本较低请升级到iOS10及以上)。建议使用最新版Chrome及Windows Edge。
MVT比较适用于如下场景:
当web网站/H5/APP访问量较高时,运行多变体实验才比较有用且有效。
当用户有一个策略假设可以通过多种方式实现变体,但无法决定该测试哪种组合时,建议使用多变体实验验证。
在实验列表页点击“+创建实验”,选择多变体可视化实验,进入实验创建流程:
产品示例图 | 操作项说明 |
---|---|
|
产品示例图 | 操作项说明 |
---|---|
|
URL匹配规则只决定用户访问的url是否可以命中实验,可以匹配即表示可以命中实验,不匹配即表示无法命中实验。用户命中实验的具体哪个版本是分流服务来决定的。在不同的url匹配方式下,我们关注到访的url是否可以成功匹配实验版本的url即可。URL地址只支持https协议,不支持http协议。具体如下:
1)简单匹配
在url进行匹配时,简单匹配会忽略url中的查询参数和锚点,在用户访问页面的url域名和路径匹配的情况即可命中实验。 例如,实验的目标url为https://app.test.com/path?param=a#frag1,则当用户访问以下url时,匹配情况如表中所示:
注释:
匹配 :指的是用户所访问的url在「简单匹配」模式下,可以匹配上实验版本的url,即访问这个页面的用户可以命中MVT实验。
不匹配 :指的是用户所访问的url在「简单匹配」模式下,不能匹配上实验版本的url,即访问这个页面的用户无法命中MVT实验。
2)精准匹配
即完全匹配,只有用户访问页面的url完全匹配实验页面url时,才会命中实验。 例如实验的目标url为https://app.test.com/path?param=a#frag1,则在精准匹配下,只有用户访问https://app.test.com/path?param=a#frag1时,才会命中实验。适用于用户需要排除带参数的页面,且明确知道页面url的场景。
用户输入URL后点击「进入可视化编辑器」后,基于原页面打开可视化编辑器
产品示例图 | 操作项说明 | |
---|---|---|
新增变体 | 元素配置入口在可视化编辑器的右上角,有Tooltip提示,可进行拖拽 | |
新增变体入口1 | 入口1:选择元素(元素1) => 修改字体颜色 => 点击「新增变体」按钮 => 展示选择的变体X => 元素配置看板展示变体X | |
新增变体入口2 | 入口2:选择元素配置看板 => 选择元素X或者原始变体 => 编辑修改 => 点击「新增变体」按钮 => 展示选择的变体X => 元素配置看板展示变体X | |
修改变体 | 选择变体的时候,左侧看板联动,显示当前对应的元素和变体,便于用户更直观的编辑。 修改入口: 已经创建了变体 => 选择元素配置看板 => 选择元素X或者元素X的原始变体 => 编辑修改 => 点击「保存修改」按钮 => 展示选择的变体X => 元素配置看板展示变体X
| |
删除变体/重命名变体/复制变体 | 可进行删除变体/重命名变体/复制变体 | |
实验版本数量 |
实验版本的个数 = A * B * C * ... * N
| |
生成版本 | 点击「生成版本」之后,回到实验版本第三步。 |
包括元素设置+版本组合的预览。
实验指标可以衡量实验成功与否,实验开始后,在实验报告页面可以看到关注指标在实验版本和对照版本的对比,在这一步,需要选择实验关注指标。
产品示例图 | 操作项说明 |
---|---|
|
实验调试完毕,在实验列表页点击“启动”,即可开启实验。实验开始后,进组用户可实时查看,指标置信度第二日产出。