MAB智能调优实验
最近更新时间：2023.05.18 15:58:04
首次发布时间：2023.04.17 21:03:03
智能调优实验(MAB,Multi-Armed Bandit) 是一种能根据当前实验数据表现，来智能调整实验内不同实验组的流量比例分配的实验类型。
1. 传统AB的弊端
传统A/B实验依赖于统计显著性的经典假设检验，为对照版本和实验版本分配相应的流量，但一般不允许在实验期间变更每个子版本的流量。因此该类实验有几个弊端，一是需要专门的给常规实验预留一定的周期（至少7天），对于一些时间比较紧急的需求，很难满足这样苛刻的条件；二是必须要有足够的样本进入到实验中，才能得出显著的结果；三是实验开始后不能再有任何的变动，如果想要加入新的变量，需要重新开启一个实验。
2. 智能调优实验的应用场景和优势
实验目的：指标收益最高，实验成本最小
| 场景 | 智能调优实验 | A/B实验 |
|---|---|---|
| 高价值流量：丢失转化的机会成本较高，例如在线销售大额商品（汽车、钻石等），每个失去的转化都会造成几千/几万块的损失。 | 动态调整流量，根据实验结果及时找出当前效果比较好的版本，将转化效果差的版本降低流量，减少损失 | 目标是获得统计上显著的方案：在时间、机会成本允许的情况下，AB实验能更快的获得稳健的、在统计上显著的获胜方案，虽然在过程中会损失一些转化。 |
| 活动周期短：比如很多电商活动的整个周期就一两天，如果传统AB的方法一般需要7天以上，活动没法提供足够的时间进行A/B实验 | MAB的核心目标是整个活动最优，并不是帮助客户找到最优组，对实验时限没有要求 | 需要足够的时间，一般至少7天以上，排除时间变量 |
| 优化目标实效性强：例如头条新闻的标题、缩略图、视频内容等的优化测试，需要在短的窗口期内获得最大点击量。 | MAB可以周期性查询各版本的转化效果，且调优频率可以自定义设置，目前最短能达到半小时 | 实时性较弱：需要等到实验时间结束或者流量用尽之后产出统计结果 |
| 持续优化：可以在MAB优化过程中，随时在变体中增加或减少多个元素，比如开启界面MAB时，可以调整界面上被测试的元素 | MAB对流量/实验变体没有严格要求，可以在调优过程中切换实验流量以及实验变体的元素 | 需要进行深度数据分析，AB实验收集的数据更适合在实验时或实验后进行数据的多维分析，来查看不同细分人群对于测试的变量有何反映。对MAB来说，表现不好的组可能没有足够的数据进行这些。 |
| 小流量：对于初创公司或者活动冷启动时期，可能没有足够的流量进行实验 | MAB会基于当下指标表现动态的分配，所以原则上来说MAB过程更能在总流量不多的情况下将流量收益最大化（注：本质是一种在流量较少的情况下优化收益的妥协性方案，不代表可以比AB实验使用更少的流量达到相同的效果） | 想要从所有变体（特别是较差变体）中吸取一些教训：AB实验一定程度上能够保证每个变体都有足够的流量来统计以及计算置信度，如果想衡量较差变体的糟糕程度，从而指导业务决策，请选择AB实验。 |
4.1 创建智能调优实验
在实验列表页点击“+智能调优”，即可进入智能调优的创建流程：
4.1.1 输入基本信息
| 产品示例图 | 操作项说明 |
|---|---|
|
|
4.1.2 设置生效策略
| 产品示例图 | 操作项说明 |
|---|---|
|
|
4.1.3 配置实验版本
此处实验版本的配置取决于实验第一步中【输入基本信息】中的调优场景和调优方式的设定：
| 调优场景 | 调优方式 | 实验版本配置参考 |
|---|---|---|
| 落地页优化 | 可视化调优 | 可视化实验-配置实验版本 |
| 落地页优化 | 多链接调优 | 多链接实验-配置实验版本 |
| APP小程序优化 | 客户端调优/服务端调优 | 编程实验-配置实验版本 |
| 产品示例图 | 操作项说明 |
|---|---|
| 实验详情页点击「开启实验」 |
| 调优列表页点击「启动」 |
MAB实验报告可查看：MAB报告综述