编程实验-客户端实验 | 指通过客户端获取实验分组信息并控制配置生效的实验。 | - 特点：
- APP唤起时，AB相关配置即需生效
- 依赖客户端SDK，通过请求分流服务完成分流，需要客户端SDK研发完成实验SDK的接入工作。
- 场景：
客户端界面布局调整或者本地功能优化的A/B实验，在客户端进行实验是比较合适的。
例如，测试不同的按钮颜色、位置对用户点击率的影响，这些实验基本不需要太多的服务器资源，主要依赖客户端设备的显示和交互功能。
| 编程实验 |
编程实验-服务端实验 | 指通过服务端获取实验分组信息并控制配置生效或下发的实验。 | - 特点：
- 命中和曝光的逻辑在服务端处理，不要求唤起APP时就使实验配置生效。客户端有充分时间向服务端发起请求，获得实验配置后再向用户展示策略。
- 依赖服务端SDK/服务端分流Agent进行本地分流，需要服务端研发完成SDK集成或部署服务端分流Agent。
- 场景：
- 推荐策略、纯服务端配置实验，通常uid分流，不要求唤起APP时就使实验配置生效。
- 部分功能只能由服务端来控制，比如内容分发算法（如用户打开今日头条以后在feed流中会看见什么内容）、由服务端逻辑控制的产品功能（如推送）等。
| 编程实验 |
MAB智能调优实验 | 智能调优实验是一种序贯地评估实验数据表现，并自适应的将流量倾斜给效果更好的实验版本的实验类型。其中自适应评估与调优的算法主要是 MAB(Multi-Armed Bandit) 。 | - 特点：
- 可动态调整流量，根据实验结果及时找出当前效果比较好的版本，将转化效果差的版本降低流量，减少损失，MAB过程更能在总流量不多的情况下将流量收益最大化。
- MAB的核心目标是整个活动最优，并不是帮助客户找到最优组，对实验时限没有要求。
- 场景：
- 高价值流量：丢失转化的机会成本较高，例如在线销售大额商品（汽车、钻石等），每个失去的转化都会造成几千/几万块的损失。
- 活动周期短：比如很多电商活动的整个周期就一两天，如果传统AB的方法一般需要7天以上，活动没法提供足够的时间进行A/B实验。
- 优化目标实效性强：例如头条新闻的标题、缩略图、视频内容等的优化测试，需要在短的窗口期内获得最大点击量。
- 持续优化：可以在MAB优化过程中，随时在变体中增加或减少多个元素，比如开启界面MAB时，可以调整界面上被测试的元素。
- 小流量：对于初创公司或者活动冷启动时期，可能没有足够的流量进行实验。
| 创建MAB智能调优实验 |
可视化实验 | 可视化实验可通过可视化编辑器进行界面化的操作，无需编码即可创建不同实验版本。 | - 可视化实验最大的优势在于无需编码、快速实验，降低产品和运营的使用成本，支持通过所见即所得的可视化编辑器进行可视化操作，比如编辑元素和属性，新增widgets组件，删除元素等，形成不同实验版本。
- 多页面可视化实验：在一个版本中可以包含多个页面，适用于优化前后有关联的多个页面。
| 可视化实验 |
多链接实验 | 多链接实验也称为Split url实验，支持用户根据分流结果访问不同版本的页面URL。 | - 示例场景：当您有两个不同样式的落地页
https://example.com/1.html 和 https://example.com/2.html，想要对比这两个页面的转化效果。
| 多链接实验 |
推送实验 | 推送通知类实验可以对推送通知的标题、内容、点击动作等进行测试。 | 推送实验主要用于解决（1）可选方案选择难，无法决策哪种效果佳；（2）变更影响大，不敢轻易变动，担心带来客户舆情这类场景的痛点。例如： - 多文案推送实验 ：市场人员针对候选文案，很难通过人为经验判断哪个效果最好，即可通过开启A/B实验方式，先验小流量分析实验报告，选择适用场景的最优文案。
- 智能文案调优实验： 在进行多文案推送实验后，我们可以进一步设置智能文案调优实验，将效果更好的文案直接发送给更大范围的用户。
| 推送实验 |
多变体可视化实验 | 多变体可视化实验（简称MVT，全称Multi-variate Visual Test）是同时AB实验一个网页的两个或更多元素的变体，以查看哪个组合产生最好的结果。 | MVT比较适用于如下场景： - 当web网站/H5/APP访问量较高时，运行多变体实验才比较有用且有效。
- 当用户有一个策略假设可以通过多种方式实现变体，但无法决定该测试哪种组合时，建议使用多变体实验验证。
| 多变体可视化实验 |
个性化实验 | 个性化实验是指根据用户的行为、兴趣、地理位置等信息，为用户提供个性化的内容和体验，以提高用户满意度和转化率。 | 个性化实验可通过用户的不同特征针对性实验投放，例如： - 根据用户的历史购买记录、浏览记录、搜索记录等信息，对不同用户推荐不同的商品，提高用户购买率和满意度。
- 根据用户的地理位置、年龄、性别、兴趣爱好等信息，对不同用户进行定向投放，提高广告点击率和转化率。
- 根据用户的社交关系、兴趣爱好、历史行为等信息，对不同用户推荐不同的内容，提高用户参与度和留存率。
| Web个性化、编程个性化 |
父子实验 | 父子实验，指的是在命中已有实验（父实验）某一实验组的用户中切分流量开一个新的实验（子实验）。 | 示例场景： - 新闻类App，父实验为是否向用户打开「娱乐」频道。后续在产品迭代进程中，在此基础上开启子实验，针对已打开「娱乐」频道的实验版本中的用户，提供不同功能布局和样式，以观测用户的使用时长和留存。
| 父子实验 |
反转实验 | 当一个AB实验的某个实验组指标胜出并上线后，为了观测该组策略/功能更长期的收益和影响，会在对照组（未体验过新策略/功能）中抽一部分流量再开一个AB实验-即「反转实验」，通过此反转实验长期跟踪观测其核心指标的变化。 | 随着业务的快速迭代，AB实验的观测时间有限，往往经短期实验验证得到正向结论后就会全量发布，然而短期内的正向结果不足以评估长期收益，因此「反转实验」日渐成为AB实验评估的必要环节，能用来长期观测重要功能/策略上线后，其关键指标的提升是否仍然符合预期、是否会带来其他负面影响。建议所有要全量上线的实验都开一个小流量反转。 | 反转实验 |
广告实验 | DataTester的广告实验是一款用于满足广告主/优化师高效验证测试决策诉求的产品工具，通过小流量的广告实验可更清晰看到相同的广告设置条件下到底哪个广告策略效果更好。 | 使用DataTester进行广告实验时，本质上是通过在DataTester上的广告账户与巨量引擎的的操作账号、DataTester上的应用与巨量引擎的项目进行授权关联，以实现在DataTester上操作即可实现巨量引擎的广告投放与DataTester的小流量AB实验的能力。 | 广告实验概述 |