### 1.产品概述消息触达的实验分为两种类型，一种是分流实验、一种是赛马实验。 | | | \ | |实验类型说明 | |---|---| | | | \ |分流 |\ | |当运营人员无法判断哪个触达内容更好的情况下，可以使用 GMP 分流的功能。当触达任务开启分流实验时，系统将按任务设置的比例，把所有待触达的用户分成多个组，每个组按系统预设的内容进行触达。 |\ | |![图片](https://p9-arcosite.byteimg.com/tos-cn-i-goo7wpa0wc/d30ec6482ee848849e873cf71fa2ce1e~tplv-goo7wpa0wc-image.image =2878x) | | | | \ |赛马 |赛马和分流能力类似，区别是在于分流是按操作人设置的比例进行触达，而赛马是选择一部分小流量进行触达，再基于最优的实验组进行剩余流量的触达。 |\ | | |\ | |1. **赛马阶段**：设置一定的实验流量比例如 10%，在实验流量里面设置多个文案进行赛马，也就是多个赛马文案会均分这 10% 的实验流量在指定的实验时间进行触达。 |\ | |2. **全量剩余流量**：实验结束后，系统或人工判断赛马的优胜组，然后可对剩余 90% 流量按优胜组触达。 |\ | | |\ | | |\ | | |\ | |![图片](https://p9-arcosite.byteimg.com/tos-cn-i-goo7wpa0wc/b7b93f3a421d4792aaecfa680b97a20f~tplv-goo7wpa0wc-image.image =2876x) | ### 2.功能说明 #### 2.1 分流 | | | \ | |实验设置 | |---|---| | | | \ |实验配置说明 |\ | |\ | |![图片](https://p9-arcosite.byteimg.com/tos-cn-i-goo7wpa0wc/a4835a09287d46e5949cdd8634a334d2~tplv-goo7wpa0wc-image.image =4461x) |\ | | |\ | |1. **开启入口**：在「触达配置」可「开启分流实验」，发送策略选择「分流实验」。 |\ | |2. **随机命中**：在定时重复场景下会进行多次子任务的触达，可基于这个开关设置一个用户多次触达时，是否要保持在固定的实验组。如果选择了「是」：表示假设一个用户在多个子任务分群包里，每一轮发送用户会随机命中任意一个文案。如果选择了「否」则同一个用户多次被触达时收到的内容是一样的。 |\ | |3. **设置实验组数量**：系统将默认设置第一个组为对照组，点击「新增实验」则可新增实验组，至少需要设置 2 个组（对照组、实验组），至多设置 10 个组（1 个对照组，9 个实验组）。 |\ | |4. **实验组不触达**：可以设置实验组不触达，设置后命中该实验组的用户都不会被触达。 |\ | |5. **实验组触达内容**：点击每一个实验组名称，可以设置每个实验组的触达内容。 |\ | |6. **分流比例**：在「分流比例」模块里进行设置，各个实验组分流比例之和需要设置为 100%。 | | | | \ |实验运行逻辑 |\ | |到达触发的时间后，系统将获取到本次要触达的分群，本次触达的分群将按任务创建时设置的比例进行分流并进行触达。 | | | | \ |实验关注指标 |\ | |**关注指标** |\ | |可以在「关注指标」里进行设置，设置后数据分析里将会按实验组、对照组分别进行展示。 |\ | |![图片](https://p9-arcosite.byteimg.com/tos-cn-i-goo7wpa0wc/62310d3069714d9bbfb0c05e8c7b86a3~tplv-goo7wpa0wc-image.image =2878x) |\ | | |\ | |**Tester 实验指标** |\ | |若购买了 A/B test 产品 tester，则系统支持设置一个「核心指标」，可通过核心指标来评判哪个实验组效果更优。 |\ | | |\ | |1. 默认指标：每个 GMP 触达任务的实验，系统将自动把任务的指标作为实验的指标。 |\ | |2. 核心指标：这个指标是用来评判多个实验组之间，哪组更优的参考依据。 |\ | | |\ | |![图片](https://p9-arcosite.byteimg.com/tos-cn-i-goo7wpa0wc/c86d07cc2ac348b7bb8a7cf1120fba4d~tplv-goo7wpa0wc-image.image =1186x) |\ | | |\ | |1. 系统将自动预置一个指标，可以直接选择。 |\ | |2. 也可以前往 A/B 实验平台 - 指标管理进行指标配置。注意这里的实验核心指标是一个「率」指标，所以创建指标时也需要创建这样的指标。创建后再回到 GMP 刷新页面即可查看对应的指标。 |\ | | |\ | |![图片](https://p9-arcosite.byteimg.com/tos-cn-i-goo7wpa0wc/d300f789253445a6b3e66ed1b8fc5b06~tplv-goo7wpa0wc-image.image =1915x) | | | | \ |常见问题 |\ | |**实验分配的比例会严格按照任务设置的配比吗？** |\ | |不会，会有一定的 gap 差异。 |\ | |实验的逻辑为：可以简单理解为实验的所有流量分成1000个桶，50%就是取其中的500个桶。hash 值取模后的值在哪个桶里，这个用户就落到相应的实验分组里。基于这种实现方案可了解，实验分到每个组的用户随机，和按任务配置的实验占比的用户量，会有一些差异。 |\ | |> Hash 是什么：把任意长度的输入，通过Hash算法变成固定长度的输出。 |\ | |> 取模是什么：取模运算是求两个数相除的余数。 |\ | | |\ | |如果每个实验组触达的受众越多，那每个组分配的人数将越趋近于任务配置的数量。反之亦然，如果每个组分配的只有几十个人，那么可能每个组分配的进入人数会有比较大的差异。 | #### 2.2 赛马赛马分为两种情况，一种是「手动决策」，一种是「基于转化率自动决策」，两者的区别在于全量动作是操作人完成还是系统自动根据指标决策。 ##### 2.2.1手动决策的赛马 | | | \ | |说明 | |---|---| | | | \ |实验配置说明 |\ | |\ | |手动决策的赛马实验，需要设置：需要测试的实验组、赛马期的流量。 |\ | |![图片](https://p9-arcosite.byteimg.com/tos-cn-i-goo7wpa0wc/cb772500f6f84843946d901a4fbb7135~tplv-goo7wpa0wc-image.image =3480x) | | | | \ |实验运行逻辑 |\ | |**赛马期** |\ | | |\ | |1. 当达到「触达时间」后，将按任务配置的「赛马期间流量设置」，选取对应比例的用户进行触达。举例： |\ | | 1. 定时型-单次：针对即将触达的分群包，选取 30% 的用户进行发送 |\ | | 2. 定时型-重复：针对每个赛马期的每个子任务，选取 30% 的用户进行发送 |\ | | 3. 触发型-完成 A、触发型-完成 A 未完成 B：对于满足事件条件的用户，选取 30% 的用户进行发送 |\ | | |\ | |![图片](https://p9-arcosite.byteimg.com/tos-cn-i-goo7wpa0wc/e9350ec9191746ed881633558c618f3f~tplv-goo7wpa0wc-image.image =2878x) |\ | | |\ | |2. 触达后可以在「数据分析」页面上，观测哪个组的数据效果最好 |\ | | |\ | |![图片](https://p9-arcosite.byteimg.com/tos-cn-i-goo7wpa0wc/f0a6e006e35749a88347e3520b6e96d0~tplv-goo7wpa0wc-image.image =970x) |\ | | |\ | |**赛马优选全量组** |\ | | |\ | |1. 选取想要全量的组，选取后不同类型的任务将会有如下的处理： |\ | | 1. 定时型-单次：剩余 70% 的用户，立即使用该组进行触达 |\ | | 2. 定时型-重复：针对后续运行的每个子任务，都将采用该组进行触达 |\ | | 3. 触发型-完成 A、触发型-完成 A 未完成 B：对于后续满足事件条件的用户，都将采用该组进行触达 |\ | | |\ | |![图片](https://p9-arcosite.byteimg.com/tos-cn-i-goo7wpa0wc/9845bd3bb66c4c29929c19c31196c69d~tplv-goo7wpa0wc-image.image =2878x) | | | | \ |实验关注指标 |\ | |**关注指标** |\ | |可以在「关注指标」里进行设置，设置后数据分析里将会按实验组、对照组分别进行展示。 |\ | |![图片](https://p9-arcosite.byteimg.com/tos-cn-i-goo7wpa0wc/feab2bdb1eb741deb2174555a5a10226~tplv-goo7wpa0wc-image.image =2878x) |\ | | |\ | |**Tester 实验指标** |\ | |若购买了 A/B test 产品 tester，则系统支持设置一个「核心指标」，可通过核心指标来评判哪个实验组效果更优。 |\ | | |\ | |1. 默认指标：每个 GMP 触达任务的实验，系统将自动把任务的指标作为实验的指标。 |\ | |2. 核心指标：这个指标是用来评判多个实验组之间，哪组更优的参考依据。 |\ | | |\ | |![图片](https://p9-arcosite.byteimg.com/tos-cn-i-goo7wpa0wc/791e81528193412fb80cf967a255f6c2~tplv-goo7wpa0wc-image.image =1186x) |\ | | |\ | |1. 系统将自动预置一个指标，可以直接选择。 |\ | |2. 也可以前往 A/B 实验平台 - 指标管理进行指标配置。注意这里的实验核心指标是一个「率」指标，所以创建指标时也需要创建这样的指标。创建后再回到 GMP 刷新页面即可查看对应的指标。 |\ | | |\ | |![图片](https://p9-arcosite.byteimg.com/tos-cn-i-goo7wpa0wc/1879f958c9c54ee6815cd28947a59b93~tplv-goo7wpa0wc-image.image =1915x) | ##### 2.2.2 基于转化率自动决策的赛马 | | | \ | |说明 | |---|---| | | | \ |实验配置说明 |\ | |\ | |**实验开始时间：** |\ | | |\ | |* **指标的时效性：** |\ | | * **如果赛马的指标数据是「实时回执」的：**那么系统可以实时计算，「赛马实验开始时间」建议至少早于「剩余流量定时发送时间」 1 个小时。 |\ | | * **如果赛马的指标数据是「异步回执」的**：那么系统无法进行实时计算，「赛马实验开始时间」需要预留数据回执的时间，比如触达后数据回执需要 2 天，那么「赛马实验开始时间」相比「剩余流量定时发送时间」就需要提前 2 天及以上。 |\ | |* 不同任务的情况： |\ | | * **定时重复性任务**：实验开始时间是「触发条件」里填写的「任务开始时间」。在任务开始后，剩余流量全量前，**这个阶段执行的子任务，都是会进行赛马实验**。 |\ | | * **触发型任务**：赛马时间默认是事件 A 的开始时间，不需要额外设置，这个任务一开始到在全量推送前的时间，都是按赛马的模式来推送。 |\ | | |\ | | |\ | |**优选文案推送时间**： |\ | | |\ | |* 不同任务的情况： |\ | | * **定时单次型任务**：优选文案推送时间= 剩余流量定时发送的时间 = 触发条件设置的定时发送时间，触发条件里已配置触达时间，所以实验设置这里置灰了，无需额外设置。 |\ | | * **定时重复型任**务：优选文案推送时间可以自定义设置。在优选文案推送时间后，任务结束前，这个阶段执行的子任务，都是按照赛马实验选出的最优的组进行推送 |\ | | 1. **触发型任务**：在优选文案推送时间后，任务结束前，这个阶段执行的用户触达，都是按照赛马实验选出的最优的组进行推送。 |\ | | |\ | |![图片](https://p9-arcosite.byteimg.com/tos-cn-i-goo7wpa0wc/63977ab4e46648c49146731fb16bd703~tplv-goo7wpa0wc-image.image =846x) |\ | | |\ | | |\ | |* **文案优选指标**：赛马后，系统将根据一个判定的指标，来选择剩余流量要发送到哪个组，这个指标就是文案优选指标。 |\ | |* **赛马期投放总比例**：这个指的是赛马阶段要投放多少流量比例进行实验。 |\ | | * 赛马实验时，各组流量分配规则：所有实验组均分该配置比例 |\ | | * 建议设置的比例： |\ | | * 建议每个实验组用户流量至少在 5 万以上，以保证结果准确性。 |\ | | * 在实际计算的时候可以这样来计算：（受众人数 x 分流比例）/分组数 > 5万 |\ | | * 假设受众是 300,000，分组数是 3 组，假设我们要确保每组有 5 万的用户，那么反推出来的结果就是分流比例是 50% |\ | |* **晚于实验时间后完成审批，则发送默认文案**，可选取某一条文案作为默认文案。 | | | | \ |实验运行逻辑 |\ | |**定时单次** |\ | | |\ | | |\ | |

|\ | | |\ | | |\ | |**定时重复** |\ | | |\ | | |\ | |

|\ | | |\ | | |\ | |**触发型** |\ | | |\ | | |\ | |

|\ | | | | | | \ |实验关注指标 |\ | |**关注指标** |\ | |可以在「关注指标」里进行设置，设置后数据分析里将会按实验组、对照组分别进行展示。 |\ | |![图片](https://p9-arcosite.byteimg.com/tos-cn-i-goo7wpa0wc/a027a0b297034b3994822c181be8d779~tplv-goo7wpa0wc-image.image =2878x) |\ | | |\ | |**Tester 实验指标** |\ | |若购买了 A/B test 产品 tester，则系统支持设置一个「核心指标」，可通过核心指标来评判哪个实验组效果更优。 |\ | | |\ | |1. 默认指标：每个 GMP 触达任务的实验，系统将自动把任务的指标作为实验的指标。 |\ | |2. 核心指标：这个指标是用来评判多个实验组之间，哪组更优的参考依据。 |\ | | |\ | |![图片](https://p9-arcosite.byteimg.com/tos-cn-i-goo7wpa0wc/670e7fa1f4954fe0867ff64b21a2a2da~tplv-goo7wpa0wc-image.image =1186x) |\ | | |\ | |1. 系统将自动预置一个指标，可以直接选择。 |\ | |2. 也可以前往 A/B 实验平台 - 指标管理进行指标配置。注意这里的实验核心指标是一个「率」指标，所以创建指标时也需要创建这样的指标。创建后再回到 GMP 刷新页面即可查看对应的指标。 |\ | | |\ | |![图片](https://p9-arcosite.byteimg.com/tos-cn-i-goo7wpa0wc/0efec93acb1c4b0e8c9569c732e6176f~tplv-goo7wpa0wc-image.image =1915x) | | | | \ |常见问题 |\ | |**如果赛马结果里点击率指标都是 0，系统会如何处理？** |\ | |如果赛马实验结果都是 0，系统将自动实验设置的默认文案进行剩余流量的推送。 |

增长营销平台