You need to enable JavaScript to run this app.
导航
A/B实验
最近更新时间:2024.05.30 14:03:52首次发布时间:2021.11.02 17:45:45

1.产品概述

消息触达的实验分为两种类型,一种是分流实验、一种是赛马实验。

实验类型说明

分流

当运营人员无法判断哪个触达内容更好的情况下,可以使用 GMP 分流的功能。当触达任务开启分流实验时,系统将按任务设置的比例,把所有待触达的用户分成多个组,每个组按系统预设的内容进行触达。
图片

赛马

赛马和分流能力类似,区别是在于分流是按操作人设置的比例进行触达,而赛马是选择一部分小流量进行触达,再基于最优的实验组进行剩余流量的触达。

  1. 赛马阶段:设置一定的实验流量比例如 10%,在实验流量里面设置多个文案进行赛马,也就是多个赛马文案会均分这 10% 的实验流量在指定的实验时间进行触达。
  2. 全量剩余流量:实验结束后,系统或人工判断赛马的优胜组,然后可对剩余 90% 流量按优胜组触达。

图片

2.功能说明

2.1 分流

实验设置

实验配置说明

图片

  1. 开启入口:在「触达配置」可「开启分流实验」,发送策略选择「分流实验」。
  2. 随机命中:在定时重复场景下会进行多次子任务的触达,可基于这个开关设置一个用户多次触达时,是否要保持在固定的实验组。如果选择了「是」:表示假设一个用户在多个子任务分群包里,每一轮发送用户会随机命中任意一个文案。如果选择了「否」则同一个用户多次被触达时收到的内容是一样的。
  3. 设置实验组数量:系统将默认设置第一个组为对照组,点击「新增实验」则可新增实验组,至少需要设置 2 个组(对照组、实验组),至多设置 10 个组(1 个对照组,9 个实验组)。
  4. 实验组不触达:可以设置实验组不触达,设置后命中该实验组的用户都不会被触达。
  5. 实验组触达内容:点击每一个实验组名称,可以设置每个实验组的触达内容。
  6. 分流比例:在「分流比例」模块里进行设置,各个实验组分流比例之和需要设置为 100%。

实验运行逻辑

到达触发的时间后,系统将获取到本次要触达的分群,本次触达的分群将按任务创建时设置的比例进行分流并进行触达。

实验关注指标

关注指标
可以在「关注指标」里进行设置,设置后数据分析里将会按实验组、对照组分别进行展示。
图片

Tester 实验指标
若购买了 A/B test 产品 tester,则系统支持设置一个「核心指标」,可通过核心指标来评判哪个实验组效果更优。

  1. 默认指标:每个 GMP 触达任务的实验,系统将自动把任务的指标作为实验的指标。
  2. 核心指标:这个指标是用来评判多个实验组之间,哪组更优的参考依据。

图片

  1. 系统将自动预置一个指标,可以直接选择。
  2. 也可以前往 A/B 实验平台 - 指标管理 进行指标配置。注意这里的实验核心指标是一个「率」指标,所以创建指标时也需要创建这样的指标。创建后再回到 GMP 刷新页面即可查看对应的指标。

图片

常见问题

实验分配的比例会严格按照任务设置的配比吗?
不会,会有一定的 gap 差异。
实验的逻辑为:可以简单理解为实验的所有流量分成1000个桶,50%就是取其中的500个桶 。hash 值取模后的值在哪个桶里,这个用户就落到相应的实验分组里。基于这种实现方案可了解,实验分到每个组的用户随机,和按任务配置的实验占比的用户量,会有一些差异。

Hash 是什么:把任意长度的输入,通过Hash算法变成固定长度的输出。
取模是什么:取模运算是求两个数相除的余数。

如果每个实验组触达的受众越多,那每个组分配的人数将越趋近于任务配置的数量。反之亦然,如果每个组分配的只有几十个人,那么可能每个组分配的进入人数会有比较大的差异。

2.2 赛马

赛马分为两种情况,一种是「手动决策」,一种是「基于转化率自动决策」,两者的区别在于全量动作是操作人完成还是系统自动根据指标决策。

2.2.1手动决策的赛马

说明

实验配置说明

手动决策的赛马实验,需要设置:需要测试的实验组、赛马期的流量。
图片

实验运行逻辑

赛马期

  1. 当达到「触达时间」后,将按任务配置的「赛马期间流量设置」,选取对应比例的用户进行触达。举例:
    1. 定时型-单次:针对即将触达的分群包,选取 30% 的用户进行发送
    2. 定时型-重复:针对每个赛马期的每个子任务,选取 30% 的用户进行发送
    3. 触发型-完成 A、触发型-完成 A 未完成 B:对于满足事件条件的用户,选取 30% 的用户进行发送

图片

  1. 触达后可以在「数据分析」页面上,观测哪个组的数据效果最好

图片

赛马优选全量组

  1. 选取想要全量的组,选取后不同类型的任务将会有如下的处理:
    1. 定时型-单次:剩余 70% 的用户,立即使用该组进行触达
    2. 定时型-重复:针对后续运行的每个子任务,都将采用该组进行触达
    3. 触发型-完成 A、触发型-完成 A 未完成 B:对于后续满足事件条件的用户,都将采用该组进行触达

图片

实验关注指标

关注指标
可以在「关注指标」里进行设置,设置后数据分析里将会按实验组、对照组分别进行展示。
图片

Tester 实验指标
若购买了 A/B test 产品 tester,则系统支持设置一个「核心指标」,可通过核心指标来评判哪个实验组效果更优。

  1. 默认指标:每个 GMP 触达任务的实验,系统将自动把任务的指标作为实验的指标。
  2. 核心指标:这个指标是用来评判多个实验组之间,哪组更优的参考依据。

图片

  1. 系统将自动预置一个指标,可以直接选择。
  2. 也可以前往 A/B 实验平台 - 指标管理 进行指标配置。注意这里的实验核心指标是一个「率」指标,所以创建指标时也需要创建这样的指标。创建后再回到 GMP 刷新页面即可查看对应的指标。

图片

2.2.2 基于转化率自动决策的赛马

说明

实验配置说明

实验开始时间:

  • 指标的时效性:
    • **如果赛马的指标数据是「实时回执」的:**那么系统可以实时计算,「赛马实验开始时间」建议至少早于「剩余流量定时发送时间」 1 个小时。
    • 如果赛马的指标数据是「异步回执」的:那么系统无法进行实时计算,「赛马实验开始时间」需要预留数据回执的时间,比如触达后数据回执需要 2 天,那么「赛马实验开始时间」相比「剩余流量定时发送时间」就需要提前 2 天及以上。
  • 不同任务的情况:
    • 定时重复性任务:实验开始时间是「触发条件」里填写的「任务开始时间」。在任务开始后,剩余流量全量前,这个阶段执行的子任务,都是会进行赛马实验
    • 触发型任务:赛马时间默认是事件 A 的开始时间,不需要额外设置,这个任务一开始到在全量推送前的时间,都是按赛马的模式来推送。

优选文案推送时间

  • 不同任务的情况:
    • 定时单次型任务:优选文案推送时间= 剩余流量定时发送的时间 = 触发条件设置的定时发送时间,触发条件里已配置触达时间,所以实验设置这里置灰了,无需额外设置。
    • 定时重复型任务:优选文案推送时间可以自定义设置。在优选文案推送时间后,任务结束前,这个阶段执行的子任务,都是按照赛马实验选出的最优的组进行推送
    1. 触发型任务:在优选文案推送时间后,任务结束前,这个阶段执行的用户触达,都是按照赛马实验选出的最优的组进行推送。

图片

  • 文案优选指标:赛马后,系统将根据一个判定的指标,来选择剩余流量要发送到哪个组,这个指标就是文案优选指标。
  • 赛马期投放总比例:这个指的是赛马阶段要投放多少流量比例进行实验。
    • 赛马实验时,各组流量分配规则:所有实验组均分该配置比例
    • 建议设置的比例:
      • 建议每个实验组用户流量至少在 5 万以上,以保证结果准确性。
      • 在实际计算的时候可以这样来计算:(受众人数 x 分流比例)/分组数 > 5万
        • 假设受众是 300,000,分组数是 3 组,假设我们要确保每组有 5 万的用户,那么反推出来的结果就是分流比例是 50%
  • 晚于实验时间后完成审批,则发送默认文案,可选取某一条文案作为默认文案。

实验运行逻辑

定时单次

定时重复

触发型

实验关注指标

关注指标
可以在「关注指标」里进行设置,设置后数据分析里将会按实验组、对照组分别进行展示。
图片

Tester 实验指标
若购买了 A/B test 产品 tester,则系统支持设置一个「核心指标」,可通过核心指标来评判哪个实验组效果更优。

  1. 默认指标:每个 GMP 触达任务的实验,系统将自动把任务的指标作为实验的指标。
  2. 核心指标:这个指标是用来评判多个实验组之间,哪组更优的参考依据。

图片

  1. 系统将自动预置一个指标,可以直接选择。
  2. 也可以前往 A/B 实验平台 - 指标管理 进行指标配置。注意这里的实验核心指标是一个「率」指标,所以创建指标时也需要创建这样的指标。创建后再回到 GMP 刷新页面即可查看对应的指标。

图片

常见问题

如果赛马结果里点击率指标都是 0,系统会如何处理?
如果赛马实验结果都是 0,系统将自动实验设置的默认文案进行剩余流量的推送。