You need to enable JavaScript to run this app.
导航
推送实验
最近更新时间:2024.06.17 10:47:07首次发布时间:2021.02.23 10:41:56

一. 概述

推送通知类实验可以对推送通知的标题、内容、点击动作等进行测试。当您要向现有用户发布通知消息或者开始新的营销通知,但不确定效果如何时,您可以使用火山引擎A/B测试来创建推送通知类实验,通过在您所选的用户群中测试各种通知实验组,来找出最理想的通知文案和消息呈现方式。
主要用于解决

  • 可选方案选择难,无法决策哪种效果佳。
  • 变更影响大,不敢轻易变动,担心带来客户舆情。

实验类型 :推送实验只支持iOS、Android应用,属于「服务端实验」。在推送过程中需要与客户端交互,因此目标受众可使用客户端的属性。
前置条件

  1. 配置好对应的推送通道
  2. 接入客户端SDK

二. 术语表
  • 计划触达人数:调取API触发发送的去重人数。
  • 实际触达人数:接收到推送任务的去重人数。
  • 目标完成人数:根据设定的目标,完成的去重人数。
  • 计划触达次数:调取API触发发送的总数。
  • 实际触达次数:接收到推送任务的总数。
  • 目标完成次数:根据设定的目标,完成的次数。

三. 应用场景
  • 多文案推送实验 :市场人员针对候选文案,很难通过人为经验判断哪个效果最好,即可通过开启A/B实验方式,先验小流量分析实验报告,选择适用场景的最优文案。
  • 智能文案调优实验: 在进行多文案推送实验后,我们可以进一步设置智能文案调优实验,将效果更好的文案直接发送给更大范围的用户。

场景举例

  • 在购物节到来之际,我们有多种不同文案的push消息可以发送给用户,每种push消息主打不同的痛点,包括低价、舒适、时尚等,文案如下表:

对照组

2021年度最爆折扣,抢1号0-2点折上8折,全场低至3折起,入会下单领百元猫超卡,错过等明年!

实验版本1

双11买什么?舒适百搭牛仔裤,穿搭巨显高级感,即刻挑选新品

实验版本2

idol同款,时尚牛仔搭品,双11新品折上折,助你时髦开挂

实验版本3

双11折扣燃爆,1号冲刺0-2点折上8折,全场低至3折起,会员实付TOP1送Iphone,还有专属大额券领,快来解锁全年最大折扣!

  • 在大范围推送之前,我们先将不同的文案编辑成不同的实验版本,配置10%的流量进行实验
  • 一段时间后,我们查看各实验版本的push点击情况、后链路付费率、付费总价等,选择最优的文案策略,给全量用户大范围推送

四. 操作演示

图片

五. 创建实验

5.1 创建实验

在实验列表页点击“+创建实验”,选择实验模式-用户触达实验-推送实验,进入实验创建流程:
图片

5.1.1 输入基本信息

产品示例图

操作项说明

图片

  1. 实验名称 :实验名称建议取与实验内容相关的名称,如有实验版本迭代可以增加版本号后缀,让你的伙伴能够快速了解到实验是做什么的、是在哪个迭代版本的。
  2. 实验描述 :实验内容简述,可以让项目相关人员更清晰地知道到这个实验是如何做的,解决什么问题,同时也便于后期查看和管理历史实验时一目了然。
  3. 实验标签:可以给实验打上自定义或者通用标签,用于筛选、归类实验。
  4. 实验负责人:默认为实验创建者。

5.1.2 设置实验版本

图片
可操作项如下:

  1. 是否推送:可以选择该实验版本是否对用户进行推送;
  2. 推送通道及内容设置:此部分内容根据不同的推送通道进行设置
    1. 推送通道 :支持「极光通道」、「个推通道」和 Webhook 通道。Webhook通道可对接自有或其他触达通道,可在推送通道管理中配置,详见「增长分析」推送通道管理,地址:推送通道管理
    2. 推送平台 :支持「Android」和「iOS」。
    3. 后续动作
      • 启动应用,指的是用户点击push消息后,直接打开App应用。
      • 自定义行为,指的是用户点击push消息后,将填写的参数透传给客户端,客户端可以拿到参数去实现自己的业务逻辑,比如说进入某个新的页面。
    4. 推送标题 :字数≤20个汉字(40个字节)
    5. 推送内容 :字数≤50个汉字(100个字节)
    6. 推送通道说明:

(1)极光/个推通道说明

平台/推送通道

极光通道

个推通道

Android

启动应用:
(1)角标数字增加。
(2)通知提醒:响铃、震动、呼吸灯、App在前台依然提醒、可设置优先级、可设置跳转链接。
自定义行为:
(1)将kv参数透传给特定应用,具体行为由应用决定。
(2)角标数字增加。
(3)通知提醒:响铃、震动、呼吸灯、App在前台依然提醒。可设置优先级。

启动应用:
(1)通知提醒:响铃、震动。通知渠道重要性。通知是否可清除。
自定义行为:
(1)将kv参数透传给特定应用,具体行为由应用决定。

iOS

启动应用:
(1)角标数字增加。
(2)通知提醒:iOS可选生产环境、开发环境。
自定义行为:
(1)将kv参数透传给特定应用,具体行为由应用决定。
(2)角标数字增加。
(3)通知提醒:iOS可选生产环境、开发环境。

启动应用:
(1)角标数字增加。
自定义行为:
(1)将kv参数透传给特定应用,具体行为由应用决定。
(2)角标数字增加。

备注

1.极光通道,Android比iOS多了通知提醒(响铃、震动、呼吸灯、App在前台依然提醒、优先级)的选项。
2.相同平台不同后续动作(启动应用、自定义行为),自定义行为只比启动应用多了kv参数透传。

iOS的功能符合预期,即自定义比打开应用多了kv选择
Android自定义透传与打开应用无重叠功能。

(2)Webhook 通道使用说明

  • 创建实验时,可选择已经配置好的 Webhook通道
  • 选择通道后,填写通道对应的字段取值
  • 配置好后可以直接输入白名单测试

图片

  1. 测试用户: 添加白名单测试用户
  2. 频控规则
    • 全局频控:每个用户1天内,最多能接受24条推送消息,且每小时最多1条。您可在火山引擎增长分析设置频控规则。
    • 无频控:1个用户在1天内可能会收到多条Push。
  3. 推送时机
    • 单次立即推送:选择单次立即推送后,开始实验后立即生效。
    • 定时推送:支持定时推送。支持每天/周/月重复例行推送。
    • 事件触发推送:选择事件触发推送后,可设置事件触发规则:触发XX行为之后触发XX行为——>运行推送动作。 推送运营场景中,相对于定时推送等手动推送方式,基于用户行为事件触发推送的方式更加贴合用户场景,从而也更容易带来用户转化(比如,在用户将商品添加购物车后给用户发送优惠券,更容易促成用户下单)。

图片

  • 事件触发类型见下表:

事件触发类型

选项

释义

举例

用户触发

单个行为

指触发了某个行为

用户启动/退出应用时,运行推送动作

多个行为

指触发了多个行为,比如做了A并且做了B

用户启动应用,并在使用过程中搜索商品,则运行推送动作

多个行为(有顺序)

指触发了多个行为且是按时间顺序,比如做了A之后并且做了B

用户搜索某商品后,退出应用,运行推送动作

之后

等待一段时间

触发行为等待一定时间后再推送

用户搜索商品后等待5分钟,运行推送动作

未触发特定行为

指触发行为后续未触发其他行为

用户搜索商品后的一天内未有提交订单行为,则运行推送动作

触发特定行为

指触发行为后续触发了其他行为

用户搜索商品后,在一天内有提交订单的行为,则运行推送条件

注:事件和过滤条件有数量限制:事件数量<=3、过滤条件<=5。

  1. 实验类型设置:
    1. 常规推送实验
    2. 智能调优推送实验:即文案赛马,可以动态调整流量给到更优的实验版本,如需使用建议实验进组人数超过10万;
  2. 实验流量分配设置

实验流量分配设置:即分配每个实验版本之间的流量比例分配。
图片
可操作项如下:

  • 流量均匀分配-开启:默认为开启状态,开启状态下为强制各实验版本流量均匀分配。
  • 流量均匀分配-关闭:关闭后可调配对照版本和实验版本的流量相对占比。 可通过输入数值,来控制每个实验版本命中的用户比例。例如,当关闭均匀分配后,三个实验版本,可配置对照版本占比20%,实验版本1占比为50%,实验版本2占比为30%,整体总和为100%。

5.1.3 设置生效策略

产品示例图

操作项说明

图片

  1. 流量设置: 设置命中实验的流量比例
  2. 用户受众规则:
  • 推送实验为特殊的服务端实验,实验发起过程与普通客户端服务拉取数据的方式相反,是推送服务器主动下推。因此在下推之前要明确的选定目标受众,支持将已提前离线构建完毕的「用户分群」作为受众过滤条件,如上图所示。
  • 推送人数预估:点击后可计算出符合规则的用户数量;

5.1.4 添加实验指标

产品示例图

操作项说明

图片

  1. 实验默认指标:推送实验会默认关注与触达与点击相关指标。
  2. 核心指标配置:用来决策实验功能是否符合预期的「直接效果指标」或「成功指标」,建议合理的进行实验设计,谨慎选择(如有特殊情况需要修改请进入实验详情页进行修改)。更多查看确定评估指标
  3. 监控报警:可选择目标指标点击“监控报警”,填写具体需要的报警策略,选择是否勾选“效果显著”,以及选择报警策略的生效方式。
  4. 编辑指标:点击图例中3位置处可进入指标编辑页面,对可指标进行名称、指标类型、是否设为必看指标等进行编辑。
  5. 关注指标配置:对需要关注的指标进行配置。
  6. 新建指标:可新建一个需要查看的指标。
  7. 移除指标:移除指标,则在实验报告看不到该指标的数据。

五. 开启实验
  • 创建完推送实验,可在实验列表页点击“启动”,启动后实验状态会由“调试中”更新为“待审核”,审批请联系集团管理员或者应用管理员在“实验管理-实验审批”进行审批。

图片

图片

  • 在审批页面支持单个/批量实验审批通过、驳回。支持查看代办的审批以及已完成的审批。

图片
图片