You need to enable JavaScript to run this app.
最新活动
产品
解决方案
定价
生态与合作
支持与服务
开发者
了解我们
导航

推送实验

最近更新时间2023.05.24 11:55:13

首次发布时间2021.02.23 10:41:56

一. 概述

推送通知类实验可以对推送通知的标题、内容、点击动作等进行测试。当您要向现有用户发布通知消息或者开始新的营销通知,但不确定效果如何时,您可以使用火山引擎A/B测试来创建推送通知类实验,通过在您所选的用户群中测试各种通知实验组,来找出最理想的通知文案和消息呈现方式。

主要用于解决

  • 可选方案选择难,无法决策哪种效果佳。
  • 变更影响大,不敢轻易变动,担心带来客户舆情。

实验类型 :推送实验只支持iOS、Android应用,属于「服务端实验」。在推送过程中需要与客户端交互,因此目标受众可使用客户端的属性。

前置条件

  1. 配置好对应的推送通道
  2. 接入客户端SDK
二. 术语表
  • 计划触达人数:调取API触发发送的去重人数。

  • 实际触达人数:接收到推送任务的去重人数。

  • 目标完成人数:根据设定的目标,完成的去重人数。

  • 计划触达次数:调取API触发发送的总数。

  • 实际触达次数:接收到推送任务的总数。

  • 目标完成次数:根据设定的目标,完成的次数。

三. 应用场景
  • 多文案推送实验 :市场人员针对候选文案,很难通过人为经验判断哪个效果最好,即可通过开启A/B实验方式,先验小流量分析实验报告,选择适用场景的最优文案。

  • 智能文案调优实验: 在进行多文案推送实验后,我们可以进一步设置智能文案调优实验,将效果更好的文案直接发送给更大范围的用户。

场景举例

  • 在购物节到来之际,我们有多种不同文案的push消息可以发送给用户,每种push消息主打不同的痛点,包括低价、舒适、时尚等,文案如下表:
对照组2021年度最爆折扣,抢1号0-2点折上8折,全场低至3折起,入会下单领百元猫超卡,错过等明年!
实验版本1双11买什么?舒适百搭牛仔裤,穿搭巨显高级感,即刻挑选新品
实验版本2idol同款,时尚牛仔搭品,双11新品折上折,助你时髦开挂
实验版本3双11折扣燃爆,1号冲刺0-2点折上8折,全场低至3折起,会员实付TOP1送Iphone,还有专属大额券领,快来解锁全年最大折扣!
  • 在大范围推送之前,我们先将不同的文案编辑成不同的实验版本,配置10%的流量进行实验

  • 一段时间后,我们查看各实验版本的push点击情况、后链路付费率、付费总价等,选择最优的文案策略,给全量用户大范围推送

四. 操作演示

五. 创建实验

5.1 创建实验

在实验列表页点击“+创建实验”,选择实验模式-用户触达实验-推送实验,进入实验创建流程:

5.1.1 输入基本信息

产品示例图操作项说明

  1. 实验名称 :实验名称建议取与实验内容相关的名称,如有实验版本迭代可以增加版本号后缀,让你的伙伴能够快速了解到实验是做什么的、是在哪个迭代版本的。

  2. 实验描述 :实验内容简述,可以让项目相关人员更清晰地知道到这个实验是如何做的,解决什么问题,同时也便于后期查看和管理历史实验时一目了然。

  3. 实验标签:可以给实验打上自定义或者通用标签,用于筛选、归类实验。

  4. 实验负责人:默认为实验创建者。

5.1.2 设置实验版本


可操作项如下:

  1. 是否推送:可以选择该实验版本是否对用户进行推送;

  2. 推送通道及内容设置:此部分内容根据不同的推送通道进行设置

    1. 推送通道 :支持「极光通道」、「个推通道」和 Webhook 通道。Webhook通道可对接自有或其他触达通道,可在推送通道管理中配置,详见「增长分析」推送通道管理,地址:推送通道管理

    2. 推送平台 :支持「Android」和「iOS」。

    3. 推送标题 :字数≤20个汉字(40个字节)

    4. 推送内容 :字数≤50个汉字(100个字节)

    5. 后续动作

      • 启动应用,指的是用户点击push消息后,直接打开App应用。

      • 自定义行为,指的是用户点击push消息后,将填写的参数透传给客户端,客户端可以拿到参数去实现自己的业务逻辑,比如说进入某个新的页面。

    6. 推送通道说明:

(1)极光及个推通道说明

平台/推送通道极光通道个推通道

Android

启动应用:
(1)角标数字增加。
(2)通知提醒:响铃、震动、呼吸灯、App在前台依然提醒、可设置优先级。
自定义行为:
(1)将kv参数透传给特定应用,具体行为由应用决定。
(2)角标数字增加。
(3)通知提醒:响铃、震动、呼吸灯、App在前台依然提醒。可设置优先级。

启动应用:
(1)通知提醒:响铃、震动。通知渠道重要性。通知是否可清除。
自定义行为:
(1)将kv参数透传给特定应用,具体行为由应用决定。

iOS

启动应用:
(1)角标数字增加。
(2)通知提醒:iOS可选生产环境、开发环境。
自定义行为:
(1)将kv参数透传给特定应用,具体行为由应用决定。
(2)角标数字增加。
(3)通知提醒:iOS可选生产环境、开发环境。

启动应用:
(1)角标数字增加。
自定义行为:
(1)将kv参数透传给特定应用,具体行为由应用决定。
(2)角标数字增加。

备注

1.极光通道,Android比iOS多了通知提醒(响铃、震动、呼吸灯、App在前台依然提醒、优先级)的选项。
2.相同平台不同后续动作(启动应用、自定义行为),自定义行为只比启动应用多了kv参数透传。

iOS的功能符合预期,即自定义比打开应用多了kv选择
Android自定义透传与打开应用无重叠功能。

(2)Webhook 通道使用说明

  • 创建实验时,可选择已经配置好的 Webhook通道

  • 选择通道后,填写通道对应的字段取值

  • 配置好后可以直接输入白名单测试

  1. 测试用户: 添加白名单测试用户

  2. 频控规则

    • 全局频控:每个用户1天内,最多能接受24条推送消息,且每小时最多1条。您可在火山引擎增长分析设置频控规则。

    • 无频控:1个用户在1天内可能会收到多条Push。

  3. 推送时机

    • 单次立即推送:选择单次立即推送后,开始实验后立即生效。

    • 定时推送:支持定时推送。支持每天/周/月重复例行推送。

    • 事件触发推送:选择事件触发推送后,可设置事件触发规则:触发XX行为之后触发XX行为——>运行推送动作。 推送运营场景中,相对于定时推送等手动推送方式,基于用户行为事件触发推送的方式更加贴合用户场景,从而也更容易带来用户转化(比如,在用户将商品添加购物车后给用户发送优惠券,更容易促成用户下单)。

  • 事件触发类型见下表:
事件触发类型选项释义举例
用户触发单个行为指触发了某个行为用户启动/退出应用时,运行推送动作
多个行为指触发了多个行为,比如做了A并且做了B用户启动应用,并在使用过程中搜索商品,则运行推送动作
多个行为(有顺序)指触发了多个行为且是按时间顺序,比如做了A之后并且做了B用户搜索某商品后,退出应用,运行推送动作
之后等待一段时间触发行为等待一定时间后再推送用户搜索商品后等待5分钟,运行推送动作
未触发特定行为指触发行为后续未触发其他行为用户搜索商品后的一天内未有提交订单行为,则运行推送动作
触发特定行为指触发行为后续触发了其他行为用户搜索商品后,在一天内有提交订单的行为,则运行推送条件

注:事件和过滤条件有数量限制:事件数量<=3、过滤条件<=5。

  1. 实验类型设置:

    1. 常规推送实验

    2. 智能调优推送实验:即文案赛马,可以动态调整流量给到更优的实验版本,如需使用建议实验进组人数超过10万;

  2. 实验流量分配设置
    实验流量分配设置:即分配每个实验版本之间的流量比例分配。

    可操作项如下:

  • 流量均匀分配-开启:默认为开启状态,开启状态下为强制各实验版本流量均匀分配。

  • 流量均匀分配-关闭:关闭后可调配对照版本和实验版本的流量相对占比。 可通过输入数值,来控制每个实验版本命中的用户比例。例如,当关闭均匀分配后,三个实验版本,可配置对照版本占比20%,实验版本1占比为50%,实验版本2占比为30%,整体总和为100%。

5.1.3 设置生效策略

产品示例图操作项说明

  1. 流量设置: 设置命中实验的流量比例

  2. 用户受众规则:

  • 推送实验为特殊的服务端实验,实验发起过程与普通客户端服务拉取数据的方式相反,是推送服务器主动下推。因此在下推之前要明确的选定目标受众,支持将已提前离线构建完毕的「用户分群」作为受众过滤条件,如上图所示。

  • 推送人数预估:点击后可计算出符合规则的用户数量;

5.1.4 添加实验指标

产品示例图操作项说明

  1. 实验默认指标:推送实验会默认关注与触达于点击相关指标。

  2. 核心指标配置:用来决策实验功能是否符合预期的「直接效果指标」或「成功指标」。更多查看确定评估指标

  3. 监控报警:可选择目标指标点击“监控报警”,填写具体需要的报警策略,选择是否勾选“效果显著”,以及选择报警策略的生效方式。

  4. 编辑指标:点击图例中3位置处可进入指标编辑页面,对可指标进行名称、指标类型、是否设为必看指标等进行编辑。

  5. 关注指标配置:对需要关注的指标进行配置。

  6. 新建指标:可新建一个需要查看的指标。

  7. 移除指标:移除指标,则在实验报告看不到该指标的数据。

五. 开启实验
  • 创建完推送实验,可在实验列表页点击“启动”,启动后实验状态会由“调试中”更新为“待审核”,审批请联系集团管理员或者应用管理员在“实验管理-实验审批”进行审批。



  • 在审批页面支持单个/批量实验审批通过、驳回。支持查看代办的审批以及已完成的审批。