You need to enable JavaScript to run this app.
导航

如何设计实验

最近更新时间2023.12.12 19:46:36

首次发布时间2023.05.12 17:31:33

了解如何设计实验之前,请先阅读:A/B实验怎么开

一、A/B实验流程

图片

二、A/B实验设计举例

以下通过一个场景示例为大家展示如何分析、拆解一个业务问题,设定优化方向、评价指标并设计一个A/B实验来进行效果验证。

【业务背景】

说明

实验的来源:通过分析当前业务问题、提出潜在的解决方案,形成一个「实验idea」

背景:该产品是一个汽车类App产品,发现App登录率偏低,通过转化漏斗定位问题为触发登录率过低,影响个性化服务的机会。
图片
根据上面的分析,一个比较自然的想法,就是去提升触发登录率,也就是给未登录用户增加更多的登录入口。那么就面临两个问题:

  • 在哪里加入口?
  • 以什么形式加入口?

针对第一个问题,需要定位目前未登录用户的主要流量去向,在这些主要的流量场加入登录入口,效果是最好的。现有未登录可使用的功能,包括但不限于:关注、点赞、进入直播间、保存发布草稿、查看浏览历史等。通过用户路径对未登录用户的行为路径进行分析发现关注、点赞、查看历史等场景流量较多,可以尝试在这些环节加入登录引导。

【实验目标】

说明

目标:明确「实验idea」最终想达成的业务目标是什么,根据目标来制定衡量指标
衡量指标:用于评价目标是否达成的成功标准。且需要论证是因为施加了实验策略而达成的,因此指标和策略要有明确的业务因果性
至此,就形成了完整的 「实验假设」:预期通过xxx改进,可对指标A提升n%,从而为产品/用户带来xxxx价值。

目标:在不影响未登录用户使用体验的前提下,提升登录率,更好地为服务用户
衡量指标:登录率
实验假设: 通过在每个入口尝试不同的引导方式,可对指标「登录率」提升n%,从而好的服务用户。

【实验设计】

当下主流的登录引导由弱到强有:非阻断式弹窗/蒙层引导、半屏/全屏面板引导、全屏面板强制登录。针对不同入口,可以实验不同的登录引导方式。

实验模式

客户端编程实验

实验受众

全体用户,不做任何过滤

流量大小

根据样本量计算器计算可得,不同产品、业务形态差异巨大,保险起见在单组数量级过万

实验时长

14天及以上

实验版本

对照组:线上样式
全屏面板强制登录
图片

实验组:新样式
半屏面板引导,增加引导说明
图片

监控指标

核心指标:登录率

关注指标:登录触发、登录提交、登录成功三个环节的转化率

评估思路

  • 「登录率」是成功指标
    • 显著上涨则说明方案有效果,可以直接上线
    • 显著下降则说明方案有负向影响,需要进一步拆解数据来分析原因
    • 无显著变化则说明没有明显作用,可以通过拆解用户分层、商品品类的数据来分析是什么原因导致的,如果发现有显著变化的敏感人群或敏感品类可以进一步施加策略做实验