You need to enable JavaScript to run this app.
导航

父子实验

最近更新时间2023.06.16 16:15:51

首次发布时间2021.02.23 10:41:56

概述

父子实验,指的是在命中已有实验(父实验)某一实验组的用户中切分流量开一个新的实验(子实验)。

应用场景

核心场景:

需要基于一个已经开启的实验的「进组人群」,继续圈定用户进行新实验的探索。特点如下:

  • 父实验不能关闭,用于圈定子实验的base用户。
  • 子实验能开多个,复用所选父实验组的流量。
  • 父子实验是不同的功能,即子实验的所有用户都继承了父实验的配置(功能),用子实验看叠加效果。
  • 父实验数据不可看,被子实验的策略影响,其结论不具备参考意义。
  • 在一个运行中的实验之上,想要同时验证第二个功能/策略的组合效果。

业务场景:

  • 新闻类App,父实验为是否向用户打开「娱乐」频道。后续在产品迭代进程中,在此基础上开启子实验,针对已打开「娱乐」频道的实验版本中的用户,提供不同功能布局和样式,以观测用户的使用时长和留存。
  • 电商平台,购物车设计三种按钮样式(A1、A2、A3),结算页面CTA按钮设计三种样式(B1、B2、B3),产品经理希望购物车和结算页面CTA的每种样式分别一一对应,如看见A1的用户进入结算页面后只能看到B1,以此类推。此时可在购物车开启父实验A,在结算页面CTA按钮上开启子实验B,实验版本流量逐一继承。
创建父子实验

前置条件:接入客户端SDK或者服务端SDK,详见应用接入

基本原则

  • 子实验生命周期须囊括在父实验生命周期之内,即有运行中的子实验,父实验不能关停。
  • 父实验与子实验为1对N关系,子实验和父实验、子实验间不能位于同一互斥组上。
  • 父子实验模式可不同。

创建限制

  • 当前仅支持以运行状态的「编程实验」作为父实验。
  • 父子实验类型需一致,客户端子实验只能继承客户端父实验,服务端子实验只能继承服务端父实验。
  • 不支持祖孙实验:父子关系当前只支持两级,不支持多级,不支持成环。
  • 权限限制:非实验的协作者,不能基于该实验开启子实验。

常规父子实验

1. 创建入口

父实验的协作者,在「实验列表」中点击目标父实验进入详情页,点击「更多」,从下拉列表中选择「开启父子实验」。如下:
alt

2. 填写基本信息

alt

3. 设置生效策略

alt

4. 配置实验版本

alt

关联父版本:

  • 每个子实验的实验版本都可以关联多个父实验的具体版本,或选择「不继承实验版本」。
  • 父实验的实验版本参照filter受众过滤条件的实现机制,对进入子实验的流量进行过滤筛选。

进组不出组,指的是勾选「流量变更不会影响已分配的进组用户,只会对尚未进组用户生效」。
父子实验,是否勾选「进组不出组」对子实验的流量影响如下:

序号父实验 「进组不出组」子实验 「进组不出组」产品逻辑和行为
1父子实验都记录用户进组状态,一旦进组,后续不论流量如何变更都不会导致用户出组。
2父实验记录用户进组状态,子实验不记录。子实验进组流量必须命中父实验,当子实验流量变更时,子实验的进组用户可能发生出组。
3父实验不记录用户进组状态,子实验记录用户进组状态。一旦子实验用户进组后,即使在父实验出组,子实验也会保持进组状态。
4父子实验均不记录用户进组状态,父实验的流量变更及过滤条件引发的用户出组,同时也会影响子实验。

5. 添加实验指标

alt

6. 查找父/子实验

在实验报告页报告概览可查找父/子实验,如下:
alt

实验血缘族谱

父子实验之间会互相影响,相应的实验结果也会有一定的相关性。

  • 从子实验视角:父实验作为过滤条件,会影响子实验的进组流量。
  • 从父实验视角:父实验比较被动,其流量会受到后开启的子实验污染。

因此提供实验血缘族谱关系图,可以更全面的提示您当前父实验的子实验都有哪些,以方便您进行科学决策。

在流量配置类型的父子关联实验后,展现每个实验的血缘族谱,将当前实验与其父实验、兄弟实验、子实验和各个实验固化的Feature展现出来,展现实验级别继承关系。如下:
image.png