You need to enable JavaScript to run this app.
导航

最新动态(2024年前)

最近更新时间2024.01.18 20:00:46

首次发布时间2021.02.23 10:41:57

本文为您提供关于「A/B 测试」(又名DataTester)使用功能的各项发版更新记录。

20231109-V3.0.1
  • 用户命中查询优化
  • 实验报告页优化
  • 指标组管理优化
  • 实验列表等列表页跳转详情新开页面

20231026-V3.0.0
  • 广告营销实验体验优化
  • AB容器组件接入apaas
  • 实验模版-自定义流程-模版发布
  • 新增用户命中查询功能

2023年7月31日 V2.8.0 版本
  • 可视化编辑器VisualEditor3.0.1上线,优化用户体验
  • 广告创建流程优化

2023年7月31日 V2.7.6 版本
  • 广告投放新增橙子建站落地页AB实验组件
  • 可视化编辑器VisualEditor3.0:chrome扩展模式等上线
  • 广告投放
    • 新增销售线索/电商店铺
    • 适配巨量mapi status字段改动
  • 修复实验报告页过滤维度用户属性计算逻辑显示错误

2023年7月20日 V2.7.5 版本
  • 广告投放新增橙子建站落地页AB实验组件
  • 可视化编辑器3.0上线,详细查看:可视化编辑器

2023年7月14日 V2.7.4 版本

【新增】

  • 广告实验上线监测能力
  • 广告实验报告支持贝叶斯

2023年7月6日 V2.7.3 版本

【新增】

  • 编程实验支持反转实验;详细可查看文档:反转实验
  • 新版广告实验上线:广告实验新手引导
  • 流程画布:支持选择任意几个节点看人数,增加统计口径;

【优化】

  • 指标组列表支持按指标组类型筛选;

2023年6月13日 V2.7.2 版本
  • 修复报告页相关问题
  • 优化指标组列表接口

2023年5月25日 V2.7.1 版本
  • 优化了实验流量监控报警、指标相关功能
  • 修复了部分已知问题

2023年5月11日 V2.7.0 版本
  • Feature Flag 优化:
    • 增加是否生效标签
    • 创建 编辑 提示信息优化
    • 发布增加review权限
  • 智能运营权限管理优化

2023年5月5日 V2.6.1 版本
  • 【bugfix】
    • 修复流量计算任务时间类型问题
    • 创编指标组添加负责人报错
  • 【优化】
    • 优化留存任务每次重跑的问题
    • 针对mab实验流量算法改动和mab报告优化
  • 【新增】
    • 指标组详情增加指标是否关联运行中实验
    • 漏斗指标支持刷新计算

2023年4月25日 V2.6.0 版本
  • 【新增】
  • 【bugfix】
    • 指标组事件名称太长,导致UI展示错乱
    • 权限和指标上线获取用户权限信息修改

2023年3月09日 V2.4.2版本
  1. 白名单管理,实验和feature白名单的个数限制放到500

2023年3月02日 V2.4.1版本
  1. 创建父子实验时忽略父实验关联的feature信息
  2. 测试用户选择器默认拉取前1000条数据
  3. 指标dsl新增 property_compose_type 字段

2023年2月24日 V2.4.0版本
  1. 新版实验上线:重构了实验列表,降低信息密度,提升使用效率;优化实验创建流程;优化并修复实验权限部分相关问题;
  2. 及指标升级:新增指标组,可指标更方便的进行分组管理;优化指标创建流程,可疲劳创建指标,提升效率;优化指标权限部分相关问题;
  3. 产品内新增指引文档说明;

2023年1月12日 V2.3.2版本
  1. 智能运营支持不同通道可配置不同的频率控制和调用频率
    图片

2022年12月26日 V2.3.0版本
  1. 全新FeatureFlag(智能发布)功能上线:
    1. 底层逻辑优化
    2. 操作界面大升级
    3. 新增实验固化流程等重点功能
    4. 细节操作更加合理人性化
  2. visualEditor可视化编辑2.0上线

2022年11月20日 V2.2.1版本

迭代说明:

  1. 优化上线多变体可视化实验
  2. DataTester产品内新增运维+工单的入口,方便用户进行快速反馈。

图片

2022年10月25日 V2.1.2版本

迭代说明:

  1. 上线「经验库」功能

通过指标过滤、业务信息过滤、用户过滤等方式,选择符合当前筛选条件的历史实验,给未来新开实验提供历史经验参考。详细可查看文档:经验库
图片

  1. 上线「优化计划」功能

「优化计划」是日常产品的迭代从始至终的缩影,通过制定优化目标、关联AB实验和自动效果跟踪,帮助用户更好的制定业务目标、设计实验、跟踪最终效果,查看帮助文档:优化计划

  1. 推送实验全量发布
  • 推送实验做完后,可以选择优胜组进行全量推送;

2022年10月11日 V2.1.1版本

迭代说明:

  1. 定时任务缓存同期群报告数据支持app粒度开关
  2. 分流bugfix:修复profile查询逻辑错误

2022年09月22日 V2.0.2版本

迭代说明:

  1. 创建指标dsl算子增加属性类型
  2. 分流和调度:数据加载逻辑优化

2022年09月08日 V2.0.2版本

迭代说明:

  1. 支持查看行为细查

图片

  1. 实验到期提醒支持webhook
  2. 定时任务优化

2022年08月25日 V2.0.0版本

迭代说明:

  1. 新增OpenAPI: 基于指标模板创建指标
  2. anyevent可选事件公共属性
  3. 报告页逻辑优化,包含报告概览核心指标显著性去除60天最大限制和指标报告的实验版本排序优化
  4. 优化创建指标弹窗速度

2022年08月11日 V1.9.8版本

迭代说明:

  1. 数据管理优化:用户属性-预置属性支持更改状态,不包括:ab_version、app_platform、app_version、os_name
  2. 伪父子请求实验列表接口优化

2022年07月18日 V1.9.6版本

迭代说明:

  1. 线上售卖支持新的计价方式
  2. 父子实验支持命中实验人群
  3. 分流升级IP定位SDK
  4. 实验创建留存指标的问题

2022年06月16日 1.9.40版本
  • 功能:
    1. 【场景能力】流程画布实验:在流程画布中设置不同的实验版本,选择目标转化数据较优的版本提升流程画布整体的转化效率。
      图片
  • 优化&bugfix
    1. 白名单长度限制调整
    2. openAPI:修改实验接口 补充版本type信息;创建实验接口 增加rpc调用失败兜底
    3. 开放平台草稿信息versions类型适配
    4. 应用接入去除name去重校验

2022年06月09日 V1.9.39版本
  • 功能:
    1. 【可视化实验】:可视化编辑器优化
    • 新增元素:支持通过HTML代码的方式新增元素
      • 支持能力:
        (1)格式化
        (2)换行和取消换行
        (3)HTML代码格式校验
        (4)手动输入标签,自动闭合标签
        (5)优化默认初始化示例代码
  • 优化&bugfix
    1. 分群接口字段修复
    2. 新增实验冻结、暂停、事件相关等openAPI
    3. 修复私有化安全编译后对静态方法wrapper报错的问题
    4. 修复报告页计算除数为0的问题
    5. 修复os_version在目标受众不展示的问题

2022年05月20日 V1.9.38版本
  • 功能
    1. 上线公告
    2. 报价体系升级改造
  • bug修复&优化:
    1. 目标受众有关用户属性跳转链接错误的修复
    2. 实验创编服务端实验进组不出组文案调整 (改为进组出组)
    3. 调整上线公告的icon大小
    4. 修复指标事件空白hover + 创建漏斗提示虚拟事件被删除的问题
    5. 修复公共属性重复的问题
    6. 分流服务:更新组件版本
    7. 修复报告页同步转异步导致的埋点问题

2022年05月20日 V1.9.37版本
  • 功能
  1. 【场景能力】智能文案调优,文案赛马能力,适用于多文案场景。

图片

  1. 【指标管理】新增跳出率/退出率指标
  • 优化&bugfix
  1. 【bugfix】漏斗创建过滤分群和ab_version
  2. 【优化】智能文案调优相关更改
  3. 【bugfix】海外多时区相关问题修复

2022年05月07日 V1.9.36版本
  • 功能
  1. 多变体可视化实验:多变体实验(MVT)是同时测试一个网页的两个或更多部分的变体,以查看哪个组合产生最好的结果。MVT 不是显示哪个页面变体最有效(如在 A/B 测试中),而是识别每个元素的最有效变体并确定元素变体的最佳组合。当前支持实验模式为可视化实验。
  • 适用场景:
    • 当网站/APP访问量较高时,运行多变体实验才比较有用且有效。
    • 当用户有一个策略假设可以通过多种方式实现变体,但无法决定该测试哪种组合时,建议使用多变体实验验证。

图片

  • 优化&bugfix
  1. mvt实验中关闭实验版本,增加二次确认
  2. 可视化编辑器,保存变体/恢复默认样式,按钮适应页面
  3. mvt实验报告隐藏热力图标签
  4. 群体洞察报告空结果处理异常修复
  5. 被关联实验剔除草稿
  6. 国际站无权限访问提示优化

2022年04月21日 V1.9.35版本
  • 功能
    1.【编程实验】目标受众-新增过滤条件:「实验进组用户」,该过滤条件可以选择所有已经开启的实验。
    2.【广告投放】人群包管理2.0功能上线
    3.【广告监测】统一授权新增腾讯广告渠道
  • 优化&bugfix
  1. 选择实验模式弹窗展示优化
  2. Input的属性变更统一修改
  3. feature:openapi_v3 查看手动停止实验的原duration;修改creator_source
  4. 断言改为正常响应
  5. push报告和用户画像报告兼容空结果
  6. 应用接入刷新缓存
  7. 解决label是null的问题
  8. 可视化实验添加版本问题修复
  9. 关闭实验组优化
  10. 【广告监测】设备联调3.0功能上线支持深度事件联调,支持老设备反复联调"
  11. 创建实验-开始调试 ,加了300ms防抖,多次点击只触发一次
  12. feature示例代码展示undefined

2022年04月07日 V1.9.34版本
  • 功能
  1. 【系统管理】数据管理模块合并至系统管理

图片

  1. 【可视化实验】多页可视化实验:在一个版本中可以包含多个页面,适用于优化前后有关联的多个页面。

图片

  • 优化&修复:
  1. feature(byteio):创建实验时,为应用开启byteio
  2. 立即/定时的推送实验的目标受众:事件公共属性、私有化-用户属性无效的问题
  3. UI走查调整
  4. 服务端实验也支持MAB
  5. 修复工作流程创建表单标签不展示
  6. 修复海外指标查询时区问题

2022年03月31日 V1.9.33版本
  1. 品牌增效度量(BLS)
  2. CIA增效度量实验mvp版本
  3. 【流量分配】“流量变更是否会影响已分配的进组用户,只会对未进组用户”开关逻辑调整
  • 客户端****实验:在创建中、调试中、运行中可修改开关。

图片

  • 服务端实验:需在实验创建、运行中修改开关时,需完成完成相关的开发
  1. 【场景能力】推送实验通道增加友盟
  2. 工单入口调整
  • 优化&bugfix:
  1. openapi v3
  2. 定时任务(删除demo集团草稿箱内)
  3. 部分模块UI调整

2022年03月14日 V1.9.32版本
  • 功能
    • 广告监测和投放底层数据融合改造和媒体授权一体化功能页面

图片

  • Bug修复&优化:
    • 广告投放查询数据解除120天限制
    • 报表展示去除不合理兜底逻辑
    • 海外staging环境修复
    • tester事件和属性直接依赖meta改造
    • 报告页事件相关接口增加缓存
    • 海外站文案修复
    • slardar域名合规处理
    • 修复漏斗版本颜色&hover文案被截断
    • 指标管理优化
    • 旧的属性值接口替换

2022年02月24日 V1.9.31版本
  1. 报告页使用优化:
    1. 盒须快照无数据提示原因
    2. 专业术语增加场景化示例解释
    3. 留存指标的口径说明优化
    4. 报告页增加解读说明
  2. 实验报告页导出进组用户id

图片
Bug修复&优化:

  1. 缓存数据时间过长不可用
  2. 广告支持多语言必要传参
  3. 报告页实验版本展现顺序调整
  4. 单个实验组和进组不出组字段兼容
  5. 草稿箱改造导致的layer_id=null的问题
  6. 修复实验列表的未创建成功提示弹窗的背景图在英文环境下被遮挡的问题
  7. 修复在没有保存实验返回实验列表时还显示未创建成功提示弹窗
  8. 人群圈选增加平台条件
  9. 人群明细查询clickhouse新增限流、人群明细下发batch_size调整
  10. consumer服务调用profile新增限流
  11. 推送实验-填写通道配置页 - 样式调整,修复海外样式问题

2022年02月21日 V1.9.30版本

功能:

  1. 【数据管理】事件公共属性口径调整:根据上报方式不同,“事件属性”和“事件公共属性”在概念上统一为“事件属性”,和“用户属性”加以区分。
  2. 【Feature管理】变体支持图片描述和VID信息展示:
  • 1)变体支持图片描述

新建Feature时,在变体旁增加图片上传入口;
配置详情页基本配置的图片支持放大预览,每个变体旁增加图片显示;
从实验固化至Feature时可将实验组的图片描述复制到变体,同理从Feature开启实验也可将变体的图片复制到实验组;
图片

  • 2)变体增加VID显示

变体创建完成后可在详情页查看变体ID,在Feature列表可以依据变体ID搜索对应Feature
图片

  1. 【指标管理】指标支持复制和删除

图片

  1. 【流量分配】“流量变更是否会影响已分配的进组用户,只会对未进组用户”开关逻辑调整
    1. 客户端实验:实验调试状态中,不允许关闭开关;在运行中的状态下修改实验,开关默认不能修改;调整组间流量后,开关可以修改。

图片

  1. 服务端实验:需在实验创建、运行中修改开关时,需完成完成相关的开发。

另,服务端实验开启后不可调整组间流量。
图片
优化:

  1. SDK扫码的H5下的产品名称调整一致

2022年01月24日 1.9.29版本
  1. 【系统管理 - 审批和工作流程】: 支持不同的业务可配置不同的工作流程,可将审批等作为工作流程的一个环节。(工作流程:由不同环节组成的不同业务的操作流程,比如实验开启、实验固化Feature、Feature都是不同的工作流程)

图片
图片
优化:

  1. overwatch组件升级
  2. 下载数据格式调整
  3. feature支持特殊字符,版本列表UI优化
  4. 【推送运营】目标转化逻辑调整需求
  5. 【推送运营】配合数据流完成kafka切bmq
  6. 【推送运营】性能优化项-consumer服务profile调用逻辑优化
  7. 【推送运营】推送实验设置实验版本页和分群相关页面dprc升级
  8. 【推送运营】:频控优化&事件筛选去除预置事件
  9. 【推送运营】:推送任务报表优化
  10. 【推送运营】:FCM-android/iOS-到达数据修正

2022年01月13日 1.9.28版本

功能:

  1. 系统管理-系统设置:新增“假设检验评估方法”设置,可对当前应用内实验的评估方式设置为“T检验”(默认)或“序贯检验”。
  • 序贯检验:用于需要对实验结果进行连续观测,提前进行决策的实验场景,严格控制第一类错误概率,但会降低实验显著的。在传统的T检验情况下,如果在未达到实验的预定时间就开始观测实验结果并做出决策,有很大可能导致实验发生第一类错误的概率大于5%,使用序贯检验可以在这种场景下保证p-value小于5%,便于提前做出决策。
  • 开启序贯检验后无法使用流量计算器

图片
2. 多客群实验:即针对某一个方案,通过挑选不同的客群,测试当下方案的最优质客群的实验。实验报告多维分析增加「群体对比」能力,使用蒙特卡洛方法,得出每个方案/人群为最优的概率
图片
3. 可视化3.2: 支持元素尺寸相关CSS样式编辑
图片

  1. 系统管理:全局操作历史,可从全局角度下查看所有实验和Feature的变更记录

图片
5. 系统管理:白名单支持批量登记
图片

  1. 删除用户时数据资产迁移:当某个用户离职(离开)集团时,集团管理员可对离职(离开集团)人员的资产进行迁移处理。资产范围:用户在平台创建的所有内容
  2. 指标管理:指标权限管理新增“私有指标”、“公共指标”配置项。
  • 指标默认为「公共指标」,当前集团可访问该应用的用户对该指标拥有「查看权限」。当前集团当前应用的集团管理员、应用管理员、指标创建者默认拥有「协作者权限」,可以赋予普通用户「查看权限」和「协作者权限」。
  • 设置为「私有指标」时,仅创建者、管理员和集团管理员有「查看权限」和「协作者权限」。可以赋予其他用户「查看权限」和「协作者权限」。
  • 历史指标默认均为公共指标。

图片
优化:

  1. 可视化实验UI重构
  2. 海外站的优胜组的icon替换
  3. 线上售卖UI组件升级
  4. overwatch组件升级

2021年12月06日 1.9.27版本

功能:
智能运营:

  • FCM通道Android「到达数据」调整技术方案 :支持通知消息或透传消息
    • 注: 修改解决了原安卓数据不准问题(原本是通知,或者通知+透传,现在支持了仅透传)
    • 两种消息类型的区别:
      • 透传:可以精准统计到达率,但是通知配置信息需要客户端自定义设置,具体见文档https://xxx
      • 通知:无需客户端研发,但是可能存在到达数据统计不准确问题

图片

  • 频控功能优化

优化&bugfix

  1. 【优化】推送任务和流程画布报表优化,推送实验选用极光通道后,表单配置内容对比「智能运营」模块补齐uri_activity 和 uri_action配置项
  2. 【优化】白名单、互斥组、服务器端过滤参数、流量计算器rc前端样式升级
  3. 【bugfix】升级 chart-space 版本,修复自定义 legend 不能正常展示问题
  4. 【bugfix】服务端参数回显错误问题
  5. 【bugfix】修复系统管理指标权限优先级高于指标管理页单个指标权限的问题
  6. 【bugfix】FinderAB&PlayerAB的指标编辑时候过程时候的展开按钮不可点击

2021年11月22日 1.9.26版本

功能:

  1. 【国际站】推送实验支持多语言多时区
  2. 实验报告页:支持异步查询

图片

  • 针对查询时长大于30秒的查询任务, 建议使用异步查询的方式进行处理, 同时页面上提供选择异步查询或是等待, 选择多样化。该功能主要解决三个问题:
    • 查询的数据量特别大,同时查询复杂度很高,且无法命中缓存
    • 查询的并发人数较多,且无法命中缓存
    • 查询返回的结果集特别大,例如查询一个百万级进组用户数的实验结果
  • 可以设置任务进展通知邮箱, 可以输入多个, 默认带上ID已绑定的邮箱(如果不输入, 则默认不需要通知)

图片

  1. 系统管理-系统设置:支持去除被动事件

实验进组可以区分按主动任意事件进组,被动事件不作为进组标准。您可将这类事件上报为被动事件, 数据满足真实业务情况。
图片

  1. 系统管理-系统设置:支持自定义无权限提示信息

图片

  1. 可视化实验2.3:针对同一个页面可以同时开启**「多轮」**可视化实验

注:当前限制前1轮实验,必须有1个版本流量设置为全量100%,才可开启下一轮可视化实验;目前限制为3轮
图片

  1. 支持关闭实验版本:

使用场景:

  • 当实验开启多组,有一组因工程或策略等问题导致有不可接受的负向,需要及时止损但又希望其他组继续实验不受影响,火山引擎A/B测试支持关闭某实验组。
  • 例如实验开启ABCD四组,发现B组显著负向,想要关闭B组但继续尝试CD。

注:只有状态为运行中的实验可关闭单个实验组
图片

  1. 支持限制指标数量:

在系统设置处,您可对单个实验支持最多的指标数进行设置,上限为1000
图片

  1. 实验支持关联多个转化漏斗指标

2021年11月04日 1.9.25 版本

功能:

  • 推送实验支持多语言多时区
  • 报表指标优化

Bug修复:

  • webhook回执去除did补uuid逻辑
  • 勾选[无法下发走厂商通道]不影响iOS推送
  • 极光一次推送两次回执

2021年10月27日 1.9.24 版本

功能:

  • 推送实验:支持事件触发、针对时机创建推送实验。
    • 事件触发:可选择事件触发推送实验,且可设置事件触发规则
    • 针对时机:允许不同版本选择不同的推送时机

图片

  • 推送人群圈选dsl升级
    • 活跃口径由app_launch 统一为 any active event
    • dsl格式由v1改成了v3:解决v1老版本dsl创建任务时校验时间过长导致超时的问题
  • 实验关联feature支持 json格式
    • json类型的实验支持固化为Feature

图片

  • 可视化实验3.1:支持背景相关CSS样式编辑,修复编辑器问题

图片

  • 线上售卖二期:流程优化及改造

优化

  • 推送人群圈选dsl升级

2021年10月14日 1.9.23 版本
  • 功能
  • OpenAPI支持 创建实验/启动实验/停止实验/获取互斥组列表/获取指标列表
  • 广告实验增加快手渠道
  • 支持极光批量推送
    • ①单次推送人数从原来的1人增加到最高1000人
    • ②推送频率(每分钟推送多少次)可在极光通道设置进行设置

图片
Bug修复:

  • 群体洞察报告,过滤条件显示undefined

2021年9月27日 1.9.22 版本
  • 功能
    • 场景能力-广告投放:新增电商单品投放(SDPA)能力。通过商品库的商品信息,基于商品特征和用户行为偏好实现精准推送,打破广告之间数据共享能力差的问题,提升广告主拉新、拉活能力。

图片

  • 实验类型-广告实验-广告对比实验:新增电商单品广告(SDPA)实验

图片

  • 服务端分流SDK Go Agent
  • 优化:
    • 漏斗指标的不支持修改DSL内容
    • 服务端过滤参数类型设置的类型,在示例代码中体现
  • 缺陷修复:
    • 修复可视化参数匹模式时热力图打开报错的问题
    • 修复实验结论超过30天显示逻辑异常的问题
    • 修复进组不出组失效的问题

2021年9月17日 1.9.21 版本
  • 功能
    • 自定义过滤模版:新增“时间选择”,可按需对实验报告页日期进行设置并保存成模板。

图片
图片

  • 流程画布支持可重入:对于定时型和触发型流程画布的推送任务,可选择用户参与限制(参与1次or 不限制)
    • 参与1次:则用户被推送一次后,不会被重复推送
    • 不限制:用户若多次满足条件会被重复推送,总次数不超过全局频控

图片

  • 优化
    • 实验报告下载优化
    • 一些bug修复:
      • 虚拟事件不允许使用any_event、any_active_event
      • 创建指标时屏蔽app激活等内置事件

2021年9月09日 1.9.20 版本

功能:

  • 广告实验-增效度量实验:投放类型支持 “系统投放”, 可与tester产品中广告投放能力联动,在saas上完成增效度量实验闭环。

图片

  • 广告投放 :支持dmp人群包管理 ,支持通过增效度量实验进行创建dmp人群包,并根据绑定账户进行推送生效。

图片

  • 推送实验:支持WebHook,可对接自有或其他触达通道。除了使用系统提供的 Push 等常用方式触达用户,在实际运营工作中,还可能用到一些较为个性化的触达通道(如网站的站内信),或者希望在触达前进行一些个性化处理。为了帮助您对接这些自有或个性化的触达通道,系统提供了 Webhook 接口对接的方式,在触达执行时,会通过回调的方式通知您的服务接口。

图片

  • 可视化实验:支持URL精准匹配和URL参数匹配。

图片
精准匹配适用于用户明确知道url的场景,参数匹配用于在某些投放场景下,投放的渠道会随机增加参数的场景,在这种场景下,简单匹配无法区分让某些投放渠道,精准匹配无法提前预知具体的链接
优化:

  • 接入应用流程优化:接入应用步骤简化

2021年8月26日 1.9.19 版本

功能:

  1. 指标管理-指标监控: Feature 和 实验发布之后,即等同于发布了新版本,即使是小流量实验,也意味着可能对线上业务产生影响。该模块提供了报警监控的能力,可以对上线之后的功能进行监控,当业务指标或技术指标出现变动时,报警任务会及时触达到对应的负责人。
  • 支持的报警类型:大盘报警、Feature报警以及实验报警

图片

  • 可对基本信息、报警等级、任务间隔、关联场景、关联Feature、关联实验、报警策略、通知方式进行配置
    • 通知方式:支持飞书、企业微信、钉钉、邮件等多种触达方式

图片

  • 可对报警任务的接受组进行配置和管理

图片

  1. 广告实验-增效度量实验:通过A/B实验的思路+组间匹配的方式,对比用户被不同广告类型、广告素材曝光后,将是否发生广告曝光作为唯一变量,来合理科学度量广告曝光对于转化量的提升。 广告主可以在火山引擎AB平台,上传DMP人群,配置度量实验,进行跨渠道的投放生效,ab平台提供投放和监测服务,也可配置对接客户的投放和监测服务,在投放后一定周期内完成监测数据归因和转化数据回传,平台统一生成增效度量实验报告。

图片

  1. 「广告对比实验」新增「电商店铺」场景

图片

  • 增加人群定向/预算出价实验

图片

  • 电商店铺数据报告:数据报告有两个部分:
  1. 汇总数据对比:
  • 包含曝光人数、转化率、转化数、消耗、CPM、点击单价、转化成本、展示数、点击数、点击率
  • 每个指标后面计算出对照组和实验组的差异值,并用红色箭头表示下降、绿色箭头表示上升
  • 计算的数据是从实验开始至今的汇总数据
  1. 明细数据
  • 可以通过下拉框选择具体的指标,查看实验开始至今的每天变化趋势
  • 时间粒度默认天级,没有其他粒度可选

图片

  1. 热力图分析:可视化/多链接实验报告支持热力图分析,帮助您直观且快速的对比不同实验版本的效果。

图片

  • 点击热力图:适用于观察用户具体的点击行为,以此洞察页面的交互优化。(如:通过热力图发现页面的哪些部分吸引了大多数用户的注意,进一步优化;通过热力图发现用户经常会点击一些非连接/元素的地方,可以考虑在该位置增加可点击链接/元素)
  • 元素热力图:根据圈选事件生成热力图,并展示元素点击的统计量和排序

2021年8月13日 1.9.18 版本

优化:

  • 进入产品后,默认跳转到上次停留的应用上(没有携带appid的情况下)
  • 报告页新架构技术优化
  • 白名单输入SSID或UUID的时候去掉前后空格

2021年8月09日 1.9.17 版本
  • 场景能力-智能运营:营销自动化工具,支持运营人员自助开展用户的精准触达,以提升用户运营效率。
    • 精准人群圈选 :支持通过用户分群、用户属性、行为条件等多种方式圈定目标用户;
    • 精准触达时机 :可按照预设规则,由用户行为自动触发营销动作,并支持定时触达、例行触达等方式;
    • 流程画布 :可设计编排自动化流程,在用户旅程的环节中自动提醒用户,以促进用户转化;
    • 多任务分流和赛马 :在一个任务中同时使用多套内容触达用户,根据触达效果手动或自动选择最优方案;
    • 跨渠道触达 :系统通过user_unique_id将用户在各个触点的行为合并串联在一起,同时支持跨渠道触达;
    • 实时效果监控 :系统提供推送实时数据报表帮助运营人员监控触达效果。
      图片

2021年8月02日 1.9.16 版本

功能:

  1. 广告实验:全新实验类型「广告实验」,对于投放中不同素材、预算出价、人群定向、落地页等广告元素进行实验,并且通过科学完善的实验报告,验证素材的转化数据,了解不同广告元素对于投放结果的影响,提升投放效果。
    图片
    图片
  2. 自定义留存指标:指标列表新增“留存指标”类型,支持灵活新建指定起始事件和回访事件口径的自定义留存指标;
    图片
  • 实验报告页新增“留存指标”分析模块,提供更全面灵活的实验分析能力:支持筛选时间和维度、以及灵活切换留存指标口径,并提供天级详细数据和趋势图。
    图片
  1. 多链接实验url匹配类型新增【参数匹配】方式,支持用户自定义url中的域名、路径及参数
    图片

优化:

  1. 编程实验 、可视化实验创建指引视频新增和更新
    图片
  2. 可视化DEMO实验优化:支持对demo实验进行编辑和修改

2021年7月19日 1.9.15 版本

优化:

  1. 前端切换CDN, 对JS SDK的域名有影响, 需要用户配合升级JS SDK
  2. 其他小优化

2021年7月06日 1.9.14 版本

功能:

  • 广告投放:全新「广告投放」模块,集创建广告计划、广告数据分析、资源管理为一体。
    • 批量创建计划:将计划拆解成多元件,以组装积木的方式一次创建多种组合多个计划,极大提高效率。
    • 素材管理:帮助您以数据化的方式管理公共、私人不同类型的素材,并度量素材效果。
    • 多维度数据分析:自定义大宽表,结合多数据源,支持多维度下钻分析。帮助您管理和了解不同素材、落地页、人群包的拉新转化效果。
    • 账号管理:可添加、分配和管理您的广告账户,支持对「投放状态」以及「账户分配」进行批量管理。
    • 应用管理:您可以接入并设置广告投放的应用,及其投放渠道和回传方式。
      图片
  • 指标权限管理:
    • 在「指标管理」中,可针对单个指标,可对不同角色或用户进行「查看权限」和「协作者权限」的设置,实现多人协作。
      图片
  • 可视化实验:
    • 支持新增、隐藏、移动、删除元素
      图片

2021年6月28日 1.9.13 版本

功能:

  • AB测试产品支持线上售卖

图片
优化:

  • Feature Flag交互主流程优化&UI升级
    • 版本管理页展示最新版本的详情信息,可直接查看版本详情
    • 版本详情编辑、发布、开启实验操作按钮UI优化,方便用户直观进行各项操作
      图片
    • Feature列表增加发布和回滚操作入口
      图片
    • 创建/编辑Feature增加目录引导,可快捷定位到各步骤
      图片
  • 多链接实验:优化实验配置流程,在设置实验版本的同时可创建虚拟事件。

图片

  • 服务端实验支持冻结操作、客户端实验支持暂停操作

图片

2021年6月10日 1.9.12 版本
  • 功能:
    • 智能实验调优:及时、智能地调整流量分配,快速淘汰低价值、不符合预期的变量组合,让最优的变量组合快速发挥价值,取得 **尽可能优的总体效果、取得整体收益的最大化。
      注:目前支持编程实验(客户端)、可视化实验、多链接实验

图片

  • 优化:
    • 服务端实验报告查询性能优化:查询速度约提升80%(注:具体提升因环境、app而异)

2021年5月27日 1.9.11 版本
  • 优化:
    • 指标保存不冲突时候展示问题
    • 置信区间设置的问题
    • 同期群的指标详情hover的提示
      图片

2021年5月20日 1.9.10 版本
  • 功能:
    • Tester核心页面UI升级
    • 可基于地理位置(城市、省份)圈选目标受众进行客户端实验【仅中国站】
      图片
  • 优化:
    • 修改运行中和已经结束的实验,跳过AABB实验校验
    • 修复了权限管理禁用的名称仍可点击的问题
    • 修复了指标列表一些相关的问题
    • 起停删除实验升级新API
    • 分流即时生效(端到端生效时间pct99降低到10s)

2021年5月18日 1.9.9 版本
  • 功能:
    • 权限管理:可高效快捷对用户进行功能(如实验管理、指标管理等)授权。
      图片
    • 顶部导航栏支持切换集团
      图片

2021年5月06日 1.9.8 版本
  • 功能:
    • 报告页自定义过滤模板:对实验报告进行看板配置时,可将常用的过滤条件保存成自定义模板并共享,避免重复配置,提升协作效率。
      图片
    • 群体洞察:分析实验报告时,可通过简单的点选,从年龄、性别的角度对实验指标进行洞察与分析。
      图片

2021年4月22日 1.9.7 版本
  • 功能:

    • 「应用性能监控」数据赋能FeatureFlag v1.0
      • 接入「应用性能监控」三端技术指标:崩溃次数、崩溃率等12个技术指标,可在FeatureFlag使用监测>>监控指标查看
      • 创建feature可选择关注哪些技术指标,关注的技术指标能查看监控看板
      • 支持报警:指标波动超出阈值可报警,报警事件可按指标+名称聚合查看
        注:使用需要安装「应用性能监控」SDK,可按照接入指导安装即可
        
  • 优化:

    • 增加埋点:①虚拟事件的创建&管理。②APNs和FCM通道

2021年4月15日 1.9.6 版本
  • 功能:
    • 指标属性聚合函数过滤能力,即当用户选择的事件定义口径包括「UV」、「PV/UV」、「PV/AU」、「UV/AU」、「SUM/UV」,事件属性为数值型的时候,可以按照「人」、「事件属性」、「公共属性」(包含「自定义属性」)这些聚合维度进行聚合,可选的维度≤2个,默认值是「人」。
    • 关注指标列表支持指标“复制”
    • SaaS客户端实验,支持客户上传的用户自定义属性分流(user profile上报的用户属性),自定义定向能力增强
    • 自定义选择邮件接收人
    • 国际站多语言能力增强,支持切换”日文“环境。
  • 优化:
    • 可视化实验Demo优化:①百度网站无法使用降级体验,优化后可使用。②SDK版本低,引导更新文案常驻在页面。③圈选事件入口漏出。④客户未打开ab开关,新增sdk升级引导。⑤缩略图展示的时候被拉伸,已修复。⑥无法上传图片且无报错提示,已修复。⑦如果只开通了tester没有开通finder,打开可视化编辑器会提示“身份验证失败”,但是可正常进行编辑操作,圈选模拟器只支持finder的鉴权,已经修复。

2021年4月8日 1.9.5 版本
  • 功能:
    • 虚拟事件创建&管理
    • 国际站Push实验V1.1,支持创建海外APNs和FCM通道的推送实验
  • 优化:
    • Demo优化(①可视化实验,编辑器保存后,下一步操作引导优化。②在创建实验/feature的过程中,使用服务端过滤参数,改成只可查看和使用自己创建的)
    • 虚拟事件、分群、指标等增删改查对实验影响及解决方案

2021年3月25日 1.9.4 版本
  • 功能:
    • 可视化实验:
      • ①V2.0:界面重构&UI美化、编辑区域常驻、配置文件schema升级、支持切换PC桌面端&移动端、操作记录拆分、代码重构;
      • ②V2.1:扩展支持编辑元素类型(V1.x版本支持编辑的元素类型只有div span p a img;V2.0支持全部类型的元素编辑,仅对某些元素可编辑内容做了限制。)、显示可视化编辑页面的缩略图、已创建圈选事件可以再次创建指标、支持自定义图片上传。
    • 采集事件指标,支持公共属性过滤
    • A/B实验固化Feature流程优化:
      • ①固化流程优化:增加保存并发布操作,提升从实验到固化feature全量的流畅体验;增加固化后关停实验操作和提示;
      • ②固化规则优化:优化了从单个组固化和从实验固化的默认规则和不同版本的合并/覆盖规则;
      • ③固化的icon优化。
    • Feature支持json类型的变体。
  • 优化:
    • SSID分流服务优化(SSID后端生成、服务端补查SSID,解决登录用户跳变等影响)

2021年3月18日 1.9.3 版本
  • 功能:
    • 实验的“长时运行提醒/到期提醒/实验报告订阅/指标监控”,支持同时给所有实验协作者发送邮件
  • 优化:
    • “开启运维按钮”,完成升级发版
    • DataTester迁移至火山引擎后,必要埋点前后端更新

2021年3月11日 1.9.2 版本
  • 功能:
    • 白名单验证过滤条件

2021年3月2日 1.9.1 版本
  • 功能:
    • Feature Key生命周期管理-服务端
    • 服务端实验解决方案升级(需要使用2.0版本sdk): sdk自动上报用户进组信息,对应示例代码和文案调整等
    • 服务端SDK升级(Java、Python、Golang、PHP、Nodejs、Ruby)
  • 优化:
    • 实验报告页-过滤维度,新老用户口径查询逻辑优化
    • 事件量统计接口迁移到rangers,对未授权的app增加过滤

2021年2月28日 1.8.6 版本
  • 优化:
    • Demo实验上线
      • 中国站:移动端应用(父子实验、转化漏斗实验)
      • 国际站:移动端应用(推送实验)
    • 实验报告:
      • 鼠标hover转化漏斗指标,显示指标的“转化时间窗口、全局过滤条件”
      • 转化漏斗展示事件名称优化 ,显示别名
      • 同期群分析,图切换成chartSpace

2021年2月19日 1.8.5 版本
  • 功能:
    • 扫码关联调试设备。支持移动端App(iOS、Android),不支持微信小程序、Web/H5/WAP端
  • 其他
    • 适配staring翻译支持实时发布更新

2021年1月28日 1.8.4 版本
  • 优化
    • Demo环境的“Demo实验",实验列表漏出「创建子实验」的入口,创建实验流程漏出「新建互斥组」入口。
    • Feature管理,首次设置发布计划,弹窗二次确认。
    • 顶部导航(帮助文档、消息中心)图表大小、颜色一致。
    • 互斥组列表,状态过滤条件改为平铺形态。
    • 指标创建支持数值格式化UI优化,增强功能的可扩展性。
  • Bugfixs
    • 打开产品帮助引导,输入框无法输入。
    • 新建指标,如未完成必填内容填写,无法保存且loading状态。
    • 点击「保存草稿or开始调试」,两个按钮同时处于加载状态。
  • 其他
    • 前端组件全部升级到antd4版本。

2021年1月21日 1.8.3 版本

优化

  • Feature 变体使用监测
    • 筛选条件:支持按Feature版本筛选查看某个版本的变体使用情况。
    • 变体使用趋势图,支持一键全选所有变体。
    • 展示当前发布版本以及状态,支持跳转至版本详情页。
    • 变体图例格式优化,支持查看变体信息和生效状态。
    • 在「发布计划」页面,支持跳转至对应版本的变体使用监测页面。

2021年1月18日 1.8.2 版本

功能

  • 同期群分析,支持单天口径。
  • 采集事件指标增加算子「每日活跃均次」,算子描述:pv/sum(dau),表示事件发生的总次数/用户活跃天数。

优化

  • 实验报告页的过滤条件选项,增加“为空”“不为空”。
  • 指标列表,支持查看该指标被使用于哪些实验,以及操作历史优化。
  • 各个功能的“名称、描述”的输入框实现保持一致。
  • 英文状态下的运行时间符合英文语法。

2021年1月10日 1.8.1 版本

优化

  • 埋点分析:父子实验、feature发布计划&回滚、必看指标大盘看板

技术升级

  • 前端图形库切换到chartspace

2020年12月24日 1.7.8 版本

功能

  • Feature Key生命周期监控和管理-客户端

优化

  • Demo集团用户,支持查看必看指标大盘看板。

2020年12月17日 1.7.7 版本

功能

  • 实验报告富信息-二期(①天级趋势图支持P-value。②指标列表支持分子分母信息。③累积趋势图支持天级,不支持灵活自定义时间窗口和过滤条件多维现查。)
  • 国际站push推送实验(极光推送、个推推送)。

优化

  • 在Tester系统管理,提供「数据管理」入口。
  • Tester控制台迁移至火山引擎,下掉工单入口。

2020年12月10日 1.7.6 版本

功能:

  • 必看指标看板
  • 支持服务端ruby sdk
  • 站内信发送支持多语言
  • DataTester控制台迁移至火山引擎

优化:

  • 英文界面优化(①预置的崩溃监控指标,支持英文。②新建feature只有分群无公共属性,bugfix。③服务端实验/feature,去掉分群作为过滤条件的入口。④实验数据导出,支持英文。等等)
  • 实验报告优化:若实验添加了转化漏斗指标,不论漏斗指标置信不置信,都显示置信度和置信区间。

2020年12月3日 1.7.5 版本

功能:

  • Feature发布计划&回滚

优化:

  • 新建指标支持数值格式化
  • 实验列表支持拖拽
  • 必填*丢失 bugfix。③英文显示不全bugfix。④指标名称&口径重复校验优化。⑤填写白名单时,可区分当前App的口径UUID/SSID。⑥国际站隐藏实验审批入口。⑦各个列表页搜索组件保持一致。⑧增加必看指标、核心指标的问号文案。⑨实验驳回/通过优化,因为右上角支持对N+1个实验进行驳回/通过,所以去掉针对单个实验“操作”列的驳回/通过。⑩国际站英文翻译list修改。等等)

2020年11月26日 1.7.4 版本

优化

  • 可视化实验,未安装可视化SDK,降级方案&安装扩展弹窗提示信息优化。
  • 调度脚本性能优化(调度的耗时从17s降低到400ms)。
  • 实验参数取值提示优化(①允许AA实验,即只有2个实验版本前提下,允许两个实验组的参数组合取值相同;②当版本数≥3,不允许参数组合取值相同)。

2020年11月19日 1.7.3 版本

功能:

  • 支持创建父子关联实验。
  • 产品用量统计,与finder、player口径分别保持一致。

优化:

  • 实验报告页优化(详细视图增加vid信息等)。

2020年11月6日 1.7.2 版本

优化:

  • 可视化编辑器优化。
  • 指标创建口径冲突校验。
  • 实验版本名称,任意类型实验&任意实验状态都可支持编辑。
  • 实验报告的指标的计算方式展现形式修改优化。

2020年11月3日 1.7.1 版本

功能:

  • 实验报告页富信息一期(①实验关注指标:p-value、MDE、盒须快照、天级趋势、概率分布;②留存指标:N日留存日趋势图;③全局视图 -> 单一视图)。
  • 按活跃天数求均值。

2020年10月27日 1.6.7 版本

优化:

  • 老用户留存进组用户数异常问题排查。
  • 埋点分析“push推送实验、崩溃监控、转化漏斗分析”。

其它:

  • 提供inner api给push,包括①新建实验,②修改实验配置(主要是实验组的流量比例),③查看实验详情。
  • SaaS/私有化版本完成一轮安全渗透测试。

2020年10月22日 1.6.6 版本

功能:

  • 新增产品用量统计口径(MAU+全事件量)

优化:

  • 产品帮助引导-注册服务端过滤参数(实验+feature)

2020年10月15日 1.6.5 版本

优化:

  • 产品帮助引导-push推送实验
  • 必看指标权限优化

2020年9月24日 1.6.4 版本

功能:

  • 转化漏斗分析
  • OpenAPI 进组用户id接口

优化:

  • 前端组件库升级(另一半)。
  • Demo集团demo实验造数
  • 填写实验、feature等名称,空格优化。
  • 草稿实验权限优化
  • 实验报告页-实时报告优化(①创建实验当天,在「实验关注指标」默认显示实时数据(5分钟级)。②结束实验当天,即使实验已结束,用户仍然可以查看实时数据。③若实验当天开当天关,实验结束后,「关注实验指标」默认为实时数据颗粒度(5分钟级)。当实验开启日≠实验结束日时,实验结束当日「关注实验指标」默认为天级颗粒度。④报告顶部「实验概览」的“进组用户”更名为“实时进组用户”。)

2020年9月17日 1.6.3 版本

优化:

  • 安全工单修复“实验草稿详情页权限越界”,暂时改为只有管理员和实验创建者才可查看草稿详情。
  • Demo集团优化:①搜索框内文案一致。②去掉demo集团新建xx悬浮。③白名单、服务端过滤参数页面常驻信息提示“Demo环境您只能看到自己创建的白名单,正式环境可以看到当前应用所有xxx。”
  • Demo集团互斥组用户可创建并使用。
  • Demo集团「DataPlayer移动端demo」应用下,不能查看分群页面,下掉该应用tester的入口。
  • 顶导定位优化(如点击系统管理-用户分群,顶导变为蓝色)。

2020年9月14日 1.6.2 版本

功能:

  • PushAB实验1.0
  • App崩溃监控
  • 添加DOM水印
  • 实验列表字段自定义:支持对列表表格展现内容做自定义配置
  • 样本量计算器支持多重比较修正

优化:

  • 选择实验模式优化:可视化和多链接实验只支持Web端网页、H5页面;推送实验只支持iOS、Android应用
  • 留存指标支持多重比较修正
  • 实验参数冲突校验

产品运营:

  • 埋点分析(包含实验列表「去关联、选择实验模式」,feature列表「开启实验、权限管理」,产品用量统计,用户分群,置信水平参数设置)

2020年9月3日 1.6.1版本

优化:

  • 实验报告页缓存机制优化
  • 实验报告页指标hover态弹窗优化
  • 创建指标hover态提示信息优化:hover公共属性&事件属性,显示更多属性相关信息(同Finder)
  • 新增“引导实验固化至Feature”提示信息
  • Feature自定义受众规则过滤条件优化:当属性类型为字符串、操作符 为 “=”时,属性值支持切换到文本模式,可批量复制
  • “Demo体验”集团权限优化,实验、Feature、指标、白名单、服务端过滤参数的「权限+页面常驻文案+重名报错文案」优化

产品运营:

  • 埋点分析增加FinderAB/PlayerAB预约商务演示

2020年8月27日 1.5.9版本

功能:

  • Feature权限管理

优化:

  • 实验权限管理优化:①列表字段名称及枚举值优化; ②文案优化“共享->公共”;③搜索下拉显示已添加权限用户,并支持通过拼音搜索

2020年8月20日 1.5.8版本

功能:

  • 创建/管理用户分群
  • OpenAPI:实验配置、实验留存导出、实验指标导出、实验相关过滤参数

优化:

  • FinderAB/PlayerAB埋点双写
  • Redis缓存
  • 部分前端优化

2020年8月13日 1.5.7版本

优化:

  • 置信度水平配置优化
  • 置信度水平更改的站内信文案优化
  • 实验报告结论概览文案优化;
  • 可视化编辑模式V1.5优化(接入其他集团提示、圈选事件不可撤销)

2020年8月6日 1.5.6版本

功能:

  • 置信度水平参数全局设置

优化:

  • 置信度策略库切换
  • 产品用量统计优化
  • 名称输入框优化
  • demo实验置顶
  • 可视化编辑模式1.5优化(如hover信息提示、demo集团放开可视化圈选埋点等)

其他:

  • vivo浏览器推荐内容项目-实验进组用户导出

2020年7月30日 1.5.5版本

功能:

  • 可视化编辑模式1.5:可视化圈选事件、免种SDK渲染页面
  • 结束一周以内实验补录指标
  • 付费集团应用用量统计
  • 实验数据导出

优化:

  • 创建/编辑实验或feature点击进度条序号定位
  • 可视化实验URL输入框输入法bugfix
  • 服务端实验目标受众新增「+注册过滤参数」入口
  • 实验列表页「查看报告」位置前置

2020年7月26日 1.5.4版本

功能:

  • 多端接入改造
  • 指标支持可视化圈选事件

优化:

  • 帮助引导产品化优化:(1)支持打开&关闭样式(2)分型隔离(3)新增多链接、可视化实验相关内容
  • Windows、Mac字体更新
  • 海外app,禁用分群
  • Demo环境指标越权安全漏洞修复

2020年7月17日 1.5.3版本

功能:

  • 实验受众可使用DataFinder用户分群
  • 实时报告分析
  • 服务端node.js SDK
  • 帮助引导产品化-增加创建实验教学视频

优化:

  • 报告页优化
  • 应用接入示例代码优化调整

2020年7月9日 1.5.2版本

功能:

  • 实验诊断工具
  • 5个实验Demo、3个Feature Demo上线(Demo-Web端可视化编辑实验、Demo-小程序编辑模式实验、Demo-Web端编辑模式实验、Demo-移动端新用户实验、移动端/Web端/小程序端-客户端Feature )

优化:

  • 创建实验UI优化
  • 流量计算器的样式bugfix

2020年7月2日 1.5.1版本

功能:

  • 指标监控报警V1.0
  • 帮助引导产品化
  • 服务端Node.js sample code
  • Demo升级:4个实验、3个Feature上线,包括:
    • (1)Demo-Web端可视化编辑实验
    • (2)Demo-小程序编辑模式实验
    • (3)Demo-Web端编辑模式实验
    • (4)Demo-移动端新用户实验
    • (5)移动端/Web端/小程序端-客户端Feature

运营分析优化

  • OrgID/AppID/OrgName/AppName埋点更新为公共属性

2020年6月24日 1.4.7版本

功能:

  • 实验报告 邮件订阅
  • 实验生命周期监控 -实验长时运行提醒
  • 新手帮助引导产品化
  • Web端多链接实验Demo
  • Meta元数据服务重构

优化:

  • AB实验/FF打通优化(共7个优化点)

2020年6月11日 1.4.6版本

功能:

  • 实验生命周期监控-实验到期提醒
  • 服务端过滤参数管理:可以用于服务端实验和服务端Feature Flag进行受众人群的过滤。
  • 通过参数过滤实验列表

优化

  • playerAB/finderAB下撤白名单管理入口
  • 定向圈人filter筛选,增加下拉选项的搜索入口
  • 白名单管理优化:依据接入SSID/UUID分流口径,提示用户针对性创建。

2020年6月7日 1.4.5版本

功能:

  • 开启Feature类型的编程实验 :实验与Feature打通功能之一,允许用户直接开启Feature类型的编程实验,只需在创建实验参数和版本时,选择目标feature即可。
  • Feature Flag示例代码
  • 其他:jwt内部服务鉴权改造

2020年5月28日 1.4.4版本

功能/优化:

  • 从Feature开启实验 :实验与Feature打通功能之一,允许用户可以直接从Feature开启实验
  • 服务端Feature Flag
  • 实验列表多维过滤器 :当前支持「实验模式」、「实验类型」、「实验状态」组合过滤条件
  • 实验示例代码优化 :代码优化、位置优化、分支优化
  • 实验支持targeting受众的拖拉拽模式
  • SDK加入目标实验config下发接口

Bugfix:

  • AB固化至feature时,拖拉拽targeting失效问题修复

2020年5月21日 1.4.3版本

功能/优化:

  • AB实验固化至Feature:实验与Feature Flag打通,用户开启实验后发现效果提升显著且置信,即可以固化至Feature进行发布管控,将好的策略或idea沉淀下来。
  • 报告页指标统计口径提示:用户查看报告时,指标hover态即可提示指标定义的口径,方便快速了解实验效果。
  • 前端框架升级,优化性能。

Bugfix:

  • 多链接实验白名单URL过滤bugfix

其他:

  • Libra所有APP完成DataTester迁移,下线不再提供服务;
  • 后端KOI升级,如python2.x升级为python3等。

2020年5月14日 1.4.2版本

功能/优化:

  • 可视化编辑模式
  • 部分组合指标支持置信度计算。当组合指标计算公式符合A/B、B/A形式的,同时分子分母满足如下约束条件时,支持置信度计算:
    • UV/UV或AU/AU或UV/AU类型:例如转化率等
    • PV/UV或SUM/UV或PV/AU或SUM/AU类型
    • PV/PV或SUM/SUM或PV/SUM或SUM/PV

2020年5月9日 1.4.1版本

功能/优化:

  • 服务端实验暂停的实验报告
  • 流量为0的实验可保存
  • 用户体验6处细节优化(帮助中心地址、客户端&服务端实验提示、草稿箱icon、实验名称支持输入空格等)

Bugfix:

  • 留存报告页,多维过滤取消作用于留存,只过滤base_use。

2020年4月26日 1.3.8版本

功能/优化:

  • PlayerAB上线
  • 创建/编辑实验时长小于7天提示信息
  • 复制实验后实验时长设置策略为max(30,原实验时长)

Bugfix:

  • 已结束实验「暂停」和「恢复」按钮置灰

2020年4月23日 1.3.7版本

功能:

  • 海外开服部分服务上线SG和美东(剩余脚本及CDN等预计陆续在5月后第一周内上线)
  • 流量计算器WAU定时任务预计算

优化及Bugfix:

  • 分流服务tabAPI(后续补充监控旁路)
  • 白名单同层重复使用提示bugfix
  • 流量策略升级修复服务端实验bugfix
  • 返回内部错误提示信息bugfix

2020年4月16日 1.3.6版本

功能:

  • 多链接实验1.0,也有称为网页拆分实验、Split URL Testing等
  • 服务端实验暂停/恢复
  • 流量建议工具2.0:非转化率型指标
  • 实验报告的留存分析支持多维过滤

优化及Bugfix:

  • 白名单管理:圈选checkbox、使用白名单icon区分、使用体验整体优化等
  • 英文报告页文字重叠bugfix
  • 分流日志

2020年4月9日 1.3.5版本

功能:

  • 流量策略升级:允许已进组用户在流量变更或过滤属性变化时,维持原有进组信息,不发生出组,避免用户的体验发生跳变。

Bugfix

  • 客户端iOS SDK返回默认值BugFix

2020年4月2日 1.3.4版本

优化:

  • 留存定时任务并行化
  • 实验报告置信区间和结果解读的提示信息
  • 编辑实验或查看报告,新建浏览器tab页,避免冲掉当前列表的翻页和搜索内容。

Bugfix

  • 白名单下拉选项hover态提示信息
  • 置信区间负向显著颜色问题修复

2020年3月26日 1.3.3版本

功能:

  • 白名单管理模块:
    • 白名单增删改查
    • 创建实验和Feature关联使用白名单
  • 「运维介入」DataTester默认15天

优化:

  • DataTester切换Finder接口调用Rangers的数据管理接口
  • 冻结/解冻实验,留存报告的展现样式优化

2020年3月19日 1.3.2版本

功能:

  • Feature Flag 拖拉拽定向圈人能力
  • 流量建议工具(uv/au转化率型指标):提供流量建议工具,根据客户接入应用的每周新增到访活跃UV、核心指标基线、MDE、统计功效、显著性水平等信息,协助用户计算每个实验版本的样本量、建议开设的线上流量和实验时长。(本期支持UV/AU的转化率型指标)

2020年3月12日 1.3.1版本

功能:

  • 中国站多语言切换,支持简体中文和英文
  • 增加「运维人员介入」、「工单」和「IM」入口

优化:

  • 冻结和解冻实验的实验报告优化
  • Feature Flag上传图片样式优化

2020年3月6日 1.2.5版本

功能:

  • 支持解冻实验

优化:

  • 域名更新:byte*_->_data*
  • 实验、指标和Feature新icon替换

2020年2月27日 1.2.4版本

功能:

  • Feature管理 :又称为Feature Toggle、Feature Flip,用于控制线上功能开启或关闭,以及不同值的发布范围。产品在新功能发布前,通常可通过Feature Flag进行灰度小流量衡量效果、验证策略、及早发现bug。Feature Flag具有如下优势:
  • 产品Feature一站式生命周期管理
  • 云端控制Feature开关,随时发布,随心发布
  • 逐步扩量,更安全将Feature发布给用户
  • 及时止损,Feature有损时秒级关闭Feature
  • 千人千面,针对不同受众,可以发布不同的Feature版本

当前Feature Flag模块包括Feature创建与管理、客户端Settings下发、自定义发布受、灰度发布等。目前Feature类型支持两类,Boolean的双变体和String/数值型的多变体。
Feature原理图如下:
图片

  • Rangers应用列表页「DataTester」Title链接优化

2020年2月19日 1.2.3版本

功能:

  • 虚拟事件支持:创建指标支持使用虚拟事件。

优化:

  • 双层定向圈人样式优化。

2020年2月13日 1.2.2版本

功能:

  • 实验级别的权限管控模块:提供实验粒度的用户和角色权限管控。用户可以通过实验创建或编辑后的「权限管控」入口,配置共享实验或私有实验,并针对目标用户或角色进行授权、撤权的操作。
  • 共享实验,所有集团内该应用可见的用户均可在实验列表页查看该实验的实验报告。集团管理员、应用管理员和被赋予协作者权限的用户可编辑、启停和冻结实验。共享实验中,具有协作者权限的用户可以通过黑名单方式,撤销集团内某些用户对实验的读取权限。
  • 私有实验,只有创建者、集团管理员、应用管理员和显式地被赋予读取权限的用户才可在实验列表中查看实验的实验报告。创作者、集团管理员、应用管理员和显式地被赋予协作者权限的用户才可编辑、启停和冻结实验。

优化:

  • 双层定向实验样式优化。

2020年2月6日 1.2.1版本

功能:

  • 运行实验加入新互斥层:当一个互斥层为空,或没有任何运行中实验,则可以添加运行中的实验进入该互斥层;一个运行中的实验,可通过编辑实验参数加入一个为空的或没有其他运行中实验的互斥层;添加互斥层时显示互斥层剩余流量,每个互斥层都可查看流量使用情况以及当前运行中和调试中实验的流量占用情况。
  • 双层定向圈人上线:创建/编辑实验时,定向受众环节,支持多个筛选组,组间关系支持「或」;在每个筛选组内支持多个过滤筛选条件,每个条件之间为「且」关系。
  • 优化进组AU计算:采用any_event计算进组活跃用户数,保证同一APPID下同时存在H5落地页及移动端程序情况下,计算口径的一致性。

其他:

  • 切换应用白屏bug修复。

2020年1月16日 1.1.2版本

功能:

  • 打通DataFinder增强实验分析能力:通过在DataFinder中以实验ID作为过滤条件,分析DataTester中创建的实验,形成闭环解决方案,您可以在Tester和FinderAB中通过每个实验版本的版本ID进行融通查询。

优化:

  • 「实验组」更名为「实验版本」
  • 实验报告优化:包括概览页联动效果、报告结论按照版本排序等优化项。

2020年1月9日 1.1.0版本

功能:

  • 实验操作历史:用户可从实验报告页及实验详情页查看实验操作历史和变更明细;
  • 实验冻结:实验冻结,方便用户开设短期实验、长期观察实验指标变化和命中实验的用户留存分析。当前实验冻结后不允许解冻实验。(当前JS SDK不支持冻结实验,预计春节后上线新版本);
  • 创建组合指标:在指标管理模块中,用户可以基于多个事件创建组合指标;
  • 新用户实验:支持开启基于安装时间的新用户实验。创建实验的目标受众环节,用户可以选择「用户新增日期」维度及「开启实验后」等算子,选择让开启实验后的所有新增用户进入实验。

优化:

  • 实验指标优化:创建指标时优先支持比率型指标,包括活跃均次(pv/au)、转化率(pv/au)、按...求活跃均值(sum/au)、人均次数(pv/uv)、按...求人均值(sum/uv)、按...求平均值(sum/pv)。为消除样本量带来的偏差,核心指标必须选择比率型指标;
  • 实验报告优化:优化实验结论概览,产出全面指示性的结论,同时优化指标置信区间展现方式,为用户提供更加易懂直观的报告分析体验。

2020年1月2日 1.0.1版本

修复范围:

  • 支持AA实验
  • 实验名称唯一
  • 互斥组标签优化
  • 实验组命名优化
  • 流量分配输入框优化
  • 实验组流量权重控件优化
  • 数字千位符
  • 下线recordid自定义维度

2019年12月19日 1.0.0版本

功能:

  • 实验管理:用户可以创建和编辑客户端和服务端实验;
    • 支持多实验版本和多参数;
    • 实验时长可支持365天;
    • 支持互斥实验与正交实验:支持创建互斥层,相关实验可以开设在相同互斥层以免互相干扰。非相关实验可以开设为正交实验,保证用户随机、科学、稳定地分流;
    • 实验流量:支持自定义配置各实验版本之间流量权重;
    • 定向圈人:支持多种Rangers预置基本维度,包括软件版本、手机品牌、省份、国家、分辨率、运营商、浏览器、浏览器版本、系统语言、设备型号等,用户也可自定义维度及分群进行圈人;
    • 支持iOS、Android、JS、PHP、Python、Java、Go等多种语言。
  • 实验报告:统计引擎自动化分析实验指标,计算用户留存,产出指示性结论,辅助科学决策;
  • 指标管理:用户可以统一管理指标,建立必看指标,避免实验单一指标以偏概全,辅助综合评估实验科学性。

产品优势:

  • 全域实验:支持前端iOS、Android、Web/H5、微信小程序和后端、Python、PHP、Java等全平台开设实验;
  • 流量圈选:灵活多样的属性规则配置,支持多种预设维度和用户自定义维度,方便精准圈选目标受众;
  • 互斥实验:相关实验可以开设在相同互斥层以免互相干扰。