You need to enable JavaScript to run this app.
导航

新人手册

最近更新时间2023.05.12 17:31:33

首次发布时间2021.02.23 10:41:55

一. 开通服务

【SaaS产品】

如果您计划使用使用DataTester的SaaS产品服务,产品支持:

  1. 火山引擎官网在线下单购买,在提交订单并付费后系统自动开通

点击产品购买即可下单:火山引擎A/B测试。详细操作查看:如何购买产品

  1. 通过商务人员进行下单,可在火山引擎官网任意页面进行售前咨询获得服务:

【私有化部署】

如果您计划使用私有化本地部署的模式使用DataTester产品,请联系咨询商务。

二. 准备工作

在获得产品服务开通后,就可以正式使用了,前期主要工作有:

「管理员准备工作」查看👉:管理员准备工作

「开实验准备工作」查看👉:开实验准备工作

二. 数据采集和配置下发

DataTester拥有稳定可靠的实验分流:

  • 大规模高并发:经历数亿级产品考验,同时运行3W+实验

  • 随机均匀保障:均匀性经过字节内部自监控验证,保障结论可靠

  • 丰富的分流机制:父子/反转实验、预分流、隔离域、动态流量

  • 灵活的受众圈选:属性特征、事件流、画像标签、自定义人群包
    alt

如何接入数据完整内容,请查看👉:如何接入数据

三. 设计和开启实验

alt
根据通用的海盗增长模型,上方的图刻画了一个企业在它用户的整个生命周期里,到底进行了哪些日常工作。从左到右,描述了各个阶段的一些具体场景,从获取用户到推荐传播。上半部分主要表示了各个部门的各个角色所从事的具体业务活动。下半部分对应应用场景,可以做哪些 A/B 实验。

如何去设计和开启实验呢?详细内容可查看👉:如何设计实验如何开启实验

四. 实验报告

假设检验的报告:传统A/B实验

基于经典假设检验框架+字节跳动内部多年应用和优化升级
保障实验科学性的重要模块是统计报告,DataTester提供了 P-Value 和置信区间等统计信息来帮助用户甄别数据的可靠性。同时还提供了一些高级统计功能来修正统计结果,比如多重比较修正、序贯检验等功能,可以进一步提升统计评估的准确度,帮助用户在一些复杂场景下更好地做判断。详细点击查看:A/B实验报告综述

基于贝叶斯的MAB实验报告:MAB智能调优实验

MAB是基于贝叶斯理论设计的一套测试调优方案,从实验目的上来说是想让整个活动最优,而不是找出最优组。所以DataTester提供了单独的MAB实验报告。详细点击查看:MAB报告综述