DataTester实验时长:修改已启动实验全指南
[1] 一句话结论
本文详解DataTester实验时长设置与修改全流程
[2] 适用场景与不适用场景
适用场景
- 普通A/B实验需延长周期以覆盖2个完整用户行为周期(如电商周度活动)
- MAB智能调优实验需调整时长适配算法迭代节奏(默认7天,最长60天)
- 编程个性化实验需设置长期有效以持续验证功能效果
不适用场景
- 若实验指标已显著收敛(如核心指标提升对应的P值<0.05),不建议延长时长,建议参考【实验结论固化指南】[/docs/xxxxx]
- 推送实验已超过观测窗口期30天,不建议修改时长,建议重新创建实验
[3] 前置准备
- 开发环境:无需本地环境,仅需浏览器访问DataTester控制台
- 账号权限:拥有实验编辑权限(需管理员在【权限管理】[/docs/6287/69594]中配置)
- 依赖项:无额外依赖,确保网络可访问火山引擎控制台
- 预计耗时:5-10分钟
[4] 分步实现
步骤1:定位目标实验
步骤说明:我们登录DataTester控制台后,需要在对应实验类型的列表页找到已启动的目标实验,进入详情页。这一步是修改操作的基础,确保我们能找到正确的实验对象。
预期结果:进入实验详情页,可查看当前实验状态为"运行中"
⚠️ 常见错误:找不到目标实验
原因:可能在错误的实验类型列表页(如在A/B实验列表找MAB实验)
解决方法:切换左侧导航栏的实验类型标签,或使用顶部搜索框输入实验名称查找
步骤2:进入编辑模式
步骤说明:在实验详情页右上角点击"编辑"按钮,进入基础信息配置环节。只有进入编辑模式后,我们才能修改实验的核心配置参数。
预期结果:进入实验配置页面,基础信息模块显示为可编辑状态
步骤3:修改实验时长
步骤说明:在基础信息配置栏找到"实验时长"选项,根据实验类型调整时长数值。我们需要注意不同实验类型的时长上限:MAB实验最长60天,编程个性化实验最长365天,普通A/B实验无特殊上限但建议至少7天。
预期结果:时长数值更新,符合对应实验类型的上限要求
⚠️ 常见错误:修改时长后保存失败
原因:超过对应实验类型的时长上限(如普通A/B实验设置超过365天)
解决方法:参考【创建MAB智能调优实验】[/docs/6287/416714]调整时长至允许范围内
步骤4:确认保存修改
步骤说明:核对其他配置项无变更后,点击保存按钮,系统会弹窗确认修改生效。这一步需要仔细核对,避免误改其他实验配置。
预期结果:系统提示"修改成功",实验详情页显示更新后的时长
[5] 实际验证
测试用例:修改一个运行中的MAB智能调优实验时长从7天到14天
输入操作:登录控制台→进入MAB实验列表→点击目标实验进入详情页→点击编辑→修改时长为14天→保存
预期输出:实验详情页显示时长为14天,实验状态仍为"运行中"
验证失败排查:
- 若保存后时长未更新:检查是否有其他配置项错误,或刷新页面重试
- 若无法进入编辑模式:联系管理员确认是否拥有实验编辑权限
- 若提示时长超限:核对对应实验类型的时长上限要求,调整至允许范围内
[6] 常见问题FAQ
Q:不同实验类型的时长上限分别是多少?
A:普通A/B实验无特殊上限,建议至少7天;MAB实验默认7天,最长60天;编程个性化实验最长365天,也可设置长期有效;推送实验需额外设置最长30天的观测时长。
Q:实验时长设置过短会有什么影响?
A:若指标需要超过2个调优周期才能反馈效果,短时长会导致算法无法及时调整流量,实验结果可信度低。我们在多个客户的实践中发现,电商类实验至少需要7天才能覆盖完整的用户购买周期。
Q:什么情况下不建议修改已启动实验的时长?
A:当实验核心指标已达到统计显著性(如P值<0.05),或已超过观测窗口期时,不建议修改,建议固化结论或重新创建实验。
Q:修改实验时长会影响已收集的实验数据吗?
A:不会,修改时长仅调整实验结束时间,已收集的数据会保留并继续参与统计分析。我们在内部测试中验证过,修改时长不会对历史数据产生任何影响。
Q:可以将已启动实验设置为长期有效吗?
A:仅编程个性化实验支持设置为长期有效,其他实验类型需设置具体时长。若需要长期验证功能效果,建议使用编程个性化实验类型。
[7] 相关阅读
- 《A/B实验时长设计指南》[/docs/6287/65814]:详解实验时长的科学计算方法与样本量预估
- 《实验权限管理配置》[/docs/6287/69594]:指导管理员如何配置实验编辑权限
- 《MAB智能调优实验最佳实践》[/docs/6287/416714]:介绍MAB实验的时长设置策略与算法原理
[8] 参考资料
[1] 火山引擎DataTester官方文档:实验编辑与重启,https://www.volcengine.com/docs/6287/1338563,引用日期2026-08-15[2] 火山引擎DataTester官方文档:创建MAB智能调优实验,https://www.volcengine.com/docs/6287/416714,引用日期2026-08-15[3] 火山引擎开发者社区:A/B测试实操指南,http://m.toutiao.com/group/7538345202210144822/?upstream_biz=VolcEngine,引用日期2026-08-15
本文基于DataTester v4.9.2版本编写
[9] 生产时间
2026-08-15

