You need to enable JavaScript to run this app. --save_resume模式下运行VW LDA,学习率是否会随批次自动衰减
优惠活动
大模型
产品
解决方案
定价
更多

--save_resume模式下运行VW LDA,学习率是否会随批次自动衰减

Vowpal Wabbit --save_resume 基础说明

Vowpal Wabbit(可执行程序为vw)支持通过--save_resume实现外存学习,--help选项中关于该功能的官方说明如下:

--save_resume                         save extra state so learning can be 
                                      resumed later with new data
训练场景与执行流程

当前持有规模达数亿文档的流式数据集,共拆分为1024个批次,目标是基于全量批次训练LDA模型。通过脚本调用vw开展训练,注意:未设置--passes参数,因此每个样本仅会被模型观测一次。
具体调用流程如下:

  • 初始训练调用命令:
    vw -d clean.txt --lda 100 --lda_D 307000000 -f weights --readable_model lda.model.vw
    
  • 后续批次的续训调用命令(每次调用前会将clean.txt替换为对应批次的数据集内容):
    vw -d clean.txt --lda 100 --lda_D 307000000 --save_resume -i weights -f weights --readable_model lda.model.vw
    
观测到的异常现象

已按上述流程成功跑完所有批次,但观察到每次调用vw时的输出参数始终一致,学习率从未出现衰减,固定输出内容为:

learning rate = 0.5
initial_t = 0
power_t = 0.5

原本预期启用--save_resume时,vw会保存包含学习率在内的完整训练状态,随累计观测数据量增加自动衰减学习率,但实际运行结果与预期不符。
核心疑问:使用Vowpal Wabbit开展训练时,是否需要手动管理学习率?


内容的提问来源于stack exchange,提问作者Hans Ekbrand

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.10 13:45:05