--save_resume模式下运行VW LDA,学习率是否会随批次自动衰减
Vowpal Wabbit
--save_resume 基础说明 Vowpal Wabbit(可执行程序为vw)支持通过--save_resume实现外存学习,--help选项中关于该功能的官方说明如下:
--save_resume save extra state so learning can be resumed later with new data
训练场景与执行流程
当前持有规模达数亿文档的流式数据集,共拆分为1024个批次,目标是基于全量批次训练LDA模型。通过脚本调用vw开展训练,注意:未设置--passes参数,因此每个样本仅会被模型观测一次。
具体调用流程如下:
- 初始训练调用命令:
vw -d clean.txt --lda 100 --lda_D 307000000 -f weights --readable_model lda.model.vw - 后续批次的续训调用命令(每次调用前会将clean.txt替换为对应批次的数据集内容):
vw -d clean.txt --lda 100 --lda_D 307000000 --save_resume -i weights -f weights --readable_model lda.model.vw
观测到的异常现象
已按上述流程成功跑完所有批次,但观察到每次调用vw时的输出参数始终一致,学习率从未出现衰减,固定输出内容为:
learning rate = 0.5 initial_t = 0 power_t = 0.5
原本预期启用--save_resume时,vw会保存包含学习率在内的完整训练状态,随累计观测数据量增加自动衰减学习率,但实际运行结果与预期不符。
核心疑问:使用Vowpal Wabbit开展训练时,是否需要手动管理学习率?
内容的提问来源于stack exchange,提问作者Hans Ekbrand
相关产品推荐
相关产品推荐

