基于预训练模型的时序数据增量重训练实现难题求助
基于Darts库的时序数据增量学习问题
问题背景
我在使用unit8co的darts库实现时序数据的增量学习时遇到了问题,需要解决指导。
数据集结构
我有一个包含250万条数据点的大型数据集,结构如下:
ds y 0 2020-10-21 12:57:47+00:00 0.0 1 2020-10-21 12:57:48+00:00 0.0 2 2020-10-21 12:57:49+00:00 0.0 3 2020-10-21 12:57:50+00:00 0.0 4 2020-10-21 12:57:51+00:00 0.0 ... ... ... 2591996 2020-11-20 12:57:43+00:00 7.0 2591997 2020-11-20 12:57:44+00:00 7.0 2591998 2020-11-20 12:57:45+00:00 7.0 2591999 2020-11-20 12:57:46+00:00 6.0 2592000 2020-11-20 12:57:47+00:00 6.0 [2592001 rows x 2 columns]
目标
计划先在历史数据上训练初始模型Model_v1,但数据集过大导致从头训练耗时过长。希望以Model_v1为基础,用每分钟获取的实时新数据进行增量更新,理想状态是每周或每月重训练以适配数据模式变化。
遇到的挑战
已成功保存历史模型Model_v1,但加载后无法用新数据拟合,增量学习流程失败,不清楚正确的实现方法。
求助需求
恳请提供时序数据预训练模型增量学习的有效实现思路、建议及最佳实践,若有类似经验或成功方案,欢迎分享。
感谢您的帮助与指导。
内容的提问来源于stack exchange,提问作者AyushBhardwaj261
相关产品推荐
相关产品推荐

