AWS SageMaker训练作业超期，如何恢复续跑30天训练任务？

核心逻辑 #

SageMaker不支持直接恢复已超时终止的训练作业，必须依赖训练过程中保存的检查点（Checkpoint），重新启动作业并加载检查点继续训练。

具体操作步骤 #

1. 确认检查点保存状态 #

首先需确认之前的训练作业已配置检查点存储：

• 训练脚本中需定期将模型权重、优化器状态、当前训练进度（epoch/step）等保存到本地路径（如/opt/ml/checkpoints/）
• 启动原作业时，通过CheckpointConfig指定了S3存储路径（如s3://your-bucket/checkpoints/your-old-job/），SageMaker会自动将本地检查点同步到S3

如果未配置检查点，无法续训，只能重新启动完整训练。

2. 重新创建训练作业并加载检查点 #

• 新作业配置中，将CheckpointConfig指向原作业的S3检查点路径
• 修改训练脚本：启动时先从S3同步检查点到本地路径，加载检查点中的模型权重、优化器状态和训练进度，直接从上次终止的位置继续训练
• 设置新的MaxRuntimeInSeconds（最大支持5天，即432000秒），若仍需更长训练时间，后续重复此续训流程即可

3. 续训效率优化技巧 #

• 在检查点中记录精确的训练进度（如当前epoch、batch数），避免重启后重新计数
• 使用SageMaker Managed Spot Training：既节省成本，又支持实例中断后自动从检查点恢复（需提前配置检查点）
• 拆分训练为多阶段，每个阶段设置合理的MaxRuntimeInSeconds，通过Lambda+CloudWatch Events实现阶段间自动触发，无需手动操作

关键注意事项 #

• 检查点需包含完整训练状态：模型权重、优化器参数、学习率调度器状态、当前训练进度，缺项会导致续训异常
• 新作业的实例类型、镜像版本、训练脚本需与原作业完全一致，避免环境差异引发检查点加载失败

内容的提问来源于stack exchange，提问作者Gurava