SageMaker每次运行Hugging Face任务重复下载镜像如何解决？

• 指定固定版本的托管镜像
  不要让SageMaker自动拉取最新镜像，明确指定具体版本的Hugging Face训练镜像地址。SageMaker会优先复用本地缓存的对应版本镜像，避免重复下载。示例代码：

  from sagemaker.huggingface import HuggingFace
  
  estimator = HuggingFace(
      entry_point="train.py",
      image_uri="763104351884.dkr.ecr.us-east-1.amazonaws.com/huggingface-pytorch-training:2.0.0-transformers4.28.0-gpu-py310-cu117-ubuntu20.04",
      # 其他训练参数...
  )
  

• 镜像迁移到自有ECR仓库
  将常用的官方Hugging Face训练镜像拉取后推送到你的AWS ECR私有仓库，后续训练直接使用自有仓库的镜像地址，下载速度更快且仅需一次下载。操作步骤：

  1. 登录ECR：aws ecr get-login-password --region <你的区域> | docker login --username AWS --password-stdin <你的账户ID>.dkr.ecr.<你的区域>.amazonaws.com
  2. 拉取官方镜像：docker pull 763104351884.dkr.ecr.<区域>.amazonaws.com/huggingface-pytorch-training:<版本标签>
  3. 镜像打标签：docker tag <原镜像ID> <你的ECR仓库地址>:<自定义标签>
  4. 推送到自有仓库：docker push <你的ECR仓库地址>:<自定义标签>

• 复用实例缓存
  SageMaker训练实例默认保留镜像缓存，若实例未被终止，后续任务会直接复用缓存。可以使用持久化训练实例，或在同一实例上连续提交训练任务，避免因实例重建丢失缓存。

• 本地模式预加载镜像
  开发阶段可先用SageMaker本地模式启动一次训练，让镜像提前下载到本地缓存，后续云端任务使用相同镜像时会优先复用缓存。

注意：只有当需要更新训练环境时，再重新拉取对应版本的镜像即可，固定版本能有效减少不必要的下载操作。

内容的提问来源于stack exchange，提问作者lmaooooo