S3存万级图像集不下载至EBS时AWS SageMaker训练DL模型最佳方案

核心逻辑是全程让数据集不经过Notebook实例的EBS卷，所有数据读取动作都在独立的训练实例上完成，Notebook只负责任务调度，不碰数据本体。具体落地步骤如下：

• 先配好权限：给SageMaker训练任务用的IAM执行角色，绑定目标S3存储桶对应数据集前缀的只读权限，不要给Notebook角色开这个数据集路径的读写权限，从权限层面避免误操作把数据下到Notebook卷里。
• 配置训练数据输入通道：用SageMaker Python SDK创建训练任务的时候，通过sagemaker.inputs.TrainingInput指定S3上的数据集路径，不要选默认的File模式，根据你的数据格式选下面两种无本地落盘的输入模式：
  • 如果你的10000张图像是按类别分目录存的原始JPG/PNG格式，优先选FastFile模式：这个模式会把S3路径直接以兼容POSIX的文件系统形式挂载到训练实例上，训练代码读哪张图才会从S3内网拉哪张，不会提前下载全量数据，而且完全兼容OpenCV、PIL这些常规图像库的读取接口，不用改你原来的训练代码，用起来最省事。
  • 如果你提前把图像打包成了TFRecord、WebDataset这类分片序列化格式，选Pipe模式：直接以字节流的形式把数据喂给训练进程，连文件系统挂载的开销都没有，大batch训练的时候吞吐量更高。
• 提交任务跑训练：把你的训练脚本通过SDK传到SageMaker，让任务调度到独立的训练实例上运行，Notebook实例只需要等训练日志回传、看指标就行，全程不会和数据集有任何交互，自然不会往EBS卷写数据。
• 避坑提醒：

  绝对不要在Notebook实例里直接启动训练进程读S3数据，不管是用boto3逐张拉、还是用s3fs之类的工具挂载S3盘，哪怕你手动关了持久化缓存，操作系统的页缓存、进程临时文件都有可能把图像数据写到EBS卷上，违反要求。也完全没必要给Notebook实例扩EBS容量，按最小规格开就行，省成本。

内容的提问来源于stack exchange，提问作者G93