在SageMaker中如何向自定义Docker容器传递运行参数？

方案1：直接通过Estimator的environment参数传递动态环境变量（最推荐） #

SageMaker Estimator原生支持在创建任务时传入运行时环境变量，无需修改镜像，也不需要传递env-file：

• 把你env-file里的所有键值对整理为Python字典格式
• 创建Estimator实例时传入environment参数，示例：

from sagemaker.estimator import Estimator

custom_env = {
    "KEY1": "runtime_value_1",
    "KEY2": "runtime_value_2",
    # 填入你env文件里的所有键值对，每次提交任务可以修改
}

estimator = Estimator(
    image_uri="你的ECR镜像地址",
    role=sagemaker.get_execution_role(),
    instance_count=1,
    instance_type="ml.m5.xlarge",
    environment=custom_env, # 这里传入环境变量
    # 其他自定义参数
)

• 传入的变量会直接注入到训练容器的运行环境中，你的训练脚本可以直接读取使用，完全满足运行时动态变更的需求。

方案2：挂载env-file作为输入数据源 #

如果你希望保留直接读取env-file的使用习惯，可以按以下步骤操作：

• 把每次运行使用的env-file上传到S3指定路径
• 将该S3路径配置为训练任务的输入数据源，挂载到容器的指定路径，比如/opt/ml/input/data/env/
• 在你的train脚本最开头添加以下命令，自动加载env-file里的所有变量：
  set -a && . /opt/ml/input/data/env/your.env && set +a

注：不要用source命令，用.命令是POSIX标准，兼容所有shell环境，不会出现你之前遇到的source: not found报错。

相关问题说明 #

• 你之前在镜像构建阶段执行RUN source file.env报错是因为默认的/bin/sh是dash，不支持source内置命令，换成RUN . file.env或者在Dockerfile开头添加SHELL ["/bin/bash", "-c"]即可解决，但构建时写入的环境变量确实无法满足运行时动态修改的需求，不推荐该方案。
• SageMaker不支持直接透传任意docker run参数，但环境变量、挂载存储等常用需求都有对应的原生支持参数，无需直接操作docker运行指令。

内容的提问来源于stack exchange，提问作者Abhishek Purandare