为何SageMaker在serve模式下未自动生成预期的opt/ml配置目录？

问题原因 #

• SageMaker的训练任务和Endpoint部署是完全隔离的两套运行流程，仅在调用create_training_job()时，SageMaker才会将你传入的HyperParameters参数序列化为/opt/ml/input/config/hyperparameters.json注入容器。create_model()、create_endpoint_config()等部署相关接口没有HyperParameters传参字段，自然不会自动生成该配置文件。
• 训练任务结束后，只有你存放在/opt/ml/model目录下的内容会被打包为model.tar.gz上传至S3作为模型产物，/opt/ml/input/config下的文件不会默认纳入模型产物包，因此部署时拉取的模型包中没有该文件。
• 部署阶段SageMaker为容器生成的目录结构与训练阶段不同，默认仅会创建/opt/ml/model（用于解压拉取到的模型产物包）、日志输出等目录，不会主动创建/opt/ml/input/config目录。

解决方案 #

• 方案1：训练阶段新增逻辑，将/opt/ml/input/config/hyperparameters.json手动复制到/opt/ml/model目录下，该文件会随模型产物一起打包，部署时直接从/opt/ml/model/hyperparameters.json路径读取即可。
• 方案2：将部署阶段需要的参数通过create_model()接口的PrimaryContainer.Environment字段传递，和你当前传入version参数的方式一致，容器内直接读取对应环境变量即可，无需依赖配置文件。
• 方案3：如果需要参数可动态修改无需重部署，可将参数预先存储到S3，容器启动时主动请求S3拉取参数即可。

内容的提问来源于stack exchange，提问作者Kiryl A.