基于MERN栈的AWS SageMaker训练报容器启动失败问题求助

核心故障现象 #

• 基于MERN技术栈对接AWS SageMaker实现ML模型训练流程，上传CSV格式训练数据启动任务后，运行一段时间即触发TrainingFailed错误，具体报错为AlgorithmError: CannotStartContainerError
• 报错触发逻辑：SageMaker拉取ECR镜像后，按ENTRYPOINT配置尝试启动容器进程，因启动阶段找不到可执行程序或目标脚本，容器直接崩溃，因此判定任务失败，根本不会进入实际训练逻辑
• 已完成的前置配置校验通过：AWS账号侧IAM角色权限配齐、MongoDB侧对接ML相关密钥配置完成
• 故障衍生影响：SageMaker训练任务未正常启动，无法在S3存储桶生成模型产物

现有已配置资源梳理 #

• 已准备适配linear learner、xgboost场景的自定义训练镜像，同步至对应ECR镜像仓库
• 本地测试时已将train.py部署至/opt/ml/code/train.py路径，本地测试输出目录配置为/home/ec2-user/SageMaker/docker_test_folder
• 现有生产环境Dockerfile配置：

FROM ubuntu
RUN apt-get update
RUN apt-get install curl -y
RUN curl -sL https://deb.nodesource.com/setup_10.x -o nodesource_setup.sh
RUN bash nodesource_setup.sh
RUN apt install nodejs -y
WORKDIR /usr/app
COPY . /usr/app/
RUN npm install
EXPOSE 3000
ENTRYPOINT [ "python3.7", "/opt/ml/code/train.py" ]

报错核心根因定位 #

• 运行依赖缺失：基础镜像为纯Ubuntu系统，仅安装了Node.js环境，完全未部署Python3.7运行环境，ENTRYPOINT指定的python3.7可执行文件在容器内不存在
• 文件路径不匹配：构建镜像时仅将本地项目目录拷贝到容器/usr/app路径，但ENTRYPOINT指向的/opt/ml/code/train.py并未被打入镜像，属于运行时不存在的无效路径
• 运行权限不达标：未对train.py文件配置可执行权限，未适配SageMaker容器默认的非root运行要求
• 冗余配置干扰：Dockerfile中安装Node.js、暴露3000端口的配置对纯ML训练容器无实际作用，反而会增加镜像构建异常的概率

分步修复与排障步骤 #

1. 重构Dockerfile，修正依赖与路径配置
   移除冗余的Node.js相关配置，选用预装Python的轻量基础镜像，适配SageMaker规定的标准目录结构，示例配置如下：

   # 选用预装Python的轻量基础镜像，避免手动配置运行环境
   FROM python:3.8-slim
   # 创建SageMaker要求的标准目录结构
   RUN mkdir -p /opt/ml/code /opt/ml/input /opt/ml/model /opt/ml/output
   # 将本地训练代码拷贝到指定工作路径
   COPY train.py /opt/ml/code/
   # 为训练脚本配置可执行权限
   RUN chmod +x /opt/ml/code/train.py
   # 配置ENTRYPOINT，适配SageMaker训练任务的容器启动触发逻辑
   ENTRYPOINT ["python3", "/opt/ml/code/train.py"]
   

2. 本地镜像预校验
   镜像构建完成后，先在本地模拟SageMaker的启动逻辑做校验，避免将有问题的镜像上传到ECR：
   • 执行命令docker run <本地镜像名> train，检查是否能正常拉起容器、无命令不存在/路径不存在的报错
   • 进入容器内部校验目录结构：确认/opt/ml/input（训练数据挂载路径）、/opt/ml/model（模型产物输出路径）、/opt/ml/code（训练代码路径）均存在且有读写权限
3. 云端配置适配校验
   • 修复后的镜像重新构建、打标签并推送到ECR，替换原有的故障镜像版本
   • 检查SageMaker训练任务的路径映射配置：确保S3存储桶的训练数据路径正确映射到容器内/opt/ml/input/data路径，模型输出路径正确映射到容器内/opt/ml/model路径
   • 确认SageMaker执行角色具备ECR镜像拉取、S3读写的基础权限
4. 小流量任务验证
   配置完成后先启动小批量测试训练任务，查看任务日志确认：容器正常启动、训练数据正常拉取、训练逻辑正常执行、模型产物正常写入S3，无启动类报错后再切换全量训练数据。

内容的提问来源于stack exchange，提问作者mehul daxini