AWS SageMaker Data Science 3.0镜像依赖冲突问题求助

Data Science 3.0镜像预装了大量集成工具（如Spyder、Jupyter Lab、SageMaker Data Wrangler等），这些工具对依赖包的版本有严格要求，直接用pip安装或更新第三方包会打破原有依赖链，引发大量冲突。以下是几种可行的解决方式：

1. 用虚拟环境隔离项目依赖 #

这是最稳妥的方案，完全避免污染镜像自带的全局环境，每个项目可以拥有独立的依赖栈：

• 创建并激活虚拟环境：

  # 创建名为my_project_env的虚拟环境
  python -m venv my_project_env
  # 激活环境（Linux/macOS）
  source my_project_env/bin/activate
  

• 在激活的环境中安装所需包：

  pip install sagemaker-experiments numpy
  

• 如果需要在Jupyter Notebook中使用该环境，需将其添加为内核：

  pip install ipykernel
  python -m ipykernel install --user --name=my_project_env
  

  之后在Jupyter界面的「内核」选项中切换到my_project_env即可。

2. 强制安装（谨慎使用） #

如果不需要使用镜像自带的集成工具（如Spyder、原生Jupyter服务），可以用pip的强制参数跳过依赖检查，但这会导致部分预装工具失效：

• 强制安装目标包：

  pip install sagemaker-experiments --force-reinstall
  

• 或者仅忽略特定冲突的依赖：

  pip install sagemaker-experiments --ignore-installed tornado
  

3. 构建自定义镜像 #

若需要长期稳定的工作环境，可以基于Data Science 3.0镜像，添加所需包后构建自定义镜像，部署到SageMaker Studio：

• 编写Dockerfile示例：

  FROM 763104351884.dkr.ecr.us-west-2.amazonaws.com/sagemaker-data-science-3.0:latest
  RUN pip install sagemaker-experiments numpy --no-cache-dir
  

• 将镜像推送到AWS ECR，然后在SageMaker Studio中配置使用该自定义镜像。

4. 指定兼容版本安装 #

查找与镜像预装包版本兼容的目标包版本，指定版本号安装：

• 先查看镜像中冲突包的版本：

  pip show distributed
  

• 到PyPI上查询目标包（如sagemaker-experiments）的历史版本，找到兼容该distributed版本的包，然后安装：

  pip install sagemaker-experiments==0.1.36
  

注意事项 #

• 不要随意更新镜像自带的核心依赖包（如numpy、tornado、jupyter-client等），这些是预装集成工具的运行基础。
• 临时测试包优先用虚拟环境，避免影响全局环境的稳定性。

内容的提问来源于stack exchange，提问作者IsraelAire