AWS SageMaker加载自定义conda环境失败问题求助

核心问题原因 #

• 生命周期配置脚本运行时使用的是非交互Shell，不会加载ec2-user家目录下的.bashrc配置，默认优先调用SageMaker自带的/home/ec2-user/anaconda3/bin/conda，自然找不到你安装在持久化EBS目录下的自定义miniconda环境，这就是CloudWatch报Could not find conda environment的根本原因
• 原脚本中运行python -m ipykernel install时没有指定自定义环境内的Python路径，默认用了当前Shell环境（也就是JupyterSystemEnv）的Python，导致生成的内核配置里的执行路径指向了系统自带的Python环境

修复后的启动脚本 #

直接替换原有的on-start启动脚本内容即可：

#!/bin/bash

set -e

sudo -u ec2-user -i <<'EOF'
unset SUDO_UID
WORKING_DIR=/home/ec2-user/SageMaker/
# 优先加载自定义miniconda的路径，避免调用系统自带的conda
export PATH="$WORKING_DIR/miniconda/bin:$PATH"

for env in $WORKING_DIR/miniconda/envs/*; do
    BASENAME=$(basename "$env")
    # 激活自定义环境
    source "$WORKING_DIR/miniconda/bin/activate" "$BASENAME"
    pip install ipykernel boto3
    # 明确使用当前激活环境内的Python安装内核，确保内核路径正确
    $CONDA_PREFIX/bin/python -m ipykernel install --user --name "$BASENAME" --display-name "Custom ($BASENAME)"
done
# 不需要禁用系统Conda功能的话可以保留注释
# echo "c.EnvironmentKernelSpecManager.use_conda_directly = False" >> /home/ec2-user/.jupyter/jupyter_notebook_config.py
# rm /home/ec2-user/.condarc
EOF

echo "Restarting the Jupyter server.."
restart jupyter-server

验证步骤 #

1. 保存修改后的生命周期配置，重启SageMaker Notebook实例
2. 实例启动完成后进入JupyterLab，选择自定义内核新建Notebook
3. 运行代码import sys; print(sys.executable)，确认输出路径为/home/ec2-user/SageMaker/miniconda/envs/你的环境名/bin/python即可

内容的提问来源于stack exchange，提问作者Contestosis