如何在qsub提交带Numpy依赖的Python作业时仅传必要变量指定conda环境

先明确之前方案失效的原因 #

你之前参考的方案完全不适配当前场景：那个方案依赖集群的Environment Modules/Lmod系统加载预装的numpy模块，但你的numpy是安装在自定义conda虚拟环境中的，根本不在集群module系统的检索路径里，因此报Unable to locate a modulefile for 'numpy'是必然结果，和numpy的实际存放路径无关，不需要再针对这个报错排查路径问题。

推荐实现方式（最稳妥，不依赖qsub传参） #

完全不需要通过qsub参数传递任何环境变量，只要在你提交作业的shell脚本开头（所有业务逻辑代码之前）加上conda环境的初始化与激活逻辑即可。qsub启动的作业运行时是无交互的非登录shell，默认不会加载你登录时配置的conda初始化片段，只要手动在脚本里补上这个流程，就能保证在任意计算节点上都正确加载目标conda环境。
具体操作步骤：

1. 先在交互登录的节点上，正常激活你的目标conda环境，执行which conda拿到conda安装的根目录路径（比如输出是/home/xxx/miniconda3/bin/conda，对应的根目录就是/home/xxx/miniconda3）
2. 把下面的内容粘贴到你的作业脚本最开头，把路径替换成你自己的conda根目录，把环境名替换成你装了numpy的虚拟环境名：

   # 替换为实际的conda安装根目录
   __conda_setup="$('/home/xxx/miniconda3/bin/conda' 'shell.bash' 'hook' 2> /dev/null)"
   if [ $? -eq 0 ]; then
       eval "$__conda_setup"
   else
       if [ -f "/home/xxx/miniconda3/etc/profile.d/conda.sh" ]; then
           . "/home/xxx/miniconda3/etc/profile.d/conda.sh"
       else
           export PATH="/home/xxx/miniconda3/bin:$PATH"
       fi
   fi
   unset __conda_setup
   # 替换为实际的conda虚拟环境名
   conda activate 你的numpy所在环境名
   

3. 后面接着写你原来的作业运行命令即可，比如python your_analysis_code.py。
   这种方式的好处是作业运行不依赖任何登录节点的环境配置，从根源上避免了全量环境变量传递带来的路径冲突、版本不匹配问题，也完全不会触发集群module系统的相关报错。

如果你偏好通过qsub参数传递必要变量 #

使用qsub的小写-v参数（大写-V是全量传递所有环境变量，正是你之前遇到的干扰问题的来源），只传递conda环境运行所需的核心变量即可，不需要传全量：

1. 先在交互节点激活目标环境，记录三个关键值：
   • 执行echo $CONDA_PREFIX，拿到虚拟环境的绝对路径，比如/home/xxx/.conda/envs/numpy_env
   • 执行echo $PATH，摘出路径中属于conda的部分（也就是包含刚才环境路径的条目）
   • 如果激活后echo $PYTHONPATH有非空值，也记录下这个变量的内容
2. 提交作业时在qsub命令里单独指定要传递的变量，示例：

   qsub -v CONDA_PREFIX=/home/xxx/.conda/envs/numpy_env,PATH=/home/xxx/.conda/envs/numpy_env/bin:/usr/local/bin:/usr/bin my_job.sh
   

常见踩坑提醒 #

• 不要只通过手动修改PATH变量尝试激活conda环境：conda激活过程除了修改PATH，还会设置CONDA_DEFAULT_ENV、CONDA_PYTHON_EXE等多个关联变量，部分Python包会校验这些变量判断运行环境，手动只改PATH很容易出现莫名其妙的import失败问题。最稳妥的激活方式永远是调用conda自带的activate命令。
• 传递PATH变量时不要直接抄登录节点的全量PATH：登录节点的PATH可能包含仅登录节点存在的专属路径，计算节点上不存在这些路径，传过去反而会引发执行文件找不到的错误，只保留运行conda Python所需的最小路径集合即可。
• 不要为了图省事长期使用-V参数：全量传递环境变量的方式在集群升级、更换计算节点配置时，很容易出现依赖版本冲突、路径不存在的问题，排查成本远高于在脚本里加几行conda初始化代码。

内容的提问来源于stack exchange，提问作者BGreen