使用SLURM提交脚本运行时，能否在Conda环境安装Python包？

• 强烈建议等所有运行中的脚本跑完再操作，别直接安装
  Conda安装包时会改动环境的site-packages目录、依赖缓存以及conda-meta下的配置记录，正在运行的Python进程正依赖这些文件的当前状态。如果安装过程中覆盖或修改了正在被使用的文件，轻则脚本出现导入错误、依赖版本冲突，重则直接崩溃。
  比如脚本正依赖某个包的旧版本，装新包时可能无意中升级了这个依赖，脚本运行到一半突然找不到旧模块，直接报错终止，之前的运行进度全部白费。

• 实在要装的话，有两个风险极高的临时方案（不推荐）

  • 确认新包和现有环境的依赖完全兼容，不会升级或替换正在被使用的包。可以用conda install --no-deps <包名>强制不安装依赖，但这种方式很容易留下隐性问题，后续排查难度大。
  • 复制当前环境的副本，在副本里安装新包，后续提交的脚本用新环境，正在运行的脚本继续使用旧环境。命令示例：

    conda create --clone 你的原环境名 -n 新环境名
    conda activate 新环境名
    conda install 新包名
    

• 结论
  最稳妥的方式还是等所有SLURM任务执行完毕后，再给目标Conda环境安装新包，避免破坏正在运行任务的稳定性。

内容的提问来源于stack exchange，提问作者keenan