如何在JupyterHub中通过Conda添加本地Python包且不复制完整环境

问题根源 #

你遇到的克隆环境完整复制的情况，是因为原环境（/opt/conda/envs/python310）位于系统级文件系统，而用户环境在个人家目录（~/.conda/envs/），两者属于不同文件系统。Conda默认的硬链接无法跨文件系统建立，因此只能完整复制所有文件，导致存储浪费。

解决方案 #

方案一：利用Conda环境继承（推荐）

这种方式让用户环境仅安装自身需要的额外包，共享原环境的基础包，大幅节省存储：

1. 管理员操作：导出原环境的包清单（不含构建信息）到共享目录：

   conda env export --name python310 --no-builds > /opt/conda/shared_python310.yml
   chmod 444 /opt/conda/shared_python310.yml  # 设置为只读，防止修改
   

2. 用户操作：创建自己的environment.yml文件，继承原环境并添加所需包：

   name: MyEnv
   channels:
     - defaults
   dependencies:
     - file:///opt/conda/shared_python310.yml
     - scipy  # 这里替换为用户需要的包
     - pandas
   

   然后执行创建命令：

   conda env create -f environment.yml
   

方案二：将用户环境放在原环境同一文件系统

如果服务器存储允许，让用户环境与原环境处于同一文件系统，Conda会自动使用硬链接，避免完整复制：

1. 管理员操作：创建共享的用户环境目录并设置权限：

   mkdir -p /opt/conda/user_envs
   chmod 777 /opt/conda/user_envs  # 允许用户创建自己的环境目录
   

2. 用户操作：在该目录下克隆原环境：

   conda create --prefix /opt/conda/user_envs/${USER}_MyEnv --clone /opt/conda/envs/python310
   

   此时克隆的环境几乎不占用额外空间（仅存储硬链接），用户安装新包时只会新增对应文件。

方案三：强制使用硬链接（仅同一文件系统有效）

若用户环境与原环境在同一文件系统，直接执行克隆命令即可（--link是默认行为，可显式指定）：

conda create --name MyEnv --clone /opt/conda/envs/python310 --link

确保Jupyter Notebook正常运行 #

用户创建环境后，需注册该环境到Jupyter Kernel：

conda activate MyEnv
python -m ipykernel install --user --name MyEnv --display-name "Python (MyEnv)"

完成后，用户在Jupyter Notebook的Kernel菜单中就能选择自己的环境。

额外注意事项 #

• 管理员需将原环境设置为只读，防止用户修改基础环境：

  chmod -R 555 /opt/conda/envs/python310/
  

• 定期清理用户废弃的环境，避免存储浪费。

内容的提问来源于stack exchange，提问作者Andrew Watkins