Python虚拟环境的轻量化使用方案咨询

下面是几种既能使用虚拟环境隔离项目依赖，又能共享PyTorch这类大型库的实用方法：

• 使用带--system-site-packages参数的虚拟环境
  创建虚拟环境时添加该参数，虚拟环境会自动继承系统级Python安装的所有包。只需在系统中安装一次PyTorch等大库，所有通过该方式创建的虚拟环境都能直接使用。
  命令示例：

  python -m venv --system-site-packages my_project_env
  

  注意：要确保系统级的大库版本能兼容所有项目，避免版本冲突。项目特有的小依赖仍可在虚拟环境内单独安装，不会影响系统或其他环境。

• 指定共享目录安装大型库
  先将大型库安装到一个固定的共享目录，再让各个虚拟环境指向这个目录：

  1. 安装大库到共享目录：

     pip install torch --target=/opt/shared_python_libs
     

  2. 在虚拟环境中，通过以下方式复用该库：
     • 方式一：直接从共享目录安装（避免重新下载）

       pip install --no-index --find-links=/opt/shared_python_libs torch
       

     • 方式二：在项目代码中添加路径

       import sys
       sys.path.append('/opt/shared_python_libs')
       

  这种方式更灵活，可只共享指定的大型库，而非所有系统包。

• 利用Conda环境的克隆与链接特性
  若使用Conda管理环境，可先创建一个安装好所有大型依赖的基础环境，再基于该环境克隆新环境：

  1. 创建基础环境并安装大库：

     conda create -n base_large_libs torch pytorch-cuda=11.8 -c pytorch -c nvidia
     

  2. 克隆基础环境到项目目录：

     conda create -n my_project_env --clone base_large_libs
     

  Conda克隆环境时默认使用硬链接，不会复制大库的实际文件，仅创建引用，既节省空间又能保持环境隔离。后续只需在新环境中安装项目特有的小依赖即可。

内容的提问来源于stack exchange，提问作者daVinci