Linux下Python脚本多虚拟环境配置失败求助：依赖冲突与环境激活问题

问题修正与解决方案 #

核心问题分析 #

• 虚拟环境激活无效：os.system("source ...") 在子shell中执行，不会改变当前Python进程的运行环境，导致主脚本始终处于初始环境。
• 依赖冲突未处理：当前代码未针对每个虚拟环境安装对应仓库的依赖，无法解决不同仓库间的版本冲突。

修正后的代码实现 #

import os
import sys
from git import Repo
import subprocess

def prep_work(filename, repo_file_name, repo_url, characters, trainingstep=None):
    # 构建绝对路径，避免路径切换出错
    base_dir = os.path.abspath(filename)
    repo_path = os.path.join(base_dir, repo_file_name)
    venv_dir = os.path.join(base_dir, "venv")
    venv_pip = os.path.join(venv_dir, "bin", "pip")
    venv_python = os.path.join(venv_dir, "bin", "python")

    # 仅当仓库不存在时，克隆并创建虚拟环境
    if not os.path.exists(repo_path):
        Repo.clone_from(repo_url, repo_path)
        # 使用当前Python解释器创建虚拟环境，确保兼容性
        subprocess.run([sys.executable, "-m", "venv", venv_dir], check=True)
        # 以可编辑模式安装仓库依赖，自动处理版本要求
        subprocess.run([venv_pip, "install", "-e", repo_path], check=True)

    # 返回虚拟环境的Python路径和仓库路径，供后续调用使用
    print(f"虚拟环境Python路径: {venv_python}")
    print(f"克隆仓库路径: {repo_path}")
    return venv_python, repo_path

关键改进点 #

• 直接调用虚拟环境的工具：不再尝试激活环境，而是直接使用对应venv下的python和pip执行操作，确保所有依赖安装和代码运行都在目标环境中进行。
• 可编辑模式安装仓库：pip install -e repo_path既安装了仓库的依赖，又将仓库路径加入虚拟环境的Python路径，无需手动修改sys.path。
• 绝对路径使用：用os.path.abspath替代os.getcwd()，避免目录切换导致的路径混乱。

调用示例 #

要在指定虚拟环境中执行仓库内的函数，需通过subprocess调用对应venv的Python解释器：

# 初始化method_1的环境
venv_python_1, repo_path_1 = prep_work(
    "method_1_folder", 
    "method_1_github_repository_cloned_folder", 
    "https://github.com/ShivamShrirao/diffusers.git", 
    "your_characters"
)

# 在method_1的虚拟环境中运行训练脚本
subprocess.run([
    venv_python_1, 
    os.path.join(repo_path_1, "train.py"), 
    "--characters", "your_characters"
], check=True)

# 同理处理method_2的环境
venv_python_2, repo_path_2 = prep_work(
    "method_2_folder", 
    "method_2_github_repository_cloned_folder", 
    "https://github.com/huggingface/diffusers.git", 
    "your_characters"
)

依赖冲突解决说明 #

每个方法的虚拟环境完全独立，Hugging Face和ShivamShrirao的diffusers库会分别安装在各自的venv中，不存在互相覆盖的问题。pip install -e会自动读取仓库的requirements.txt或pyproject.toml，安装符合该仓库要求的依赖版本。

内容的提问来源于stack exchange，提问作者Anas Rzq