如何将Conda环境YAML转为settings.ini所需的PyPI依赖列表

问题场景 #

用nbdev开发Python包时，我们会维护env.yml管理Conda环境，同时nbdev生成的settings.ini里的requirements字段需要保持依赖同步。手动更新容易出错，需要自动把env.yml中的依赖转换成PyPI规范格式，写入settings.ini，还要处理Conda与PyPI的差异：版本符号不同、包名映射、渠道前缀、过滤Python版本等。

实现方案 #

下面是完整的自动化脚本，涵盖所有约束条件，可直接集成到nbdev工作流中：

1. 准备依赖映射与规则 #

先定义必要的映射和过滤规则，可根据项目需求调整：

• 包名映射：处理Conda和PyPI名称不一致的包
• 版本符号替换：将Conda的=替换为PyPI的==（Conda的>=/<=等符号与PyPI兼容，无需修改）
• 过滤项：排除python、pip这类不需要同步到requirements的依赖

2. 完整脚本代码 #

创建sync_env_to_settings.py文件，放在项目根目录：

import yaml
import configparser
import re

# 自定义配置：根据项目需求修改
CONDA_TO_PYPI_MAP = {
    "pytorch": "torch",
    # 可添加更多映射，比如："tensorflow": "tensorflow"（如果有差异的话）
}
FILTERED_PACKAGES = {"python", "pip"}
VERSION_SYMBOL_REPLACE = {"=": "=="}

def parse_conda_deps(yml_path):
    with open(yml_path, "r") as f:
        env_data = yaml.safe_load(f)
    
    deps = []
    # 处理主依赖列表
    for dep in env_data.get("dependencies", []):
        if isinstance(dep, str):
            deps.append(dep)
        elif isinstance(dep, dict) and "pip" in dep:
            # 合并pip子列表的依赖
            deps.extend(dep["pip"])
    
    processed_deps = []
    for dep in deps:
        # 1. 去除渠道前缀（如conda-forge::notebook → notebook）
        dep_clean = dep.split("::")[-1]
        
        # 2. 过滤不需要的包
        pkg_name = re.split(r"[=<>~]", dep_clean)[0].strip()
        if pkg_name in FILTERED_PACKAGES:
            continue
        
        # 3. 替换包名
        if pkg_name in CONDA_TO_PYPI_MAP:
            # 替换包名部分，保留版本号
            version_part = dep_clean[len(pkg_name):] if len(dep_clean) > len(pkg_name) else ""
            dep_clean = f"{CONDA_TO_PYPI_MAP[pkg_name]}{version_part}"
        
        # 4. 转换版本符号
        for conda_sym, pypi_sym in VERSION_SYMBOL_REPLACE.items():
            # 仅替换版本符号，避免误替换包名中的字符
            dep_clean = re.sub(rf"(?<=[a-zA-Z0-9]){conda_sym}(?=\d)", pypi_sym, dep_clean)
        
        processed_deps.append(dep_clean)
    
    # 去重并排序（可选）
    return sorted(list(set(processed_deps)))

def update_settings_ini(ini_path, requirements):
    config = configparser.ConfigParser()
    config.read(ini_path)
    # 更新requirements字段，用逗号分隔
    config["DEFAULT"]["requirements"] = ", ".join(requirements)
    with open(ini_path, "w") as f:
        config.write(f)

if __name__ == "__main__":
    # 路径根据项目结构调整
    ENV_YML_PATH = "./env.yml"
    SETTINGS_INI_PATH = "./settings.ini"
    
    processed_requirements = parse_conda_deps(ENV_YML_PATH)
    update_settings_ini(SETTINGS_INI_PATH, processed_requirements)
    print(f"同步完成！共更新 {len(processed_requirements)} 个依赖到settings.ini")

3. 脚本说明 #

• 渠道前缀处理：用split("::")[-1]直接提取包名部分，忽略前面的渠道标识
• 版本符号转换：用正则表达式精准替换版本号前的=为==，避免误改包名中的字符
• 包名映射：仅替换包名部分，保留原版本号，确保依赖版本准确
• pip依赖合并：直接把env.yml中pip子列表的依赖加入，因为已经是PyPI格式
• 去重处理：自动去重重复依赖，保持requirements字段简洁

4. 集成到nbdev工作流 #

可以通过以下方式自动化执行：

• pre-commit钩子：在.pre-commit-config.yaml中添加该脚本，每次提交代码前自动同步依赖
• nbdev命令扩展：在settings.ini中添加自定义命令，比如cmd_sync_deps = python sync_env_to_settings.py，之后可以用nbdev_run_cmd sync_deps执行
• 手动执行：每次更新env.yml后，运行python sync_env_to_settings.py即可

示例转换结果 #

针对提供的示例env.yml，转换后的settings.ini中requirements字段为：

jupyter_contrib_nbextensions, ipykernel, ipywidgets, matplotlib, nbdev>=2.3.12, numpy, notebook, pandas>=2, pytorch-lightning, rich, scikit-learn, scipy, seaborn, torch>=2, tqdm, typer, dgl

内容的提问来源于stack exchange，提问作者SumNeuron