如何为不同平台高效管理pip包与拆分requirements.txt？

一、用pip原生平台标记生成带条件的requirements.txt #

无需拆分多个文件再合并，直接在最终的requirements.txt中通过平台标记语法区分不同平台的依赖，pip安装时会自动根据当前平台匹配对应依赖：

# 所有平台通用依赖
requests==2.31.0
numpy==1.25.2

# AMD64 Linux专属（NVIDIA GPU相关）
torch==2.0.0; platform_system == "Linux" and platform_machine == "x86_64"
torchvision==0.15.1; platform_system == "Linux" and platform_machine == "x86_64"

# macOS专属
torch==2.0.0; platform_system == "Darwin"
torchvision==0.15.1; platform_system == "Darwin"

二、自动化拆分工具 #

• pip-tools：通过pip-compile结合平台标记实现自动化依赖管理。先编写requirements.in（包含所有依赖及平台条件）：

  requests
  numpy
  torch; platform_system == "Linux" and platform_machine == "x86_64"
  torch; platform_system == "Darwin"
  

  执行pip-compile requirements.in，自动生成带版本锁定和平台条件的requirements.txt。
• pip-freeze-platform：第三方工具，支持按平台过滤pip freeze输出。在Linux AMD64上运行：

  pip-freeze-platform --platform linux_x86_64 > requirements_amd64.txt
  

  在Mac上运行：

  pip-freeze-platform --platform darwin > requirements_mac.txt
  

  之后可通过文本对比工具（如diff）提取公共依赖到common.txt。

三、自定义Python脚本批量拆分 #

利用Python的platform模块识别当前平台，执行pip freeze后按规则过滤依赖：

import platform
import subprocess

def get_freeze_output():
    return subprocess.check_output(["pip", "freeze"], text=True).splitlines()

def split_dependencies():
    freeze_lines = get_freeze_output()
    system = platform.system()
    machine = platform.machine()

    common_deps = []
    platform_deps = []

    # 定义GPU相关依赖集合，可根据实际情况调整
    gpu_packages = {"torch", "torchvision", "tensorrt"}

    for line in freeze_lines:
        pkg_name = line.split("==")[0].lower()
        if pkg_name in gpu_packages:
            platform_deps.append(line)
        else:
            common_deps.append(line)

    # 写入通用依赖文件
    with open("common.txt", "w") as f:
        f.write("\n".join(common_deps))
    
    # 写入对应平台的专属依赖文件
    if system == "Linux" and machine == "x86_64":
        with open("requirements_amd64.txt", "w") as f:
            f.write("\n".join(platform_deps))
    elif system == "Darwin":
        with open("requirements_mac.txt", "w") as f:
            f.write("\n".join(platform_deps))

if __name__ == "__main__":
    split_dependencies()

在不同平台运行该脚本，即可自动生成对应的依赖文件，后续可手动或通过脚本合并为带条件的requirements.txt。

四、核心技术关键词 #

• pip平台标记（Platform Markers）：pip官方支持的依赖条件语法，用于指定依赖适用的平台
• pip-tools：包含pip-compile、pip-sync等工具，自动化管理依赖版本与平台条件
• requirements.txt条件依赖：通过分号添加平台判断逻辑的依赖声明方式
• pip-freeze-platform：第三方工具，按平台过滤pip freeze输出
• Python platform模块：获取当前系统平台信息，实现依赖过滤逻辑
• 依赖分组（Dependency Grouping）：将依赖按通用/平台专属分类的管理策略

内容的提问来源于stack exchange，提问作者Beomseo Choi