如何编写Python安装脚本避免faiss-cpu与faiss-gpu共存冲突

问题描述 #

我正在为基于faiss的Python包编写setup脚本，需求如下：

• 默认安装CPU版本的faiss
• 用户可通过extras_require指定安装GPU版本

但当前脚本存在核心问题：当用户指定[gpu]安装时，faiss-cpu和faiss-gpu会被同时安装，导致faiss无法正常工作，且必须手动卸载两者后重新安装faiss-gpu才能解决（仅卸载faiss-cpu无效）。

当前setup脚本片段：

setup(
    ...
    install_requires=[
        "faiss-cpu==1.7.0",
        ...,
    ],
    extras_require={
        "gpu": ["faiss-gpu==1.7.0", ...],
        ...,
    },
)

可行解决方案 #

方案1：利用环境标记实现互斥依赖 #

通过setuptools的环境标记，让faiss-cpu仅在未指定gpu额外依赖时安装，faiss-gpu仅在指定gpu时安装。需确保用户使用pip 20.0及以上版本。

修改后的脚本：

from setuptools import setup

setup(
    ...
    install_requires=[
        # 仅在未指定gpu额外依赖时安装faiss-cpu
        "faiss-cpu==1.7.0; extra != 'gpu'",
        # 其他通用依赖
        ...,
    ],
    extras_require={
        "gpu": [
            # 仅在指定gpu额外依赖时安装faiss-gpu
            "faiss-gpu==1.7.0; extra == 'gpu'",
            # 其他GPU专属依赖
            ...,
        ],
        ...,
    },
)

方案2：动态判断命令行参数控制依赖 #

在setup.py中通过检测命令行参数，动态决定安装faiss-cpu还是faiss-gpu，从根源避免两者共存。

脚本示例：

import sys
from setuptools import setup

def get_install_requires():
    requires = [
        # 放置所有不涉及faiss的通用依赖
        ...,
    ]
    # 检查是否包含gpu额外依赖参数
    if not any('gpu' in arg for arg in sys.argv):
        requires.append("faiss-cpu==1.7.0")
    else:
        requires.append("faiss-gpu==1.7.0")
    return requires

setup(
    ...
    install_requires=get_install_requires(),
    extras_require={
        "gpu": [
            # 此处可添加其他GPU专属依赖，无需再放faiss-gpu
            ...,
        ],
        ...,
    },
)

方案3：结合安装命令说明强制替换 #

保持原有脚本结构，在包的说明文档中明确告知用户安装GPU版本的正确命令，利用--force-reinstall强制替换依赖：

pip install your-package[gpu] --force-reinstall

此命令会自动卸载已安装的faiss-cpu并替换为faiss-gpu，无需手动操作。

内容的提问来源于stack exchange，提问作者void_panda