Setuptools并行构建多扩展模块共享C源码冲突问题解决

问题根源 #

当多个Extension共享同一个C源文件（比如common.c）时，setuptools默认会将所有编译生成的.o/.obj文件放在同一个临时目录下。并行构建时，不同Extension同时编译common.c会导致文件读写冲突，进而构建失败。

解决方案：为每个Extension分配独立的构建目录 #

通过自定义build_ext命令，为每个扩展模块创建专属的临时构建目录，让各自的编译产物完全隔离。这种方式无需修改现有Extension的源码列表，适配复杂项目结构。

实现代码 #

修改你的setup.py，添加自定义的build_ext类：

import os
from setuptools import setup, Extension
from setuptools.command.build_ext import build_ext

class IsolatedBuildExt(build_ext):
    def run(self):
        # 保存原始临时构建目录
        original_temp = self.build_temp
        try:
            for ext in self.extensions:
                # 为每个扩展生成唯一的子目录名（替换点号避免路径问题）
                ext_subdir = ext.name.replace('.', '_')
                # 创建扩展专属的临时目录
                ext_temp_dir = os.path.join(original_temp, ext_subdir)
                os.makedirs(ext_temp_dir, exist_ok=True)
                # 切换到当前扩展的临时目录
                self.build_temp = ext_temp_dir
                # 单独构建当前扩展
                self.build_extension(ext)
        finally:
            # 恢复原始临时目录
            self.build_temp = original_temp

setup(
    cmdclass={"build_ext": IsolatedBuildExt},
    ext_modules=[
        Extension("A", ["a.c", "common.c"]),
        Extension("B", ["b.c", "common.c"])
    ]
)

工作原理 #

1. 保存build_ext默认的临时构建目录路径
2. 遍历每个Extension，为其创建以扩展名为名的子目录（替换.为_避免路径解析问题）
3. 临时切换build_temp到当前扩展的专属目录，单独构建该扩展
4. 所有编译产物（包括common.o）都会生成在对应扩展的子目录中，完全隔离
5. 构建完成后恢复原始临时目录

注意事项 #

• 每个Extension会独立编译common.c，生成各自的目标文件。如果common.c在不同Extension中编译参数一致，会产生重复编译，但这是解决冲突的合理代价，且并行构建能抵消部分时间损耗。
• 若common.c需要针对不同Extension使用不同的编译宏或参数，这种隔离方式反而能保证每个Extension的编译环境独立，避免干扰。

内容的提问来源于stack exchange，提问作者Yay295