关于Pybind11编译标志生成机制及优化等级修改的技术咨询

问题背景 #

我正在使用Pybind11构建应用，采用如下setup.py代码编译模块：

from pybind11.setup_helpers import Pybind11Extension, build_ext
from setuptools import setup

__version__ = "0.0.1"

ext_modules = [
    Pybind11Extension("surface_mesh",
                      ["src/surface_mesh.cpp",
                       ],
                      include_dirs=["include", "../../include"],
                      define_macros = [('VERSION_INFO', __version__)],
                      ),
]

setup(
    name="surface_mesh",
    version=__version__,
    author="Hein Hachmann",
    author_email="schorf@gmx.de",
    description="Surface mesh module",
    long_description="",
    ext_modules=ext_modules,
    cmdclass={"build_ext": build_ext},
    zip_safe=False,
    python_requires=">=3.7",
)

运行时生成了如下gcc编译命令：

gcc -Wno-unused-result -Wsign-compare -DNDEBUG -g -fwrapv -O3 -Wall -march=nocona -msahf -mtune=generic -O2 -pipe -Wp,-D_FORTIFY_SOURCE=2 -fstack-protector-strong -O3 -march=nocona -msahf -mtune=generic -O2 -pipe -Wp,-D_FORTIFY_SOURCE=2 -fstack-protector-strong -O3 -IC:\msys64\mingw64\include\python3.10 -c flagcheck.cpp -o flagcheck.o -std=c++17

问题解答 #

1. 编译标志序列的生成机制 #

这些编译标志并非直接来自Pybind11Extension，而是由多个环节共同生成：

• setuptools默认配置：-Wno-unused-result、-Wsign-compare这类基础标志是setuptools针对Python扩展模块的默认编译参数，用于适配Python的编译环境要求。
• 本地distutils配置：-O2、-pipe、-D_FORTIFY_SOURCE=2等标志通常来自本地MinGW环境的distutils配置文件（如distutils.cfg），属于系统级的默认编译选项。
• Pybind11的补充：Pybind11主要负责添加C++标准相关标志（比如-std=c++17）以及Python交互所需的编译选项，但不会覆盖基础优化标志。
• 重复标志原因：命令中重复出现的-O2、-O3，是因为不同配置环节（setuptools默认、本地distutils、间接引入的其他配置）多次添加了同类标志，最终导致命令行中重复堆叠。

2. 修改为-O3并消除重复优化标志 #

要统一使用-O3优化级别，可通过以下两种方式实现：

方式一：在Pybind11Extension中显式指定编译标志

修改ext_modules的定义，通过extra_compile_args显式传入所需的编译标志，直接覆盖默认的优化选项：

ext_modules = [
    Pybind11Extension("surface_mesh",
                      ["src/surface_mesh.cpp"],
                      include_dirs=["include", "../../include"],
                      define_macros = [('VERSION_INFO', __version__)],
                      extra_compile_args=[
                          "-O3",
                          "-march=nocona",
                          "-msahf",
                          "-mtune=generic",
                          "-pipe",
                          "-Wp,-D_FORTIFY_SOURCE=2",
                          "-fstack-protector-strong",
                          "-Wall"
                      ],
                      ),
]

这种方式会让你的自定义标志优先生效，避免重复的优化参数出现。

方式二：修改本地distutils配置文件

找到MinGW环境下的distutils.cfg文件（一般位于C:\msys64\mingw64\lib\python3.x\distutils目录），修改[build_ext]段的配置，将-O2替换为-O3：

[build_ext]
compiler = mingw32
extra_compile_args = -O3 -march=nocona -mtune=generic -pipe -Wp,-D_FORTIFY_SOURCE=2 -fstack-protector-strong

这种方式会全局修改Python扩展模块的编译优化级别，适用于所有基于distutils/setuptools的编译场景。

内容的提问来源于stack exchange，提问作者zeus300