x86_64 Ubuntu交叉编译aarch64 pybind11项目的Python依赖疑问

为什么指定x64 Python可执行文件能成功构建？ #

Pybind11构建时，Python_EXECUTABLE的核心作用集中在主机端的构建辅助逻辑，而非目标架构的运行：

• 用于生成绑定代码的模板解析、类型映射逻辑
• 检测Python版本、C API头文件路径、编译参数（如PY_INCLUDE_DIRS、PY_LIBRARIES）
• 运行少量兼容性检查脚本

这些操作完全不需要目标架构（aarch64）的Python可执行文件：

1. 代码生成和参数检测都在x64主机上完成，只要主机Python能执行相关逻辑即可
2. 交叉编译的核心链接阶段，只需要aarch64架构的Python库（libpython3.x.so）和头文件，不需要可执行文件能在主机运行

你手动指定x64 Python后，CMake能正确获取版本、头文件/库路径（前提是已安装aarch64的Python开发包），因此编译链接可以正常完成，生成的模块能在aarch64设备上运行。

为什么交叉编译安装aarch64 Python难度大？ #

交叉编译Python本身复杂度极高：

• Python构建系统高度依赖主机环境，很多步骤需要运行刚生成的二进制文件（如生成字节码、扩展模块），而aarch64二进制无法直接在x64主机运行（需QEMU模拟，额外增加复杂度）
• 官方源码交叉编译需大量配置参数（如指定--host/--build、交叉工具链、PYTHON_FOR_BUILD），还要处理依赖库的交叉编译（zlib、OpenSSL等）
• 实际上Ubuntu包管理器已提供预编译的aarch64 Python开发包，无需自行交叉编译

正确的交叉编译流程 #

无需自行编译Python，按以下步骤操作：

1. 启用Ubuntu多架构支持：

   sudo dpkg --add-architecture arm64
   sudo apt update
   

2. 安装目标架构的Python开发包：
   以Python3.10为例：

   sudo apt install python3.10-dev:arm64 python3.10-minimal:arm64
   

3. 修改CMake工具链文件，指定目标Python路径：
   避免CMake误加载主机x64的Python库，工具链文件调整如下：

   # toolchain file
   set(CMAKE_SYSTEM_NAME Linux)
   set(CMAKE_SYSTEM_PROCESSOR aarch64)
   
   set(CMAKE_C_COMPILER aarch64-linux-gnu-gcc)
   set(CMAKE_CXX_COMPILER aarch64-linux-gnu-g++)
   set(CMAKE_STRIP aarch64-linux-gnu-strip CACHE FILEPATH "Strip")
   
   # 指定aarch64 Python的根目录（根据实际安装路径调整）
   set(Python3_ROOT_DIR /usr/lib/aarch64-linux-gnu/python3.10/)
   # 强制优先查找目标架构的Python，跳过主机环境
   set(Python3_FIND_STRATEGY LOCATION)
   set(Python3_FIND_FRAMEWORK NEVER)
   set(Python3_FIND_REGISTRY NEVER)
   

4. 构建时指定Python版本：
   通过PYBIND11_PYTHON_VERSION明确版本：

   cmake -S . -B build-aarch64 \
     -DCMAKE_TOOLCHAIN_FILE=toolchain-aarch64.cmake \
     -DPYBIND11_PYTHON_VERSION=3.10
   

关键注意点 #

• 区分主机Python和目标Python：主机Python负责构建辅助逻辑，目标Python的库和头文件用于生成aarch64模块
• 若仍需指定PYTHON_EXECUTABLE，可继续用x64版本，但要确保Python3_LIBRARIES和Python3_INCLUDE_DIRS指向aarch64路径
• 无需在主机运行aarch64 Python可执行文件，QEMU模拟对pybind11构建不是必须项

内容的提问来源于stack exchange，提问作者CIsForCookies