如何使用CMake编译PyTorch的C++/CUDA Python扩展?
用CMake编译PyTorch Python扩展方案
完全可以使用CMake编译PyTorch的C++/CUDA Python扩展,对于复杂构建场景来说,CMake的可配置性远高于setuptools,适配更灵活。
基础环境要求
- CMake 3.18及以上版本
- 已正常安装对应版本的PyTorch(CPU/GPU版根据需求选择)
- 对应版本的Python开发包、CUDA工具链(如有CUDA需求)
- 无需额外安装pybind11,PyTorch内置的依赖已经包含pybind11头文件
核心CMake配置步骤
1. 导入依赖配置
在项目根目录的CMakeLists.txt中首先导入PyTorch和Python的相关配置:
cmake_minimum_required(VERSION 3.18) project(torch_cpp_extension) # 导入PyTorch配置 find_package(Torch REQUIRED) # 导入Python配置 find_package(Python3 COMPONENTS Interpreter Development REQUIRED) # 沿用PyTorch的编译选项,避免ABI不兼容 set(CMAKE_CXX_FLAGS "${CMAKE_CXX_FLAGS} ${TORCH_CXX_FLAGS}") # 自动适配当前设备的CUDA架构(如有CUDA需求) set(TORCH_CUDA_ARCH_LIST Auto CACHE STRING "")
2. 配置扩展库编译规则
将你的C++/CUDA源码编译为Python可导入的动态库:
# 替换为你自己的源码路径、模块名 add_library(my_torch_ext MODULE src/my_ext.cpp src/my_cuda_kernels.cu ) # 链接依赖库 target_link_libraries(my_torch_ext PRIVATE ${TORCH_LIBRARIES} Python3::Module ) # 配置动态库属性,适配Python导入规则 set_target_properties(my_torch_ext PROPERTIES # 去掉默认的lib前缀,保证模块名和导入名一致 PREFIX "" # Windows下动态库后缀改为pyd SUFFIX "$<$<PLATFORM_ID:Windows>:.pyd>" )
编译验证流程
执行标准CMake编译命令即可:
# 创建构建目录 mkdir build && cd build # 生成构建配置 cmake .. # 执行编译 make -j$(nproc)
编译完成后,生成的my_torch_ext.so(Linux/macOS)或my_torch_ext.pyd(Windows)文件直接放入Python的模块搜索路径,即可直接通过import my_torch_ext调用,功能和setuptools编译的扩展完全一致。
常见适配要点
- 如果运行时出现ABI不兼容报错,检查编译用的PyTorch版本、Python版本和运行环境是否完全一致
- 如需分发扩展,可将编译好的动态库和Python包装代码一起打包为wheel包,无需依赖setuptools的编译流程
- CUDA版本必须和PyTorch依赖的CUDA版本完全一致,避免运行时出错
内容的提问来源于stack exchange,提问作者Richard
相关产品推荐
相关产品推荐

