使用pybind11在C++中运行PyTorch代码触发Invalid Pointer错误排查

你遇到的这个munmap_chunk(): invalid pointer错误是内存管理层面的问题，纯Python环境正常但C++通过PyBind11调用时出错，通常和跨环境的内存同步、动态库兼容性或者Python模块初始化问题有关，下面是具体的原因分析和解决办法：

1. 最可能的原因：GIL（全局解释器锁）未正确管理 #

PyTorch和Python的内存管理依赖GIL来保证线程安全，当你在C++里调用Python代码时，如果没有显式获取GIL，就会导致Python对象的内存操作混乱，最终触发指针错误。

解决办法： #

在你的C++代码中，调用任何Python相关的函数前，必须先获取GIL，使用PyBind11的gil_scoped_acquire和gil_scoped_release来管理：

#include <pybind11/pybind11.h>
#include <pybind11/embed.h>

namespace py = pybind11;

int main() {
    // 初始化Python解释器（只需要调用一次）
    py::scoped_interpreter guard{};
    
    // 显式获取GIL，确保Python操作在GIL保护下执行
    py::gil_scoped_acquire acquire;

    // 导入你的Python模块并调用函数
    py::module_ tv_model = py::module_::import("torchvision_model");
    auto retina_face = tv_model.attr("create_retinaface")(py::dict("layer2"_a=1, "layer3"_a=2, "layer4"_a=3));

    // 释放GIL（可选，离开作用域时会自动释放）
    py::gil_scoped_release release;

    // 后续的C++逻辑...
    return 0;
}

2. 动态库版本冲突 #

从错误栈里能看到libopencv_gapi.so.4.1，这说明系统的OpenCV库和你的Python虚拟环境中的OpenCV版本可能不兼容，或者PyTorch的C++库和Python绑定版本不匹配，这种ABI（应用二进制接口）不兼容会导致内存操作错误。

解决办法： #

• 统一OpenCV版本：检查Python环境的OpenCV版本（运行pip show opencv-python），确保系统安装的OpenCV和这个版本一致，或者在编译C++程序时，直接链接Python虚拟环境中的OpenCV库（比如/home/20face/.virtualenvs/torch/lib64/libopencv_core.so）。
• 匹配PyTorch版本：确保C++端使用的LibTorch版本和Python环境的PyTorch 1.6.0完全一致，不要混用不同版本的LibTorch。

3. Python代码中resnet模块未显式导入 #

你的create_retinaface函数里直接使用了resnet.__dict__，但在提供的代码里没有看到显式的resnet导入语句。纯Python环境中可能通过torchvision的隐式导入加载了这个模块，但在PyBind11调用时，模块的命名空间可能没有正确初始化，导致访问resnet.__dict__时触发内存错误。

解决办法： #

在torchvision_model.py文件开头显式导入resnet：

from torchvision.models import resnet

这样能确保模块在任何环境下都能正确初始化，避免隐式导入带来的问题。

4. 编译选项导致的ABI不兼容 #

如果你的C程序使用的编译器和Python环境的编译器版本不一致，会导致ABI不兼容，进而引发内存错误（比如Python用GCC 7编译，而C用GCC 9）。

解决办法： #

• 查看Python环境的编译器版本（运行python -c "import sys; print(sys.version)"，通常会显示编译用的GCC版本）。
• 编译C程序时，使用相同版本的编译器，并且添加和Python一致的编译选项（比如-fPIC、-std=c++14等，PyTorch 1.6.0推荐C14）。

额外的调试步骤 #

如果以上方法都没解决，可以尝试：

• 将pretrained=True改为pretrained=False，手动加载预训练权重，排除模型下载过程中的内存问题。
• 在C++程序中添加调试信息，打印Python模块的导入状态，确认resnet模块是否正确加载。

内容的提问来源于stack exchange，提问作者fisakhan