基于Python Capsule的Cython与pybind11间C++对象双向传递故障排查

你的问题核心在于PyCapsule中存储的std::shared_ptr指针指向了已失效的对象，导致Cython解析时访问到损坏的内存。下面我会拆解问题原因，并给出完整的修复方案：

问题根源分析 #

在pybind11的to_capsule实现中，你传递的是lambda参数foo_from_python的地址：

auto pybind_capsule = py::capsule(&foo_from_python, "foo_in_capsule", nullptr);

这里的foo_from_python是pybind11临时创建的std::shared_ptr引用，lambda执行完毕后这个临时对象会被销毁，导致Capsule中的指针变成悬空指针。当Cython尝试访问这个指针时，自然会出现shared_ptr损坏、程序崩溃的情况。

同时，LibB中get_foo直接存储m_foo的地址也存在隐患：如果Bar对象在Python中被GC回收，Capsule中的指针同样会悬空。

修复方案 #

我们需要确保Capsule中存储的std::shared_ptr拥有独立的生命周期，并且在Capsule被销毁时自动清理内存。

1. 修改pybind11的to_capsule实现 #

将临时的shared_ptr改为堆上分配的副本，并添加销毁回调：

foo.def_static("to_capsule", [](std::shared_ptr<foo::Foo> foo_from_python) {
    // 动态分配shared_ptr副本，确保生命周期独立于lambda
    auto* shared_ptr_copy = new std::shared_ptr<foo::Foo>(std::move(foo_from_python));
    // 设置Capsule销毁时的清理函数，避免内存泄漏
    auto deleter = [](void* ptr) {
        delete static_cast<std::shared_ptr<foo::Foo>*>(ptr);
    };
    return py::capsule(shared_ptr_copy, "foo_in_capsule", deleter);
});

• 把参数从引用改为值，避免依赖临时对象的生命周期
• 用std::move减少shared_ptr的复制开销
• 添加deleter，确保Capsule被Python GC时自动释放堆上的shared_ptr

2. 修复LibB中get_foo的实现 #

同样改为存储堆上的shared_ptr副本，避免Bar对象销毁后指针悬空：

PyObject* get_foo() {
    const char * capsule_name = "foo_in_capsule";
    // 复制m_foo到堆上的shared_ptr
    auto* shared_ptr_copy = new std::shared_ptr<foo::Foo>(m_foo);
    auto deleter = [](void* ptr) {
        delete static_cast<std::shared_ptr<foo::Foo>*>(ptr);
    };
    return PyCapsule_New(shared_ptr_copy, capsule_name, deleter);
}

3. 保持Cython和pybind11的解析逻辑不变 #

你的CythonfooToBar和pybind11from_capsule的解析逻辑是正确的：

• 解析时从Capsule获取指针，转换为std::shared_ptr<foo::Foo>*
• 通过*foo复制shared_ptr，自动增加引用计数，确保对象安全

验证修改后的Python调用流程 #

修改后，你的Python代码可以正常运行：

from bar import Bar, foo_to_bar
from foo import Foo

bar = Bar(...)
capsule1 = bar.get_foo()
foo_from_capsule = Foo.from_capsule(capsule1)
foo_from_capsule.foo()  # 正常执行

capsule2 = Foo.to_capsule(foo_from_capsule)
bar2 = foo_to_bar(capsule2)  # 不再崩溃，shared_ptr有效

额外注意事项 #

• 确保Capsule的名称"foo_in_capsule"在所有地方保持一致，否则PyCapsule_GetPointer会返回NULL
• 避免手动释放Capsule中的指针，完全依赖deleter处理内存管理，避免双重释放

内容的提问来源于stack exchange，提问作者tomdol