使用pybind11调用含线程的C++类时出现无效指针问题

你的C++代码本地运行正常，但通过pybind11封装后调用出现无效指针、输出乱码的核心原因是跨语言场景下的对象生命周期不匹配：

• 本地运行时，ENV对象和传入的std::vector<std::vector<float>>都是栈对象，生命周期完全同步，裸指针p_for_debug始终有效；
• 但在Python环境中，Python的垃圾回收机制可能在C线程尚未完成操作时，就回收了原vector的内存，导致C中的裸指针变成悬空指针，访问时触发未定义行为。

解决方案 #

方案1：让ENV持有容器拷贝（最简单可靠） #

直接在ENV构造时拷贝传入的vector，彻底切断对外部对象的依赖，避免悬空指针：

#include <iostream>
#include <thread>
#include <vector>

class ENV {
public:
    std::vector<std::thread> v_td;
    // 替换裸指针为容器拷贝
    std::vector<std::vector<float>> data_for_debug;

    ENV(std::vector<std::vector<float>> &v) : data_for_debug(v) {
        std::cout << data_for_debug.size() << std::endl;
        v_td.emplace_back(std::thread(&ENV::td_worker, this));
    }
    
    ~ENV(){
       v_td[0].join();
    }

    void td_worker() {
        std::cout << "td!!" << std::endl; 
        std::cout << data_for_debug.size() << std::endl; 
    }
};

方案2：用智能指针共享所有权（适合大容器场景） #

如果容器体积较大、拷贝成本高，可以通过std::shared_ptr让Python和C++侧共享容器所有权，确保容器在双方都不再使用时才被销毁：

C++代码修改

#include <iostream>
#include <thread>
#include <vector>
#include <memory>

class ENV {
public:
    std::vector<std::thread> v_td;
    std::shared_ptr<std::vector<std::vector<float>>> p_for_debug;

    ENV(std::shared_ptr<std::vector<std::vector<float>>> v) : p_for_debug(v) {
        std::cout << p_for_debug->size() << std::endl;
        v_td.emplace_back(std::thread(&ENV::td_worker, this));
    }
    
    ~ENV(){
       v_td[0].join();
    }

    void td_worker() {
        std::cout << "td!!" << std::endl; 
        std::cout << p_for_debug->size() << std::endl; 
    }
};

pybind11绑定代码

#include <pybind11/pybind11.h>
#include <pybind11/stl.h>
#include <pybind11/stl_bind.h>

PYBIND11_MODULE(your_module, m) {
    // 绑定带shared_ptr的二维vector
    pybind11::class_<std::vector<std::vector<float>>, std::shared_ptr<std::vector<std::vector<float>>>>(m, "Float2DVector")
        .def(pybind11::init<>())
        .def("emplace_back", &std::vector<std::vector<float>>::emplace_back);

    // 绑定ENV类
    pybind11::class_<ENV>(m, "ENV")
        .def(pybind11::init<std::shared_ptr<std::vector<std::vector<float>>>>());
}

方案3：强制Python侧保持对象引用（不推荐，易出错） #

如果坚持使用裸指针，必须保证Python侧的原vector和ENV实例在C++线程执行期间始终被持有：

import your_module

# 保持vector的引用，避免被垃圾回收
v = your_module.Float2DVector()
v.emplace_back([2,3])
v.emplace_back([2,3])

# 保持ENV实例的引用
env = your_module.ENV(v)

# 等待线程完成（需给ENV添加join接口主动等待）

关键注意点 #

• 跨语言绑定场景下，裸指针是高危操作，尽量用拷贝或智能指针替代；
• pybind11的自动类型转换可能生成临时对象，若没有明确所有权绑定，临时对象会被立即销毁，导致C++侧指针失效；
• 线程操作的对象必须保证在整个线程生命周期内有效，跨语言环境下需严格对齐内存管理逻辑。

内容的提问来源于stack exchange，提问作者scirocc