多线程C++应用使用pybind11报错：解释器已运行

问题背景 #

在多线程C++应用中使用pybind11调用Python代码，每个PybindStrategy类实例的构造函数调用py::initialize_interpreter()，析构函数调用py::finalize_interpreter()，运行时触发报错：Exception occurred: The interpreter is already running。原因是Python解释器不支持多实例并行运行，且业务需要保留Python文件中的实例变量，无法使用作用域解释器（py::scoped_interpreter）。

用户原构造函数代码：

PybindStrategy::PybindStrategy(StrategyID strategyID, const std::string& strategyName, const std::string& groupName):
    Strategy(strategyID, strategyName, groupName) {
    
    py::initialize_interpreter();
 }

用户原析构函数代码：

PybindStrategy::~PybindStrategy() {
    py::finalize_interpreter();
}

解决方案 #

1. 全局统一管理解释器生命周期 #

Python解释器只能初始化一次，因此需要将py::initialize_interpreter()和py::finalize_interpreter()移到程序的入口和出口，而非类的构造/析构函数中，让所有类实例共享同一个解释器。

修改后的程序入口示例：

int main() {
    // 全局初始化解释器
    py::initialize_interpreter();

    // 创建多个PybindStrategy实例
    PybindStrategy strategy1(1, "StrategyA", "Group1");
    PybindStrategy strategy2(2, "StrategyB", "Group2");

    // 业务逻辑执行...

    // 全局销毁解释器
    py::finalize_interpreter();
    return 0;
}

修改后的类构造/析构函数：

PybindStrategy::PybindStrategy(StrategyID strategyID, const std::string& strategyName, const std::string& groupName):
    Strategy(strategyID, strategyName, groupName) {
    // 移除py::initialize_interpreter()调用
}

PybindStrategy::~PybindStrategy() {
    // 移除py::finalize_interpreter()调用
}

2. 为每个类实例隔离Python对象 #

要保留每个实例的Python变量，需在类中维护独立的Python对象实例，而非共享全局模块或对象。通过每个实例单独加载Python模块并创建对象，实现状态隔离。

示例代码：

class PybindStrategy : public Strategy {
private:
    py::object py_strategy_instance; // 每个实例专属的Python对象

public:
    PybindStrategy(StrategyID strategyID, const std::string& strategyName, const std::string& groupName):
        Strategy(strategyID, strategyName, groupName) {
        // 加载Python模块并创建独立实例
        py::module_ py_module = py::module_::import("your_python_script");
        py_strategy_instance = py_module.attr("YourPythonClass")(strategyName, groupName);
    }

    // 调用Python对象方法的示例
    void execute_strategy() {
        py_strategy_instance.attr("run_strategy")();
    }
};

3. 多线程环境下的GIL管理 #

Python的全局解释器锁（GIL）限制同一时间只有一个线程能执行Python代码，多线程调用时必须手动管理GIL：

• 使用py::gil_scoped_acquire在调用Python代码前获取GIL，离开作用域时自动释放。
• 如果线程长期执行C++逻辑，可使用py::gil_scoped_release临时释放GIL，避免阻塞其他线程。

示例代码：

void PybindStrategy::threaded_task() {
    // 获取GIL，确保线程安全执行Python代码
    py::gil_scoped_acquire gil_lock;
    py_strategy_instance.attr("threaded_update")();
    // 离开作用域后自动释放GIL
}

内容的提问来源于stack exchange，提问作者Rishab Rao