OpenMP环境下boost::python是否线程不安全？如何实现并行调用？

错误139属于段错误，核心触发原因是Python解释器的全局解释器锁（GIL）机制：

• 所有访问Python对象、调用Python API的操作都必须持有GIL，否则会触发非法内存访问
• 你当前代码仅调用了Py_Initialize()初始化解释器，未开启Python线程支持，OpenMP创建的子线程无权限直接访问Python对象，因此崩溃

方案1：提前转换为C++原生对象（最优） #

先把所有Python侧的数据转换为C原生容器，并行区完全操作C对象，无需接触Python API，也不需要处理GIL，并行效率最高。修改后的代码如下：

#include <omp.h>
#include <iostream>
#include <vector>
#include <string>
#include <boost/python.hpp>

namespace p = boost::python;

int main() {
    Py_Initialize();
    // 初始化Python线程支持，必须添加
    PyEval_InitThreads();

    p::object glob = p::import("glob");
    p::object paths = glob.attr("glob")("C:\\path\\to\\the\\dir\\location");

    // 先把Python列表全部转成C++原生容器，避免并行区接触Python对象
    int path_num = p::len(paths);
    std::vector<std::string> path_list(path_num);
    for (int i = 0; i < path_num; ++i) {
        path_list[i] = p::extract<const char*>(p::str(paths[i]));
    }

    // 并行区完全操作C++原生对象，不需要碰Python API，无GIL限制
    #pragma omp parallel for default(shared) schedule(dynamic)
    for (int i = 0; i < path_num; i++) {
        std::cout << path_list[i] << std::endl; 
    }

    std::cout << "finished: " << path_num << std::endl;
    Py_Finalize();
    return 0;
}

方案2：并行区手动管理GIL（适合必须在并行区调用Python的场景） #

如果确实需要在并行逻辑中调用Python模块，需要在每次执行Python相关操作前手动获取GIL，操作完成后立即释放。示例代码如下：

#include <omp.h>
#include <iostream>
#include <boost/python.hpp>

namespace p = boost::python;

int main() {
    Py_Initialize();
    PyEval_InitThreads();

    p::object glob = p::import("glob");
    p::object paths = glob.attr("glob")("C:\\path\\to\\the\\dir\\location");
    int path_num = p::len(paths);

    #pragma omp parallel for default(shared) schedule(dynamic)
    for (int i = 0; i < path_num; i++) {
        // 执行Python操作前获取GIL
        PyGILState_STATE gstate = PyGILState_Ensure();
        std::cout << p::extract<const char *>(p::str(paths[i])) << std::endl; 
        // 操作完成释放GIL
        PyGILState_Release(gstate);
    }

    std::cout << "finished: " << path_num << std::endl;
    Py_Finalize();
    return 0;
}

该方案的缺点是GIL全局唯一，同一时间只有一个线程能执行Python相关操作，这部分逻辑实际是串行执行的，并行收益会被抵消。

• 初始化Python解释器时必须调用PyEval_InitThreads()开启线程支持，否则GIL管理机制不会生效
• 任何涉及Python对象读写、Python API调用的逻辑，必须放在GIL持有区间内执行
• 计算密集型场景如果需要频繁调用Python逻辑，建议改用多进程方案，每个进程单独初始化Python解释器，彻底避开GIL限制

内容的提问来源于stack exchange，提问作者Yudha Styawan