PyArray_SimpleNew访问违例：SWIG封装C++库在Numpy1.22+崩溃排查

核心结论 #

PyArray_SimpleNew必须在持有Python GIL的情况下调用。Numpy 1.22.0开始严格执行GIL检查，所有Python/C API（包括Numpy的C API）调用都要求线程持有GIL；而SWIG的-threads选项会让生成的包装函数自动释放GIL，这就导致asNpArray调用Numpy API时处于无GIL状态，触发未定义行为（访问违例）。

解决方案 #

1. 临时锁定GIL调用Numpy API #

在asNpArray的扩展代码中，手动获取GIL后调用Numpy API，完成后释放GIL。这种方法兼容性强，适合需要灵活控制GIL的场景：

%extend std::vector<int64_t> {
    PyObject* asNpArray() {
        // 获取GIL，保存当前线程状态
        PyGILState_STATE gstate = PyGILState_Ensure();
        
        npy_intp dims[1] = {static_cast<npy_intp>($self->size())};
        PyObject* arr = PyArray_SimpleNew(1, dims, NPY_INT64);
        if (!arr) {
            PyGILState_Release(gstate);
            return nullptr;
        }
        
        // 复制向量数据到numpy数组
        int64_t* arr_data = static_cast<int64_t*>(PyArray_DATA(reinterpret_cast<PyArrayObject*>(arr)));
        std::copy($self->begin(), $self->end(), arr_data);
        
        // 释放GIL，恢复线程状态
        PyGILState_Release(gstate);
        return arr;
    }
}

注意：PyGILState_Ensure会自动处理线程与Python解释器的关联，即使是非Python创建的线程也能安全使用；必须成对调用PyGILState_Release，避免GIL泄漏。

2. 让asNpArray不受-threads选项影响 #

使用SWIG的%nothread指令，指定该扩展方法不自动释放GIL，全程持有GIL执行。这种写法更简洁，适合仅处理Python对象创建/数据复制、不需要调用外部无GIL代码的方法：

// 标记asNpArray不自动处理GIL
%nothread std::vector<int64_t>::asNpArray;

%extend std::vector<int64_t> {
    PyObject* asNpArray() {
        // 直接调用Numpy API，此时GIL已被持有
        npy_intp dims[1] = {static_cast<npy_intp>($self->size())};
        PyObject* arr = PyArray_SimpleNew(1, dims, NPY_INT64);
        if (!arr) return nullptr;
        
        int64_t* arr_data = static_cast<int64_t*>(PyArray_DATA(reinterpret_cast<PyArrayObject*>(arr)));
        std::copy($self->begin(), $self->end(), arr_data);
        
        return arr;
    }
}

该方法不会影响其他方法的GIL释放逻辑，完美适配基础库需要释放GIL的需求。

3. 版本兼容优化（可选） #

如果需要同时兼容Numpy 1.21及以下版本，可以添加版本宏检查，但实际上统一使用GIL锁定逻辑对旧版本无副作用，无需额外处理：

#include <numpy/arrayobject.h>
// Numpy 1.22.0的版本号是0x01160000
#if NPY_VERSION >= 0x01160000
#define ENFORCE_GIL_LOCK 1
#else
#define ENFORCE_GIL_LOCK 0
#endif

在代码中根据宏定义决定是否添加GIL锁定，但推荐直接使用GIL锁定逻辑，减少分支复杂度。

内容的提问来源于stack exchange，提问作者moudi