在C++对象中持有Numpy数组引用的实现问题

核心问题出在Python对象引用计数管理不当，导致你持有的_pydata被Python垃圾回收机制销毁，变成悬空指针，调用numpy()时访问空对象引发崩溃。以下是正确的实现方案：

关键原理 #

Python的C API中，所有PyObject*的生命周期由引用计数控制：

• 从Python获取对象指针（比如传入的numpy数组）时，必须调用Py_INCREF()增加引用计数，告知Python"该对象仍在被使用，请勿销毁"。
• 不再需要对象时，调用Py_DECREF()减少引用计数，允许GC回收资源。
• numpy数组的原始数据指针（通过PyArray_DATA()获取）的有效性依赖于numpy对象本身的存活——只要持有numpy对象的有效引用，原始数据就不会被释放。

正确的C++包装类实现 #

#include <Python.h>
#include <numpy/arrayobject.h>

class NumpyWrapper {
private:
    PyObject* _pydata;
    void* _raw_data;
    npy_intp _size;

public:
    // 构造函数：接收Python传入的numpy数组对象
    NumpyWrapper(PyObject* np_array) : _pydata(nullptr), _raw_data(nullptr), _size(0) {
        // 验证输入是否为numpy数组
        if (!PyArray_Check(np_array)) {
            PyErr_SetString(PyExc_TypeError, "Input must be a numpy array");
            return;
        }

        // 增加引用计数，持有numpy对象
        Py_INCREF(np_array);
        _pydata = np_array;

        // 获取原始数据指针和数组大小
        _raw_data = PyArray_DATA((PyArrayObject*)np_array);
        _size = PyArray_SIZE((PyArrayObject*)np_array);
    }

    // 析构函数：释放引用
    ~NumpyWrapper() {
        if (_pydata != nullptr) {
            Py_DECREF(_pydata);
            _pydata = nullptr;
        }
    }

    // 禁止拷贝，避免引用计数混乱
    NumpyWrapper(const NumpyWrapper&) = delete;
    NumpyWrapper& operator=(const NumpyWrapper&) = delete;

    // 返回持有的numpy数组给Python
    PyObject* numpy() {
        if (_pydata == nullptr) {
            PyErr_SetString(PyExc_RuntimeError, "Wrapper holds no valid numpy array");
            return nullptr;
        }
        // 返回时增加引用计数，Python会自动对返回值执行一次DECREF
        Py_INCREF(_pydata);
        return _pydata;
    }

    // 获取原始数据指针（供C++内部使用）
    void* raw_data() const { return _raw_data; }
    npy_intp size() const { return _size; }
};

// Python绑定示例（C API）
static PyObject* numpy_wrapper_new(PyTypeObject* type, PyObject* args, PyObject* kwds) {
    PyObject* np_array;
    if (!PyArg_ParseTuple(args, "O", &np_array)) {
        return nullptr;
    }

    NumpyWrapper* wrapper = new NumpyWrapper(np_array);
    if (PyErr_Occurred()) {
        delete wrapper;
        return nullptr;
    }

    return PyObject_Init((PyObject*)wrapper, type);
}

static PyObject* numpy_wrapper_numpy(PyObject* self) {
    NumpyWrapper* wrapper = (NumpyWrapper*)self;
    return wrapper->numpy();
}

// 需确保初始化numpy模块：在模块初始化函数中调用import_array()

常见错误排查 #

1. 未调用Py_INCREF：构造函数中直接赋值_pydata = np_array，未增加引用计数，导致Python GC可能在包装类存活期间销毁该numpy对象，_pydata变成空指针。
2. 返回时未增加引用计数：numpy()方法直接返回_pydata，Python会对返回值自动执行Py_DECREF，若这是最后一个引用，会导致对象被销毁，后续使用包装类会出错。
3. 未处理空指针情况：调用numpy()前未检查_pydata是否为空，直接访问空对象引发崩溃。

Python端测试示例 #

import mynp
import numpy as np

arr = np.array([1,2,3,4], dtype=np.int32)
wrapper = mynp.NumpyWrapper(arr)
# 调用numpy()方法返回原始数组
ret_arr = wrapper.numpy()
print(ret_arr)
print(ret_arr is arr)  # 输出True，说明是同一个对象

内容的提问来源于stack exchange，提问作者kacpo1