使用NumPy C-API编写的3D卷积C函数内存泄漏问题求助

我为3D NumPy数组编写了C语言卷积函数conv3d，计算结果正确，但在百万级迭代的大循环中，内存占用持续增长直至进程崩溃。根据文档说明，调用PyArray_AsCArray后需用PyArray_Free释放内存，我已对输入数组执行该操作，但对结果数组调用会触发段错误，且内存泄漏问题仍未解决。观察数组引用计数发现，PyArray_AsCArray的调用有时会增加引用计数，有时会大幅减少，手动调整引用计数也无法解决问题。相关代码如下：

PyObject* conv3d(PyObject* self, PyObject* args){ 

    PyObject* arr3d;
    PyObject* kernel3d;

    if(!PyArg_ParseTuple(args, "OO", &arr3d, &kernel3d)) {
        return NULL;
    }

    // dummy dimensions values only for example
    Py_ssize_t dimarr[3] = {0};
    Py_ssize_t dimkernel[3] = {0};
    npy_intp output_shape[] = {2,2};

    int typenum = NPY_FLOAT;
    PyObject* result = PyArray_SimpleNew(2, output_shape, typenum);
    PyArray_FILLWBYTE((PyArrayObject*) result, 0);

    double*** data_arr3d;
    double*** data_kernel3d;
    double** data_result;

    PyArray_AsCArray((PyObject**)&arr3d, &data_arr3d, dimarr,3, PyArray_DescrFromType(NPY_DOUBLE));
    PyArray_AsCArray((PyObject**)&kernel3d, &data_kernel3d, dimkernel,3, PyArray_DescrFromType(NPY_DOUBLE));
    PyArray_AsCArray((PyObject**)&result, &data_result, output_shape,2, PyArray_DescrFromType(NPY_DOUBLE));

    /* code to compute the result */

    PyArray_Free((PyObject*)arr3d, data_arr3d); 
    PyArray_Free((PyObject*)kernel3d, data_kernel3d);
    //PyArray_Free((PyObject*)result, data_result); // segfault

    return result;
}

问题根源与修复方案 #

1. PyArray_AsCArray的核心逻辑误区 #

PyArray_AsCArray并非总是需要手动释放内存：

• 如果输入数组的内存布局、数据类型完全匹配要求，函数会直接返回原数组的内存指针，无需释放；
• 只有当数组不匹配要求时，函数会创建临时连续拷贝数组，并将传入的PyObject指针替换为临时数组指针，这时候才需要用PyArray_Free释放临时拷贝。

你的问题出在：

• 对输入数组无条件调用PyArray_Free，若原数组直接匹配要求，会错误释放原数组内存，引发后续内存问题；
• 对结果数组调用PyArray_Free触发段错误，是因为result是你用PyArray_SimpleNew创建的数组，内存由NumPy管理，PyArray_AsCArray直接返回了原内存指针，调用PyArray_Free等同于释放NumPy内部管理的内存，必然导致崩溃。

2. 修复后的代码 #

PyObject* conv3d(PyObject* self, PyObject* args){ 

    PyObject* arr3d;
    PyObject* kernel3d;

    if(!PyArg_ParseTuple(args, "OO", &arr3d, &kernel3d)) {
        return NULL;
    }

    // 验证输入数组维度并获取实际尺寸
    PyArrayObject* arr3d_np = (PyArrayObject*)arr3d;
    PyArrayObject* kernel3d_np = (PyArrayObject*)kernel3d;
    if (PyArray_NDIM(arr3d_np) != 3 || PyArray_NDIM(kernel3d_np) != 3) {
        PyErr_SetString(PyExc_ValueError, "输入数组必须为3D");
        return NULL;
    }
    Py_ssize_t dimarr[3];
    memcpy(dimarr, PyArray_DIMS(arr3d_np), 3 * sizeof(Py_ssize_t));
    Py_ssize_t dimkernel[3];
    memcpy(dimkernel, PyArray_DIMS(kernel3d_np), 3 * sizeof(Py_ssize_t));

    // 计算卷积输出维度（替换为你的实际逻辑）
    npy_intp output_shape[] = {dimarr[0] - dimkernel[0] + 1, dimarr[1] - dimkernel[1] + 1};
    int typenum = NPY_DOUBLE; // 数据类型与double**指针匹配，避免类型不兼容问题
    PyObject* result = PyArray_SimpleNew(2, output_shape, typenum);
    if (!result) {
        return NULL;
    }
    PyArray_FILLWBYTE((PyArrayObject*) result, 0);

    double*** data_arr3d;
    double*** data_kernel3d;
    double** data_result;

    // 处理输入数组，保存返回状态判断是否创建了临时拷贝
    int arr_status = PyArray_AsCArray((PyObject**)&arr3d, &data_arr3d, dimarr, 3, PyArray_DescrFromType(NPY_DOUBLE));
    int kernel_status = PyArray_AsCArray((PyObject**)&kernel3d, &data_kernel3d, dimkernel, 3, PyArray_DescrFromType(NPY_DOUBLE));
    // 结果数组是自己创建的，直接用PyArray_DATA获取内存指针更安全
    data_result = (double**)PyArray_DATA((PyArrayObject*)result);

    /* code to compute the result */

    // 仅当创建了临时拷贝时才释放内存
    if (arr_status == -1) {
        PyArray_Free((PyObject*)arr3d, data_arr3d);
    }
    if (kernel_status == -1) {
        PyArray_Free((PyObject*)kernel3d, data_kernel3d);
    }

    return result;
}

关键修复点 #

• 维度验证与获取：先确认输入数组维度，再获取实际尺寸，避免因维度不匹配创建不必要的临时拷贝；
• 类型匹配：将结果数组类型改为NPY_DOUBLE，与double**指针类型一致，避免未定义行为；
• 安全获取结果指针：直接用PyArray_DATA获取自己创建的数组内存，无需调用PyArray_AsCArray；
• 条件释放：根据PyArray_AsCArray的返回值（-1表示创建了临时拷贝）决定是否释放，只清理临时内存。

额外建议 #

• 用Valgrind工具检测内存泄漏和堆错误，定位具体内存问题；
• 确保卷积计算代码无数组越界访问，越界写内存也可能导致堆损坏或内存泄漏。

内容的提问来源于stack exchange，提问作者samas69420