用Cython封装C++代码时的内存异常问题求助

我正尝试将原生C++代码集成到Python库中，已实现功能并使用Cython进行绑定。

待暴露的C++方法 #

double* doStuff(double *f, int size, double lambda) {
    std::vector<double> f_vector(f, f + size);
    auto result = doStuffWithVectors(f_vector, lambda);

    return &result[0];
}

绑定用的pxd文件（cmylib.pxd） #

cdef extern from "mylib.h":
    double* doStuff(double *signal, int size, double l)

pyx文件内容 #

from cython.view cimport array as cvarray
import numpy as np

cimport cmylib

cpdef double[:] doStuff(double[::1] signal, double l):
    return <double[:len(signal)]> cmylib.doStuff(&signal[0], len(signal), l)

代码多数情况下运行正常，但偶尔返回的数组会被NaN/无穷值填充，无固定触发规律，相同输入有时正常有时异常。修改C代码在返回前将结果保存到文件，可得到预期值，推测问题出在C与Python的数据传递环节。我怀疑是Python对象创建耗时过长，导致C++程序提前退出引发未定义行为，请问该可能性是否存在？若存在如何修改代码？是否需要用new创建数组？但这样是否会导致内存泄漏？

问题本质：悬垂指针导致的未定义行为 #

你的猜测方向有误，根本问题不是Python对象创建耗时，而是C++里的result是栈上的局部std::vector——函数doStuff返回后，这个vector会被销毁，其内部的数组内存也会被释放。你返回的&result[0]指向的是已经被释放的内存，后续Python访问这块内存时，数据可能被覆盖（没被覆盖时表现正常，被覆盖则出现NaN/无穷值），这是典型的悬垂指针问题。

解决方案1：动态分配数组，由Python侧管理内存 #

如果必须用返回指针的方式，需要在C++里用new动态分配内存，同时在Cython中注册释放回调，避免内存泄漏：

修改后的C++代码 #

double* doStuff(double *f, int size, double lambda) {
    std::vector<double> f_vector(f, f + size);
    auto result = doStuffWithVectors(f_vector, lambda);
    
    // 动态分配数组并拷贝结果
    double* out = new double[size];
    std::copy(result.begin(), result.end(), out);
    return out;
}

修改后的pyx代码 #

添加内存释放逻辑，让Python垃圾回收器接管内存：

from cython.view cimport array as cvarray
import numpy as np

cimport cmylib

cdef void free_double_array(double* ptr):
    # 调用C++的delete[]释放动态分配的数组
    delete[] ptr

cpdef double[:] doStuff(double[::1] signal, double l):
    cdef int n = len(signal)
    cdef double* raw_ptr = cmylib.doStuff(&signal[0], n, l)
    # 创建内存视图并注册释放回调
    cdef double[:] result = <double[:n]>raw_ptr
    result.callback_free_data = free_double_array
    return result

解决方案2：让Cython直接管理std::vector生命周期（更安全） #

避免手动管理内存，直接在Cython中暴露std::vector，由Cython负责释放：

修改pxd文件（cmylib.pxd） #

声明std::vector和返回vector的原函数：

from libcpp.vector cimport vector

cdef extern from "mylib.h":
    vector[double] doStuffWithVectors(vector[double] f, double lambda)

修改pyx文件 #

直接调用返回vector的函数，再转换为内存视图：

from cython.view cimport array as cvarray
import numpy as np
from libcpp.vector cimport vector

cimport cmylib

cpdef double[:] doStuff(double[::1] signal, double l):
    cdef int n = len(signal)
    # 将Python内存视图转换为C++ vector
    cdef vector[double] f_vector(&signal[0], &signal[0] + n)
    # 调用返回vector的函数
    cdef vector[double] result = cmylib.doStuffWithVectors(f_vector, l)
    # 将vector转换为内存视图，Cython自动管理内存
    return <double[:n]>&result[0]

这种方法无需手动处理内存，Cython会在Python对象被回收时自动销毁result vector，彻底避免内存泄漏和悬垂指针问题。

内存泄漏说明 #

• 用new分配数组时，必须确保delete[]被调用，否则会泄漏。方案1通过注册回调，让Python垃圾回收器在对象销毁时自动执行delete[]，不会泄漏。
• 方案2利用Cython对C++容器的自动管理能力，是更推荐的安全方案。

内容的提问来源于stack exchange，提问作者Bastien Kovac