Python调用C++ DLL时能否共享内存以避免大数据拷贝？

处理超大数据集时，拷贝数据简直是在浪费时间和内存——而直接共享内存的方案不仅可行，还是工业界处理这类场景的常规操作。下面我给你介绍几种最常用的实现方式：

方法1：ctypes + NumPy数组（最基础直接的方案） #

NumPy数组本身就是连续的内存块，刚好能和C的原生数组一一对应。你完全不需要拷贝数据，只需要把NumPy数组的内存地址传给C DLL就够了。

举个实际的例子：

Python 端代码 #

import numpy as np
import ctypes

# 创建一个超大NumPy数组，指定C语言内存布局（默认就是，但显式写更稳妥）
big_data = np.random.rand(10_000_000).astype(np.float64)  # 大概80MB的数组

# 加载你的C++ DLL
my_dll = ctypes.CDLL("./my_data_processor.dll")

# 给ctypes声明函数的参数类型和返回值类型
# 假设你的C++函数签名是：void process_data(double* data, int length);
my_dll.process_data.argtypes = [ctypes.POINTER(ctypes.c_double), ctypes.c_int]
my_dll.process_data.restype = None

# 直接传递内存地址，零拷贝！
my_dll.process_data(big_data.ctypes.data_as(ctypes.POINTER(ctypes.c_double)), len(big_data))

# 如果C++函数是原地修改数据，big_data现在已经是处理后的结果了
print(big_data[:5])  # 直接查看修改后的数据

C++ 端函数实现 #

// 必须加extern "C"避免C++名字修饰，否则ctypes找不到函数
extern "C" __declspec(dllexport) void process_data(double* data, int length) {
    // 直接操作这块共享内存，比如给每个元素乘2
    for (int i = 0; i < length; ++i) {
        data[i] *= 2;
    }
}

注意：一定要保证NumPy数组的dtype和C里的类型严格匹配（比如np.float64对应C的double，np.int32对应C++的int），不然会触发内存错误。

方法2：pybind11（更现代的C++绑定方案） #

如果你的项目本身就用C11及以上版本，pybind11是更优雅的选择——它能自动处理NumPy数组和C容器的零拷贝映射，甚至支持std::vector或者Eigen矩阵这类复杂结构。

C++ 端代码（编译成Python模块） #

#include <pybind11/pybind11.h>
#include <pybind11/numpy.h>

namespace py = pybind11;

void process_numpy_array(py::array_t<double> arr) {
    // 获取数组的内存视图，完全零拷贝
    auto buf = arr.request();
    double* data = static_cast<double*>(buf.ptr);
    int length = buf.size;

    // 直接修改共享内存
    for (int i = 0; i < length; ++i) {
        data[i] += 1.0;
    }
}

PYBIND11_MODULE(my_data_module, m) {
    m.def("process_data", &process_numpy_array, "Process NumPy array in-place without copying");
}

Python 端调用 #

import numpy as np
import my_data_module

big_data = np.random.rand(10_000_000).astype(np.float64)
my_data_module.process_data(big_data)  # 直接传入，零拷贝
print(big_data[:5])

pybind11会自动处理数组的生命周期，不用担心内存泄漏，而且支持更复杂的类型转换，比ctypes省心不少。

方法3：Cython（适合混合编写Python和C++的场景） #

如果你需要在Python代码里直接嵌入C逻辑，Cython可以帮你把Python代码编译成C，然后直接操作NumPy数组的内存，完全没有拷贝开销。不过这个方案相对复杂，更适合已经熟悉Cython的开发者。

几个关键注意事项 #

• 内存生命周期：确保C++处理数据期间，Python端的NumPy数组没有被垃圾回收。只要你在Python代码里还持有对big_data的引用，就不会有问题。
• 数据对齐：NumPy数组默认是按C语言的对齐方式存储的，和C数组对齐一致，一般不用额外处理。但如果你的C函数需要特定对齐（比如SIMD指令要求16字节对齐），可以用np.array(..., order='C', align=True)创建数组。
• 读写权限：如果C++函数只读取数据，可以把数组设为只读（big_data.flags.writeable = False）；如果要修改数据，必须确保数组是可写的。

总的来说，零拷贝共享内存完全可行，而且有多种成熟方案可选，你可以根据自己的项目技术栈挑最合适的。

内容的提问来源于stack exchange，提问作者Matphy