如何优化从C++ DLL向Python传递float二维数组的效率

我明白你现在遇到的问题——当数据量较大时，Python层面的两层循环逐元素拷贝数据到numpy数组的速度实在太慢了。这主要是因为Python的for循环在处理大量元素时会带来显著的解释器开销，逐元素的类型转换和拷贝更是雪上加霜。

核心思路：让DLL直接写入numpy数组的内存 #

我们可以跳过“先分配ctypes数组→DLL写入→Python循环拷贝到numpy”的冗余流程，直接让numpy分配内存，然后把内存的指针结构传递给DLL，让DLL直接写入numpy的内存区域。这样整个数据写入过程是C层面的原生操作，完全避免了Python循环的性能瓶颈。

修改后的Python代码 #

import numpy as np
import ctypes

def GetSamples(self, ROWS, COLUMN):
    # 1. 创建numpy数组，指定float32类型（和C++的float类型严格对应），内存默认连续
    Data_np = np.zeros((ROWS, COLUMN), dtype=np.float32)
    
    # 2. 构建符合float**要求的指针数组，每个元素指向numpy数组的对应行
    Data = (ctypes.POINTER(ctypes.c_float) * ROWS)()
    for i in range(ROWS):
        # 获取第i行的内存地址，转换为ctypes可识别的float指针
        Data[i] = Data_np[i].ctypes.data_as(ctypes.POINTER(ctypes.c_float))
    
    try:
        # 3. 调用DLL函数，直接向numpy数组的内存写入数据
        succeed = lib._PyGetData(ClassExampleObj, ctypes.byref(Data))
        if succeed != 0:
            print("Error number :", succeed)
            return None
    except Exception as e:
        print(f"Unknown Error: {e}")
        return None
    
    # 4. 直接返回numpy数组（如果需要双精度float，可通过astype转换）
    return Data_np.astype(np.float64)

为什么这个方法更快？ #

• 原来的两层循环是在Python解释器中逐元素处理，每一步都有类型检查、内存拷贝的额外开销；修改后的方案中，数据写入完全由C++ DLL完成，是原生的内存操作，速度能提升几个数量级。
• 我们只需要一个小循环来构建指针数组（循环次数等于行数，远小于总元素数），几乎不会对性能造成影响。

额外注意事项 #

• 务必保证numpy数组的类型与C中的float一致：C的float是32位单精度，对应numpy的np.float32，如果误用np.float64会导致类型不匹配，出现数据错误。
• 如果你的C++ DLL中的Data是连续存储的二维数组，还可以进一步简化（直接传递扁平指针），但因为你的函数接口是float**，所以必须用构建指针数组的方式适配接口。

内容的提问来源于stack exchange，提问作者Tomasso