在Cython中快速创建二维及以上类型化内存视图

一、CPython array推广到二维是否可行？ #

可行但不实用。CPython的array.array本质是一维结构，要模拟二维必须手动计算索引（比如arr[row*cols + col]），转成类型化内存视图时还需要手动处理strides，不仅代码繁琐，性能提升也有限——因为numpy数组的主要开销是对象初始化，而非内存本身，这种方式并没有避开Python对象创建的开销，反而增加了索引计算的成本。

二、比np.ndarray更快的二维数组创建方式 #

1. 对象池复用（最推荐，无额外依赖） #

小数组的性能瓶颈大多来自频繁创建Python对象（np.ndarray实例）和重复内存分配。预分配一批固定形状/类型的空数组，使用时取出复用，用完放回池，能大幅减少开销。

示例代码：

import numpy as np

class Small2DArrayPool:
    def __init__(self, shape, dtype=np.float64, init_pool_size=100):
        self.shape = shape
        self.dtype = dtype
        self.pool = [np.empty(shape, dtype=dtype) for _ in range(init_pool_size)]
    
    def acquire(self):
        if self.pool:
            return self.pool.pop()
        # 池耗尽时新建补充
        return np.empty(self.shape, dtype=self.dtype)
    
    def release(self, arr):
        # 校验后放回，避免混入不匹配的数组
        if arr.shape == self.shape and arr.dtype == self.dtype:
            self.pool.append(arr)

# 使用示例
pool = Small2DArrayPool((3,3), dtype=np.float32)
arr = pool.acquire()
# 操作数组...
pool.release(arr)

2. 用np.empty_like复用元数据 #

如果已有同形状/类型的模板数组，np.empty_like会直接复用模板的dtype、strides、内存布局等元数据，跳过Python层面的参数解析和验证，比直接调用np.empty(shape, dtype)更快。

示例代码：

# 提前创建模板
template = np.empty((2,4), dtype=np.int32)
# 后续创建同规格数组
new_arr = np.empty_like(template)

3. 内置memoryview结合一维数组（轻量级） #

用Python内置的array.array创建一维缓冲区，再通过memoryview将其映射为二维视图，开销远低于numpy数组，且支持类型化访问。需要和numpy交互时，可通过np.asarray()零拷贝转换。

示例代码：

import array

# 创建一维float32缓冲区（3*3=9个元素）
flat_buffer = array.array('f', [0.0]*9)
# 转为二维memoryview：形状(3,3)，strides为(3*4,4)（每个float32占4字节）
two_d_mv = memoryview(flat_buffer).cast('f', shape=(3,3), strides=(12,4))

# 零拷贝转为numpy数组（可选）
np_arr = np.asarray(two_d_mv)

三、手动内存管理的简化技巧（C基础有限也能上手） #

如果上述方法仍无法满足性能需求，可以用ctypes手动分配内存，再包装为numpy数组/memoryview，避开numpy的内存分配逻辑。注意结合对象池复用内存块，避免内存泄漏。

方法1：用ctypes.c_buffer分配内存 #

import ctypes
import numpy as np

# 分配3*3个float32的内存（每个4字节，总36字节）
buf = ctypes.c_buffer(36)
# 包装为二维numpy数组（零拷贝）
np_arr = np.frombuffer(buf, dtype=np.float32).reshape(3,3)

方法2：用C标准库malloc（需手动释放） #

import ctypes
import numpy as np

# 加载系统C库
libc = ctypes.CDLL(None)
# 分配内存
mem_ptr = libc.malloc(36)  # 3*3*4字节
# 包装为二维numpy数组
np_arr = np.ctypeslib.as_array((ctypes.c_float*9).from_address(mem_ptr)).reshape(3,3)

# 使用完手动释放内存
libc.free(mem_ptr)

内容的提问来源于stack exchange，提问作者Tortar