处理大型Numpy数组触发MemoryError，如何解决？

老兄，这种超大数组计算触发MemoryError太正常了——你算下，光是float64类型的原数组就占1010300010050*8字节=12GB，再加上计算时生成的中间数组，内存肯定顶不住。给你几个实用的解决思路，亲测有效：

把大数组拆成若干小块，逐个计算后再拼接回完整结果。优先选择最大的维度拆分（比如你的数组第三维度是3000，是最适合拆分的维度），这样每次只加载1/N的数据到内存：

import numpy as np

def func(x):
    return np.exp(-x**2) * np.sqrt(x)

# 示例数组，替换成你的实际数组
num_arrays = np.random.rand(10,10,3000,100,50)
# 按第3维度拆成10块，可根据内存情况调整块数
chunks = np.array_split(num_arrays, 10, axis=2)
result_chunks = []

for chunk in chunks:
    # 逐个处理小块，内存压力瞬间降低
    result_chunk = func(chunk)
    result_chunks.append(result_chunk)

# 拼接所有小块得到最终结果
final_result = np.concatenate(result_chunks, axis=2)

Numpy的大多数ufunc都支持out参数，可以直接把计算结果写入预先分配的数组，不用额外创建新数组（这能省出一倍的内存，因为不需要同时存原数组和新数组）：

# 预先分配和原数组形状、类型一致的结果数组
result = np.empty_like(num_arrays)

# 分步计算，每一步都用out参数原地修改
np.square(num_arrays, out=result)       # 先算x²，存在result里
np.negative(result, out=result)         # 算-x²，覆盖result
np.exp(result, out=result)              # 算exp(-x²)，覆盖result

# 单独计算sqrt(x)，用临时数组过渡
temp = np.sqrt(num_arrays)
np.multiply(result, temp, out=result)   # 相乘得到最终结果

如果内存实在紧张，甚至可以把temp也改成分块处理，进一步降低峰值内存。

如果你的计算场景对精度要求不是极高（比如不需要双精度），可以把数组从默认的float64转成float32，内存占用直接减半：

# 转换数据类型
num_arrays = num_arrays.astype(np.float32)
# 再调用函数计算，内存压力直接降一半
result = func(num_arrays)

大部分科学计算场景下，float32的精度完全能满足需求，这是成本最低的优化方式。

如果数组大到分块都顶不住，可以用Dask数组——它和Numpy API几乎一致，会自动把大数组拆成小块、并行计算，还支持直接把结果存到磁盘（不用加载到内存）：

import dask.array as da

# 把Numpy数组转成Dask数组，指定分块大小（这里按第三维度分300块）
dask_arr = da.from_array(num_arrays, chunks=(10,10,300,100,50))
# 直接用你的函数计算，Dask会延迟执行，不会立刻占用内存
dask_result = func(dask_arr)

# 要么加载到内存得到最终结果
final_result = dask_result.compute()
# 要么直接把结果存到磁盘（比如Zarr格式），完全不用占内存
dask_result.to_zarr("./result.zarr")

如果后续还要对结果做其他计算，不用先把所有结果都存下来——可以处理完一个块就直接进行下一步操作，比如统计、过滤等，进一步减少内存占用。

内容的提问来源于stack exchange，提问作者konstant