基于AWS Lambda的超内存Numpy三维数组处理方案选型咨询

a) 数据量增长时的扩展性对比 #

• Dask数组的扩展性更优：Dask专为超内存大数据场景设计，通过自动分块和并行调度机制处理数据，即使数据量持续增长，也能通过调整分块策略或对接分布式资源（如Lambda扩容）保持性能。
• Numpy内存映射的扩展性受限：它本质是将磁盘数据映射为内存视图，运算仍为单线程，数据量增大时磁盘IO会成为明显瓶颈，且无法自动实现并行处理，性能提升空间有限。

b) 现有代码库的实现难度对比 #

• Numpy内存映射更易实现：内存映射数组与普通Numpy数组接口几乎完全一致，仅需将数组创建逻辑替换为np.memmap并指定EFS存储路径，大部分运算代码无需修改，重构成本极低。
• Dask的实现成本更高：虽然Dask数组接口模仿Numpy，但存在不少差异——部分Numpy函数无对应实现，复杂运算（如自定义广播、小众函数）需要调整逻辑，甚至用da.map_blocks封装原有代码，需要逐一验证修改。

c) Dask的代码转换便捷性 #

Dask提供了一定的转换工具来降低迁移成本：

• 可通过dask.array.from_array直接将Numpy数组（含内存映射数组）转为Dask数组；
• 多数常用Numpy函数（如np.sum、np.mean）都有对应的Dask实现，直接替换为da.sum、da.mean即可运行。
  但它无法做到完全无改动转换：对于复杂的自定义Numpy操作，仍需手动调整逻辑，适配Dask的分块运算模式。

内容的提问来源于stack exchange，提问作者Femi King