NumPy/Pandas中支持不规则高维数组的合适数据结构选型

需求背景 #

在Python/NumPy环境下处理5至6维的高维数据（理想载体为ndarray）时，需寻找可基于NumPy或Pandas实现、满足指定核心要求的n维数组/张量数据结构，核心需求如下：

• 支持不规则数组（ragged array）：例如A[0, :, :]至A[49, :, :]的形状均为100×100，而A[50, :, :]形状可达10000×10000；无需为适配最大尺寸创建形状为(..., 10000, 10000)的ndarray，避免索引0至49时仅存储100×100数据带来的空间浪费。
• 支持标签索引而非仅位置索引：可直接使用B[:, :, :, :, 202206231808]、B[:, :, :, :, 19700101000000]形式完成索引，最后一维为YYYYMMDDhhmmss格式的数值时间戳，或其他不处于连续0..n-1区间的整数标签。
• 兼容类NumPy的便捷算术运算：尽可能保留所有标准NumPy操作，例如可通过B.mean(axis=4)对所有时间戳维度的数据取均值，同时支持其他常用NumPy运算。
• 支持序列化与磁盘随机访问：可将100GB级别的该结构数据存储至磁盘，后续仅需修改少量值时，无需重写全量100GB文件即可完成持久化，仅写入变更的少量字节，示例操作逻辑如下：

x = datastore.open('datastore.dat')                              # 打开数据存储，无需全量加载所有内容到内存
x[20220624000000, :, :, :] = 0                                   # 修改部分值
x[20220510120000, :, :, :] -= x[20220510120000, :, :, :].mean()  # 修改其他值
x.close()                                                        # 仅将少量变更字节写入磁盘

推荐选型 #

完全匹配上述所有需求的方案是 xarray + Zarr 组合：

• 不规则数组支持：xarray不强制要求同一维度下的所有切片形状统一，你可以将不同形状的NumPy数组存入对应索引位置，不需要填充到统一的最大尺寸，不会产生冗余空间占用；如果需要更灵活的存储，还可以搭配Zarr的可变长度数组能力适配极端尺寸差异的场景。
• 标签索引支持：xarray原生支持维度坐标标签，你可以将时间维度的坐标直接设置为YYYYMMDDhhmmss格式的整数标签，不需要手动维护位置与标签的映射关系，直接使用标签做索引的写法和预期完全一致。
• NumPy兼容运算：xarray的DataArray对象原生实现了绝大多数NumPy标准接口，包括逐元素算术运算、mean/sum等聚合运算、广播机制，你既可以按axis参数指定计算维度，也可以直接用维度名做索引，使用习惯和NumPy几乎一致。
• 磁盘随机访问与增量写入：Zarr作为xarray的成熟后端存储，天生支持分块按需加载、增量写入。打开100GB级别的存储文件时不会全量读入内存，修改数据后关闭存储时，仅会将发生变更的分块内容写入磁盘，不需要重写全量文件，完全匹配示例中的操作逻辑。

补充说明：如果你的不规则数组尺寸差异极大，还可以在Zarr存储时对大尺寸切片单独设置分块大小，进一步优化读写性能。

内容的提问来源于stack exchange，提问作者Basj