可追加数据的无压缩归档格式选型技术咨询

核心需求 #

需要满足以下特性的无压缩单文件归档格式：

• 无需解包全归档或加载全量文件至内存，即可向已有归档内的文件追加数据
• 具备快速读写性能
• 支持存储带属性的层级结构浮点数组
• 单文件归档（便于后续快速压缩）
• 优先兼容C++/Julia/Python库（至少支持其一）

已尝试方案的局限性 #

• HDF5：写入性能瓶颈显著，打包26GB文本耗时近25分钟（读写速度远优于写入）；Julia替代实现JLD2性能更优，但不支持向已有数组追加数据。
• 无压缩.zip + wxFile（C++）：存在偶发数据损坏问题，可行性存疑。
• SQLite：功能可行，但读写速度预计远低于目录式结构。
• 目录式结构：压缩效率不理想，不符合单文件归档需求。

推荐替代方案 #

1. Zarr #

• 特性匹配：支持分块存储的增量追加操作，无需加载全量数据；原生支持层级结构数组，可自定义附加元数据（属性）；可配置为SingleFileStorage单文件模式，后续直接压缩整个文件即可。
• 性能表现：写入大体积数据时性能优于HDF5，分块设计天生适合增量写入场景，无压缩模式下读写延迟极低。
• 兼容性：Python原生支持zarr库，C++有官方绑定zarr-cpp，Julia提供Zarr.jl包，覆盖需求中的主流语言。

2. BigTIFF #

• 特性匹配：BigTIFF突破普通TIFF的文件大小限制，支持向已有文件追加数组数据；通过自定义IFD（图像文件目录）可实现层级结构存储，同时支持附加自定义属性元数据；单文件结构便于后续压缩。
• 性能表现：针对连续浮点数组的读写做了大量优化，无压缩模式下读写速度接近裸文件IO。
• 兼容性：C++可使用libtiff库，Python有tifffile库提供完整支持，可满足层级浮点数组的存储需求。

3. Blosc2（单文件归档模式） #

• 特性匹配：基于分块存储设计，支持增量写入数据块，无需加载全量归档；可存储带元数据的数组，通过分组实现层级结构；可导出为单文件的Blosc2归档，后续直接压缩即可。
• 性能表现：无压缩模式下读写性能极高，分块设计避免了全量加载的内存开销，适合大体积数据的追加操作。
• 兼容性：Python有blosc2库，C++提供c-blosc2核心库，Julia有第三方绑定包，满足多语言需求。

4. N5 #

• 特性匹配：支持数组的增量追加写入，原生支持层级结构存储，可附加任意属性元数据；通过N5SingleFileWriter可导出为单文件归档，便于后续压缩。
• 性能表现：写入性能优于HDF5，分块存储架构适合大体积浮点数组的增量操作，无压缩模式下读写效率接近裸文件。
• 兼容性：Python提供pyn5库，C++有官方n5库支持，满足主流开发语言需求。

内容的提问来源于stack exchange，提问作者Kacper Rutkowski