如何高效存储键为图像ID、值为(24,366,366)numpy数组的键值对

首先可先做基础优化：确认数组数据类型是否冗余，比如图像类数据如果是0-255值域可直接存uint8，浮点数据精度允许的话从float64降到float32甚至float16，存储空间可直接按数据类型字节比例下降。

以下是不同场景的存储方案：

• HDF5（通用场景首选） #

  HDF5是专为大规模科学数据集设计的存储格式，支持内置压缩、键值对索引、随机读写，无需加载全量文件即可访问单条数据。

  • 推荐搭配gzip压缩（级别选3即可，兼顾压缩比与读写速度），或szip获得更快的读写速度。
  • 操作示例：

    import h5py
    import numpy as np
    
    # 写入数据
    with h5py.File("dataset.h5", "w") as f:
        for img_id, arr in your_data.items():
            f.create_dataset(str(img_id), data=arr, compression="gzip", compression_opts=3)
    
    # 读取单条数据
    with h5py.File("dataset.h5", "r") as f:
        target_arr = np.array(f["目标图像ID"])
    

  • 实测压缩比可达无压缩存储的2-5倍，比你当前使用的np.save/pickle方案节省30%-70%存储空间，随机读性能远高于批量解压npz文件。

• Zarr（适合并行读写、分块访问场景） #

  Zarr是为分块、并行IO优化的数组存储格式，压缩效率与HDF5相当，并行读写性能优于HDF5。

  • 推荐搭配blosc:lz4压缩算法，压缩速度极快，读写速度比gzip高2-3倍，压缩比与gzip3接近。
  • 操作示例：

    import zarr
    import numpy as np
    
    # 写入数据
    root = zarr.open("dataset.zarr", mode="w")
    for img_id, arr in your_data.items():
        root[str(img_id)] = arr
        root[str(img_id)].compressor = zarr.Blosc(cname="lz4", clevel=3)
    
    # 读取单条数据
    root = zarr.open("dataset.zarr", mode="r")
    target_arr = np.array(root["目标图像ID"])
    

• LMDB（适合高频随机读写场景） #

  如果你的使用场景需要高频随机访问单条数据，可选择LMDB内存映射型键值数据库，读写延迟低于HDF5和Zarr，存储时可搭配lz4压缩序列化后的数组字节，压缩效率与上述方案相当。

额外优化技巧 #

如果所有数组形状均为固定的(24, 366, 366)，可将所有数组合并为形状(44000, 24, 366, 366)的大数组，单独存储图像ID与数组索引的映射关系，整体压缩比会比单独存储单个数组高10%-20%。

内容的提问来源于stack exchange，提问作者Coddy