如何无需中间缓冲区合并多个HDF5文件中的数据集

目前HDF5没有提供直接跨文件传递dataset/dataspace对象的原生机制，但你完全不用全量读入所有数据再回写，用HDF5内置的hyperslab选择功能就可以实现几乎无上层缓冲的跨文件数据追加，实现非常简单。

Python h5py 实现方案 #

以下方案全程不会把全量数据集加载到内存，底层自动处理分块IO：

步骤1：创建目标可扩展分块数据集 #

先读取首个源文件的元信息创建目标数据集，不需要读取实际向量数据：

import h5py

# 替换为你的源文件列表
source_paths = ["file1.h5", "file2.h5", "file3.h5"]

# 读取首个源文件的元信息
with h5py.File(source_paths[0], "r") as src_f:
    src_dset = src_f["/dataset"]
    vec_dim = src_dset.shape[1]
    data_type = src_dset.dtype
    # 可根据实际场景调整分块大小，单块大小128KB~1MB性能最优
    chunk_size = (1000, vec_dim)

# 创建目标文件与可扩展分块数据集
with h5py.File("merged.h5", "w") as dst_f:
    dst_f.create_dataset(
        "/dataset",
        shape=(0, vec_dim),
        maxshape=(None, vec_dim),
        dtype=data_type,
        chunks=chunk_size
    )

步骤2：逐文件追加写入 #

遍历所有源文件，直接在源数据集和目标数据集之间做数据拷贝，无需手动维护内存缓冲区：

with h5py.File("merged.h5", "a") as dst_f:
    dst_dset = dst_f["/dataset"]
    current_offset = dst_dset.shape[0]
    
    for src_path in source_paths:
        with h5py.File(src_path, "r") as src_f:
            src_dset = src_f["/dataset"]
            src_row_cnt = src_dset.shape[0]
            # 扩展目标数据集容量
            dst_dset.resize(current_offset + src_row_cnt, axis=0)
            # 底层直接完成跨文件数据传输，不会全量加载到Python内存
            dst_dset[current_offset:current_offset+src_row_cnt, :] = src_dset
            current_offset += src_row_cnt

补充说明 #

• 如果使用C/C++的原生HDF5 API，可以通过H5Dcopy配合 hyperslab 选择实现同样的效果，性能更高
• 需要保证所有源文件的/dataset向量维度、数据类型完全一致，否则写入会报错
• 若单个源文件的数据集过大，可在内部再加一层分块读取循环，进一步降低内存占用

内容的提问来源于stack exchange，提问作者evolvedmicrobe