如何使用Python h5py合并HDF5文件每组内的50个4D numpy数据集

核心逻辑：由于文件总大小达18.4G，直接全量加载进内存会触发内存溢出，因此采用逐数据集读取+分块写入的方式实现，全程内存占用仅和单个数据集/数据块的大小挂钩，不会出现内存不足的问题。

步骤1：先确认数据集基础属性 #

先运行以下代码确认所有待合并数据集的形状、数据类型一致，同时明确要合并的轴（4D数组默认通常沿第0轴合并，可根据你的需求调整）：

import h5py

# 替换为你的HDF5文件路径
file_path = "your_file.h5"

with h5py.File(file_path, "r") as f:
    # 遍历所有group
    for group_name in f.keys():
        group = f[group_name]
        # 取第一个dataset看属性
        sample_ds = group[list(group.keys())[0]]
        print(f"Group名：{group_name}")
        print(f"单dataset形状：{sample_ds.shape}，数据类型：{sample_ds.dtype}")
        print(f"该group下dataset总数：{len(group.keys())}\n")

步骤2：执行合并操作 #

强烈建议先写入新文件，不要直接修改原文件，避免操作失误损坏原始数据：

src_path = "your_source_file.h5" # 原文件路径
dst_path = "merged_result.h5"    # 合并后新文件路径

with h5py.File(src_path, "r") as src_f, h5py.File(dst_path, "w") as dst_f:
    # 遍历每个原始group
    for group_name in src_f.keys():
        src_group = src_f[group_name]
        # 对dataset排序，保证合并顺序符合预期，不需要排序可以去掉sorted
        ds_keys = sorted(src_group.keys())
        # 读取基础属性
        sample_ds = src_group[ds_keys[0]]
        single_shape = sample_ds.shape
        ds_dtype = sample_ds.dtype
        # 计算合并后的形状，这里默认沿第0轴合并，要换轴修改对应位置即可
        merged_shape = (len(ds_keys)*single_shape[0], *single_shape[1:])
        # 新文件创建同名group
        dst_group = dst_f.create_group(group_name)
        # 创建合并后的dataset，chunks=True开启自动分块提升读写性能，需要节省空间可以加compression="gzip"参数
        merged_ds = dst_group.create_dataset(
            name="merged_data", # 合并后的dataset名称，可自定义
            shape=merged_shape,
            dtype=ds_dtype,
            chunks=True
            # compression="gzip", # 需要压缩时打开，压缩级别默认4，追求速度可以设compression_opts=1
        )
        # 逐dataset写入
        current_offset = 0
        for key in ds_keys:
            ds = src_group[key]
            # 直接读取写入，h5py自动处理分块，不需要全量加载
            merged_ds[current_offset:current_offset+ds.shape[0]] = ds[:]
            current_offset += ds.shape[0]
            # 可选打印进度
            print(f"Group [{group_name}] 已处理：{key}，进度：{current_offset//single_shape[0]}/{len(ds_keys)}")

注意事项 #

• 如果需要沿其他轴合并，修改merged_shape的计算规则，以及写入时的切片位置即可，比如沿第1轴合并时，切片改为[:, current_offset:current_offset+ds.shape[1]]
• 如果单个dataset本身也很大，可以再拆分更小的块读取写入，进一步降低内存占用
• 合并完成后建议打开新文件校验合并后的形状、随机抽检数值和原文件一致，确认操作正确
• 确认合并无误后再删除原文件即可，不要提前操作原始数据

内容的提问来源于stack exchange，提问作者Filibuster