使用h5repack重打包HDF5文件时出错的技术求助

问题根源 #

你的数据集使用了自定义用户过滤器（Filter ID 401，注释为mxw-data），而h5repack默认不支持这类非标准的自定义过滤器。即便你指定了NONE过滤器，h5repack在解析前置的自定义过滤器时，会因无法识别其逻辑而失败，导致重打包中断。

从h5dump输出可明确看到关键线索：

FILTERS {
   USER_DEFINED_FILTER {
      FILTER_ID 401
      COMMENT mxw-data
   }
   COMPRESSION DEFLATE { LEVEL 0 }
}

解决方法 #

方法1：用h5py手动重写数据集（推荐，已验证h5py可访问数据） #

直接通过h5py读取原数据集，写入新文件时禁用所有过滤器，代码示例：

import h5py

# 打开原文件与目标文件
with h5py.File('230208_c10984.h5', 'r') as src_h5, \
     h5py.File('230208_c10984.uncompressed.h5', 'w') as dst_h5:

    # 复制目标数据集，禁用所有压缩/过滤器
    src_dset = src_h5['recordings/rec0000/well000/groups/routed/raw']
    dst_dset = dst_h5.create_dataset(
        'recordings/rec0000/well000/groups/routed/raw',
        data=src_dset,
        chunks=src_dset.chunks,  # 可选：保留原分块布局，也可自定义如(1,30000)
        compression=None,
        shuffle=False
    )

    # 可选：复制原文件其他组、数据集及元数据（如需完整复刻文件结构）
    def copy_attrs(src_obj, dst_obj):
        for key, val in src_obj.attrs.items():
            dst_obj.attrs[key] = val

    def copy_group(src_group, dst_group):
        for name, obj in src_group.items():
            if isinstance(obj, h5py.Group):
                new_group = dst_group.create_group(name)
                copy_attrs(obj, new_group)
                copy_group(obj, new_group)
            elif isinstance(obj, h5py.Dataset) and name != 'raw':
                new_dset = dst_group.create_dataset(name, data=obj)
                copy_attrs(obj, new_dset)

    copy_group(src_h5['recordings'], dst_h5['recordings'])

方法2：尝试h5repack过滤器强制替换（仅当系统安装对应插件时有效） #

如果你的系统已安装Filter ID 401对应的HDF5插件，可尝试强制删除自定义过滤器并替换为无压缩：

h5repack -v -f /recordings/rec0000/well000/groups/routed/raw:NONE --filter-delete=401 -i 230208_c10984.h5 -o 230208_c10984.uncompressed.h5

注意：若无对应插件，此方法大概率仍会失败，优先推荐方法1。

验证 #

执行方法1后，用h5dump -pH检查新文件，数据集应无自定义过滤器与DEFLATE压缩标记，且能正常访问数据。

内容的提问来源于stack exchange，提问作者David Parks