如何用h5py在HDF5文件中高效存储与检索仿真参数？

你提到的用实数值参数创建子组的方案并不合理——实数值存在精度歧义（比如0.1在浮点存储中可能是0.100000001），会导致分组混乱；同时大量子组会让HDF5文件结构极度臃肿，拖慢文件打开和数据检索的速度。

推荐以下几种更高效的方案：

1. 给数据集附加参数属性（最直接的方案） #

HDF5的核心特性之一就是支持给数据集/组添加属性（Attributes），这是存储元数据的标准方式。你可以把每组仿真的参数直接存在对应时序数据的数据集属性中，读取数据时直接调用属性就能获取参数，无需额外解析或跳转。

示例代码：

import h5py
import numpy as np

# 创建HDF5文件
with h5py.File('simulations.h5', 'w') as f:
    # 模拟一组仿真数据和参数
    sim_data = np.random.rand(1000)  # 时序数据
    params = {'param1': 0.5, 'param2': 10, 'param3': 'case_A'}
    
    # 创建数据集并写入数据
    dset = f.create_dataset('sim_001', data=sim_data)
    # 将参数写入数据集属性
    for key, val in params.items():
        dset.attrs[key] = val

# 读取数据时获取参数
with h5py.File('simulations.h5', 'r') as f:
    dset = f['sim_001']
    print("仿真参数：", dict(dset.attrs))
    print("时序数据：", dset[:])

2. 建立参数索引数据集（适合批量检索） #

如果需要批量筛选符合特定参数条件的仿真数据，可以单独创建一个索引数据集，存储所有仿真的参数列表和对应的数据集路径。通过查询这个索引，能快速定位到目标数据。

示例代码：

import h5py
import numpy as np

with h5py.File('simulations.h5', 'w') as f:
    # 创建索引数据集：存储参数和对应数据集名称
    # 假设参数有param1（浮点）、param2（整数）
    index_data = []
    sim_count = 10
    
    for i in range(sim_count):
        # 生成模拟数据和参数
        sim_data = np.random.rand(1000)
        param1 = 0.1 * i
        param2 = 5 + i
        
        # 创建数据集
        dset_name = f'sim_{i:03d}'
        f.create_dataset(dset_name, data=sim_data)
        # 记录索引项
        index_data.append([param1, param2, dset_name])
    
    # 将索引写入文件
    index_dset = f.create_dataset('sim_index', data=np.array(index_data, dtype=object))
    # 给索引数据集添加属性，说明各列含义
    index_dset.attrs['columns'] = ['param1', 'param2', 'dataset_path']

# 批量检索param1 > 0.5的仿真数据
with h5py.File('simulations.h5', 'r') as f:
    index_data = f['sim_index'][:]
    # 筛选条件
    mask = index_data[:, 0] > 0.5
    target_dsets = index_data[mask, 2]
    
    for dset_name in target_dsets:
        dset = f[dset_name]
        print(f"数据集：{dset_name}，param1={dset.attrs['param1']}")

3. 混合分组+属性（适合存在离散参数的场景） #

如果你的参数中存在离散值（比如仿真类型、模型版本这类非连续参数），可以先按离散参数创建顶层组，组内的数据集存储连续参数作为属性，同时存储时序数据。这种方式既能简化结构，又能快速定位到某一类仿真数据。

示例结构：

simulations.h5
├── case_A
│   ├── sim_001 (attrs: param1=0.5, param2=10)
│   └── sim_002 (attrs: param1=0.6, param2=12)
└── case_B
    ├── sim_003 (attrs: param1=0.4, param2=8)
    └── sim_004 (attrs: param1=0.7, param2=15)

以上三种方案都是HDF5存储元数据的最佳实践，其中属性方案最适合大多数场景，简单直接且符合HDF5的设计规范；索引方案适合需要批量查询的场景；混合分组方案适合参数有明显分类的情况。

内容的提问来源于stack exchange，提问作者Castro Pablo