如何使用HDF5追加多次模拟运行数据解决dataset已存在错误
问题核心原因
你遇到的报错是因为每次运行模拟时都尝试在H5文件中创建名为data的同名数据集,HDF5不允许同一路径下存在同名数据集。
最优解决方案(适配后续平均值计算需求)
你最终需要按episode维度求100次模拟的均值,因此直接创建二维可扩展数据集是最高效的方案,存储格式为[模拟次数, 单轮episode总数],后续直接沿第0维求均值即可得到结果,无需额外拼接数据。
调整后的完整代码如下:
import h5py import numpy as np # 定义模拟环境函数(补全原代码缺失的括号) def test_simulation(): environment = Environment( periods = 1000000, parameter_x = ..., parameter_y = ... ) # 运行模拟 environment.simulation() # 返回本次模拟的结果数组 return np.array(environment.value_history) if __name__ == '__main__': # 提前打开H5文件,避免循环内频繁开关IO with h5py.File('runs/simulation_runs.h5', 'a') as hf: # 首次运行不存在数据集则初始化,形状为(0, 1000000),第一维设为None表示可扩展 if 'data' not in hf: hf.create_dataset('data', shape=(0, 1000000), maxshape=(None, 1000000), compression='gzip', chunks=True) # 运行100次模拟 for i in range(100): print(f'--- Iteration {i} ---') run_data = test_simulation() # 扩展数据集长度,新增1行存储本次结果 hf['data'].resize((hf['data'].shape[0] + 1), axis=0) # 写入本次模拟数据 hf['data'][-1] = run_data # 后续计算每episode平均值的示例代码 # with h5py.File('runs/simulation_runs.h5', 'r') as hf: # all_data = hf['data'][:] # episode_mean = all_data.mean(axis=0)
轻量备选方案(无需调整现有存储结构逻辑)
如果你不需要提前对齐维度,也可以直接给每次的数据集加上迭代序号避免重名,仅修改保存部分代码即可:
# 在test_simulation中传入当前迭代序号i def test_simulation(run_idx): # ... 原有模拟逻辑保持不变 hf = h5py.File('runs/simulation_runs.h5', 'a') # 给数据集名称加上当前迭代序号,避免重名 hf.create_dataset(f'data_{run_idx}', data=environment.value_history, compression='gzip', chunks=True) hf.close() # 循环运行时传入序号 for i in range(100): print(f'--- Iteration {i} ---') test_simulation(i)
该方案后续计算均值时需要遍历读取100个
data_*的数据集再拼接计算,效率略低于二维数据集方案。
内容的提问来源于stack exchange,提问作者jey-ronimo
相关产品推荐
相关产品推荐

