如何在HDF5文件指定group内创建数据集并解决组重名报错

你触发报错的核心原因是hdf.create_group('particles/lipids/positions')逻辑写在了while循环内部，每处理一帧数据都会尝试重复创建同路径的组，第二次循环时组已经存在，就会抛出ValueError: Unable to create group (name already exists)错误。同时代码中还有冗余的particles_grp['ds'] = ds赋值操作，会重复覆盖同一个路径下的对象，属于无效逻辑。

1. 将所有组的创建逻辑移到while循环外，进入循环前就建好particles/lipids/positions层级组，同时单独创建存储脂质名称的数据集
2. 移除循环内的无效赋值操作，仅保留每帧数据集的创建逻辑
3. 脂质名称仅存储一次即可，不需要每帧重复存储，减少冗余占用

import struct
import numpy as np
import h5py

csv_file = 'com'

fmtstring = '7s 8s 5s 7s 7s 7s'
fieldstruct = struct.Struct(fmtstring)
parse = fieldstruct.unpack_from

# 定义gro文件数据类型
gro_dt = np.dtype([('col1', 'S7'), ('col2', 'S8'), ('col3', int), 
                   ('col4', float), ('col5', float), ('col6', float)])

with open(csv_file, 'r') as f, \
     h5py.File('xaa.h5', 'w') as hdf:
    # 提前创建所有需要的组和脂质名称存储数据集
    particles_grp = hdf.create_group('particles')
    lipids_grp = particles_grp.create_group('lipids')
    positions_grp = lipids_grp.create_group('positions')
    # 预留脂质名称数据集位置，等读取第一帧后写入
    lipids_ds = None
    
    step = 0
    while True:         
        header = f.readline()
        if not header:
            print("End Of File")
            break
        # 读取帧内数据行数
        no_rows = int(f.readline())
        arr = np.empty(shape=(no_rows,), dtype=gro_dt)
        for row in range(no_rows):
            fields = parse(f.readline().encode('utf-8'))
            arr[row]['col1'] = fields[0].strip()            
            arr[row]['col2'] = fields[1].strip()            
            arr[row]['col3'] = int(fields[2])
            arr[row]['col4'] = float(fields[3])
            arr[row]['col5'] = float(fields[4])
            arr[row]['col6'] = float(fields[5])
        
        if arr.shape[0] > 0:
            # 第一帧写入脂质名称
            if lipids_ds is None:
                lipids_ds = lipids_grp.create_dataset('lipid_names', data=arr['col2'], compression='gzip')
            # 创建当前时间步的数据集
            ds = positions_grp.create_dataset(f'dataset_{step:04}', data=arr, compression='gzip') 
            # 写入属性
            hdr_tokens = header.split()
            ds.attrs['raw_header'] = header
            ds.attrs['Time'] = hdr_tokens[6]
            
        footer = f.readline()
        step += 1

当前分帧存储的设计完全适配后续的计算需求：

• 每帧数据独立存储，后续计算时可以按需读取单帧/指定帧，不需要加载整个文件，内存占用更低
• 每个时间步数据集自带时间属性，做时间序列分析时可以直接匹配时间和对应数据，不需要额外做索引映射
• 脂质名称单独存储，不需要每帧重复保存，减少文件体积，后续需要匹配脂质和位置时直接读取lipid_names数据集和对应帧的位置字段即可
• 如果需要批量处理所有帧，直接遍历particles/lipids/positions下的所有数据集即可，不需要做额外的路径匹配

内容的提问来源于stack exchange，提问作者Mahesh