向HDF5数据集添加数据失败：数据集仍为空如何修复？

原代码存在的核心问题 #

• dtype定义不匹配：namesList包含3个字段，但formats用了['S32'] * 4，字段数量不一致；同时x1和z1是整数类型，用字符串格式存储会导致类型不兼容，引发数据存储异常。
• 数据集类型与结构不兼容：初始创建的images是二维普通数组（从空列表test生成），但要写入的rec_arr是一维结构化数组，两者结构和类型完全不匹配，无法完成赋值。
• shape设置错误：创建数据集时maxshape=(None,3)定义的是二维结构，而结构化数组是一维的，resize和赋值逻辑完全不匹配。

修正后的代码 #

import numpy as np
import h5py

x1 = [0, 1, 2, 3, 4]
y1 = ['a', 'b', 'c', 'd', 'e']
z1 = [5, 6, 7, 8, 9]
namesList = ['ID', 'Name', 'Path']
# 修正dtype：字段数量匹配，类型对应各列表的数据类型
ds_dt = np.dtype({'names': namesList, 'formats': ['i4', 'S32', 'i4']})

rec_arr = np.rec.fromarrays([x1, y1, z1], dtype=ds_dt)

hdf5_file = h5py.File("test.h5", "w")
structure = hdf5_file.create_group('structure')
# 创建一维结构化数据集，初始长度为0，支持动态扩容
structure.create_dataset(
    'images', 
    shape=(0,), 
    dtype=ds_dt, 
    compression='gzip', 
    maxshape=(None,)
)
# 扩容数据集并写入数据
new_len = structure['images'].shape[0] + rec_arr.shape[0]
structure['images'].resize(new_len, axis=0)
structure['images'][-rec_arr.shape[0]:] = rec_arr

# 务必关闭文件，确保数据写入磁盘
hdf5_file.close()

关键修复点说明 #

1. 修正dtype定义：根据每个列表的数据类型，分别指定i4（整数）和S32（字符串），同时保证字段数量与namesList一致。
2. 创建匹配的数据集：直接指定数据集的dtype为结构化类型，初始shape=(0,)表示一维空数据集，maxshape=(None,)允许在一维方向动态扩容。
3. 正确的扩容与赋值逻辑：基于一维结构进行resize，直接将结构化数组写入扩容后的位置，类型和结构完全匹配。
4. 关闭文件：显式调用close()确保所有写入操作刷新到磁盘，避免数据丢失。

内容的提问来源于stack exchange，提问作者ShadowSeeker