如何对仅含数据集的大HDF5文件进行切片读取？

你的问题出在直接对HDF5文件对象（根组）做切片操作——h5py的File对象本质是根组，不是数据集，必须先通过键名拿到对应的数据集实例，才能用numpy式的切片读取数据。

正确的切片读取步骤 #

1. 先通过已获取的键拿到数据集对象
2. 对数据集对象执行切片操作，只加载你需要的部分到内存

示例代码：

f = h5py.File("./somefile.h5", "r", libver='latest')
keys_ = list(f.keys())
# 假设你的数据存在第一个键对应的数据集里（根据实际情况替换键名）
ds = f[keys_[0]]

# 读取前100万条完整数据（形状为(1000000, 256)）
slice_data = ds[:1000000, :]
# 或者读取第200万到300万条：ds[2000000:3000000, :]

分批次读取（更安全的内存友好方式） #

如果100万条数据还是占用过多内存，可以分小批次循环读取，比如每次读10万条：

batch_size = 100000
total_samples = ds.shape[0]  # 获取总样本数，应该是7000000左右

for start_idx in range(0, total_samples, batch_size):
    end_idx = min(start_idx + batch_size, total_samples)
    # 读取当前批次的数据
    batch_data = ds[start_idx:end_idx, :]
    # 这里写你的数据处理逻辑，比如分析、保存等
    print(f"批次 {start_idx//batch_size +1} 读取完成，数据形状：{batch_data.shape}")

关键注意事项 #

• 永远不要直接用ds[:]，这会把整个700万条数据全部加载到内存，直接触发内存不足。
• 可以用ds.shape查看数据集的维度，确认是否符合预期的(7000000, 256)。
• 如果文件里只有一个数据集，keys_[0]就是它的键名，直接调用即可。

内容的提问来源于stack exchange，提问作者AJW