读取HDF文件：通过Pandas处理层级结构遇问题求助

报错原因 #

pd.read_hdf() 仅支持读取由 Pandas 自身写入的 HDF5 文件（即通过 DataFrame.to_hdf() 保存的格式）。你的 HDF5 文件采用通用的组-数据集结构，并非 Pandas 专属格式，因此直接调用 pd.read_hdf() 会触发 TypeError。

h5py 读取方案 #

使用 h5py 可以直接读取这种结构的 HDF5 文件，以下是完整实现代码：

import h5py
import numpy as np

# 打开HDF5文件（只读模式）
with h5py.File('2D_rdb_NA_NA.h5', 'r') as h5_file:
    # 遍历所有父组（如'0000'、'0001'等）
    for group_name in h5_file.keys():
        current_group = h5_file[group_name]
        
        # 读取data数据集，转换为numpy数组
        data_array = np.array(current_group['data'])
        # 读取grid数据集，转换为numpy数组
        grid_array = np.array(current_group['grid'])
        
        # 可添加数据验证逻辑，比如打印形状确认
        print(f"组 {group_name} 的data形状: {data_array.shape}")
        print(f"组 {group_name} 的grid形状: {grid_array.shape}")
        
        # 后续可根据需求对数组进行切片、计算等操作

说明 #

• with 语句会自动处理文件的打开与关闭，避免资源泄漏
• 读取后的数据集会转为 numpy 数组，方便进行数值计算或后续格式转换

（可选）转换为 Pandas 结构 #

如果需要将数据转换为 Pandas DataFrame，需根据数据的业务逻辑调整数组形状。以 data（形状 (101, 128, 128, 1)）为例，可将前三个维度设为多层索引，最后一个维度转为列：

import pandas as pd

# 读取到的data数组
squeezed_data = np.squeeze(data_array, axis=-1)  # 去除最后一个长度为1的维度
# 构建多层索引
idx = pd.MultiIndex.from_product([
    range(squeezed_data.shape[0]),
    range(squeezed_data.shape[1]),
    range(squeezed_data.shape[2])
], names=['dim1', 'dim2', 'dim3'])
# 转换为DataFrame
df = pd.Series(squeezed_data.flatten(), index=idx).unstack(level=-1)

注意：转换逻辑需匹配数据的实际含义，确保索引与列的设计符合业务需求。

内容的提问来源于stack exchange，提问作者user572780