如何用Pandas读取HDF5文件？其HDF5支持存在哪些限制？

问题核心 #

你遇到的问题本质是：Pandas的HDF5工具（pd.read_hdf、HDFStore）并非通用HDF5阅读器，它仅支持读取由Pandas自身写入的HDF5文件（即存储DataFrame/Series的结构化HDF5格式）。而你使用的GWOSC HDF5文件是原始数值数组格式，不符合Pandas的存储规范，因此无法被直接识别。

解决方法 #

要读取这类非Pandas格式的HDF5文件，需先通过通用HDF5库（h5py/PyTables）读取原始数据，再转换为Pandas对象（Series/DataFrame）：

方法1：基于h5py转换

import h5py
import pandas as pd

# 读取HDF5文件中的原始数组
with h5py.File("你的文件路径", "r") as h5_file:
    strain_array = h5_file["strain/Strain"][...]

# 转换为Pandas Series（或DataFrame）
strain_series = pd.Series(strain_array)
# 若需要DataFrame格式：
strain_df = pd.DataFrame(strain_array, columns=["strain_value"])

方法2：基于PyTables转换

import tables
import pandas as pd

with tables.open_file("你的文件路径", mode="r") as h5_file:
    strain_array = h5_file.root.strain.Strain.read()

strain_df = pd.DataFrame(strain_array, columns=["strain_value"])

Pandas对HDF5的支持限制 #

1. 仅识别自身生成的HDF5结构：Pandas的HDF工具依赖PyTables，但仅读取带有Pandas元数据标记（如pandas_type属性）的数据集——这些标记是Pandas写入HDF5时自动添加的。
2. 不兼容原始数组/自定义HDF5结构：对于通用HDF5文件中的原始数值数组、自定义组结构，pd.read_hdf无法解析；HDFStore.keys()也只会返回符合Pandas规范的键（你的文件中无此类键，因此返回空）。
3. 仅针对表格型数据优化：Pandas的HDF设计目标是存储和读取表格型数据（DataFrame/Series），而非作为通用HDF5数据容器使用，因此不适合处理科学计算类的原始HDF5文件。

内容的提问来源于stack exchange，提问作者Julian Chen