如何无需写入文件将内存中HDF字节数组转回pandas DataFrame？

你可以通过H5FD_CORE驱动的内存加载能力直接从字节数组恢复DataFrame，和你生成字节数组的逻辑保持一致，不需要写入磁盘文件。

方法一：直接使用Pandas HDFStore加载内存字节数组 #

这是最简洁的方案，沿用你原有的HDF核心驱动方式：

import pandas as pd

# bytes_to_write 是你之前生成的HDF字节数组
with pd.HDFStore(
    "placeholder-name",  # 内存模式下该名称无实际作用
    mode="r",
    driver="H5FD_CORE",
    driver_core_backing_store=0,
    driver_core_image=bytes_to_write  # 传入待恢复的字节数组
) as store:
    restored_df = store.get("data")  # 获取之前存储的"data"表

关键说明： #

• driver_core_image 参数是H5FD_CORE驱动的专属配置，用于传入内存中的HDF字节镜像
• 因为使用内存驱动，placeholder-name 只是占位符，不会创建或读取磁盘文件
• 存储时用 format="table"，读取时无需额外指定，HDFStore会自动识别格式

方法二：通过类文件对象间接加载 #

如果你偏好使用类文件对象的方式，也可以借助BytesIO和h5py实现：

import pandas as pd
import h5py
from io import BytesIO

# 将字节数组包装为类文件对象
byte_buffer = BytesIO(bytes_to_write)

# 用h5py打开缓冲区，再传入HDFStore读取
with h5py.File(byte_buffer, "r") as h5_file:
    with pd.HDFStore(h5_file) as store:
        restored_df = store.get("data")

注意事项： #

• 确保你的Pandas和h5py版本兼容（Python3.9下推荐使用pandas>=1.3.0，h5py>=3.0.0）
• 两种方法都能完整恢复原DataFrame的结构和数据，无需额外处理类型转换

内容的提问来源于stack exchange，提问作者Edy Bourne