如何将pandas DataFrame与numpy数组合并存入单个H5文件

嘿，这两个HDF5文件处理的问题我来帮你搞定，分两种场景给你详细的解决方案：

要合并这两个文件，核心思路是先分别读取两个文件里的内容，再将它们写入同一个新的H5文件。这里提供两种可靠的实现方式：

方式1：h5py + pandas 组合操作 #

这种方式分别用对应工具读取各自的内容，再写入目标文件：

import h5py
import pandas as pd

# 从array.h5读取numpy数组
with h5py.File('array.h5', 'r') as f:
    my_array = f['my_array'][()]  # [()] 用于一次性读取整个数组

# 从dataframe.h5读取DataFrame
df = pd.read_hdf('dataframe.h5')

# 先创建file.h5并写入数组
with h5py.File('file.h5', 'w') as f:
    f.create_dataset('my_array', data=my_array)

# 以追加模式将DataFrame写入同一个文件
df.to_hdf('file.h5', key='my_dataframe', mode='a')

方式2：用pandas的HDFStore统一处理 #

HDFStore是pandas专门用于HDF5操作的工具，能同时处理DataFrame和numpy数组，更简洁：

import h5py
import pandas as pd

# 读取数组和DataFrame
with h5py.File('array.h5', 'r') as f:
    my_array = f['my_array'][()]
df = pd.read_hdf('dataframe.h5')

# 统一写入file.h5
with pd.HDFStore('file.h5', 'w') as store:
    store['my_dataframe'] = df
    # 将numpy数组转为Series后存储，format='fixed'适合存储简单数组
    store.put('my_array', pd.Series(my_array), format='fixed')

如果不需要先分开保存，直接一步到位将两者写入同一个H5文件，同样有两种便捷方法：

方式1：用HDFStore一站式完成 #

这是最推荐的方式，代码简洁且统一：

import numpy as np
import pandas as pd

# 生成你的数组和DataFrame
array = np.array([0, 1])
data = {'col': [2, 3, 4]}
df = pd.DataFrame.from_dict(data)

# 打开HDFStore并写入内容
with pd.HDFStore('file.h5', 'w') as store:
    store['my_dataframe'] = df
    # 存储numpy数组，转成Series是最简单的方式
    store.put('my_array', pd.Series(array), format='fixed')

方式2：h5py创建文件后追加DataFrame #

如果你更习惯用h5py操作数组，也可以先写入数组，再用pandas追加DataFrame：

import h5py
import numpy as np
import pandas as pd

# 生成数据
array = np.array([0, 1])
data = {'col': [2, 3, 4]}
df = pd.DataFrame.from_dict(data)

# 先写入数组到file.h5
with h5py.File('file.h5', 'w') as f:
    f.create_dataset('my_array', data=array)

# 以追加模式写入DataFrame
df.to_hdf('file.h5', key='my_dataframe', mode='a')

小提示 #

• 如果你需要验证文件内容，可以用代码读取检查：

# 验证file.h5内容
with pd.HDFStore('file.h5', 'r') as store:
    print("存储的键值对：", list(store.keys()))
    print("DataFrame内容：\n", store['my_dataframe'])
    print("数组内容：", store['my_array'].values)

内容的提问来源于stack exchange，提问作者Llewlyn