h5py文件替换组时体积持续增长，相同数据写入如何保持体积稳定

根本原因 #

HDF5格式本身的特性决定了：删除文件内的key/数据集时，系统不会立即释放对应的磁盘空间，仅会将该区域标记为“可复用”。如果新写入的数据大小和旧空间不匹配，就会占用全新的磁盘区域，久而久之就会出现key数量不变但文件体积持续增长的问题。你之前通过h5py手动删除key的操作仅移除了索引记录，并没有清理未被使用的残留空间。

解决方案 #

以下三种方案可根据你的使用场景选择：

• 全量写入场景优先选择：直接覆盖整个文件
  如果每次写入都是全量的S1、S2、拼接总表三个key，不需要保留文件内其他旧数据，直接将首次写入的mode改为w覆盖整份文件即可从根源避免冗余空间：

# 第一个写入操作用w模式清空旧文件，后续追加用a模式
df1.to_hdf(filename, key="S1", mode="w", complevel=9)
df2.to_hdf(filename, key="S2", mode="a", complevel=9)
df_concatenated = pd.concat([df1, df2])
df_concatenated.to_hdf(filename, key="key", mode="a", complevel=9)

写入完成后文件体积就是当前所有数据的实际占用大小，不会产生冗余。

• 需要保留文件内其他数据场景：写入后回收空闲空间
  如果确实需要保留文件中除了本次写入key之外的其他数据，不能直接覆盖全文件，可以在写入完成后调用HDF5的重打包操作回收空闲空间：

import tables
import os

# 所有写入操作完成后执行空间回收
tables.repack_file(filename, f"{filename}.tmp")
os.replace(f"{filename}.tmp", filename)

repack_file会将文件内所有有效数据复制到新文件，直接丢弃未被使用的空洞区域，替换原文件后体积就会恢复到实际大小。

• 优化写入逻辑，避免手动删key
  pandas的to_hdf方法自带覆盖已有key的参数，无需手动通过h5py删除旧key，可减少空间残留概率：

# 写入时直接指定覆盖同名key
df1.to_hdf(filename, key="S1", mode="a", complevel=9, overwrite=True)
df2.to_hdf(filename, key="S2", mode="a", complevel=9, overwrite=True)
df_concatenated.to_hdf(filename, key="key", mode="a", complevel=9, overwrite=True)

内容的提问来源于stack exchange，提问作者LNI