写入大型DataFrame到HDF5遇RuntimeWarning问题求助

嘿，先别着急换电脑！这个RuntimeWarning: Overflow encountered in long_scalars警告不一定完全是内存不足导致的，咱们可以试试下面几个实用的方法来规避：

1. 分批写入HDF5 #

一次性写入20万行数据确实会占用不少内存，咱们可以把数据拆分成小批次，逐批追加到HDF文件里，这样每次只需要处理一小部分数据，内存压力会小很多：

chunk_size = 10000  # 可以根据自己的内存情况调整批次大小
store = pd.HDFStore('df.h5', 'w')
# 循环拆分DataFrame并分批写入
for i in range(0, len(df), chunk_size):
    chunk = df.iloc[i:i+chunk_size]
    store.append('df', chunk, format='table')
store.close()

注意用append方法而不是put，它支持增量写入，非常适合大数据量的场景。

2. 优化数据类型，减少内存占用 #

你的DataFrame里的列类型还有优化空间，调整后能大幅降低内存使用：

• 整数列：如果integers列的数值范围没有大到需要int64，可以向下转换类型：

  df['integers'] = pd.to_numeric(df['integers'], downcast='integer')
  

• 字符串列：如果strings列的重复率比较高（比如是类别型数据），转成category类型能省很多内存：

  df['strings'] = df['strings'].astype('category')
  

优化完数据类型后再写入HDF5，内存压力会小很多，大概率能避免溢出警告。

3. 检查日期列的异常值 #

有时候日期列的异常值（比如超出datetime64[ns]的有效范围）也会触发这个警告，你可以先检查下日期的范围：

print(f"日期范围：{df['times'].min()} 到 {df['times'].max()}")

如果发现有异常的日期（比如远早于1970年或者极端久远的未来日期），先清理掉这些异常值再写入。

4. 启用HDF5压缩 #

写入时启用压缩不仅能减小HDF文件的大小，还能降低内存使用，比如用zlib压缩：

store = pd.HDFStore('df.h5', 'w')
store.put('df', df, format='table', complib='zlib', complevel=5)
store.close()

complevel可以选1-9，数值越高压缩率越高，但写入速度会慢一点，选5左右平衡速度和压缩率就好。

先试试上面这些方法，基本上能解决这个问题，不用急着升级硬件~

内容的提问来源于stack exchange，提问作者N08