Python savetxt保存数据数量异常及写入速度问题求助

复数保存数量不足的原因及解决 #

np.savetxt处理复数时，默认会将每个复数拆分为实部、虚部两个数值输出（比如默认格式%.18e %.18e），如果你的统计逻辑是按“单个数值计数”，实际写入量会是614400*2，但如果出现总数少于614400的情况，大概率是输出格式配置错误，导致部分复数未被正确解析或写入。

解决办法：

• 直接保存为复数格式：指定fmt='%+.6f%+.6fi'，让每个复数占一行，最终写入的条目数就是614400：

  import numpy as np
  complex_arr = np.random.randn(614400) + 1j * np.random.randn(614400)
  np.savetxt('complex_data.txt', complex_arr, fmt='%+.6f%+.6fi')
  

• 拆分实部虚部保存：将复数数组转为(614400, 2)的实数数组，确保每个复数的两个部分都被正确写入：

  np.savetxt('real_imag_data.txt', np.column_stack((complex_arr.real, complex_arr.imag)))
  

实数保存数量不稳定的原因及解决 #

这种情况基本和文件缓冲区未强制刷新有关。Python文件操作默认使用缓冲区，若程序意外终止、未显式关闭文件，缓冲区中暂存的数据可能无法写入磁盘，导致统计的数量不足。

解决办法：

• 用with语句管理文件：自动完成文件关闭，强制刷新缓冲区：

  real_arr = np.random.randn(614400)
  with open('real_data.txt', 'w') as f:
      np.savetxt(f, real_arr)
  

• 显式刷新缓冲区：调用savetxt时添加flush=True参数，强制写入磁盘：

  np.savetxt('real_data.txt', real_arr, flush=True)
  

替代write的高效批量写入方案 #

如果调整np.savetxt后仍有问题，又不想用速度慢的逐行write，可以尝试这些方案：

• 二进制批量写入：用np.tofile，速度远快于文本格式，适合大数据量场景：

  # 保存复数
  complex_arr.tofile('complex_data.bin')
  # 读取时
  loaded_arr = np.fromfile('complex_data.bin', dtype=np.complex128)
  

• 用pandas批量写入文本：pandas的to_csv内部做了批量优化，效率比手动write高很多：

  import pandas as pd
  df = pd.DataFrame({'real_part': complex_arr.real, 'imag_part': complex_arr.imag})
  df.to_csv('complex_csv_data.csv', index=False, header=False)
  

内容的提问来源于stack exchange，提问作者kaiyang