Python生成亿级行文本文件的时间性能差异及优化咨询

这是个非常典型的性能问题，核心在于对I/O机制和语言特性的理解差异。咱们先拆解两种方案性能天差地别的原因，再聊聊进一步的优化思路。

性能差异的核心原因 #

1. 系统调用的巨大开销 #

每次调用file.write()都会触发一次系统调用——也就是从用户态（你的Python代码）切换到内核态（操作系统处理磁盘操作）。这种上下文切换本身就有不小的开销，1亿次切换累积起来，耗时自然爆炸。而批量写入只需要寥寥几次系统调用，直接把这部分开销降到了可以忽略的程度。

2. 字符串拼接的隐形消耗 #

Python里的字符串是不可变对象，如果你每次都用str(seq_num) + " " + str(num_val)这种方式拼接行内容，每一次拼接都会创建一个新的字符串对象。单看一行没什么，但1亿次重复操作，会产生大量临时对象，给内存管理和垃圾回收带来极大压力。而先把所有行存入列表，再用'\n'.join(lines)合并，Python会优化这个过程，一次性生成完整的大字符串，避免了无数次的对象创建和销毁。

3. 文件缓冲的低效利用 #

操作系统会用缓冲区来积累数据，攒到一定量再写入磁盘（减少物理I/O次数）。但逐行写入时，每次写入的数据量太小，缓冲区很快就会被填满并触发磁盘写入，导致物理I/O的次数暴增。而批量写入一次性把大段数据塞进缓冲区，大幅减少了实际磁盘操作的次数——要知道，磁盘I/O是整个流程里最慢的环节。

进一步的优化方向 #

• 内存与速度的平衡：分块写入
  如果1亿行数据全部存在列表里占用内存过高（比如每行内容很长），可以改成分块写入：每收集10万行就写入一次，然后清空列表。这样既避免了逐行写入的开销，又控制了内存占用，是个折中的好方案。示例代码：

  chunk_size = 100000
  lines = []
  with open('big_file.txt', 'w') as f:
      for seq in range(1, 100000001):
          line = f"{seq} {num_val}"
          lines.append(line)
          if len(lines) == chunk_size:
              f.write('\n'.join(lines) + '\n')
              lines = []
      # 写入最后剩下的部分
      if lines:
          f.write('\n'.join(lines) + '\n')
  

• 手动调整文件缓冲区大小
  打开文件时，可以显式设置更大的缓冲区，让操作系统更高效地积累数据：

  # 设置10MB缓冲区（默认缓冲区通常只有几KB）
  with open('big_file.txt', 'w', buffering=1024*1024*10) as f:
      # 批量写入逻辑
  

  缓冲区越大，触发磁盘写入的次数就越少，性能提升越明显（只要内存允许）。

• 优化字符串生成方式
  用f-string代替字符串拼接，Python对f-string的优化更好，生成每行内容的速度更快：

  # 推荐写法
  line = f"{seq_num} {num_val}"
  # 不推荐的老式拼接
  line = str(seq_num) + " " + str(num_val)
  

  如果想更进一步，可以用生成器表达式直接拼接成大字符串，避免存储整个列表（内存占用和列表法差不多，但代码更简洁）：

  content = '\n'.join(f"{i} {random.randint(1, 100)}" for i in range(1, 100000001))
  with open('big_file.txt', 'w') as f:
      f.write(content + '\n')
  

• 使用内存映射文件（mmap）
  对于超大规模文件，内存映射（mmap模块）可以把文件直接映射到内存中，让操作系统高效处理写入操作，比传统的文件写入更快：

  import mmap
  
  # 先预估文件总大小（假设每行平均10字节，1亿行就是10^9字节）
  total_size = 10**9
  
  with open('big_file.txt', 'wb') as f:
      # 预分配文件空间
      f.seek(total_size - 1)
      f.write(b'\0')
      f.seek(0)
      # 映射文件到内存
      with mmap.mmap(f.fileno(), length=0, access=mmap.ACCESS_WRITE) as mm:
          # 生成内容并写入内存映射区
          content = '\n'.join(f"{i} {random.randint(1,100)}" for i in range(1,100000001))
          mm.write(content.encode('utf-8'))
  

• 减少循环内的冗余操作
  如果num_val是有规律的（比如递增、随机范围固定），尽量把计算逻辑提到循环外，避免重复计算。比如预先生成所有num_val的列表，或者用生成器来批量生成，减少循环内的额外开销。

最后要提醒的是：性能和内存永远是权衡关系。批量写入速度最快但占用内存最多，分块写入则在两者之间找到平衡。根据你的机器内存和性能需求选择合适的方案就好。

内容的提问来源于stack exchange，提问作者doubleE