Python解析5GB以上大型文本文件的内存优化与内存检测方法

处理远超内存容量的大文本文件，核心原则是全程避免一次性将全量文件内容加载到内存，采用惰性加载的方式逐段读取处理，内存占用可以稳定在几十MB级别，和文件总大小无关。

两种原有写法的问题对比 #

• 第一种readlines()写法：完全不适用于大文件场景。readlines()会一次性把文件所有行读入内存生成Python列表，5GB的文件算上Python字符串对象的额外开销，实际内存占用会达到10GB以上，直接触发内存溢出导致程序崩溃。
• 第二种直接迭代open对象的写法：核心逻辑是正确的——Python的文件对象本身是内置优化过的惰性迭代器，默认带IO缓冲区，每次迭代只会把当前需要处理的行加载到内存，不会全量读入。但写法存在两个缺陷：一是没有用with上下文管理器，文件句柄无法被自动回收，容易出现资源泄漏；二是没有显式指定文件编码，跨系统运行时容易出现乱码。

推荐实现写法 #

常规场景（单行长度正常，比如普通日志、csv文件） #

直接用上下文管理器包裹文件对象迭代即可，是Python官方推荐的最高效、最稳妥的大文件处理写法，底层做了缓冲区优化，性能和内存表现都最优：

with open("largefile.txt", "r", encoding="utf-8") as f:
    for line in f:
        # 写入单行处理逻辑
        # 注意处理完的临时结果如果不需要长期持有，不要放在全局列表/字典里持有引用，否则还是会持续占用内存
        process(line)

特殊场景（存在超长单行，比如单行大小超过100MB） #

如果文件存在极长的单行（比如单行几个GB的无换行文本、格式错误的JSON文件），逐行迭代还是会因为单条内容过大占满内存，此时可以固定块大小读取，手动拆分内容：

BLOCK_SIZE = 1024 * 1024  # 每次读取1MB块，可根据机器内存调整到4MB/8MB
with open("largefile.txt", "r", encoding="utf-8") as f:
    buffer = ""
    while True:
        block = f.read(BLOCK_SIZE)
        if not block:
            # 处理最后剩余的缓冲区内容
            if buffer:
                process(buffer)
            break
        buffer += block
        # 拆分缓冲区中完整的行
        while "\n" in buffer:
            line, buffer = buffer.split("\n", 1)
            process(line)

• 逐行内存占用检测：用memory_profiler第三方库，可以精确统计每一行代码执行后的内存变化和增量。
  安装命令：pip install memory-profiler
  使用时给需要检测的函数加上@profile装饰器即可：

  from memory_profiler import profile
  
  @profile
  def process_file():
      with open("largefile.txt", "r", encoding="utf-8") as f:
          for line in f:
              process(line)
  

  运行脚本时加参数执行：python -m memory_profiler your_script.py，就能看到逐行的内存占用数据。
• 无依赖内存峰值统计：用Python标准库自带的tracemalloc模块，不需要安装第三方包，可以统计代码块运行过程中的内存峰值：

  import tracemalloc
  
  tracemalloc.start()
  # 执行大文件处理逻辑
  process_file()
  current_mem, peak_mem = tracemalloc.get_traced_memory()
  tracemalloc.stop()
  print(f"当前内存占用: {current_mem / 1024 / 1024:.2f} MB")
  print(f"运行内存峰值: {peak_mem / 1024 / 1024:.2f} MB")
  

• 系统级实时观测：
  • Windows直接打开任务管理器，找到对应Python进程查看内存占用即可
  • Linux/macOS可以用htop工具，或者执行ps aux | grep python找到对应进程查看常驻内存大小

内容的提问来源于stack exchange，提问作者yk_learner