循环打开多个大.gz文件时如何避免MemoryError异常

嘿，这个问题我之前帮不少开发者踩过坑——循环处理大压缩文件时爆MemoryError，核心原因基本逃不开资源没及时释放或者一次性加载了整个文件。咱们一步步来拆解解决：

单个打开时，Python的垃圾回收（GC）可能还来得及释放资源，但循环处理时：

• 如果没正确关闭文件句柄，这些句柄会一直占用内存
• 要是你用read()一次性把整个解压后的文件塞进内存（注意！440MB的.gz解压后可能是几GB），循环几次内存直接被堆满

1. 用上下文管理器自动管好文件生命周期 #

这是最关键的一步！用with语句打开.gz文件，它会在代码块结束后自动关闭文件、释放资源，完全不用手动调用close()。而且一定要逐行读取，别一次性读整个文件：

import gzip
import os

# 替换成你的psc文件目录
file_dir = "/path/to/your/psc_files"

for filename in os.listdir(file_dir):
    if filename.endswith(".gz"):
        file_path = os.path.join(file_dir, filename)
        # with块结束后，文件会自动关闭
        with gzip.open(file_path, 'rt', encoding='utf-8') as f:
            # 逐行读取处理，内存只保留当前行的内容
            for line in f:
                # 替换成你的实际处理逻辑
                process_single_line(line)

2. 手动清理大变量（极端情况用） #

如果你的处理逻辑需要临时存储大对象（比如筛选后的多行数据），处理完单个文件后要立即删除这些变量，再手动触发GC：

import gc
import gzip
import os

file_dir = "/path/to/your/psc_files"

for filename in os.listdir(file_dir):
    if filename.endswith(".gz"):
        file_path = os.path.join(file_dir, filename)
        temp_data = None
        with gzip.open(file_path, 'rt', encoding='utf-8') as f:
            # 假设需要临时存储部分数据
            temp_data = [line for line in f if line.startswith("target_prefix")]
            process_temp_data(temp_data)
        
        # 处理完立即删除大变量，释放内存
        del temp_data
        # 手动触发垃圾回收（别频繁用，影响性能）
        gc.collect()

3. 控制并发数（如果用了多线程/多进程） #

要是你用多线程/多进程批量处理，千万别一下子开太多任务——同时打开10个440MB的.gz，解压后内存直接顶不住。可以用线程池限制同时处理的文件数：

from concurrent.futures import ThreadPoolExecutor
import gzip
import os

def process_single_file(file_path):
    with gzip.open(file_path, 'rt', encoding='utf-8') as f:
        for line in f:
            process_single_line(line)

file_dir = "/path/to/your/psc_files"
# 筛选出所有.gz文件
gz_files = [os.path.join(file_dir, f) for f in os.listdir(file_dir) if f.endswith(".gz")]

# 控制同时处理的文件数，比如设为CPU核心数的一半
with ThreadPoolExecutor(max_workers=4) as executor:
    executor.map(process_single_file, gz_files)

4. 检查你的处理函数有没有内存泄漏 #

有时候问题不在文件读取，而是你的处理逻辑偷偷在累积数据！比如把所有处理结果存到全局列表里：

# 坏例子：全局列表会无限膨胀！
global_results = []
def process_single_line(line):
    global_results.append(line.strip())

解决方法是：每个文件处理完后清空临时存储，或者把结果直接写到磁盘/数据库，别放在内存里。

你可以写个极简代码，验证是不是内存释放的问题：

import gzip
import os
import psutil  # 先安装：pip install psutil

def print_memory_usage():
    process = psutil.Process()
    print(f"当前内存使用: {process.memory_info().rss / 1024 / 1024:.2f} MB")

file_dir = "/path/to/your/psc_files"
print_memory_usage()  # 打印初始内存

for filename in os.listdir(file_dir):
    if filename.endswith(".gz"):
        file_path = os.path.join(file_dir, filename)
        print(f"正在处理: {filename}")
        with gzip.open(file_path, 'rt') as f:
            for line in f:
                pass  # 只读取不处理
        print_memory_usage()  # 看处理完后内存是否回落

如果处理完每个文件后内存基本回到初始水平，说明是你的处理逻辑有问题；如果内存一直涨，那就是文件没正确关闭或者有内存泄漏。

内容的提问来源于stack exchange，提问作者Swike