求助：如何用Python高效删除9GB大文件中匹配邮箱的行

你的代码存在几个关键问题，导致效率低下且无法正确完成删除操作：

• 把master邮箱存在列表里，每次查找都是遍历整个列表，时间复杂度O(n)，换成集合可以把查找速度降到O(1)，这对42MB的邮箱列表来说性能提升巨大
• 嵌套循环遍历test_data的每一行和所有master邮箱，9GB的大文件这么跑会慢到离谱
• 直接对r+模式的文件调用remove根本行不通——文件是流式存储的，没法直接删除中间行，正确做法是读一行、判断一行，把要保留的内容写入新文件
• 手动用split(',')拆分CSV不可靠，如果其他字段包含逗号，会直接拆错列，应该用csv模块处理更稳妥

优化后的高效实现 #

import csv

# 第一步：把master邮箱读进集合（查找速度远快于列表）
master_emails = set()
with open('master_data.csv', 'r', newline='', encoding='utf-8') as master_file:
    reader = csv.DictReader(master_file)
    for row in reader:
        # 统一邮箱格式，避免因空格、大小写导致的匹配失误（可选，根据需求调整）
        email = row['EMAIL'].strip().lower()
        master_emails.add(email)

# 第二步：逐行处理大文件，将需要保留的行写入新文件
# 注意：不要直接修改原大文件，逐行读写的内存占用极低，不会出现内存溢出
with open('test_data.csv', 'r', newline='', encoding='utf-8') as infile, \
     open('test_data_filtered.csv', 'w', newline='', encoding='utf-8') as outfile:
    
    reader = csv.reader(infile)
    writer = csv.writer(outfile)
    
    # 先写入表头
    header = next(reader)
    writer.writerow(header)
    
    # 逐行处理数据行
    for row in reader:
        # 注意csv.reader的索引从0开始，第7列对应索引6
        current_email = row[6].strip().lower()
        if current_email not in master_emails:
            writer.writerow(row)

print("过滤完成，结果已保存到test_data_filtered.csv")

为什么这个方案高效？ #

• 集合查找：master邮箱存在集合中，每次匹配判断仅需O(1)时间，避免了原代码的嵌套循环，时间复杂度从O(M*N)降到O(M+N)（M是test_data行数，N是master_data行数）
• 逐行处理：9GB的文件不会一次性加载到内存，内存占用始终保持在低水平，不会出现内存溢出问题
• csv模块处理：自动处理CSV格式的特殊情况，避免手动拆分导致的列错误
• 写入新文件：直接修改原大文件风险高且效率低，写入新文件是处理大文件的标准安全做法

额外优化建议 #

• 如果需要监控处理进度，可以添加计数逻辑，比如每处理10万行打印一次当前行数
• 如果你的文件编码不是utf-8，替换成对应的编码格式（比如gbk）
• 若master_data.csv后续变得更大，可以分块读取并添加到集合中，但当前42MB的规模完全可以一次性加载

内容的提问来源于stack exchange，提问作者francis fernandes