Python百万级文本黑名单匹配去重性能优化技术求助

嘿，我一眼就看到你当前代码里几个拖慢速度的大坑，而且还没实现对比blacklist移除匹配行的核心需求！先给你拆解问题，再上优化后的代码：

原代码的核心问题 #

• 黑名单完全没用到：你的需求是移除和blacklist匹配的行，但当前代码根本没读取blacklist文件，这得先补上！
• 列表去重效率极低：用line not in new_lines判断是否重复，列表的in操作是O(n)复杂度，百万级数据下每次判断都要遍历整个列表，速度直接崩掉。
• 一次性加载全量数据：readlines()会把所有行塞进内存，百万行的话内存占用会非常高，还容易出现内存溢出。
• 频繁打印拖慢速度：循环里的print操作是IO密集型的，百万次打印会严重拖慢处理速度，调试完就应该删掉。
• 字符串拼接内存浪费：最后用"\n".join(new_lines)拼接百万行字符串，会生成一个超级大的字符串，内存压力拉满。

优化后的代码 #

import os

def clean_large_file(input_path, blacklist_path, output_path):
    # 1. 加载黑名单到集合，实现O(1)的快速查找
    with open(blacklist_path, "r") as bl_fp:
        # 统一转小写+去空白，和主文件处理逻辑保持一致
        blacklist = {line.strip().lower() for line in bl_fp if line.strip()}
    
    # 2. 用集合去重，同时过滤黑名单，逐行处理减少内存占用
    seen_lines = set()
    with open(input_path, "r") as in_fp, open(output_path, "w") as out_fp:
        for line_num, line in enumerate(in_fp, 1):
            cleaned_line = line.strip().lower()
            # 跳过空行、黑名单行、已存在的行
            if not cleaned_line:
                continue
            if cleaned_line not in blacklist and cleaned_line not in seen_lines:
                seen_lines.add(cleaned_line)
                # 逐行写入，避免大字符串拼接带来的内存压力
                out_fp.write(cleaned_line + "\n")
            
            # 可选：每10万行打印一次进度，既了解状态又不拖慢速度
            if line_num % 100000 == 0:
                print(f"已处理 {line_num} 行")

# 执行清理函数
input_file = "all.txt"
blacklist_file = "blacklist.txt"
output_file = "all_cleaned.txt"

clean_large_file(input_file, blacklist_file, output_file)
print("处理完成！")

关键优化点解释 #

• 黑名单用集合存储：集合的成员查询是O(1)，比列表快几个数量级，百万级数据下差距特别明显。
• 逐行处理文件：不再一次性加载全量数据，内存占用只和当前行、黑名单集合、去重集合有关，内存压力大减。
• 去重用集合替代列表：seen_lines集合存储已经处理过的行，判断重复的速度从O(n)降到O(1)。
• 精简打印操作：只保留每10万行的进度提示，既了解处理状态，又不会拖慢速度。
• 逐行写入输出文件：避免拼接超大字符串，减少内存占用，同时写入效率更高。

如果你的blacklist也特别大（比如几十万行），这个方案依然能轻松应对，因为集合的内存占用比列表低很多，而且查找速度不受数据量影响。

内容的提问来源于stack exchange，提问作者danieildefos