大文件高效差异查找：筛选File A中不含File B字符串的行

针对10万+行的大文件，直接用嵌套for循环逐行比对会产生O(n*m)的时间复杂度，效率极低。下面是几种O(n+m)复杂度的高效解决方案，核心思路是先将File B的内容存入哈希集合（实现O(1)快速查询），再遍历File A完成筛选。

一、命令行工具方案（推荐，速度最快） #

1. grep 命令 #

直接利用grep的反向匹配功能，从File B读取排除字符串列表：

# 保留表头的写法
head -n 1 FileA.csv && grep -v -F -f FileB.txt FileA.csv | tail -n +2

参数说明：

• -v：反向匹配（输出不匹配的行）
• -F：将模式视为固定字符串（避免正则转义，提升速度）
• -f：从指定文件读取匹配模式

2. awk 命令 #

用awk的哈希数组存储File B的邮箱，遍历File A时快速判断：
创建脚本文件filter.awk：

BEGIN { FS = "," }
# 处理第一个输入文件（FileB），存入数组
NR == FNR { emails[$1] = 1; next }
# 保留表头
FNR == 1 { print; next }
# 第三列邮箱不在排除列表则输出
!emails[$3] { print }

执行命令：

awk -f filter.awk FileB.txt FileA.csv

3. join + comm 组合（内存友好） #

适合内存有限的场景，通过排序后对比：

# 提取并排序FileA的邮箱列
cut -d',' -f3 FileA.csv | sort > A_emails_sorted.txt
# 排序FileB
sort FileB.txt > B_emails_sorted.txt
# 找出A中独有的邮箱
comm -23 A_emails_sorted.txt B_emails_sorted.txt > unique_emails.txt
# 从FileA中筛选对应行
grep -F -f unique_emails.txt FileA.csv

二、Python 高效处理方案 #

逐行读取文件，用集合存储排除列表，内存占用极低：

def filter_lines(file_a_path, file_b_path, output_path):
    # 加载FileB到集合，去除空行和换行符
    with open(file_b_path, 'r') as f_b:
        exclude_emails = {line.strip() for line in f_b if line.strip()}
    
    # 处理FileA，逐行写入结果
    with open(file_a_path, 'r') as f_a, open(output_path, 'w') as f_out:
        # 写入表头
        header = next(f_a)
        f_out.write(header)
        for line in f_a:
            cleaned_line = line.strip()
            if not cleaned_line:
                continue
            parts = cleaned_line.split(',')
            if len(parts) < 3:
                continue
            email = parts[2].strip()
            if email not in exclude_emails:
                f_out.write(line)

if __name__ == '__main__':
    filter_lines('FileA.csv', 'FileB.txt', 'result.csv')

性能优势说明 #

所有方案均采用哈希集合/数组存储排除项，将查询复杂度从O(m)降到O(1)，整体时间复杂度为O(n+m)，相比嵌套for循环的O(n*m)，处理10万行文件的速度会提升几个数量级。

内容的提问来源于stack exchange，提问作者News Entertainment