使用difflib对比超200行文件返回错误结果的技术求助

我用Python的difflib库对比两个文本文件时，遇到了特定场景下返回结果错误的问题。测试发现，仅当文件行数超过200行时才会出现该问题，且并非所有超200行的情况都会触发。我的代码逻辑是仅提取file2中新增的行（以+ 开头的行），但实际返回结果与预期不符：

实际返回内容 #

different

EL BOSQUE ENCANTADO,El Bosque Encantado,"PRECIO
12,00�"

预期返回内容 #

different

CIBELES DE CINE,Galer�a de Cristal de CentroCentro,"PRECIO
7,00�"

若删除文件末尾的换行符，使文件行数保持在200行时，对比结果恢复正常。

当前使用的代码如下：

# BOOKSTORES
import difflib
import sys

# WE LOOK FOR THE DIFFERENCES AND PRINT THEM.
with open('file1.txt', encoding='utf8') as file_1, open('file2.txt', encoding='utf8') as file_2:
    diff = difflib.Differ()
    result = diff.compare(file_1.readlines(), file_2.readlines())
    result = [line for line in result if line.startswith(("+ "))]

    print(''.join(result))

sys.exit(1)

问题原因 #

difflib.Differ底层依赖的序列匹配算法在处理大行数文本时，可能会因为局部最优匹配逻辑出现误判。尤其是当文本结构高度相似（比如CSV格式的重复条目）时，超过200行后算法的匹配容错机制会出现偏差，错误地将原本不同的行判定为匹配，反而把其他行标记为新增。

可行解决方案 #

方案1：改用difflib.unified_diff #

unified_diff生成的差异结果更稳定，适合批量文本对比场景，可通过参数控制仅显示差异行：

import difflib
import sys

with open('file1.txt', encoding='utf8') as file_1, open('file2.txt', encoding='utf8') as file_2:
    lines1 = file_1.readlines()
    lines2 = file_2.readlines()
    # 生成unified格式差异，过滤掉头部标识行，仅保留新增内容
    diff = difflib.unified_diff(lines1, lines2, n=0)
    result = [line[1:] for line in diff if line.startswith('+ ') and not line.startswith('+++')]
    
    print(''.join(result))

sys.exit(1)

方案2：逐行哈希对比（精准匹配） #

如果需要绝对精准的新增行检测，可通过计算每行的哈希值，直接筛选file2中不在file1里的行：

import sys
import hashlib

def get_line_hashes(file_path):
    line_hashes = set()
    with open(file_path, encoding='utf8') as f:
        for line in f:
            # 若需忽略换行符差异，可添加 line = line.rstrip('\n')
            hash_val = hashlib.md5(line.encode('utf8')).hexdigest()
            line_hashes.add(hash_val)
    return line_hashes

file1_hashes = get_line_hashes('file1.txt')

with open('file2.txt', encoding='utf8') as file_2:
    result = []
    for line in file_2:
        hash_val = hashlib.md5(line.encode('utf8')).hexdigest()
        if hash_val not in file1_hashes:
            result.append(line)
    
    print(''.join(result))

sys.exit(1)

方案3：调整Differ的匹配参数 #

difflib.SequenceMatcher默认开启autojunk参数，会忽略高频重复的空白或字符，可能导致匹配偏差。手动关闭该参数可提升匹配精度：

import difflib
import sys

with open('file1.txt', encoding='utf8') as file_1, open('file2.txt', encoding='utf8') as file_2:
    lines1 = file_1.readlines()
    lines2 = file_2.readlines()
    # 关闭autojunk以禁用自动忽略高频字符的逻辑
    matcher = difflib.SequenceMatcher(autojunk=False, a=lines1, b=lines2)
    diff = difflib.Differ(matcher=matcher)
    result = [line for line in diff.compare(lines1, lines2) if line.startswith("+ ")]
    
    print(''.join(result))

sys.exit(1)

内容的提问来源于stack exchange，提问作者David