使用difflib对比含重复项文件的输出优化需求问询

问题分析 #

你当前的代码按行读取文件内容，但你的文件是逗号分隔的单行长文本，readlines()会把整个内容当成一行，导致unified_diff无法正确识别单个元素的差异，反而把共同的pear误判为两边都有变动的项。另外，默认的unified_diff是行级别的对比工具，不适合这种逗号分隔的元素列表场景。

解决方案 #

我们需要先将文件内容分割为单个元素的列表，再使用difflib.SequenceMatcher精准识别共同项、仅在File1存在的项、仅在File2存在的项，最后自定义输出格式：

• 共同项：无符号前缀
• 仅File1存在：- 前缀
• 仅File2存在：+ 前缀

代码实现 #

import difflib

def process_file(file_path):
    # 读取文件内容，分割为元素列表，去除空格和换行符
    with open(file_path, 'r') as f:
        content = f.read().strip()
        # 按逗号分割并清理每个元素的前后空格
        return [item.strip() for item in content.split(',')]

# 处理两个文件，得到元素列表
file1_items = process_file('/Users/.../file1.txt')
file2_items = process_file('/Users/.../file2.txt')

# 初始化SequenceMatcher，关闭自动忽略高频项，避免漏判
matcher = difflib.SequenceMatcher(None, file1_items, file2_items, autojunk=False)

with open('output.txt', 'w') as mfile:
    for tag, i1, i2, j1, j2 in matcher.get_opcodes():
        if tag == 'equal':
            # 共同项，直接输出
            for item in file1_items[i1:i2]:
                line = f"{item}"
                mfile.write(f"{line}\n")
                print(line)
        elif tag == 'delete':
            # 仅File1存在的项，带-前缀
            for item in file1_items[i1:i2]:
                line = f"- {item}"
                mfile.write(f"{line}\n")
                print(line)
        elif tag == 'insert':
            # 仅File2存在的项，带+前缀
            for item in file2_items[j1:j2]:
                line = f"+ {item}"
                mfile.write(f"{line}\n")
                print(line)
        elif tag == 'replace':
            # 替换项，分别输出删除和新增内容
            for item in file1_items[i1:i2]:
                line = f"- {item}"
                mfile.write(f"{line}\n")
                print(line)
            for item in file2_items[j1:j2]:
                line = f"+ {item}"
                mfile.write(f"{line}\n")
                print(line)

输出效果 #

针对你的测试文件：

• File1.txt: Orange, orange, apple, pear
• File2.txt: pear, Pear, Kiwi

输出结果会是：

- Orange
- orange
- apple
pear
+ Pear
+ Kiwi

可选优化：忽略大小写对比 #

如果需要忽略大小写识别共同项（比如把pear和Pear视为相同），可以修改process_file函数，用小写元素匹配、原内容输出：

def process_file(file_path):
    with open(file_path, 'r') as f:
        content = f.read().strip()
        items = [item.strip() for item in content.split(',')]
        # 返回原元素和小写元素的列表，分别用于输出和匹配
        return items, [item.lower() for item in items]

file1_items, file1_lower = process_file('/Users/.../file1.txt')
file2_items, file2_lower = process_file('/Users/.../file2.txt')

# 使用小写列表进行匹配
matcher = difflib.SequenceMatcher(None, file1_lower, file2_lower, autojunk=False)

# 后续输出时仍使用原元素列表（file1_items/file2_items）即可

内容的提问来源于stack exchange，提问作者Athon