求助：使用Python结合Regex输出无重复匹配行的实现方案

嘿，我来帮你搞定这个重复行的问题！其实实现无重复输出很简单，核心思路就是跟踪已经输出过的结果，避免重复打印。下面给你几种实用的方案，你可以根据自己的需求选：

方案1：用集合自动去重（最简洁） #

集合的特性就是元素唯一，不会存储重复值，非常适合用来过滤重复的匹配结果。如果不关心输出顺序的话，这是最优解：

import re

# 替换成你的正则模式
target_pattern = r'你的正则表达式'
# 用集合存储已匹配的结果
unique_matches = set()

with open('你的文件名.txt', 'r', encoding='utf-8') as file:
    for line in file:
        match_result = re.search(target_pattern, line)
        if match_result:
            # 提取匹配到的内容
            content = match_result.group()
            # 添加到集合（自动去重）
            unique_matches.add(content)

# 输出所有无重复的结果
for item in unique_matches:
    print(item)

方案2：保持输出顺序（Python 3.7+） #

如果需要保留结果第一次出现的顺序，集合就不太合适了（因为集合是无序的）。这时候可以用字典的键来存储结果（Python 3.7+的字典会保持插入顺序）：

import re

target_pattern = r'你的正则表达式'
# 用字典键存储唯一结果，值随便填就行
unique_matches = dict()

with open('你的文件名.txt', 'r', encoding='utf-8') as file:
    for line in file:
        match_result = re.search(target_pattern, line)
        if match_result:
            content = match_result.group()
            # 只有当内容不在字典里时才添加
            if content not in unique_matches:
                unique_matches[content] = None

# 按第一次出现的顺序输出
for item in unique_matches.keys():
    print(item)

方案3：用列表手动跟踪（兼容所有Python版本） #

如果你需要兼容旧版本Python，或者更直观地控制流程，可以用列表来记录已经输出过的内容：

import re

target_pattern = r'你的正则表达式'
unique_matches = []

with open('你的文件名.txt', 'r', encoding='utf-8') as file:
    for line in file:
        match_result = re.search(target_pattern, line)
        if match_result:
            content = match_result.group()
            # 检查是否已经在列表里，不在就添加并打印
            if content not in unique_matches:
                unique_matches.append(content)
                print(content)

小提示 #

• 如果你的需求是整行去重（而不是正则匹配的部分去重），可以直接把content换成line.strip()（去掉换行符）。
• 数据量很大的时候，集合和字典的去重效率比列表高很多（因为它们的成员查询是O(1)，列表是O(n)）。

内容的提问来源于stack exchange，提问作者user3476113