Python中如何避免或消除字典中的重复/反向键值对？

嘿，这个问题我太熟悉了！你遇到的重复本质上是没给配对设定一个统一的“标准形式”——A-B和B-A在逻辑上是同一组，但你的脚本把它们当成了不同的键，导致重复；而D:C只出现一次纯粹是巧合（比如你的数据里没有它的反向C:D，或者处理顺序刚好没触发重复）。下面给你两个实用的解决思路：

方法1：提前标准化配对键（最推荐） #

在把配对存入字典之前，先给每一组配对设定一个固定的排序规则，比如按字符串字典序、长度排序，这样不管输入是A-B还是B-A，都会生成同一个标准化的键，自然只会保留一个条目。

举个Python的实现例子（假设你用csv模块读取文件）：

import csv

processed_pairs = {}

with open("your_data.csv", "r") as csv_file:
    reader = csv.reader(csv_file)
    # 跳过表头（如果你的CSV有表头的话）
    next(reader)
    
    for col_a, col_b in reader:
        # 按字典序排序，生成唯一的标准化键
        # 可以改成tuple(sorted((col_a, col_b)))，或者用字符串拼接
        standard_key = f"{min(col_a, col_b)}:{max(col_a, col_b)}"
        # 存入字典，后面的重复项会自动覆盖前面的（或者按需保留第一个）
        processed_pairs[standard_key] = (col_a, col_b)  # 替换成你要存储的值

# 输出去重后的结果
for key, value in processed_pairs.items():
    print(f"配对: {key} → 原始数据: {value}")

这里用min()和max()确保不管输入顺序如何，键都是“小值:大值”的形式，彻底避免反向重复。

方法2：事后清理已有的重复字典 #

如果你的字典已经生成，想要事后去除反向重复项，可以遍历字典，用一个集合记录已经处理过的标准化配对，跳过重复的反向项：

# 假设你已经有一个包含反向重复的原始字典：original_dict
cleaned_dict = {}
seen_pairs = set()

for raw_key, value in original_dict.items():
    # 拆分原始键（假设键是"X:Y"格式，或者元组(X,Y)）
    if isinstance(raw_key, str):
        a, b = raw_key.split(":")
    else:
        a, b = raw_key
    
    # 生成标准化配对作为唯一标识
    normalized_pair = tuple(sorted((a, b)))
    if normalized_pair not in seen_pairs:
        seen_pairs.add(normalized_pair)
        cleaned_dict[normalized_pair] = value

# 现在cleaned_dict就是去重后的结果

两种方法里，方法1更高效，因为它在数据录入阶段就避免了重复，不需要事后遍历清理。

内容的提问来源于stack exchange，提问作者primemg