如何在Python中去除含嵌套字典的复杂JSON文件重复数据？

嘿，我来帮你解决这个嵌套JSON去重的问题！首先得明确咱们要处理的两种常见重复场景：一种是objectivelist里的整个字典对象完全重复，另一种是只根据特定字段（比如measureid+gradeID）来去重，不管其他字段有没有差异。下面分别给你对应的解决方案：

Python里字典是不可哈希的，没法直接丢进set去重，所以我们得先把嵌套字典转换成可哈希的结构（比如排序后的键值对元组），再进行去重操作。

import json

# 1. 加载目标JSON文件
with open('your_input.json', 'r') as f:
    raw_data = json.load(f)

# 2. 定义递归函数，把嵌套字典/列表转换成可哈希的元组
def convert_to_hashable(obj):
    if isinstance(obj, dict):
        # 对字典的键排序，避免键顺序不同导致误判
        return tuple(sorted((k, convert_to_hashable(v)) for k, v in obj.items()))
    elif isinstance(obj, list):
        # 如果列表元素是可哈希结构，也排序（如果不需要按内容去重列表，可去掉sorted）
        return tuple(sorted(convert_to_hashable(item) for item in obj))
    else:
        # 基础类型直接返回
        return obj

# 3. 对objectivelist进行去重
seen_items = set()
unique_list = []
for item in raw_data['objectivelist']:
    hashable_item = convert_to_hashable(item)
    if hashable_item not in seen_items:
        seen_items.add(hashable_item)
        unique_list.append(item)

# 4. 更新原数据并保存去重后的JSON
raw_data['objectivelist'] = unique_list
with open('your_output.json', 'w') as f:
    json.dump(raw_data, f, indent=4)

这个方法会递归处理所有嵌套的字典和列表，哪怕子字典的键顺序不一样，只要键值对完全一致，就会被识别为重复项并去除。如果你的列表元素顺序有业务意义（比如顺序不同不算重复），可以把列表处理部分的sorted()去掉。

有时候你不需要整个字典完全重复才去重，而是只要某些核心字段（比如measureid+gradeID）重复就剔除，这时候可以用字典记录已出现的字段组合：

import json

# 1. 加载JSON文件
with open('your_input.json', 'r') as f:
    raw_data = json.load(f)

# 2. 定义去重的关键字段（这里用measureid和gradeID的组合）
seen_keys = {}
unique_list = []
for item in raw_data['objectivelist']:
    # 生成唯一标识键
    unique_key = (item['measureid'], item['gradeID'])
    # 保留第一次出现的条目
    if unique_key not in seen_keys:
        seen_keys[unique_key] = True
        unique_list.append(item)
    # 如果想保留最后一次出现的条目，替换成下面两行：
    # seen_keys[unique_key] = item
    # unique_list = list(seen_keys.values())

# 3. 保存结果
raw_data['objectivelist'] = unique_list
with open('your_output.json', 'w') as f:
    json.dump(raw_data, f, indent=4)

这个方法更灵活，你可以根据业务需求调整unique_key的字段组合，比如只按measureid去重，或者加上graduationdate等其他字段。

内容的提问来源于stack exchange，提问作者qing zhangqing