Python实现字典列表重复id检测与不重复随机4位ID更新

核心优化思路 #

传统方案通常需要两次全列表扫描：第一次统计所有ID的重复情况、存储重复ID映射关系，第二次遍历定位到对应字典完成修改。单遍遍历的实现可以将整体开销降低近一半，效率优势随着列表长度增长会更加明显。
核心实现逻辑：

• 用集合存储已出现过的ID，依托集合的O(1)查找特性，无需全列表扫描就能判断当前ID是否重复
• 遍历到每个字典时即时完成重复检测、替换操作，无需存储额外的重复值映射表
• 随机生成新ID时同步做冲突校验，确保生成的ID不与原有ID、其他新生成的ID重复

可直接复用的实现代码 #

import random

def deduplicate_dict_ids(dict_list, id_field='id'):
    existing_id_pool = set()
    for item in dict_list:
        cur_id = item[id_field]
        # 当前ID已存在，说明是重复值需要替换
        if cur_id in existing_id_pool:
            # 循环生成4位数字ID，直到找到不冲突的值
            while True:
                # 生成定长4位数字字符串，不足位补0
                new_id = f"{random.randint(0, 9999):04d}"
                if new_id not in existing_id_pool:
                    break
            item[id_field] = new_id
            existing_id_pool.add(new_id)
        else:
            existing_id_pool.add(cur_id)
    return dict_list

效果验证 #

# 测试用例
raw_data = [{'id' : '3412' , 'value' : 'x'} , {'id' : '5618' , 'value' : 'y'} , {'id' : '3412' , 'value' : 'z'}]
processed_data = deduplicate_dict_ids(raw_data)
# 输出示例：[{'id': '3412', 'value': 'x'}, {'id': '5618', 'value': 'y'}, {'id': '1876', 'value': 'z'}]

方案特性说明 #

• 整体时间复杂度为O(n)，n为列表元素数量，随着列表长度增长，性能稳定无断崖式下跌
• 支持灵活替换随机ID的生成规则，如果需要字母数字混合的4位ID，只需修改生成新ID的代码段，集合校验逻辑无需调整
• 注意如果列表元素总数超过4位ID的总容量（即10000个元素），随机生成时的碰撞概率会快速上升，这种场景建议延长ID长度，避免循环等待的性能损耗

内容的提问来源于stack exchange，提问作者Anshul Goyal