Python 两个字典列表匹配值的最快方案:按product_code合并20万+产品数据
20万级数据量字典合并的性能优化方案
你当前使用的双层嵌套循环实现,时间复杂度为O(n*m),当两个列表总规模超过20万时,仅匹配判断就要消耗数秒甚至数分钟的运行时间,完全不适合大数据量的关联场景。
核心优化思路
把其中一个列表提前构建成以product_code为键的哈希索引字典,利用Python字典O(1)的查询效率,将整体时间复杂度压缩到O(n+m),相比原实现性能可提升几个数量级,哪怕是百万级数据也能在秒级完成处理。
可直接落地的优化代码
# 第一步:构建库存数据的哈希索引,仅遍历一次stocks列表 stock_index = { item['product_code']: item['stock'] for item in stocks } # 第二步:遍历价格列表,直接通过索引匹配组装合并结果 merged_list = [] for price_item in prices: current_code = price_item['product_code'] # 字典匹配无内层循环,查询耗时和索引大小无关 if current_code in stock_index: merged_list.append({ 'product_code': current_code, 'price': price_item['price'], 'stock': stock_index[current_code] }) return merged_list
实现注意事项
- 你原代码存在变量名不匹配的bug:开头初始化的空列表为
merged_list_of_dicts,后续实际执行append操作的对象是all_together_list,运行时会直接触发未定义变量报错,优化时可一并修正。 - 如果业务上需要保留未匹配的单边数据(比如存在只有库存没有价格、或者只有价格没有库存的商品),只需要在遍历完成后,补充收集索引中未被命中的库存记录、价格列表中未匹配的记录到结果列表即可,全程不需要引入嵌套循环。
- 如果存在同一个
product_code对应多条库存/价格记录的场景,只需要在构建索引时把对应的值改成列表结构存储,匹配时做对应拆分即可,不会额外增加整体的时间开销。
内容的提问来源于stack exchange,提问作者Aladeen
相关产品推荐
相关产品推荐

