Python中处理大型列表并关联合并商品、变体、零售商数据的高效方法

你当前的数据集规模很小，哪怕用嵌套循环匹配也能跑出结果，但更高效可扩展的写法是先对关联字段建索引再匹配，整体时间复杂度仅为O(P+V+R)，完全避免嵌套循环的冗余查找。

实现逻辑 #

核心思路是用空间换时间，提前把变体、零售商列表按关联键product_id分组存为映射字典，再一次性挂载到对应商品上，无需反复遍历两份子列表匹配。

代码实现 #

from collections import defaultdict

# 1. 构建变体的id映射：key为product_id，value为对应变体列表
variant_index = defaultdict(list)
for variant in Variants:
    variant_index[variant["product_id"]].append(variant)

# 2. 构建零售商的id映射：key为product_id，value为对应零售商列表
retailer_index = defaultdict(list)
for retailer in Retailers:
    retailer_index[retailer["product_id"]].append(retailer)

# 3. 关联数据到商品列表
for product in Products:
    pid = product["id"]
    product["variants"] = variant_index.get(pid, [])
    product["retailers"] = retailer_index.get(pid, [])

方案优势 #

• 执行效率高：无需嵌套遍历，3000+4000+2000条数据加起来只需要遍历9000次，比嵌套循环快至少一个数量级，后续数据量涨到十万级也能轻松处理
• 代码易维护：分组和关联逻辑拆分清晰，后续需要调整分组规则或者新增关联字段时修改成本极低
• 鲁棒性好：自动处理无对应变体/零售商的商品，默认返回空列表不会触发KeyError

补充说明：不推荐用itertools.groupby实现分组，该方法要求先对列表按product_id排序，会额外带来O(V log V) + O(R log R)的排序开销，不如defaultdict直接遍历的方案高效。

内容的提问来源于stack exchange，提问作者gularxjs