如何借助itertools快速将数值匹配二元组分组为匹配数组
两列匹配数据归集实现方案
针对成对存储的匹配关系,按左侧关联主体聚合为包含主体、所有对应匹配值的数组的需求,结合itertools的内置分组能力可以完全规避手写冗余if/else分支的问题。
核心处理逻辑
- 读取CSV中的两列数据,整理成结构化的
(关联主体, 匹配值)有序对序列 itertools.groupby仅对连续出现的相同分组键做聚合,因此需要先按关联主体ID对所有有序对做排序,避免同一主体的匹配值被拆成多个独立分组- 用
groupby按关联主体切分连续数据块,收集每个块内的匹配值,和主体ID拼接为最终结果数组
可直接复用的实现代码
import csv from itertools import groupby # 读取目标CSV文件的两列匹配数据 pair_list = [] with open("target_matched_data.csv", "r", encoding="utf-8") as f: csv_reader = csv.reader(f) for row in csv_reader: pair_list.append((int(row[0]), int(row[1]))) # 按分组键(关联主体ID)排序,满足groupby的处理要求 pair_list.sort(key=lambda item: item[0]) # 分组生成最终结果 grouped_result = [] for subject_id, items in groupby(pair_list, key=lambda x: x[0]): match_values = [single_item[1] for single_item in items] grouped_result.append([subject_id] + match_values) # 输出结果,格式与示例完全对齐 for res in grouped_result: print(res)
效率对比说明
- 传统手写分支逻辑需要每次循环判断主体ID是否已存在于字典中,不存在则新建空列表,存在则追加匹配值,存在大量冗余判断
- 基于itertools的迭代器实现全程没有分支判断逻辑,依托标准库内置能力做流式处理,内存占用更低,处理十万级以上匹配对时运行速度优势会显著体现,代码维护成本也更低
内容的提问来源于stack exchange,提问作者Sarah Eaglesfield
相关产品推荐
相关产品推荐

