Python遍历CSV文件时如何按分组合并element列元素?
CSV按复合列分组合并的实现方案
需求本质是基于id1+id2的复合键做分组聚合,把同组的element字段值合并为逗号分隔的字符串,完全不需要复杂依赖,两种可落地的方案适配不同场景:
方案1:内置库零依赖快速实现
这是最直接的实现方式,不需要安装任何第三方包,核心逻辑是用字典做分组缓存:
- 以
(id1, id2)组成的元组为字典键,对应的值是存储同组element的列表 - 逐行遍历CSV时,直接把当前行的element追加到对应分组的列表里,遍历完成后拼接列表为字符串即可输出
参考实现代码:
import csv # 初始化分组缓存 group_cache = {} with open("你的CSV文件路径.csv", "r", encoding="utf-8") as f: reader = csv.DictReader(f) for row in reader: # 用两个列组成的元组当分组键,避免单值判断出错 group_key = (row["id1"], row["id2"]) # 不存在分组则初始化空列表 if group_key not in group_cache: group_cache[group_key] = [] # 追加当前行的element值 group_cache[group_key].append(row["element"]) # 按要求的格式输出结果 for (id1_val, id2_val), elem_list in group_cache.items(): print(f"id1: {id1_val}, id2: {id2_val}, element: {', '.join(elem_list)}")
方案2:配合dataclass实现结构化聚合
你之前使用dataclass没完成合并,本质是把dataclass当成了单行CSV的映射容器,没有将其和分组逻辑结合。正确用法是将dataclass定义为单组聚合结果的结构化容器,适配后续需要字段校验、扩展逻辑的场景:
- 先定义对应分组结构的dataclass,内置追加值和格式化输出的方法:
from dataclasses import dataclass, field @dataclass class GroupResult: id1: str id2: str elements: list[str] = field(default_factory=list) def append_element(self, elem: str) -> None: self.elements.append(elem) def format_output(self) -> str: return f"id1: {self.id1}, id2: {self.id2}, element: {', '.join(self.elements)}"
- 还是用字典做分组缓存,键同样是
(id1, id2)的元组,值是对应的GroupResult实例:- 遇到不存在的分组时,实例化新的
GroupResult对象,把当前element追加进去 - 遇到已存在的分组,直接调用实例的
append_element方法追加值
- 遇到不存在的分组时,实例化新的
- 遍历完所有CSV行后,直接调用每个实例的
format_output方法拿到符合要求的结果即可
注意事项
- 必须用
(id1, id2)的元组作为分组键,不要单独判断id1、id2的值,否则容易出现id1相同但id2不同的行被错误合并的问题 - 如果是行顺序完全乱的大文件场景,不要直接用
itertools.groupby,这个函数要求输入的行必须提前按分组键排序,否则会出现同组被拆成多段的错误 - 如果数据量达到百万级以上,字典缓存的内存压力会升高,可以改用逐行判断相邻行分组一致性的流式处理逻辑,减少内存占用,但这种方式要求CSV行提前按分组键排序,容错率较低
内容的提问来源于stack exchange,提问作者bbetos
相关产品推荐
相关产品推荐

