pandas实现DataFrame内存在列表关联的连通行合并方法
连通分量合并实现方案
这个需求本质是识别跨行的列表元素关联,把有间接交集的集合归为同一分组,用并查集算法可以高效实现,不需要额外安装第三方依赖,完整可运行代码如下:
步骤1:准备依赖与示例数据
import pandas as pd # 构造题目给出的示例数据 dict_list = { 'name': ['A', 'B', 'C', 'D', 'E', 'F', 'G'], 'number': [[1,2,3], [1,2], [4], [5,6], [5,4], [8], [8,3]] } df = pd.DataFrame(dict_list)
步骤2:实现简易并查集处理连通关系
class UnionFind: def __init__(self, all_nodes): # 初始化每个元素的父节点为自身 self.parent = {node: node for node in all_nodes} def find(self, node): # 路径压缩优化查找效率 if self.parent[node] != node: self.parent[node] = self.find(self.parent[node]) return self.parent[node] def union(self, node_a, node_b): # 合并两个元素所属的集合 root_a = self.find(node_a) root_b = self.find(node_b) if root_a != root_b: self.parent[root_b] = root_a
步骤3:关联跨行元素并打分组标签
# 收集number列所有出现的唯一元素,初始化并查集 all_elements = set() for num_list in df['number']: all_elements.update(num_list) uf = UnionFind(all_elements) # 逐行连通:同一行内的所有元素属于同一个集合,做合并 for num_list in df['number']: if len(num_list) <= 1: continue anchor = num_list[0] for elem in num_list[1:]: uf.union(anchor, elem) # 为每一行绑定所属连通分组的ID(取该行首个元素对应的根节点) df['group_id'] = df['number'].apply(lambda row: uf.find(row[0]))
步骤4:分组聚合得到最终结果
final_df = df.groupby('group_id').agg( # name字段可根据业务需求调整聚合逻辑,此处保留分组内所有name值 name=('name', lambda x: list(x)), # number字段合并后去重、排序 number=('number', lambda x: sorted(set(sum(x, [])))) ).reset_index(drop=True)
运行效果
最终输出结果与需求描述完全匹配:
- 第一行对应连通组为A、B、F、G,number值为
[1,2,3,8] - 第二行对应连通组为C、D、E,number值为
[4,5,6]
注意:如果业务中需要对name列做单值保留(比如取第一个出现的name),只需要将
name的聚合逻辑从列表收集改为取首个值即可,不需要修改连通判定的核心逻辑。
内容的提问来源于stack exchange,提问作者Egor_1811
相关产品推荐
相关产品推荐

