如何基于重复ID对DataFrame为原DataFrame创建统一标识变量

这确实是实体匹配后很常见的需求——本质上咱们要把所有关联的ID归为同一连通分量，然后给每个分量分配一个唯一的统一标识。下面给你两种实用的实现方案，分别适配不同的数据规模和代码习惯：

方案一：用Union-Find（并查集）算法（高效适配大数据量） #

并查集是处理连通性问题的经典数据结构，时间复杂度极低，适合数据量较大的场景。

步骤示例： #

1. 先定义并查集的核心逻辑：

class UnionFind:
    def __init__(self):
        self.parent = {}
    
    def find(self, x):
        # 查找根节点，路径压缩优化
        if self.parent[x] != x:
            self.parent[x] = self.find(self.parent[x])
        return self.parent[x]
    
    def union(self, x, y):
        # 合并两个节点
        root_x = self.find(x)
        root_y = self.find(y)
        if root_x != root_y:
            self.parent[root_y] = root_x

2. 准备示例数据（对应你的场景）：

import pandas as pd

# 原DataFrame：每行有唯一ID，部分是同一实体的重复
df = pd.DataFrame({
    'unique_id': ['ID1', 'ID2', 'ID3', 'ID4', 'ID5'],
    'other_data': ['A', 'A', 'A', 'B', 'C']
})

# 关系表：记录哪些ID属于同一实体
relations = pd.DataFrame({
    'id1': ['ID1', 'ID1'],
    'id2': ['ID2', 'ID3']
})

3. 初始化并查集，处理所有关联关系：

uf = UnionFind()

# 先把所有涉及到的ID加入并查集（包括原DataFrame和关系表的所有ID）
all_ids = set(df['unique_id'].tolist() + relations['id1'].tolist() + relations['id2'].tolist())
for uid in all_ids:
    uf.parent[uid] = uid

# 合并关系表中的所有ID对
for _, row in relations.iterrows():
    uf.union(row['id1'], row['id2'])

4. 给原DataFrame添加统一标识：

# 对每个unique_id，找到它的根节点作为统一标识
df['unified_id'] = df['unique_id'].apply(lambda x: uf.find(x))

print(df)

运行后你会得到：

unique_id other_data unified_id
0       ID1          A        ID1
1       ID2          A        ID1
2       ID3          A        ID1
3       ID4          B        ID4
4       ID5          C        ID5

方案二：用NetworkX库（代码简洁，直观易读） #

如果你更倾向于用现成的图论库，NetworkX可以快速找出所有连通分量，代码更简洁。

步骤示例： #

1. 安装并导入NetworkX：

# 先安装（如果没装过）
# pip install networkx
import networkx as nx

2. 构建图并找到连通分量：

# 创建无向图
G = nx.Graph()

# 添加关系表中的所有边
for _, row in relations.iterrows():
    G.add_edge(row['id1'], row['id2'])

# 把原DataFrame中没有关联的ID也加入图（避免遗漏）
for uid in df['unique_id']:
    if uid not in G.nodes:
        G.add_node(uid)

# 获取所有连通分量，每个分量用一个统一标识（比如分量中的最小ID）
component_mapping = {}
for component in nx.connected_components(G):
    # 选分量中的最小ID作为统一标识，也可以选第一个或者自定义规则
    unified_id = min(component)
    for uid in component:
        component_mapping[uid] = unified_id

3. 映射到原DataFrame：

df['unified_id'] = df['unique_id'].map(component_mapping)
print(df)

输出结果和方案一完全一致，适合快速验证和小数据量场景。

补充说明： #

• 两种方案都支持多对多的关联关系（比如ID1关联ID2，ID2又关联ID3，最终三者会被归为同一组）
• 你可以自定义统一标识的规则：比如不用根节点/最小ID，而是生成新的UUID，或者用分量中的某个代表性ID
• 如果关系表中有反向的ID对（比如同时存在(ID2, ID1)），两种方案都会自动处理，不会影响结果

内容的提问来源于stack exchange，提问作者gfgm