如何基于两列数据分配编号？海量数据需避免循环处理

算力阿峰

2026-8-23

解决方案：基于两列交叉相等分配统一编号（无循环）

核心思路是把两列数据看作无向图的节点对，同一连通分量的节点分配相同编号，以下是两种适合大数据量的实现方式：

一、Python（Pandas + NetworkX）

利用图论中的连通分量算法，高效处理关联节点分组：

import pandas as pd
import networkx as nx

# 替换为你的数据集
df = pd.read_csv("your_data.csv")

# 构建无向图：每一行的A、B值作为一条边
graph = nx.Graph()
graph.add_edges_from(df[["列A", "列B"]].values)

# 为每个连通分量分配唯一ID
component_map = {}
for group_id, component in enumerate(nx.connected_components(graph), start=1):
    for node in component:
        component_map[node] = group_id

# 将ID映射回原数据集
df["分组编号"] = df["列A"].map(component_map)

说明：

NetworkX的连通分量算法基于高效的图遍历，性能远优于循环遍历
若数据量极大（千万级以上），可考虑使用igraph替代NetworkX，性能更优

二、SQL（递归CTE实现）

适合直接在数据库中处理大数据，以MySQL为例：

WITH RECURSIVE component_cte AS (
    -- 初始化：将每一行的A、B作为关联节点，初始root取A
    SELECT A AS node, B AS linked_node, A AS root
    FROM your_table
    UNION ALL
    -- 递归遍历：扩展所有关联节点，更新root为最小节点（保证同一分量root唯一）
    SELECT c.node, t.B, LEAST(c.root, t.A)
    FROM component_cte c
    JOIN your_table t ON c.linked_node = t.A
    WHERE c.root > t.A
    UNION ALL
    SELECT c.node, t.A, LEAST(c.root, t.B)
    FROM component_cte c
    JOIN your_table t ON c.linked_node = t.B
    WHERE c.root > t.B
),
node_groups AS (
    -- 去重后为每个节点分配唯一组ID
    SELECT node, MIN(root) AS 分组编号
    FROM component_cte
    GROUP BY node
)
-- 关联原表得到最终结果
SELECT t.*, ng.分组编号
FROM your_table t
JOIN node_groups ng ON t.A = ng.node;