如何高效将节点ID构成的边表转换为带行列索引的边表

原有方案性能问题原因 #

• pandas的replace方法基于逐元素字典匹配，时间复杂度极高，不适合千万级以上的边数组处理
• 手动创建映射字典、将numpy数组转为DataFrame都存在不必要的性能和内存开销

最优实现方案（基于numpy原生接口） #

直接使用np.unique的return_inverse参数，一步完成唯一值提取和全量映射，无需手动构建字典和逐元素替换，性能提升可达数十至上百倍：

import numpy as np

# 你的原始边数组
a = np.random.randint(0, 100000000, (40000000, 2))
# 展平数组后获取唯一节点集合和对应的逆映射
unique_nodes, mapped_edges = np.unique(a, return_inverse=True)
# 将逆映射结果还原为原始边数组的形状
mapped_edges = mapped_edges.reshape(a.shape)

结果说明 #

• unique_nodes为排序后的原始唯一节点ID数组，unique_nodes[i]对应连续索引i的原始节点ID
• mapped_edges就是转换完成的、索引从0开始连续的边数组，形状和输入完全一致，可以直接用于邻接矩阵索引
• 如果你需要原始ID到连续索引的正向映射字典，可按需生成即可：

node_to_idx = dict(zip(unique_nodes, range(len(unique_nodes))))

性能对比 #

针对你给出的4000万条边的测试场景：

• 原有pandas实现耗时通常在数分钟级别，内存占用极高
• 本numpy实现耗时仅需数秒，无额外冗余内存开销

内容的提问来源于stack exchange，提问作者gilligan