无需For循环的更快迭代：图节点与边读取处理效率优化

核心优化逻辑 #

原生Python逐行循环的split、类型转换、单次append操作都会产生大量解释器层面的开销，海量数据场景下的优化核心是尽可能把操作下沉到C实现层面，减少Python层的循环次数。

节点处理优化 #

基于Numpy的最优方案（性能提升最明显） #

Numpy的文本解析、数组操作均为C级实现，比Python原生循环快10~100倍：

import numpy as np

# 一次性批量解析所有节点字符串为N行2列的整数数组
node_arr = np.genfromtxt(node_lines, dtype=int)
# 列表推导式批量生成Node实例，比逐次append开销低
node_list = [n.Node(row[0], row[1]) for row in node_arr]
# 单次extend加入图，避免循环调用append的方法开销
graph.nodes.extend(node_list)
# 直接用数组方法取最大group_id，无需循环判断
max_group_id = node_arr[:, 1].max()

如果数据量过大内存不足，可以按10万/20万行的粒度分块执行上述逻辑。

无依赖纯Python优化方案 #

如果不想引入Numpy依赖，可以用内置高阶函数+列表推导式优化：

# 一次遍历提取所有id和group_id，zip、map均为C实现
ids, group_ids = zip(*(map(int, line.split()) for line in node_lines))
# 批量生成节点
node_list = [n.Node(i, g) for i, g in zip(ids, group_ids)]
graph.nodes.extend(node_list)
# 内置max函数为C实现，比循环判断更快
max_group_id = max(group_ids)

边处理优化 #

和节点处理逻辑一致，同样走批量解析+批量实例化+单次extend的路径：

Numpy方案 #

import numpy as np

edge_arr = np.genfromtxt(edge_lines, dtype=int)
edge_list = [e.Edge(row[0], row[1]) for row in edge_arr]
graph.edges.extend(edge_list)

纯Python方案 #

edge_list = [e.Edge(s, d) for s, d in (map(int, line.split()) for line in edge_lines)]
graph.edges.extend(edge_list)

额外优化建议 #

• 若数据直接从文件读取，无需先读成node_lines/edge_lines字符串列表，直接用np.loadtxt(文件路径, dtype=int)加载，省掉字符串列表的内存开销和转换时间。
• 用PyPy解释器运行代码，无需修改代码即可通过JIT编译获得数倍的循环性能提升。
• 若Node/Edge类未定义__slots__，添加该属性可以减少实例内存开销、加快实例化速度：

class Node:
    __slots__ = ('id', 'group_id')
    def __init__(self, id, group_id):
        self.id = id
        self.group_id = group_id

内容的提问来源于stack exchange，提问作者dornekci