Python列表处理节点全路径性能不足，改用pandas dataframe/NetworkX优化咨询

你当前实现的性能问题主要来自三个核心点：

• 每次判断邻居是否在路径中时使用列表in查询，复杂度为O(k)（k为当前路径长度），路径越长开销越大
• 递归生成路径的调用开销在数据规模上升时会被大幅放大
• 全路径枚举本身是指数级复杂度，如果你的图存在大量长路径或多分支结构，结果量会爆炸式增长，这是业务逻辑层面需要优先考虑的点

不建议用pandas实现该逻辑，pandas擅长批量结构化数据运算，对这种依赖递归/遍历的图计算场景没有性能优势，实现起来还更复杂。

NetworkX是专门的图计算库，核心逻辑做过底层优化，比纯Python实现快数倍，代码量极小且和你原有逻辑100%对齐：

1. 先安装依赖：pip install networkx
2. 实现代码：

import networkx as nx

# 1. 直接读取边列表文件构建有向图（匹配你原有单向连接的逻辑）
G = nx.read_edgelist('data.txt', create_using=nx.DiGraph())

# 2. 生成所有无重复节点的简单路径，和原有输出逻辑一致
result = []
for start_node in G.nodes:
    # 遍历所有从当前起点能到达的节点
    for end_node in nx.descendants(G, start_node):
        # 输出所有起点到终点的简单路径，如果只需要最短路径可以把all_simple_paths换成shortest_path，速度提升非常明显
        for path in nx.all_simple_paths(G, source=start_node, target=end_node):
            # 只保留长度大于1的路径，匹配你原有输出规则
            if len(path) > 1:
                result.append(path)

如果你的图存在环，NetworkX的简单路径接口会自动跳过重复节点，和你原有代码的处理逻辑完全一致。

不需要换框架，只要修改原有实现的两个性能瓶颈点，速度可以提升5-10倍：

from collections import defaultdict, deque

def create_adj(edges):
    adj = defaultdict(list)
    all_nodes = set()
    for a, b in edges:
        adj[a].append(b)
        all_nodes.update([a, b])
    # 补全无出边的节点
    for node in all_nodes:
        if node not in adj:
            adj[node] = []
    return adj

def all_paths(adj):
    result = []
    for start in adj:
        # 队列里同时存路径和已访问节点集合，集合的in查询是O(1)复杂度
        q = deque([([start], {start})])
        while q:
            path, visited = q.popleft()
            current = path[-1]
            has_next = False
            for neighbor in adj[current]:
                if neighbor not in visited:
                    has_next = True
                    new_path = path.copy()
                    new_path.append(neighbor)
                    new_visited = visited.copy()
                    new_visited.add(neighbor)
                    q.append((new_path, new_visited))
            # 走到路径末端且长度大于1时输出，匹配原有逻辑
            if not has_next and len(path) > 1:
                result.append(path)
    return result

如果你的业务不是必须要全量路径，只需要最长路径、最短路径等特定规则的路径，可以直接调整逻辑避免全路径枚举，这才是解决大规模数据下性能问题的根本方案。

内容的提问来源于stack exchange，提问作者neekitit