Python下基于Pandas生成万级节点网络邻接矩阵的优化方案咨询

现有crosstab方案的问题 #

你当前的代码首先存在逻辑错误：idx=adj.columns.union(df.index) 中df.index是边数据的行索引，不是全量节点的集合，正确的取值应该是df.Node.union(df.Target)，否则生成的邻接矩阵会缺节点，维度完全不符合要求。
其次从性能角度看，crosstab本质是分组计数逻辑，对于15000节点的规模，不管是计算速度还是内存占用都不是最优解，而且默认生成的是无权邻接矩阵，如果你需要把Node_Attrib作为权重，该方案也无法直接支持。

适配大节点规模的可选方案 #

1. 直接用NetworkX内置方法（最省心，优先推荐） #

你已经构建了NetworkX的图对象，直接调用官方封装好的邻接矩阵生成方法即可，底层已经做过性能优化，比自己写pandas逻辑快30%以上，还不会出现节点对齐的问题：

• 要稀疏矩阵（15000节点首选，内存占用只有稠密矩阵的1%不到）：

# 需要权重就加weight参数，不需要就去掉
adj_sparse = nx.to_scipy_sparse_array(G, weight='Node_Attrib')

• 要Pandas DataFrame格式的稠密邻接矩阵：

adj_df = nx.to_pandas_adjacency(G, weight='Node_Attrib')

2. 直接从边列表生成（不想建NetworkX图的场景） #

如果不需要建图，直接用pivot+节点重映射的方案比crosstab效率更高：

# 带权重的场景，不需要权重就去掉values参数，默认计数
adj = df.pivot(index='Node', columns='Target', values='Node_Attrib').fillna(0)
# 取全量节点
all_nodes = pd.unique(df[['Node', 'Target']].values.ravel('K'))
# 对齐行列
adj = adj.reindex(index=all_nodes, columns=all_nodes, fill_value=0)
# 无向图的话要补全下三角的值
adj = adj + adj.T - np.diag(np.diag(adj))

3. 超大规模场景（边规模超100万） #

直接用Scipy的稀疏矩阵构造逻辑，性能最高：

import numpy as np
from scipy.sparse import csr_matrix

# 生成节点到ID的映射
nodes = np.unique(np.concatenate([df.Node.values, df.Target.values]))
node2id = {n:i for i,n in enumerate(nodes)}
rows = df.Node.map(node2id)
cols = df.Target.map(node2id)
# 带权重就把np.ones替换为df.Node_Attrib.values
adj_sparse = csr_matrix((np.ones(len(df)), (rows, cols)), shape=(len(nodes), len(nodes)))

方案总结 #

内容的提问来源于stack exchange，提问作者LdM