从含无向边的DataFrame创建Sparse Matrix（无需循环的高效方法）

当然有！完全不用写繁琐的循环，利用pandas的向量化操作和scipy.sparse的内置工具，就能快速把你的无向边DataFrame转换成稀疏矩阵，而且效率拉满，适合处理大规模数据。

核心思路 #

无向图的稀疏矩阵是对称矩阵，我们只需要先把字符型节点映射成整数索引（稀疏矩阵要求下标为整数），再用scipy.sparse的COO矩阵格式构建基础矩阵，最后对称化即可——全程没有循环，都是库函数的高效实现。

具体步骤代码 #

假设你的DataFrame名为edge_df，列名是node1和node2（对应每条无向边的两个节点）：

import pandas as pd
from scipy.sparse import coo_matrix

# 1. 给所有唯一节点分配整数索引
all_nodes = pd.concat([edge_df['node1'], edge_df['node2']]).unique()
node_to_idx = {node: idx for idx, node in enumerate(all_nodes)}

# 2. 将DataFrame中的节点转换成整数下标
u_indices = edge_df['node1'].map(node_to_idx)
v_indices = edge_df['node2'].map(node_to_idx)

# 3. 构建基础COO矩阵（每条边权重初始为1）
data = [1] * len(edge_df)
base_matrix = coo_matrix((data, (u_indices, v_indices)), 
                         shape=(len(all_nodes), len(all_nodes)))

# 4. 对称化得到无向图的稀疏矩阵（因为无向边要求(i,j)和(j,i)都有值）
undirected_sparse_matrix = base_matrix + base_matrix.T

进阶：处理重复边 #

如果你的数据里存在重复的无向边（比如A B出现多次），想把边的权重设为出现次数，可以用pandas的分组统计来实现，同样不需要循环：

# 统计每条边的出现次数
edge_counts = edge_df.groupby(['node1', 'node2']).size().reset_index(name='weight')

# 重复上述映射和矩阵构建步骤
u_indices = edge_counts['node1'].map(node_to_idx)
v_indices = edge_counts['node2'].map(node_to_idx)
data = edge_counts['weight'].values

base_matrix = coo_matrix((data, (u_indices, v_indices)), 
                         shape=(len(all_nodes), len(all_nodes)))
undirected_sparse_matrix = base_matrix + base_matrix.T

为什么这方法高效？ #

• 所有节点映射、下标转换都是向量化操作，比循环快几个数量级；
• scipy.sparse的COO矩阵是专门为稀疏数据设计的存储格式，内存占用远低于 dense 矩阵；
• 对称化操作是矩阵级别的运算，底层用C实现，性能拉满。

内容的提问来源于stack exchange，提问作者user2020282