使用Python与Pandas从多TXT文件生成CSV邻接矩阵的动态构建问题
动态构建有向邻接矩阵的Pandas实现方案
原实现的踩坑根源
- 频繁调用
df.insert()做动态列插入时,Pandas会触发全表数据重排,大文件场景下会出现性能骤降甚至内存溢出 - 直接对未知索引位置赋值时,会出现行/列索引对齐错误,导致值填充到错误单元格,无法处理重复节点的去重逻辑
优化思路
无需提前遍历全量文件收集节点,逐行读取过程中增量记录节点和有向边,最后一次性生成完整邻接矩阵,全程避免动态修改DataFrame结构的操作。
分步实现
1. 初始化轻量动态存储结构
用集合做增量记录,比直接维护DataFrame的内存开销低几个数量级:
import pandas as pd # 存储所有已出现的节点,自动去重 node_set = set() # 存储所有去重后的有向边,格式为(起点, 终点) edge_set = set()
2. 逐行读取TXT文件增量更新
逐行读取文件,无需一次性加载全量内容,每读到一组节点就动态更新存储:
with open("边数据文件.txt", "r") as f: for line in f: line = line.strip() # 跳过空行 if not line: continue # 按空白符拆分两个节点ID u, v = line.split() # 动态记录新出现的节点 node_set.add(u) node_set.add(v) # 记录有向边,重复边会自动被集合去重 edge_set.add((u, v))
3. 批量生成邻接矩阵
所有边读取完成后,一次性初始化全零矩阵,再批量赋值边对应的位置为1:
# 用收集到的节点作为矩阵的行、列索引 node_list = list(node_set) # 初始化全零矩阵,*指定dtype为int可大幅降低内存占用* adj_matrix = pd.DataFrame(0, index=node_list, columns=node_list, dtype=int) # 批量填充边的赋值 for u, v in edge_set: adj_matrix.loc[u, v] = 1
4. 导出CSV文件
导出时调整格式,和示例输出结构对齐:
# 默认导出:第一列头为空 adj_matrix.to_csv("output_adj_matrix.csv", index_label="") # 若需要对齐示例输出的首格为"0"的格式,替换为以下语句 # adj_matrix.to_csv("output_adj_matrix.csv", index_label="0")
方案优势
- 全程没有动态调用
insert、追加行/列等触发DataFrame结构重排的操作,处理百万级边数据时性能远高于逐行动态构建方案 - 依靠集合的去重特性自动处理重复节点、重复边,不会出现填充错位的问题
- 逐行读取的过程中增量记录,不需要提前全量加载文件、提前收集所有节点,内存占用和文件大小无关
内容的提问来源于stack exchange,提问作者Harrison Mount
相关产品推荐
相关产品推荐

