You need to enable JavaScript to run this app. 使用Python与Pandas从多TXT文件生成CSV邻接矩阵的动态构建问题
优惠活动
大模型
产品
解决方案
定价
更多

使用Python与Pandas从多TXT文件生成CSV邻接矩阵的动态构建问题

动态构建有向邻接矩阵的Pandas实现方案

原实现的踩坑根源

  • 频繁调用df.insert()做动态列插入时,Pandas会触发全表数据重排,大文件场景下会出现性能骤降甚至内存溢出
  • 直接对未知索引位置赋值时,会出现行/列索引对齐错误,导致值填充到错误单元格,无法处理重复节点的去重逻辑

优化思路

无需提前遍历全量文件收集节点,逐行读取过程中增量记录节点和有向边,最后一次性生成完整邻接矩阵,全程避免动态修改DataFrame结构的操作。

分步实现

1. 初始化轻量动态存储结构

用集合做增量记录,比直接维护DataFrame的内存开销低几个数量级:

import pandas as pd
# 存储所有已出现的节点,自动去重
node_set = set()
# 存储所有去重后的有向边,格式为(起点, 终点)
edge_set = set()

2. 逐行读取TXT文件增量更新

逐行读取文件,无需一次性加载全量内容,每读到一组节点就动态更新存储:

with open("边数据文件.txt", "r") as f:
    for line in f:
        line = line.strip()
        # 跳过空行
        if not line:
            continue
        # 按空白符拆分两个节点ID
        u, v = line.split()
        # 动态记录新出现的节点
        node_set.add(u)
        node_set.add(v)
        # 记录有向边,重复边会自动被集合去重
        edge_set.add((u, v))

3. 批量生成邻接矩阵

所有边读取完成后,一次性初始化全零矩阵,再批量赋值边对应的位置为1:

# 用收集到的节点作为矩阵的行、列索引
node_list = list(node_set)
# 初始化全零矩阵,*指定dtype为int可大幅降低内存占用*
adj_matrix = pd.DataFrame(0, index=node_list, columns=node_list, dtype=int)
# 批量填充边的赋值
for u, v in edge_set:
    adj_matrix.loc[u, v] = 1

4. 导出CSV文件

导出时调整格式,和示例输出结构对齐:

# 默认导出:第一列头为空
adj_matrix.to_csv("output_adj_matrix.csv", index_label="")

# 若需要对齐示例输出的首格为"0"的格式,替换为以下语句
# adj_matrix.to_csv("output_adj_matrix.csv", index_label="0")

方案优势

  • 全程没有动态调用insert、追加行/列等触发DataFrame结构重排的操作,处理百万级边数据时性能远高于逐行动态构建方案
  • 依靠集合的去重特性自动处理重复节点、重复边,不会出现填充错位的问题
  • 逐行读取的过程中增量记录,不需要提前全量加载文件、提前收集所有节点,内存占用和文件大小无关

内容的提问来源于stack exchange,提问作者Harrison Mount

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.30 00:45:04