You need to enable JavaScript to run this app.
优惠活动
大模型
产品
解决方案
定价
更多

Python3构建1643维矩阵遇卡顿,求超大矩阵高效构建方案

问题原因及解决方案

你的代码卡住是因为list.pop(0)效率极低——列表的头部删除操作是**O(n)**时间复杂度,每次删除第一个元素都要移动后面所有元素。1643×1643的矩阵有近270万个元素,重复270万次pop(0)必然导致程序卡顿。

下面是几种更高效的构建超大矩阵的方法:

方法1:用索引切片替代pop(0)

直接通过索引批量截取每行数据,避免修改原列表,操作效率为O(1):

import re

matrix_dimension = 1643
# 使用with语句自动管理文件资源,比手动close更安全
with open('7b-2.txt', "r") as file1:
    flatMatrix = file1.readline()

numbers = re.compile("-?\d+")
# 这里已转成float,后续无需重复转换
result = list(map(float, numbers.findall(flatMatrix)))

matrix = []
current_idx = 0
for _ in range(matrix_dimension):
    # 直接切片获取整行数据
    row = result[current_idx : current_idx + matrix_dimension]
    matrix.append(row)
    current_idx += matrix_dimension

方法2:用numpy处理(推荐)

numpy对大型数值矩阵的处理效率远高于纯Python列表,底层用C实现,内存占用也更优:

import numpy as np
import re

matrix_dimension = 1643
with open('7b-2.txt', "r") as file1:
    flat_data = file1.readline()

# 提取所有数字并转为numpy数组
numbers = re.findall("-?\d+", flat_data)
data_array = np.array(numbers, dtype=np.float64)
# 直接重塑为目标维度的矩阵
matrix = data_array.reshape((matrix_dimension, matrix_dimension))

如果后续涉及矩阵运算,numpy还能提供大量现成的数学函数,进一步提升效率。

方法3:逐行读取文件(若文件按行存储矩阵)

如果你的文件不是把所有数据放在一行,而是每行对应矩阵的一行,逐行读取能降低内存占用:

import re

matrix_dimension = 1643
matrix = []
with open('7b-2.txt', "r") as file1:
    for _ in range(matrix_dimension):
        line = file1.readline().strip()
        row_numbers = list(map(float, re.findall("-?\d+", line)))
        matrix.append(row_numbers)

另外补充两个原代码的小问题:

  • 尽量用with语句操作文件,避免忘记关闭文件导致资源泄漏;
  • result里已经是float类型,append(float(result.pop(0)))属于重复转换,完全没必要。

内容的提问来源于stack exchange,提问作者ryan714

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.07.10 18:05:19