Python3构建1643维矩阵遇卡顿,求超大矩阵高效构建方案
问题原因及解决方案
你的代码卡住是因为list.pop(0)效率极低——列表的头部删除操作是**O(n)**时间复杂度,每次删除第一个元素都要移动后面所有元素。1643×1643的矩阵有近270万个元素,重复270万次pop(0)必然导致程序卡顿。
下面是几种更高效的构建超大矩阵的方法:
方法1:用索引切片替代pop(0)
直接通过索引批量截取每行数据,避免修改原列表,操作效率为O(1):
import re matrix_dimension = 1643 # 使用with语句自动管理文件资源,比手动close更安全 with open('7b-2.txt', "r") as file1: flatMatrix = file1.readline() numbers = re.compile("-?\d+") # 这里已转成float,后续无需重复转换 result = list(map(float, numbers.findall(flatMatrix))) matrix = [] current_idx = 0 for _ in range(matrix_dimension): # 直接切片获取整行数据 row = result[current_idx : current_idx + matrix_dimension] matrix.append(row) current_idx += matrix_dimension
方法2:用numpy处理(推荐)
numpy对大型数值矩阵的处理效率远高于纯Python列表,底层用C实现,内存占用也更优:
import numpy as np import re matrix_dimension = 1643 with open('7b-2.txt', "r") as file1: flat_data = file1.readline() # 提取所有数字并转为numpy数组 numbers = re.findall("-?\d+", flat_data) data_array = np.array(numbers, dtype=np.float64) # 直接重塑为目标维度的矩阵 matrix = data_array.reshape((matrix_dimension, matrix_dimension))
如果后续涉及矩阵运算,numpy还能提供大量现成的数学函数,进一步提升效率。
方法3:逐行读取文件(若文件按行存储矩阵)
如果你的文件不是把所有数据放在一行,而是每行对应矩阵的一行,逐行读取能降低内存占用:
import re matrix_dimension = 1643 matrix = [] with open('7b-2.txt', "r") as file1: for _ in range(matrix_dimension): line = file1.readline().strip() row_numbers = list(map(float, re.findall("-?\d+", line))) matrix.append(row_numbers)
另外补充两个原代码的小问题:
- 尽量用
with语句操作文件,避免忘记关闭文件导致资源泄漏; result里已经是float类型,append(float(result.pop(0)))属于重复转换,完全没必要。
内容的提问来源于stack exchange,提问作者ryan714
相关产品推荐
相关产品推荐

