如何在Python中计算500,000×500,000大型稀疏矩阵的范数？

你的内核崩溃本质是内存不足：500,000×500,000的稠密矩阵哪怕用float32存储，也需要1TB内存（5000005000004字节），远超过Colab的内存上限，必须用稀疏矩阵专属的计算方式，不能用numpy的稠密数组操作。

核心思路 #

使用scipy.sparse的稀疏矩阵格式（推荐CSR格式，适合行操作），所有计算基于非零元素进行，避免加载整个稠密矩阵到内存。

具体实现步骤 #

1. 转换为CSR稀疏矩阵
   如果你的原始数据不是稀疏格式，先转成scipy的CSR矩阵：

   from scipy.sparse import csr_matrix
   # 假设你的原始数据是(coo格式的data, rows, cols)或者其他稀疏表示
   sparse_a = csr_matrix((data, (rows, cols)), shape=(500000, 500000))
   

2. 计算行范数
   根据你需要的范数类型选择对应方法：

   • L2范数（默认numpy.linalg.norm的类型）：

     import numpy as np
     # 对每个非零元素平方，按行求和后开根号
     row_l2_norm = np.sqrt(sparse_a.power(2).sum(axis=1)).flatten()
     

   • L1范数：

     row_l1_norm = sparse_a.abs().sum(axis=1).flatten()
     

   • 无穷范数（每行最大绝对值）：

     # 利用CSR矩阵的indptr索引定位每行非零元素
     row_inf_norm = np.zeros(sparse_a.shape[0])
     for i in range(sparse_a.shape[0]):
         start_idx = sparse_a.indptr[i]
         end_idx = sparse_a.indptr[i+1]
         if start_idx != end_idx:
             row_inf_norm[i] = np.max(np.abs(sparse_a.data[start_idx:end_idx]))
     

为什么之前的方法无效？ #

• numpy的稠密矩阵操作会强制把整个矩阵加载到内存，直接触发内存溢出；
• 分块方法依然是处理稠密子矩阵，单块2000×500000的float32矩阵就占4GB内存，依然超过Colab的内存上限；
• 只有稀疏矩阵操作会只处理非零元素，内存占用仅和非零元素数量相关（比如1000万非零元素仅占约80MB内存，远低于Colab的内存限制）。

内容的提问来源于stack exchange，提问作者Another Random Guy