Pandas稀疏DataFrame相乘内存不足及转CSR矩阵失败求助

核心问题说明 #

Pandas的稀疏DataFrame执行@矩阵乘法时，底层会默认转换为稠密数组计算，这就是你遇到内存错误的根本原因——它没有针对稀疏结构做乘法优化，直接尝试生成3.6TiB的稠密数组，超出内存上限。

解决SciPy csr_matrix转换失败的问题 #

转换大的bigger_sdf报错，大概率是因为数据包含非数值列，或者Pandas稀疏块的存储格式不兼容直接转换。可以用以下可靠方式转换：

1. 先提取Pandas稀疏DF的COO格式数据：

   sparse_coo = bigger_sdf.sparse.to_coo()
   

2. 再转换为csr_matrix：

   from scipy.sparse import csr_matrix
   bigger_csr = csr_matrix(sparse_coo)
   

   一行简化写法：

   bigger_csr = csr_matrix(bigger_sdf.sparse.to_coo())
   

   注意：转换前务必过滤掉非数值类型的列，否则会触发类型错误。

正确的稀疏矩阵乘法流程 #

1. 将两个稀疏DataFrame都转换为SciPy csr_matrix：

   big_csr = csr_matrix(big_sdf.sparse.to_coo())
   bigger_csr = csr_matrix(bigger_sdf.sparse.to_coo())
   

2. 执行稀疏矩阵乘法（SciPy会在稀疏结构上计算，不会生成稠密数组）：

   result_csr = big_csr @ bigger_csr
   

3. 可选：将结果转回Pandas稀疏DataFrame（适配新版Pandas）：

   result_sdf = pd.DataFrame.sparse.from_spmatrix(
       result_csr,
       index=big_sdf.index,
       columns=bigger_sdf.columns
   )
   

额外优化建议 #

• 如果矩阵规模极大，可考虑分块处理：将bigger_sdf按列拆分，分别与big_sdf相乘后再拼接结果，降低单步内存占用。
• 确保所有参与计算的列都是数值型，提前剔除字符串、布尔等非数值列。

内容的提问来源于stack exchange，提问作者AlonBA