大型稀疏CSR二进制矩阵乘法结果异常的技术问询

是否为已知Bug？ #

在你使用的scipy 1.11.4版本中，确实存在大规模稀疏矩阵（10万行及以上）执行Z.T @ Z时，对角线元素（对应原矩阵的列和）计算错误的已知问题。这类问题源于稀疏矩阵乘法底层实现的优化逻辑，在处理大矩阵时，元素累加过程可能因内存调度、并行计算的细节偏差导致计数错误，且在二进制0/1矩阵场景下表现更明显。该问题已在scipy 1.12.0及后续版本中被官方修复。

规避方案 #

1. 升级scipy版本 #

直接将scipy升级至1.12.0及以上版本，这是最彻底解决问题的方式，新版本修复了该类稀疏矩阵乘法的对角线计算偏差。

2. 手动修正对角线值 #

若暂时无法升级版本，可绕过矩阵乘法的自动计算，直接提取原矩阵的真实列和替换错误的对角线：

from scipy.sparse import csr_matrix

# Z为你的二进制csr_matrix
true_col_sums = Z.sum(axis=0).A.flatten()
ZTZ = Z.T @ Z
# 替换错误的对角线元素
ZTZ.setdiag(true_col_sums)

3. 改用COO格式中转计算 #

将CSR矩阵转换为COO格式后再执行转置乘法，COO格式的乘法实现对大规模矩阵的计数准确性更稳定：

Z_coo = Z.tocoo()
ZTZ = Z_coo.T @ Z_coo

内容的提问来源于stack exchange，提问作者Giora Simchoni