如何高效行归一化稀疏矩阵？不转numpy数组、无循环且不依赖sklearn

完全懂你的顾虑——把稀疏矩阵转成numpy数组会瞬间吃掉内存，尤其是矩阵规模大的时候，而for循环又显得太不优雅。这里给你一个纯用scipy稀疏矩阵操作的方案，全程不用转密集数组，也没有循环，性能拉满：

核心思路 #

行归一化（以L1为例）本质是每行元素除以该行的和，我们可以利用稀疏矩阵的矩阵乘法特性，通过构造一个对角稀疏矩阵来实现行级别的缩放，所有操作都在稀疏域内完成。

代码实现 #

假设你的稀疏矩阵是scipy的csr_matrix（如果不是，先转成csr格式，行操作效率更高）：

import scipy.sparse as sp

# 假设X是你的目标稀疏矩阵（推荐csr格式）
X = X.tocsr()  # 确保是csr格式，行操作更高效

# 1. 计算每行的和，转成1D数组（A1是scipy稀疏矩阵转1D数组的高效方式）
row_sums = X.sum(axis=1).A1

# 2. 处理行和为0的情况，避免除以0（这里设为1，让该行元素保持原值，可按需调整）
row_sums[row_sums == 0] = 1

# 3. 创建对角稀疏矩阵，对角线元素是行和的倒数
inv_row_sums = sp.diags(1 / row_sums)

# 4. 左乘对角矩阵，完成行归一化（左乘对角矩阵等价于每行对应缩放）
X_normalized = inv_row_sums @ X

为什么高效？ #

• 所有操作都基于scipy优化过的稀疏矩阵算法，只处理非零元素，内存占用极低
• 没有转换为密集numpy数组，完全保留稀疏特性
• 没有显式for循环，利用矩阵乘法的隐式并行优化

补充说明 #

• 如果是L2归一化，只需要把行和换成行的L2范数：row_norms = sp.linalg.norm(X, axis=1)，后续步骤一样
• 如果你用的是csc_matrix，转成csr再操作会更高效，因为行求和在csr上更快

内容的提问来源于stack exchange，提问作者Pavlin