如何基于坐标高效对Scipy稀疏CSC数组执行逐元素除法操作？

核心思路 #

利用CSC矩阵的结构特性，直接操作其底层的data、indices和indptr数组，仅对非零元素进行计算，完全避免生成稠密矩阵。具体逻辑如下：

• 提取所有非零元素的行索引与列索引
• 针对每个非零元素计算分母V[row] + V[col]
• 筛选出分母非零且除法结果有限的有效元素，仅对这些元素执行除法更新

实现代码 #

import numpy as np
import scipy.sparse as sp

# 测试用例（用户提供）
n = 100000
d = 10
V = np.maximum((np.random.normal(size=n)+2), 0)
M = sp.csc_array((np.random.normal(size=n*d), np.random.randint(n, size=(2, n*d))), shape=(n,n))
M.sum_duplicates()
M.prune()
M.sort_indices()

# 核心操作
rows = M.indices  # 获取所有非零元素的行索引
# 生成所有非零元素对应的列索引
cols = np.repeat(np.arange(n), np.diff(M.indptr))

# 计算每个非零元素的分母
denominator = V[rows] + V[cols]

# 筛选有效更新的掩码：分母非零，且除法结果有限
valid_mask = (denominator != 0) & np.isfinite(M.data / denominator)

# 仅对有效元素执行除法更新，其余元素保留原值
M.data[valid_mask] /= denominator[valid_mask]

关键细节说明 #

1. 无稠密矩阵生成：所有计算仅针对M的非零元素（约1M个），而非整个100k×100k矩阵，内存与时间效率极高。
2. 保留零元素：仅修改M.data中的非零值，原零元素始终保持为0，不会增加矩阵密度。
3. 异常场景处理：通过掩码过滤分母为0或除法结果无穷的情况，这类元素的原值会被保留，无需低效的try-except循环。
4. 绕过稀疏矩阵限制：直接操作底层data数组，避开了Scipy稀疏矩阵不支持带where参数的逐元素除法的问题。

性能优化提示 #

• np.repeat生成cols数组的操作是O(nnz(M))复杂度，在可读性与实际性能上已足够优秀；若追求极致性能，可改用np.cumsum结合np.diff的方式生成列索引。
• 确保V为连续的numpy数组（默认生成的即为连续数组），可大幅提升V[rows]与V[cols]的索引效率。

内容的提问来源于stack exchange，提问作者TLW