如何高效遍历Scipy稀疏CSR矩阵每行的非零元素？

你当前用getrow(index)的实现效率偏低，因为每次调用都会生成新的CSR子矩阵，带来额外的内存分配与数据拷贝开销，当矩阵行数较多时，这种消耗会被明显放大。

更高效的方式是直接利用CSR矩阵的核心底层属性来遍历——CSR矩阵本身就是通过三个数组存储数据的，直接操作这些数组能避免不必要的开销：

• indptr：行指针数组，indptr[i]表示第i行非零元素在indices和data数组中的起始位置，indptr[i+1]是结束位置
• indices：存储所有非零元素的列索引
• data：存储所有非零元素的值

这些属性都是numpy数组，对它们做切片操作只会生成原数组的视图，不会拷贝数据，能大幅提升遍历速度，实现代码如下：

from tqdm import tqdm

# matrix 是 scipy.sparse.csr_matrix 实例
indptr = matrix.indptr
col_indices = matrix.indices
row_values = matrix.data

for row_idx in tqdm(range(matrix.shape[0]), desc="Updating values", leave=False):
    # 获取当前行非零元素在数组中的切片范围
    start_pos = indptr[row_idx]
    end_pos = indptr[row_idx + 1]
    # 提取当前行的非零元素列索引和对应值
    current_col_indices = col_indices[start_pos:end_pos]
    current_values = row_values[start_pos:end_pos]
    
    # 这里写你的后续处理逻辑
    # 比如遍历当前行的非零元素：
    # for col_idx, val in zip(current_col_indices, current_values):
    #     ...

如果你的后续处理逻辑支持向量化操作，还可以完全避免逐行循环，直接基于indptr对indices和data数组做分组处理，效率会进一步提升。

内容的提问来源于stack exchange，提问作者Amit S