如何识别csc_matrix格式稀疏矩阵的唯一列及重复次数？

针对你提到的CSC矩阵（列压缩稀疏矩阵）的场景，直接转密集矩阵或者依赖原抽样索引肯定行不通——毕竟大稀疏矩阵转密集会爆内存，而且抽样后的列索引也没法直接用numpy.unique。好在CSC本身是按列存储的，我们可以利用它的结构特性来高效处理，不需要碰密集格式。

核心思路 #

CSC矩阵的indptr、indices、data三个数组已经帮我们把每列的非零元素信息整理好了：

• indptr[i]和indptr[i+1]标记了第i列的非零元素在indices和data中的起止位置
• indices[indptr[i]:indptr[i+1]]是第i列非零元素的行索引
• data[indptr[i]:indptr[i+1]]是对应位置的值

所以，每一列的唯一标识可以用它的非零元素（行索引+值）的组合来表示，全零列则单独标记。我们只需要遍历每一列，生成这个可哈希的标识，再用字典统计重复次数即可。

具体实现代码 #

import numpy as np
from scipy.sparse import csc_matrix

def count_unique_csc_columns(csc_mat, decimal_precision=None):
    """
    统计CSC稀疏矩阵中唯一列的重复次数及对应列索引
    
    参数:
        csc_mat: scipy.sparse.csc_matrix 输入的稀疏矩阵
        decimal_precision: int 可选，若为浮点数矩阵，指定保留的小数位数以避免精度问题
    
    返回:
        list 包含每个唯一列的信息：出现次数、对应列索引、列的特征标识
    """
    col_signatures = {}
    indptr = csc_mat.indptr
    indices = csc_mat.indices
    data = csc_mat.data

    for col_idx in range(csc_mat.shape[1]):
        start = indptr[col_idx]
        end = indptr[col_idx + 1]
        
        # 处理全零列
        if start == end:
            sig = ("zero_column",)
        else:
            col_rows = indices[start:end]
            col_vals = data[start:end]
            
            # 处理浮点数精度问题（可选）
            if decimal_precision is not None:
                col_vals = np.round(col_vals, decimals=decimal_precision)
            
            # 生成可哈希的特征标识（CSC的indices本身是按行号升序排列的，无需额外排序）
            sig = tuple(zip(col_rows, col_vals))
        
        # 更新统计字典
        if sig in col_signatures:
            col_signatures[sig]["count"] += 1
            col_signatures[sig]["columns"].append(col_idx)
        else:
            col_signatures[sig] = {"count": 1, "columns": [col_idx]}
    
    # 整理成易读的结果格式
    unique_col_info = []
    for sig, info in col_signatures.items():
        unique_col_info.append({
            "repeat_count": info["count"],
            "column_indices": info["columns"],
            "column_signature": sig
        })
    
    return unique_col_info

关键细节说明 #

1. 全零列处理：通过判断indptr的起止位置是否相等，直接标记为特殊特征，避免遗漏全零列的重复情况。
2. 浮点数精度问题：如果矩阵元素是浮点数，可能会因为微小的精度差异导致原本相同的列被误判，这时候可以通过decimal_precision参数对值进行舍入。
3. 效率优化：整个过程只遍历一次所有非零元素，时间复杂度为O(N)（N是矩阵非零元素总数），完全适配大型稀疏矩阵，不会占用额外的大内存。

示例使用 #

# 创建一个有重复列的CSC矩阵示例
row = np.array([0, 1, 0, 1, 0, 1])
col = np.array([0, 0, 1, 1, 2, 2])
data = np.array([1.0, 2.0, 1.0, 2.0, 3.0, 4.0])
csc_mat = csc_matrix((data, (row, col)), shape=(2, 3))

# 统计唯一列
result = count_unique_csc_columns(csc_mat, decimal_precision=6)

# 打印结果
for item in result:
    print(f"重复次数: {item['repeat_count']}, 对应列索引: {item['column_indices']}")

输出结果：

重复次数: 2, 对应列索引: [0, 1]
重复次数: 1, 对应列索引: [2]

为什么不用其他方法？ #

• 转密集矩阵：对于大型稀疏矩阵来说，内存开销会直接爆炸，完全不可行。
• 用getcol逐个比较：每次比较两个列矩阵的时间成本很高，列数多的时候效率极低。
• 依赖原抽样索引：你提到原矩阵本身可能就有重复列，所以抽样后的索引无法直接反映列的唯一性，这条路走不通。

内容的提问来源于stack exchange，提问作者momomi