如何基于制表符分隔的稀疏二进制字符串创建scipy.sparse.csr_matrix？

针对你这种稀疏的制表符分隔数据，直接构建scipy.sparse.csr_matrix的核心思路是只记录非零元素的位置和值，完全不用碰那些占内存的零值。我给你整理了一套高效的实现步骤，附代码示例：

核心思路 #

因为你的数据极度稀疏（大量空值对应0，少量'1'对应1），绝对不要先转换成密集数组（比如numpy的ndarray）——那样会浪费巨量内存。正确的姿势是：遍历每一行，只收集非零元素的行索引、列索引和对应的值，再用这三组数据直接构建稀疏矩阵。

具体实现步骤 #

1. 准备数据容器

先初始化三个列表（如果数据量极大，用numpy数组更高效），分别存储非零元素的行号、列号和值：

rows = []
cols = []
data = []

2. 遍历处理每一行

假设你的行式字符串都存在一个叫lines的列表里，遍历每一行，分割后筛选出非零元素的位置：

for row_idx, line in enumerate(lines):
    # 用制表符分割每行，得到字段列表（空字符串对应0）
    parts = line.split('\t')
    # 遍历每个字段，记录非零元素的位置和值
    for col_idx, val in enumerate(parts):
        # 这里判断val是否为'1'，如果字段可能带空格可以用val.strip() == '1'
        if val == '1':
            rows.append(row_idx)
            cols.append(col_idx)
            data.append(1)  # 也可以用True，生成布尔型稀疏矩阵更省内存

3. 构建CSR矩阵

首先确定矩阵的形状：行数就是你的总行数，列数取所有行分割后的最大字段数（如果已知固定列数，直接指定更高效）。然后用csr_matrix构造：

from scipy.sparse import csr_matrix

n_rows = len(lines)
# 计算最大列数（如果列数固定，直接写n_cols=xxx即可）
n_cols = max(len(line.split('\t')) for line in lines)

# 构建CSR矩阵
sparse_mat = csr_matrix((data, (rows, cols)), shape=(n_rows, n_cols))

优化建议 #

如果你的数据量特别大（比如百万级行数），用numpy数组存储rows、cols、data会更高效，避免列表的内存开销：

import numpy as np

rows_np = np.array(rows, dtype=np.int32)
cols_np = np.array(cols, dtype=np.int32)
# 用布尔型更省内存，或者用int8
data_np = np.array(data, dtype=np.bool_)

sparse_mat = csr_matrix((data_np, (rows_np, cols_np)), shape=(n_rows, n_cols))

示例验证 #

比如你有三行测试数据：

lines = [
    '\t1\t\t1\t',
    '\t\t1\t\t',
    '1\t\t\t\t'
]

处理后生成的CSR矩阵，转换成密集数组会是这样：

print(sparse_mat.toarray())
# 输出：
# [[0 1 0 1]
#  [0 0 1 0]
#  [1 0 0 0]]

这样完全符合你的数据稀疏表示需求，而且内存占用只有密集矩阵的几分之一甚至几百分之一。

内容的提问来源于stack exchange，提问作者seth127