如何从scipy稀疏矩阵的npz文件仅读取前n行？

首先明确：scipy自带的scipy.sparse.load_npz函数不支持直接读取部分行，因为npz文件里存储的是稀疏矩阵的完整结构数据（比如CSR格式的data、indices、indptr数组），这些数据是按整个矩阵的组织方式存储的，没有内置的部分读取机制。

你的当前写法（先全量加载再切片）是最常规的操作，但如果原矩阵特别大，全量加载会占用过多内存，这里提供两种替代方案：

方案1：提前预处理（推荐，简单高效） #

如果需要频繁读取前n行，可以预先把这部分数据单独存成一个小的npz文件，后续直接读取这个文件即可：

import scipy.sparse as sp

# 仅需执行一次的预处理
full_mat = sp.load_npz('X.npz')
first_n_rows = full_mat[:1000, :]
sp.save_npz('X_first_1000.npz', first_n_rows)

# 之后每次使用直接读取小文件
X = sp.load_npz('X_first_1000.npz')

方案2：手动解析npz文件（适合超大矩阵，内存友好） #

通过手动读取npz里的核心数组，只提取前n行对应的部分，避免加载整个矩阵到内存。注意这个方法针对CSR格式的稀疏矩阵（scipy默认保存的格式）：

import numpy as np
import scipy.sparse as sp

n = 1000

# 打开npz文件，不加载全部数据
with np.load('X.npz', allow_pickle=False) as npz_file:
    # 读取CSR矩阵的核心组件
    data = npz_file['data']
    indices = npz_file['indices']
    indptr = npz_file['indptr']
    original_shape = npz_file['shape']
    
    # 防止n超过矩阵总行数
    n = min(n, original_shape[0])
    
    # 提取前n行对应的数组片段
    new_indptr = indptr[:n+1]
    new_data = data[new_indptr[0]:new_indptr[-1]]
    new_indices = indices[new_indptr[0]:new_indptr[-1]]
    new_shape = (n, original_shape[1])
    
    # 构造新的CSR稀疏矩阵
    X = sp.csr_matrix((new_data, new_indices, new_indptr), shape=new_shape)

如果原矩阵是CSC格式，需要调整逻辑：CSC的indices是行索引，你需要筛选出indices < n的元素，再重新计算indptr，操作相对复杂，建议优先转换成CSR格式后再处理。

内容的提问来源于stack exchange，提问作者Lucas Morin