如何存储SciPy稀疏矩阵上三角区至本地并加载到共享内存重构？是否需拆分三部分？

一、简便实现流程 #

1. 提取并存储上三角矩阵 #

SciPy提供了直接提取上三角（含对角线）的sp.triu()函数，配合sp.save_npz()可以一键完成存储，这是最简便的方式：

import scipy.sparse as sp

# 假设已有CSR格式的稀疏矩阵matrix
upper_tri_matrix = sp.triu(matrix)  # 默认包含对角线
sp.save_npz('upper_tri_matrix.npz', upper_tri_matrix)

2. 加载至共享内存并重构矩阵 #

要将矩阵放到共享内存，核心是把CSR矩阵的三个核心数组（data、indices、indptr）转移到共享内存块，再用这些共享数组重构CSR矩阵。可以通过封装函数简化重复操作：

import numpy as np
from multiprocessing import shared_memory

# 从文件加载上三角矩阵
loaded_matrix = sp.load_npz('upper_tri_matrix.npz')

# 封装：将numpy数组转移至共享内存
def arr_to_shared(arr):
    shm_block = shared_memory.SharedMemory(create=True, size=arr.nbytes)
    shared_arr = np.ndarray(arr.shape, dtype=arr.dtype, buffer=shm_block.buf)
    np.copyto(shared_arr, arr)
    return shm_block, shared_arr

# 处理三个核心数组
shm_data, shared_data = arr_to_shared(loaded_matrix.data)
shm_indices, shared_indices = arr_to_shared(loaded_matrix.indices)
shm_indptr, shared_indptr = arr_to_shared(loaded_matrix.indptr)

# 重构共享内存中的CSR矩阵
shared_csr_matrix = sp.csr_matrix(
    (shared_data, shared_indices, shared_indptr),
    shape=loaded_matrix.shape
)

# 使用后清理共享内存
for shm in [shm_data, shm_indices, shm_indptr]:
    shm.close()
    shm.unlink()

二、拆分三数组方案的必要性分析 #

ChatGPT方案中拆分data、indices、indptr的操作是完全必要的，原因如下：

• CSR稀疏矩阵的本质是对三个一维numpy数组的封装：data存储非零值，indices存储对应列索引，indptr存储每行的非零值起始位置。矩阵本身不存储原始数据，只是引用这三个数组。
• 共享内存只能针对numpy数组这类连续内存块操作，无法直接将整个CSR矩阵对象放入共享内存。只有将三个核心数组都转移到共享内存，才能让多个进程共享同一份矩阵数据，避免重复拷贝内存。
• 如果跳过拆分步骤，直接复制整个矩阵对象，每个进程会持有独立的数据副本，完全失去共享内存的意义。

原方案的代码可以通过封装函数简化重复逻辑，但拆分核心数组的核心思路是正确且不可替代的。

内容的提问来源于stack exchange，提问作者Geremia