稀疏矩阵与稠密Numpy矩阵的低内存点积计算方案咨询

核心优化思路 #

1. 保留稀疏矩阵的原生格式，禁止转为稠密数组，从根源减少内存占用
2. 拆分计算任务为分块/逐行处理，控制单次内存使用量
3. 利用第二个矩阵仅含-1和1的特性，避免不必要的内存开销

关键修正：避免稀疏矩阵转稠密数组 #

你之前的示例代码中将稀疏矩阵转为array，这会直接占用**24GB+**内存（float32下），是导致后续内存溢出的核心原因。正确的做法是直接生成并保留Scipy的CSR稀疏格式：

from scipy import sparse as sps
# 直接生成CSR格式的稀疏矩阵，无需转array
x = sps.random(m=10000, n=600000, density=0.1, format='csr', dtype=np.float32)

此方式下，x仅需存储非零元素，内存占用约2.4GB（float32），相比稠密格式减少90%。

方案1：分块处理（平衡内存与速度） #

将大矩阵拆分为若干小行块，逐块计算点积并累加结果，单次内存占用可控制在几十MB级别：

import numpy as np
from scipy import sparse as sps

# 初始化稀疏矩阵与二元矩阵
x = sps.random(m=10000, n=600000, density=0.1, format='csr', dtype=np.float32)
y = np.random.choice([-1, 1], size=(600000, 256)).astype(np.int8)

# 初始化结果矩阵（仅约10MB，完全可放在内存）
result = np.zeros((x.shape[0], y.shape[1]), dtype=np.float32)

# 分块大小：根据内存调整，示例为200行/块
block_size = 200
for start_idx in range(0, x.shape[0], block_size):
    end_idx = min(start_idx + block_size, x.shape[0])
    # 取出当前行块
    x_block = x[start_idx:end_idx]
    # 计算当前块与y的点积
    block_res = x_block.dot(y)
    # 写入结果
    result[start_idx:end_idx] = block_res
    # 手动释放临时变量内存（可选，加速GC）
    del x_block, block_res

方案2：逐行处理（最低内存占用） #

若内存限制极端严格，可逐行计算点积，单次仅需存储当前行的非零元素（约几百KB）：

import numpy as np
from scipy import sparse as sps

x = sps.random(m=10000, n=600000, density=0.1, format='csr', dtype=np.float32)
y = np.random.choice([-1, 1], size=(600000, 256)).astype(np.int8)

result = np.zeros((x.shape[0], y.shape[1]), dtype=np.float32)

for row_idx in range(x.shape[0]):
    # 获取当前行的非零元素与对应列索引
    row_start = x.indptr[row_idx]
    row_end = x.indptr[row_idx + 1]
    row_data = x.data[row_start:row_end]
    row_indices = x.indices[row_start:row_end]
    # 计算该行与y的点积（利用y的二元特性，乘法等价于加减）
    result[row_idx] = row_data @ y[row_indices, :]
    # 释放临时变量
    del row_data, row_indices

额外优化建议 #

• dtype选型：x用float32（精度足够且内存仅为float64的一半），y用int8（存储-1/1仅需1字节），进一步压缩内存。
• 避免不必要的复制：所有操作尽量使用copy=False（如类型转换时），减少内存冗余。

内容的提问来源于stack exchange，提问作者Grayrigel