如何在scipy.sparse大型稀疏数组中批量指定位置放置子稀疏数组？

核心思路 #

针对数万级尺寸的N×N稀疏数组批量放置子矩阵的需求，我们可以利用COO格式稀疏矩阵的结构特性，通过批量偏移子矩阵索引并合并数据的方式实现高效操作，全程无需生成密集数组，内存占用极低。

实现代码 #

import scipy.sparse as sp
import numpy as np

# 定义示例子稀疏矩阵
a, b, c, d = 1, 2, 3, 4
sub = sp.coo_array([[a, b], [c, d]])

# 提取子矩阵核心数据（行索引、列索引、对应值）
sub_row = sub.row
sub_col = sub.col
sub_data = sub.data
sub_m, sub_n = sub.shape

# 示例：生成题目中N=4/N=8对应的子矩阵左上角位置列表
def get_demo_positions(N):
    positions = []
    block_count = N // sub_m
    for i in range(block_count):
        for j in range(block_count - i):
            pos_i = i * sub_m
            pos_j = j * sub_n
            positions.append((pos_i, pos_j))
    return positions

# 通用批量放置函数：支持任意位置列表
def batch_place_submatrices(sub, positions, target_size):
    sub_row = sub.row
    sub_col = sub.col
    sub_data = sub.data
    sub_m, sub_n = sub.shape

    all_rows = []
    all_cols = []
    all_data = []

    for (top_row, left_col) in positions:
        # 计算偏移后的索引
        shifted_rows = sub_row + top_row
        shifted_cols = sub_col + left_col
        
        # 可选：检查子矩阵是否超出目标数组范围
        if shifted_rows.max() >= target_size or shifted_cols.max() >= target_size:
            raise ValueError(f"位置({top_row},{left_col})会导致子矩阵超出{target_size}×{target_size}范围")
        
        all_rows.append(shifted_rows)
        all_cols.append(shifted_cols)
        all_data.append(sub_data)

    # 合并所有索引和数据，构造最终稀疏矩阵
    all_rows = np.concatenate(all_rows)
    all_cols = np.concatenate(all_cols)
    all_data = np.concatenate(all_data)

    # 转CSR格式（适合行操作，也可根据需求转CSC/COO）
    return sp.coo_array((all_data, (all_rows, all_cols)), shape=(target_size, target_size)).tocsr()

# 测试N=4的场景
N4 = 4
pos4 = get_demo_positions(N4)
result4 = batch_place_submatrices(sub, pos4, N4)
print("N=4 矩阵（转密集查看）：")
print(result4.toarray())

# 测试N=8的场景
N8 = 8
pos8 = get_demo_positions(N8)
result8 = batch_place_submatrices(sub, pos8, N8)
print("\nN=8 矩阵（转密集查看）：")
print(result8.toarray())

方案优势 #

1. 内存高效：全程基于稀疏矩阵操作，仅存储非零元素的索引和值，数万级N也不会出现内存溢出问题
2. 适配性强：支持任意子矩阵形状和任意放置位置（规则模式/随机位置均可，只需传入对应的左上角坐标列表）
3. 性能优异：利用numpy数组批量拼接替代循环逐个添加，比手动逐个放置子矩阵的效率提升数倍
4. 灵活可控：可选择最终输出的稀疏矩阵格式（CSR/CSC/COO），适配不同的后续操作需求

注意事项 #

• 若子矩阵放置位置存在重叠，COO矩阵会自动累加重叠位置的值；若需要覆盖而非累加，可先通过np.unique处理重复索引后再构造矩阵
• 建议根据后续操作需求选择输出格式：CSR适合行切片、矩阵乘法等操作，CSC适合列操作，COO适合构造和转换

内容的提问来源于stack exchange，提问作者ThunderBolt84