如何将嵌套列表式numpy数组转为内存友好且兼容的替代格式？

针对你遇到的内存问题，以下几种方案既能大幅降低内存占用，又能保留原嵌套列表的层级结构，适配后续函数：

1. 嵌套Scipy稀疏矩阵（CSR/CSC格式） #

利用Scipy稀疏矩阵仅存储非零值（即True）的特性，将每个子布尔数组转换为稀疏矩阵，外层保持嵌套列表结构。稀疏矩阵支持直接索引访问，也可快速转回numpy数组适配后续函数。

import numpy as np
from scipy.sparse import csr_matrix

# 假设原嵌套布尔数组为nested_bool_arr
sparse_nested = []
for outer_layer in nested_bool_arr:
    inner_sparse = []
    for bool_arr in outer_layer:
        # 将布尔数组转为int型（True=1，False=0）后创建CSR稀疏矩阵
        sparse_mat = csr_matrix(bool_arr.astype(np.int8))
        inner_sparse.append(sparse_mat)
    sparse_nested.append(inner_sparse)

# 访问示例：获取第i层第j个子数组的第k个元素
value = sparse_nested[i][j].toarray()[0, k]  # toarray()转回numpy数组
# 若后续函数支持稀疏矩阵，可直接传入sparse_nested[i][j]

优缺点：

• 优点：支持大部分矩阵运算，兼容性强，无需自定义逻辑；
• 缺点：相比纯索引存储，内存占用略高，适合需要矩阵操作的场景。

2. 自定义嵌套稀疏掩码类 #

完全只存储True值的坐标，通过自定义类模拟原数组的索引行为，内存占用最低，且结构完全匹配原嵌套列表。

import numpy as np

class SparseBoolMask:
    def __init__(self, shape, true_indices):
        self.shape = shape
        # 将True的索引转为集合，O(1)时间查询
        self.true_positions = set(true_indices)
    
    def __getitem__(self, idx):
        # 支持单个索引（如k）或元组索引（如(0, k)，适配二维数组）
        if not isinstance(idx, tuple):
            idx = (0, idx) if self.shape[0] == 1 else idx
        return idx in self.true_positions

# 转换原嵌套数组
sparse_nested = []
for outer_layer in nested_bool_arr:
    inner_masks = []
    for bool_arr in outer_layer:
        # 获取所有True值的坐标（二维数组返回(row, col)元组）
        true_coords = tuple(zip(*np.where(bool_arr)))
        mask = SparseBoolMask(bool_arr.shape, true_coords)
        inner_masks.append(mask)
    sparse_nested.append(inner_masks)

# 访问示例：和原数组完全一致
value = sparse_nested[i][j][k]  # 返回True/False

优缺点：

• 优点：内存占用极低（仅存True值坐标），索引访问方式与原数组完全相同；
• 缺点：若后续函数需要切片、批量操作，需扩展__getitem__方法实现对应逻辑。

3. Numpy打包布尔数组（packbits） #

利用numpy的packbits将布尔数组压缩为字节（每8个布尔值占1字节），内存直接缩减为原数组的1/8，结构保持嵌套列表，仅需简单解压即可恢复原数组。

import numpy as np

# 压缩原嵌套数组
packed_nested = []
for outer_layer in nested_bool_arr:
    inner_packed = []
    for bool_arr in outer_layer:
        # 打包布尔数组，存储压缩数据与原形状
        packed_data = np.packbits(bool_arr)
        inner_packed.append((packed_data, bool_arr.shape))
    packed_nested.append(inner_packed)

# 自定义访问函数，适配原数组的索引方式
def get_packed_value(packed_item, idx):
    packed_data, original_shape = packed_item
    # 解压并截取原长度（补位的0会被截断）
    unpacked_arr = np.unpackbits(packed_data)[:original_shape[0]]
    return unpacked_arr[idx]

# 访问示例
value = get_packed_value(packed_nested[i][j], k)  # 返回True/False

优缺点：

• 优点：实现简单，numpy原生支持，内存压缩比固定；
• 缺点：访问时需要解压，适合对访问速度要求不高、以存储为主的场景。

内容的提问来源于stack exchange，提问作者ask_10