如何高效在内存中存储NumPy上三角数组且不损失过多CPU效率

NumPy原生的ndarray是固定步长的稠密数组结构，np.triu()只是把下三角区域的元素赋值为0，并没有修改数组的形状和底层内存分配逻辑：对于形状为(n,n)的数组，不管元素值是什么，NumPy都会为其分配n*n*元素字节数的连续内存，所以你测出来全1矩阵和triu生成的上三角矩阵内存完全相同是符合预期的，NumPy原生没有自动压缩冗余0值的逻辑。

你测试用的代码如下：

import numpy as np

n = 2048

upper_triangular = np.triu(np.ones((n,n)))
not_upper_triangular = np.ones((n,n))

NumPy本身没有内置专门的三角矩阵压缩存储类型，但是可以根据使用场景选择以下方案，平衡内存占用和运算效率：

• 手动一维压缩存储（稠密上三角最优）
  上三角（含对角线）一共有n*(n+1)/2个有效元素，刚好是全矩阵元素数的一半左右。你可以把这些有效元素按行优先/列优先顺序存成一维NumPy数组，自己实现简单的索引映射逻辑即可。以行优先存储为例，第i行第j列（满足j>=i）的元素在一维数组中的索引为：pos = i*(2*n - i -1)//2 + (j - i)。
  这种方式没有任何额外内存开销，内存占用刚好是原二维矩阵的约1/2，而且一维数组是连续内存布局，做向量化运算时CPU缓存命中率很高。如果需要批量访问元素，可以提前生成索引数组做花式索引，性能和原生二维数组索引差距很小。如果你的运算以三角求解、Cholesky分解等线性代数操作为主，scipy.linalg的部分三角运算API原生支持这种压缩格式的输入，不需要还原成二维矩阵，效率和稠密二维矩阵几乎没有差别。
• scipy.sparse稀疏矩阵（非零元素占比低时适用）
  如果你的矩阵除了下三角全为0，上三角区域本身也有大量0值，可以用scipy.sparse.csr_matrix/csc_matrix存储三角矩阵，自动跳过所有0值的存储。注意如果你的上三角是全稠密的（比如示例里的全1上三角），稀疏格式需要额外存储非零元素的行列索引，总内存占用反而可能比普通二维矩阵更高，而且运算时的格式转换开销会明显拉低CPU效率，这种场景不推荐使用。

• 如果矩阵规模没有大到超出内存容量，且代码已经大量使用NumPy原生二维数组API，不需要特意做压缩，普通二维数组的使用成本最低。
• 如果矩阵规模已经让内存成为瓶颈，且主要做线性代数类运算，优先选手动一维压缩存储配合scipy的三角运算API，内存收益最高，效率损失最小。
• 仅当矩阵整体非零元素占比远低于50%时，再考虑稀疏矩阵方案。

内容的提问来源于stack exchange，提问作者J-J