如何利用对称性高效存储海量非稀疏对称Numpy矩阵？

对称矩阵的核心特性是元素满足 (a[i][j] = a[j][i])，这意味着你只需要存储矩阵的上三角（包含对角线）或下三角部分就足够了——剩下的部分可以通过转置复制完全恢复。结合你给出的参数，我们来算笔账：

• 原始100×100矩阵的元素总数：(100 \times 100 = 10000)
• 对称矩阵需要存储的独特元素数（以上三角为例）：(\frac{100 \times (100+1)}{2} = 5050)

这直接让单个矩阵的存储空间减少了约49.5%，整体总容量也会对应缩减一半左右，完全能把你的1TB存储需求降到500GB上下。

接下来给你具体的实现方案，用Numpy就能轻松搞定：

一、压缩存储对称矩阵 #

针对每个100×100的对称矩阵，我们可以提取其独特的上三角元素并存储：

import numpy as np

# 假设你有一个100×100的对称矩阵
sym_matrix = np.random.rand(100, 100)
sym_matrix = sym_matrix + sym_matrix.T - np.diag(sym_matrix.diagonal())  # 确保对称

# 提取上三角元素的索引
triu_indices = np.triu_indices(100)
# 压缩成一维数组（只保留独特元素）
compressed = sym_matrix[triu_indices]

对于你现有的100000个矩阵组成的批量数据，你可以把它们转换成(100000, 5050)的二维数组，再保存为npy文件：

# 假设batch是(100000, 100, 100)的数组
batch_compressed = batch[:, triu_indices[0], triu_indices[1]]
np.save('compressed_batch.npy', batch_compressed)

这样单个文件的大小会从5.1GB降到约2.57GB（5.1GB × 5050/10000），200个文件总容量约514GB，直接砍半。

二、从压缩数据恢复对称矩阵 #

读取压缩文件后，只需反向操作就能还原出完整的对称矩阵：

# 读取压缩的批量数据
batch_compressed = np.load('compressed_batch.npy')

# 初始化空的对称矩阵数组
batch_restored = np.zeros((100000, 100, 100))
# 填充上三角部分
batch_restored[:, triu_indices[0], triu_indices[1]] = batch_compressed
# 转置填充下三角，同时避免对角线重复相加
batch_restored = batch_restored + batch_restored.transpose(0, 2, 1) - np.diag(batch_restored[:, range(100), range(100)]).reshape(100000, 100, 1)

额外优化建议 #

• 验证对称性：存储前最好先验证矩阵是否严格对称，避免恢复后出现错误：

  assert np.allclose(batch, batch.transpose(0, 2, 1)), "矩阵不对称，无法用此方法压缩"
  

• 可选压缩格式：如果还想进一步节省空间，可以用np.savez_compressed替代np.save，不过会牺牲一点读写速度，适合对存储容量要求极高的场景。
• 避免稀疏矩阵：你提到几乎所有元素非零，所以scipy.sparse这类稀疏存储格式并不划算——稀疏矩阵更适合大部分元素为0的场景，反而会增加额外的索引存储开销。

内容的提问来源于stack exchange，提问作者Alice Schwarze