Python中如何将带2个属性的矩阵集合存入文件并可按属性检索

核心采用 键值映射+科学计算专用二进制序列化 的设计，兼顾存取速度、空间占用和按n/m索引的需求，可根据你的矩阵规模选择对应落地方式：

方案1：单NPZ文件存储（中小规模数据集，总存储量<10GB） #

直接用NumPy原生的np.savez/np.savez_compressed格式，零额外依赖，实现成本最低：

• 存储规则：将矩阵A、向量b的键名按n_{n}_m_{m}_A、n_{n}_m_{m}_b的格式命名，新矩阵生成时先读取已有npz文件的键列表，统计对应n下的最大m值，自增得到新m后写入即可
• 调取规则：无需加载全量文件，直接通过np.load(dataset_path)[f'n_{n}_m_{m}_A']即可读取指定矩阵，底层自动做偏移寻址，开销极低
• 适配稀疏矩阵：如果用的是Scipy稀疏矩阵，搭配scipy.sparse.save_npz存储即可，键名规则保持一致
• 优点：实现简单，压缩模式下比纯二进制存储节省30%-50%空间

方案2：HDF5单文件存储（中等规模数据集，需要批量查询能力） #

如果需要支持批量拉取同一n下的所有矩阵，用HDF5格式搭配h5py库实现更灵活：

• 存储规则：将n作为一级分组（Group），m作为二级分组，每个m分组下存矩阵A、向量b两个数据集（Dataset），求解耗时、矩阵属性等元数据可以直接存在Dataset的attrs属性中
• 调取规则：with h5py.File('dataset.h5', 'r') as f: A = f[f'{n}/{m}/A'][()]，支持批量遍历同一n分组下的所有m数据
• 优点：单文件管理方便，支持TB级数据存储，原生支持层级索引

方案3：目录分层存储（大规模数据集，单矩阵≥1e4阶，总存储量≥10GB） #

用目录结构直接映射索引关系，每个矩阵单独存为npy文件，性能最高：

• 目录结构示例：

matrix_dataset/
├── n_100/
│   ├── m_1_A.npy
│   ├── m_1_b.npy
│   ├── m_2_A.npy
│   └── m_2_b.npy
├── n_200/
│   ├── m_1_A.npy
│   └── ...

• 存储规则：新矩阵生成时先判断n_{n}目录是否存在，遍历目录统计当前最大m值自增后，用np.save直接写入对应路径
• 调取规则：直接拼接路径读取np.load(f'matrix_dataset/n_{n}/m_{m}_A.npy')，没有任何额外索引开销，支持多进程并行读写
• 优点：单文件损坏不影响整个数据集，超大矩阵读写性能比单文件方案高20%以上

配套优化 #

可以单独维护一个metadata.json文件存储所有求解耗时和属性，不需要重新计算即可直接生成散点图，结构示例：

{
  "100": {
    "1": {"method1_time": 0.002, "method2_time": 0.005, "shape": [100, 100]},
    "2": {"method1_time": 0.003, "method2_time": 0.004, "shape": [100, 100]}
  }
}

不要使用CSV、文本等通用格式存储矩阵，序列化/反序列化速度会比二进制格式慢10倍以上，空间占用也高很多。

内容的提问来源于stack exchange，提问作者infomaniac