如何存储包含大量不同尺寸矩阵的列表至可正常回读的文件

你此前使用CSV、txt等文本格式存储报错的核心原因是：文本格式没有原生的异构列表结构标识，解析器会默认所有行的列数一致，自然会触发行列数不匹配的报错。
按优先级从高到低推荐以下可行方案：

方案1：原生序列化二进制格式（首选，零解析成本，100%保留原结构） #

不需要对原有列表结构做任何调整，读写速度快、占用空间小，完全不存在解析错误问题：

• R环境：直接用内置函数操作即可
  存储代码：save(matrix_list, file = "matrix_list.RData")
  读取代码：load("matrix_list.RData")
  追求更快读写速度和更高压缩率可以安装qs包，用qsave()/qload()替代原生函数，性能提升3-5倍。
• Python环境：可选择内置pickle或numpy序列化工具
  pickle实现：

  import pickle
  # 存储
  with open("matrix_list.pkl", "wb") as f:
      pickle.dump(matrix_list, f)
  # 读取
  with open("matrix_list.pkl", "rb") as f:
      matrix_list = pickle.load(f)
  

  numpy实现：
  存储代码：np.save("matrix_list.npy", matrix_list, allow_pickle=True)
  读取代码：matrix_list = np.load("matrix_list.npy", allow_pickle=True)

方案2：带标识的文本格式（仅当需要人可读存储时选用） #

如果必须存储为可直接打开查看的文本格式，不要直接拼接矩阵存储：

• 给每个矩阵新增唯一ID列，将所有矩阵按行拼接为一张大表，列结构为「矩阵ID + 原有矩阵列」
• 存储为CSV后不会出现行元素不匹配问题，回读后按ID列分组，每组删除ID列即可还原为原矩阵列表。

方案3：HDF5科学存储格式（适合跨语言调用场景） #

如果需要在不同编程语言之间共享数据，可使用HDF5格式存储：

• 每个矩阵可作为HDF5文件内的独立数据集存储，支持随机访问，不需要一次性加载全部数据到内存。
• R环境可使用rhdf5包操作，Python环境可使用h5py/pytables包操作。

内容的提问来源于stack exchange，提问作者PSB