稀疏矩阵数据交换的通用文件格式选型及优化咨询

哦，这个问题我太熟了——处理大稀疏矩阵的存储确实是个头疼事，尤其是原来用TSV这种稠密格式的时候，全是0的冗余数据占了90%以上的空间，完全是浪费。针对你的需求（通用纯文本格式、易加载、大幅压缩体积），推荐几个业界常用的方案，都是纯文本格式，和.txt一样友好：

1. COO（坐标）格式：最简单直接的稀疏存储 #

这是最容易上手的稀疏矩阵文本格式，核心思路就是只存非零元素的行号、列号和值，每行一个三元组，用空格或制表符分隔都可以。

举个例子，假设你的矩阵是：

0  5.2  0
3  0    0
0  0    1

存成COO格式就是：

0 1 5.2
1 0 3
2 2 1

优点： #

• 极度简单，任何编程语言（Python/Java/C++甚至Shell脚本）都能快速写几行代码解析，完全不用依赖特殊库；
• 体积压缩效果直接：原来的TSV要存100%的元素，现在只存10%的非零元素，4.2G的文件能直接降到400M左右（加上少量分隔符，实际大小可能略高，但绝对远小于原文件）；
• 支持整数和浮点数，格式兼容无压力。

注意： #

• 记得在文件开头可以加一行元数据，比如行数 列数 非零元素数，这样加载的时候能快速知道矩阵的整体规模，避免后续出错。

2. Matrix Market（MM）格式：标准化的行业通用格式 #

这是专门为稀疏矩阵设计的标准化纯文本格式，几乎所有科学计算工具（NumPy、SciPy、Matlab、R等）都原生支持读写，完全不用自己造轮子。

格式示例：

%%MatrixMarket matrix coordinate real general
3 3 3
0 1 5.2
1 0 3.0
2 2 1.0

第一行是格式声明，第二行是矩阵的行数、列数、非零元素数，后面就是和COO一样的三元组数据。

优点： #

• 标准化程度极高，不同工具之间交换数据完全没有兼容问题，比如用SciPy的scipy.io.mmread()可以直接加载，mmwrite()直接保存，省掉自己写解析代码的麻烦；
• 和COO一样只存非零元素，体积压缩效果相同；
• 支持区分矩阵类型（实数/复数、对称/非对称等），如果你的矩阵有特殊属性，能精准描述。

小提示： #

• 如果担心浮点数精度问题，可以在保存时指定输出的小数位数，比如用SciPy保存时设置precision=6，既保证精度又不会让字符串过长。

3. CSR（压缩行）格式：更紧凑的存储选择 #

如果想追求极致一点的体积压缩，可以试试CSR的纯文本版本。它把稀疏矩阵拆成三个数组：

• 行偏移数组：记录每行第一个非零元素在列索引/值数组中的位置；
• 列索引数组：所有非零元素的列号；
• 值数组：所有非零元素的数值。

还是用上面的例子，CSR格式的文本可以这么存：

3 3 3
0 1 2 3
1 0 2
5.2 3 1

第一行是行数、列数、非零元素数，第二行是行偏移数组，第三行是列索引数组，第四行是值数组。

优点： #

• 比COO/MM格式更紧凑：因为行偏移数组只存每行的起始位置，不用重复存储行号，对于行非零元素较多的矩阵，能省一点空间；
• 很多线性代数库原生支持CSR格式，加载后可以直接用于计算，不用再转换格式。

缺点： #

• 解析比COO/MM稍微复杂一点，需要处理三个数组的对应关系，如果只是做数据交换而非直接计算，COO/MM会更省心。

总结推荐 #

如果追求工具兼容性和标准化，优先选Matrix Market格式，几乎不用额外开发，直接用现有库就能读写；如果想最简化开发，自己写解析代码，选COO格式就好，成本极低。这两个格式都能把你的4.2G文件压缩到几百兆，完全满足需求，而且都是纯文本格式，和.txt一样通用易加载。

内容的提问来源于stack exchange，提问作者gc5