无需存储文件，如何将Julia的Vector{UInt8}转为SparseMatrixCSC？

问题背景 #

需要实现Julia函数，直接处理.mtx.gz格式的远程URL（来自Matrix Market或SuiteSparse矩阵库），生成SparseArrays.SparseMatrixCSC类型的稀疏矩阵。当前实现将流读取为Vector{UInt8}或String后，无法直接转换为有效稀疏矩阵，且希望避免逐行读取字符串带来的性能损耗，同时无需将文件保存到本地存储。

解决方案 #

利用Julia标准库的流处理能力，直接将解压缩后的IO流传递给专门的Matrix Market解析函数，全程在内存中高效处理，无需中间转换。

推荐实现（Julia 1.6+） #

using HTTP
using CodecZlib
using SparseArrays

function load_mtx_gz(url::String)
    resp = HTTP.get(url)
    # 直接将HTTP响应字节包装为解压缩流
    stream = GzipDecompressorStream(IOBuffer(resp.body))
    # 从流读取Matrix Market格式数据，生成稀疏矩阵
    sparse_mat = SparseArrays.readmm(stream)
    close(stream)
    return sparse_mat
end

# 测试示例
url = "https://math.nist.gov/pub/MatrixMarket2/Harwell-Boeing/airtfc/zenios.mtx.gz"
mat = load_mtx_gz(url)
println("矩阵大小: ", size(mat))
println("非零元素数: ", nnz(mat))

关键说明

• GzipDecompressorStream直接对HTTP响应的字节缓冲进行解压缩，无需先将全部数据读取到内存
• SparseArrays.readmm是Julia标准库中专门优化的Matrix Market格式解析函数，可直接从IO流构建SparseMatrixCSC，避免了字符串转换的额外开销
• 全程内存操作，无需写入本地文件，最大化处理效率

兼容旧版本Julia的实现 #

如果使用的Julia版本未提供readmm函数，可通过readdlm读取流后手动构建稀疏矩阵：

using HTTP
using CodecZlib
using SparseArrays, DelimitedFiles

function load_mtx_gz_compat(url::String)
    resp = HTTP.get(url)
    stream = GzipDecompressorStream(IOBuffer(resp.body))
    # readdlm自动跳过Matrix Market开头的注释行（%开头）
    data = readdlm(stream)
    close(stream)
    # 提取矩阵维度信息
    m, n, _ = Int.(data[1, :])
    # 从数据行构建稀疏矩阵（Matrix Market为1-based索引，与Julia稀疏矩阵兼容）
    sparse_mat = sparse(Int.(data[2:end, 1]), Int.(data[2:end, 2]), data[2:end, 3], m, n)
    return sparse_mat
end

内容的提问来源于stack exchange，提问作者Chloe