使用Rust的zstd-rs解压大Zstandard文件时出现内存不足错误

你的错误Frame requires too much memory for decoding并非因为读写缓冲区大小，而是Zstandard解压过程中需要的内存超出了默认解码器的限制。以下是针对性的解决方案：

1. 手动配置解码器的内存限制 #

copy_decode函数使用默认的解码器配置，其内存上限可能不足以处理像Reddit归档这类用大窗口压缩的文件。你可以通过DecoderBuilder手动指定允许的最大解码内存：

修改后的代码如下：

use std::fs::File;
use std::io::{self, BufReader, BufWriter, copy};
use zstd::stream::DecoderBuilder;

const SIZE: usize = 1024 * 1024 * 8;
const MAX_DECODE_MEM: usize = 1024 * 1024 * 64; // 64MB，可根据实际需求调整

fn decompress_file(input_file: &str, output_file: &str) -> io::Result<()> {
    let input_file = File::open(input_file)?;
    let output_file = File::create(output_file)?;

    let mut reader = BufReader::with_capacity(SIZE, input_file);
    let mut writer = BufWriter::new(output_file);

    // 自定义解码器，设置最大允许内存
    let mut decoder = DecoderBuilder::new(reader)
        .max_decoding_memory(MAX_DECODE_MEM)
        .build()?;
    
    // 流式复制解压数据
    copy(&mut decoder, &mut writer)?;

    writer.flush()?;
    Ok(())
}

fn main() {
    let input_file = "R:\\reddit\\RS_2021-03.zst";
    let output_file = "R:/out.data";

    match decompress_file(input_file, output_file) {
        Ok(_) => println!("Decompression successful!"),
        Err(e) => println!("An error occurred: {}", e),
    }
}

调整内存参数的建议 #

• 可以先用Zstd命令行工具查看压缩文件的参数：zstd --info RS_2021-03.zst，重点看window size字段，解码器的内存限制至少要大于等于这个值。
• 如果机器内存充足，可以适当调高MAX_DECODE_MEM（比如128MB或256MB），避免再次触发内存不足错误。

2. 替代方案：调用Zstd官方命令行工具 #

如果不想在Rust代码中处理内存配置，可以直接调用官方的Zstd命令行工具完成解压，这种方式的内存管理更成熟，适合大文件场景：

use std::process::Command;

fn decompress_with_cli(input_file: &str, output_file: &str) -> io::Result<()> {
    let status = Command::new("zstd")
        .arg("-d") // 解压模式
        .arg(input_file)
        .arg("-o")
        .arg(output_file)
        .status()?;
    
    if !status.success() {
        return Err(io::Error::new(io::ErrorKind::Other, "Zstd CLI decompression failed"));
    }
    Ok(())
}

// 在main中调用这个函数即可

注意：需要确保系统中已安装Zstd命令行工具（可从Zstd官方仓库下载）。

内容的提问来源于stack exchange，提问作者weiserhase