如何在Java中使用ZSTD算法对字节数组进行压缩与解压缩

原代码存在的问题 #

• 硬编码缓冲区大小为1024，若输入数据压缩后超出该长度会导致数据截断；若远小于该长度，返回的数组会包含大量无效空字节
• 未处理compress/decompress方法的返回值，无法知晓实际写入的字节数，也无法判断操作是否成功
• 解压缩时无法预知原始数据大小，固定缓冲区会导致解压缩不完整

正确实现步骤 #

1. 引入依赖（以zstd-jni为例） #

如果使用Maven，在pom.xml中添加：

<dependency>
    <groupId>com.github.luben</groupId>
    <artifactId>zstd-jni</artifactId>
    <version>1.5.5-12</version> <!-- 建议使用最新稳定版本 -->
</dependency>

2. 压缩方法实现 #

• 用Zstd.compressBound计算压缩所需的最大缓冲区大小，避免缓冲区不足
• 调用压缩方法后，根据返回的实际压缩字节数截取有效数据返回
• 处理压缩失败的异常情况

import com.github.luben.zstd.Zstd;
import com.github.luben.zstd.ZstdException;

public static byte[] compressZstd(byte[] input) {
    if (input == null || input.length == 0) {
        return new byte[0];
    }
    // 计算压缩所需的最大缓冲区容量
    int maxCompressedSize = (int) Zstd.compressBound(input.length);
    byte[] compressedBuffer = new byte[maxCompressedSize];
    // 执行压缩操作，返回实际压缩的字节数
    long compressedSize = Zstd.compress(compressedBuffer, input, input.length);
    // 检查压缩是否成功
    if (Zstd.isError(compressedSize)) {
        throw new ZstdException("ZSTD压缩失败: " + Zstd.getErrorName(compressedSize));
    }
    // 截取有效压缩数据返回
    byte[] result = new byte[(int) compressedSize];
    System.arraycopy(compressedBuffer, 0, result, 0, (int) compressedSize);
    return result;
}

3. 解压缩方法实现 #

• 用Zstd.getFrameContentSize获取原始未压缩数据的大小，以此分配足够的缓冲区
• 调用解压缩方法后，验证返回值是否等于原始大小，确保解压缩完整
• 处理无效压缩帧等异常情况

import com.github.luben.zstd.Zstd;
import com.github.luben.zstd.ZstdException;

public static byte[] decompressZstd(byte[] input) {
    if (input == null || input.length == 0) {
        return new byte[0];
    }
    // 获取原始未压缩数据的大小
    long decompressedSize = Zstd.getFrameContentSize(input);
    if (decompressedSize == Zstd.frameContentSizeUnknown()) {
        throw new ZstdException("无法获取原始数据大小");
    }
    if (decompressedSize == Zstd.frameContentSizeError()) {
        throw new ZstdException("输入数据不是有效的ZSTD压缩帧");
    }
    // 分配匹配原始数据大小的缓冲区
    byte[] decompressedBuffer = new byte[(int) decompressedSize];
    // 执行解压缩操作，返回实际解压缩的字节数
    long actualDecompressedSize = Zstd.decompress(decompressedBuffer, input, input.length);
    // 验证解压缩是否完整
    if (actualDecompressedSize != decompressedSize) {
        throw new ZstdException("解压缩不完整，预期大小: " + decompressedSize + ", 实际大小: " + actualDecompressedSize);
    }
    return decompressedBuffer;
}

关键要点说明 #

• 缓冲区大小计算：Zstd.compressBound能确保缓冲区足够容纳压缩后的数据，避免截断；解压缩时通过getFrameContentSize获取原始大小，保证缓冲区容量匹配
• 错误处理：ZSTD方法返回负数表示操作失败，需用Zstd.isError判断，并用Zstd.getErrorName获取具体错误信息
• 数据有效性校验：解压缩前需验证输入是否为合法ZSTD帧，避免非法输入导致异常

内容的提问来源于stack exchange，提问作者pan ta