Scala中Zstd压缩载荷解压缩报错Unknown frame descriptor及头部添加方法

问题详情 #

我在Scala中尝试对一段载荷做Zstd解压缩，代码如下：

val uncompressed = "" // 待解压缩的载荷
val uncomprBytes = uncompressed.getBytes()
val size = uncomprBytes.length
val decompressedStr = decompress(uncomprBytes, size)

运行后触发异常：

Exception in thread "main" com.github.luben.zstd.ZstdException: Unknown frame descriptor
    at com.github.luben.zstd.ZstdDecompressCtx.decompressByteArray(ZstdDecompressCtx.java:157)
    at com.github.luben.zstd.ZstdDecompressCtx.decompress(ZstdDecompressCtx.java:214)
    at com.github.luben.zstd.ZstdDecompressCtx.decompress(ZstdDecompressCtx.java:219)
    at com.github.luben.zstd.Zstd.decompress(Zstd.java:1067)

我猜测是载荷缺少Zstd头部数据导致的，想知道怎么给载荷添加正确的头部。

解决方案 #

错误原因 #

这个错误确实是因为待解压缩的字节流没有Zstd标准帧头（frame descriptor）。Zstd解压缩器依赖帧头识别压缩格式、获取解压所需的参数（比如窗口大小、数据长度等），没有帧头就无法解析数据。

添加头部的正确方式 #

1. 用标准压缩流程生成带头部的载荷（推荐）

如果是你自己生成压缩数据，直接用Zstd库的标准压缩方法，它会自动添加符合规范的帧头：

import com.github.luben.zstd.Zstd

// 原始数据
val originalContent = "要压缩的内容".getBytes()
// 标准压缩：自动添加Zstd帧头
val compressedData = Zstd.compress(originalContent)
// 解压缩时直接使用这段数据即可
val decompressedData = Zstd.decompress(compressedData, originalContent.length)
val decompressedStr = new String(decompressedData)

2. 手动补帧头（仅应急，不推荐）

如果你的载荷是丢失了帧头的压缩数据，或者是未压缩的裸数据，手动构造帧头需要严格遵循Zstd的帧格式规范，很容易出错。以下是最简单的基础帧头构造示例：

import com.github.luben.zstd.Zstd

// 假设你的裸载荷字节为rawPayload
val rawPayload = "你的载荷内容".getBytes()
// 构造基础Zstd帧头（包含魔数和最简参数）
val frameHeader = Array[Byte](0x28, 0xB5, 0x2F, 0xFD, 0x01)
// 拼接头部和载荷
val payloadWithHeader = frameHeader ++ rawPayload
// 解压缩（需预估解压后的大小）
val decompressedData = Zstd.decompress(payloadWithHeader, rawPayload.length)
val decompressedStr = new String(decompressedData)

注意：手动构造帧头极容易因参数不匹配导致解压缩失败，优先用标准压缩流程生成有效Zstd数据。

内容的提问来源于stack exchange，提问作者Ankit Chawrai