KafkaJS消费者无法解压特定ZSTD压缩主题的消息（decompress返回null）

我之前排查过类似的坑，结合你的描述，这几个方向可以重点深挖下：

1. 生产者可能覆盖了主题的压缩参数 #

虽然主题配置显示是zstd，但生产者可以在发送时强制指定更特殊的ZSTD参数——比如用了更高的压缩级别、自定义字典，或者窗口大小超过了你的Simple解码器默认支持的范围。你的Simple实例用的是默认配置，要是生产者用了这些非常规参数，解码器就可能认不出，直接返回null。

你可以去查下往这个X主题发消息的生产者代码，看看是不是显式设置了ZSTD的特殊配置，比如有没有指定zstd.compression.level或者自定义字典相关的参数。

2. 目标主题的消息可能存在损坏或不完整 #

虽然概率不高，但特定主题的消息有可能在存储或传输环节出了问题，导致字节流不合法，ZSTD解码器无法解析。你可以试试用Kafka自带的命令行工具消费这个主题：

kafka-console-consumer.sh --bootstrap-server <你的broker地址> --topic X --from-beginning

如果命令行工具也解析不了，那大概率是消息本身的问题；如果命令行能正常解析，那就是你的解码器配置的问题了。

3. 解码器的作用域或注册时机问题 #

虽然你说其他主题正常，但还是可以确认下：你的Codec注册代码是不是在所有消费者初始化之前执行的？比如这个X主题的消费者是不是单独创建的，或者你的Codec注册逻辑是在消费者connect之后才跑的？如果注册时机晚了，这个主题的消费者可能没用到正确的解码器。

4. 主题的消息格式版本不兼容 #

如果这个X主题的message.format.version配置比其他正常主题的旧，也可能和你的ZSTD解码器存在兼容问题。你可以用命令查下主题的配置：

kafka-configs.sh --bootstrap-server <你的broker地址> --describe --topic X

对比下正常主题的message.format.version，看看是不是有明显差异。

几个快速排查的小技巧 #

• 在你的decompress方法里加个日志，把输入的原始Buffer的前几个字节打印出来（注意别泄露敏感数据），和正常主题的消息字节对比下，看看有没有明显不同
• 尝试替换掉Simple实例，用ZSTD的底层API手动指定参数，比如设置更大的窗口大小：

CompressionCodecs[CompressionTypes.ZSTD] = () => ({
  compress: async (input) => Buffer.from(zstd.compress(input, { level: 3 })),
  decompress: async (input) => {
    try {
      return Buffer.from(zstd.decompress(input, { maxOutputSize: 1024 * 1024 * 10 })); // 10MB的最大输出
    } catch (e) {
      console.error('解压失败:', e);
      return input;
    }
  }
});

• 直接找生产端的同事确认下，发送到X主题的消息是不是真的用ZSTD正确压缩了，有没有可能生产代码里有bug（比如压缩逻辑没生效，或者字节流被意外修改了）

内容来源于stack exchange