Spring Boot生产者与Node消费者对接Kafka 1.1.0遇Unknown错误求助

核心原因 #

这个错误是Kafka客户端与集群版本不兼容导致的：

• 你提到的kafka-client应为笔误，错误堆栈显示实际依赖是kafka-node，其^5.0.0版本默认适配高版本Kafka集群（如测试环境的3.2.3），但Kafka 1.1.0不支持部分高版本协议特性，导致客户端解析Fetch响应时遇到未知字段，抛出Unknown错误。
• spring-kafka2.0.0与Kafka 1.1.0版本兼容，因此生产者侧无异常。

解决方案 #

1. 降级kafka-node版本 #

kafka-node5.x版本已停止对Kafka 1.1.0这类旧版本的兼容支持，建议降级到匹配版本：

• 推荐使用kafka-node@2.6.1或3.x系列版本（明确支持Kafka 0.10.x-2.0.x集群）
• 执行降级命令：

npm install kafka-node@2.6.1 --save

2. 强制指定Kafka API版本（无需降级） #

若无法降级依赖，可在Node.js消费者配置中强制指定与集群匹配的API版本，避免客户端尝试高版本协议：

const kafka = require('kafka-node');
const client = new kafka.KafkaClient({
  kafkaHost: '你的Kafka集群地址:9092',
  apiVersion: '1.1.0' // 强制使用Kafka 1.1.0协议版本
});
const consumer = new kafka.Consumer(
  client,
  [{ topic: '目标主题名' }],
  { autoCommit: true }
);

3. 验证生产者消息格式 #

检查Spring Boot生产者配置，确保未使用Kafka 1.1.0不支持的特性：

• 确认未启用transaction.id（事务特性在Kafka 0.11.0+支持，spring-kafka2.0.0默认未开启）
• 压缩算法使用Kafka 1.1.0支持的类型（如gzip、snappy，避免zstd，后者在Kafka 2.1.0+才正式支持）

验证步骤 #

1. 应用任一方案后重启Node.js消费者服务
2. 发送测试消息，检查是否仍出现Unknown错误
3. 查看Kafka Broker日志，确认无协议不兼容类报错

内容的提问来源于stack exchange，提问作者Shubham Pareek