TypeScript使用KafkaJS时Kafka主题和生产者正常却无法发送消息

KafkaJSError带retriable: true标识该错误为临时可重试故障，不是代码逻辑层面的永久错误，本地单节点Kafka环境下常见诱因如下：

常见原因 #

• 生产者连接异常：初始化连接成功后，broker侧因为空闲超时、服务重启等原因断开连接，生产者未触发自动重连
• 主题配置不匹配：创建主题时指定了大于1的副本数，单节点环境下ISR（同步副本集）永远无法满足配置要求
• 生产者配置不合理：acks设为all但broker端min.insync.replicas配置为2，单节点永远无法达到最小同步副本要求；或是请求超时时间设置过短，正常网络波动就触发超时
• Broker监听配置错误：listeners或advertised.listeners配置和生产者实际访问的地址不匹配，导致生产者拿到的broker地址不可访问

排查步骤 #

1. 开启KafkaJS调试日志：初始化Kafka实例时添加logLevel: logLevel.DEBUG配置，可输出完整错误栈，直接定位是连接问题、元数据获取问题还是ACK超时问题
2. 检查主题配置：执行Kafka自带脚本查看主题信息

kafka-topics.sh --describe --bootstrap-server localhost:9092 --topic 你的主题名

确认Replicas列值为1，ISR列与Replicas列内容一致
3. 核对生产者配置：检查初始化生产者时的acks配置，以及bootstrap.servers地址是否和broker的advertised.listeners配置完全一致
4. 排除消息格式问题：替换成最简测试消息发送，验证是否是消息序列化导致的故障

// 测试用消息
const testMsg = {
  key: 'test-key',
  value: 'test-value'
}

解决方法 #

• 连接断连问题：初始化Kafka时开启重试配置，KafkaJS会自动重试所有可重试错误

import { Kafka, logLevel } from 'kafkajs'
const kafka = new Kafka({
  clientId: 'your-client-id',
  brokers: ['localhost:9092'],
  logLevel: logLevel.INFO,
  retry: {
    retries: 5,
    initialRetryTime: 300,
    maxRetryTime: 30000
  }
})

• 主题副本配置错误：删除原有主题，重新创建时指定单副本

kafka-topics.sh --delete --bootstrap-server localhost:9092 --topic 你的主题名
kafka-topics.sh --create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 1 --topic 你的主题名

• 配置不匹配问题：单节点环境下将生产者acks设为1即可，无需使用all；调整broker的server.properties配置，保证listeners和advertised.listeners与生产者访问地址一致，示例配置如下：

listeners=PLAINTEXT://0.0.0.0:9092
advertised.listeners=PLAINTEXT://localhost:9092

内容的提问来源于stack exchange，提问作者mojones101