使用kcat消费Kafka消息时为何自动连接localhost:9092？

问题描述 #

我尝试使用kcat从指定的远程Kafka broker消费消息，已通过-b参数指定远程broker的IP，但kcat始终尝试连接localhost:9092，连接失败报错。示例命令及报错如下：

kcat -C -b <remote kafka broker ip> -t test-topic1 -o -1 -e
%3|1675853772.320|FAIL|rdkafka#consumer-1| [thrd:localhost:9092/1001]: localhost:9092/1001: Connect to ipv4#127.0.0.1:9092 failed: Connection refused (after 0ms in state CONNECT)
% ERROR: Local: Broker transport failure: localhost:9092/1001: Connect to ipv4#127.0.0.1:9092 failed: Connection refused (after 0ms in state CONNECT)
%3|1675853772.576|FAIL|rdkafka#consumer-1| [thrd:localhost:9092/1001]: localhost:9092/1001: Connect to ipv6#[::1]:9092 failed: Connection refused (after 0ms in state CONNECT)
% ERROR: Local: Broker transport failure: localhost:9092/1001: Connect to ipv6#[::1]:9092 failed: Connection refused (after 0ms in state CONNECT)

但执行kcat -b <remote kafka broker ip> -L命令时，却能正常列出该远程broker的主题和分区，请问消费消息时为何会连接本地？

原因分析 #

这是Kafka的典型配置问题：你指定的远程Broker在返回元数据时，告诉客户端（kcat）要连接的Broker地址是localhost:9092，而非它对外暴露的IP。

使用-L参数时，kcat仅需从指定Broker拉取元数据，无需建立实际的消息消费连接；但消费消息时，kcat会依据Broker返回的元数据中的Broker地址建立连接，因此会尝试连接localhost。

解决办法 #

方案一：修改Kafka Broker配置（推荐） #

• 编辑Broker的server.properties配置文件：
  • 设置advertised.listeners为远程Broker对外可访问的IP和端口，例如：PLAINTEXT://<remote-ip>:9092
  • 确保listeners配置包含与advertised.listeners对应的监听地址（若listeners设为PLAINTEXT://0.0.0.0:9092则无需额外修改，允许所有IP访问）
• 重启Kafka Broker服务

方案二：临时绕过（无法修改Broker配置时使用） #

在kcat命令中添加参数，强制覆盖元数据中的Broker地址：

kcat -C -b <remote kafka broker ip> -t test-topic1 -o -1 -e -X broker.address.family=v4 -X metadata.broker.list=<remote kafka broker ip>:9092

或者直接强制让rdkafka始终使用指定的bootstrap地址：

kcat -C -b <remote kafka broker ip> -t test-topic1 -o -1 -e -X bootstrap.servers=<remote kafka broker ip>:9092

内容的提问来源于stack exchange，提问作者Syn