Logstash输出至Kafka插件故障，连接节点失败求助

我来帮你搞定这个Logstash向Kafka发消息失败的问题，这类连接节点失败+重试的报错，大多和网络连通、配置错误或者Kafka集群状态有关，咱们一步步排查：

1. 先确认Kafka Broker是否真的可用 #

先别着急调Logstash，先验证Kafka本身能不能正常工作：

• 登录Kafka所在服务器，执行kafka-topics.sh --list --bootstrap-server <你的BrokerIP>:<端口>（默认端口是9092），如果能正常列出已创建的主题，说明Broker是正常运行的；如果报错，那问题出在Kafka这边，先启动Broker或者排查它的故障。
• 也可以用nc -zv <BrokerIP> 9092测试端口连通性，要是显示连接失败，说明端口没开放或者Broker没启动。

2. 检查Logstash的Kafka输出配置 #

这是最容易踩坑的地方，重点留意这几个配置：

• bootstrap_servers：绝对不能只写localhost:9092（除非Logstash和Kafka在同一台机器），必须填Kafka Broker能被Logstash访问到的IP+端口，比如192.168.3.10:9092，如果是集群就用逗号分隔多个地址。
• 正确的配置示例：

output {
  kafka {
    bootstrap_servers => "192.168.3.10:9092,192.168.3.11:9092"
    topic_id => "your-target-topic"
  }
}

• 另外确认topic_id对应的主题已经在Kafka上创建了，虽然主题不存在时Kafka默认会自动创建，但有些环境会禁用自动创建，这也会导致发送失败。

3. 排查网络与防火墙 #

如果Logstash和Kafka不在同一台机器，必须检查网络连通性：

• 在Logstash服务器上ping Kafka Broker的IP，ping不通的话先解决网络路由问题。
• 检查Broker服务器的防火墙、安全组有没有放开Kafka的监听端口（默认9092），同时Logstash服务器的出站规则也要允许访问这个端口。

4. 检查Kafka的监听配置 #

很多人会忽略Kafka的server.properties里的监听配置，这也是常见的连接失败原因：

• 打开server.properties，查看listeners和advertised.listeners：
  • listeners设置Broker监听的地址，推荐设为PLAINTEXT://0.0.0.0:9092，允许所有网卡接收请求。
  • advertised.listeners是Broker对外暴露的地址，必须是Logstash能访问到的IP+端口，比如PLAINTEXT://192.168.3.10:9092，不能只写localhost:9092，不然Logstash会拿到localhost地址，根本连不上远程Broker。
• 修改完配置后，记得重启Kafka服务。

5. 查看更详细的日志 #

你已经看了Logstash的日志，也可以去Kafka的日志目录（默认/var/log/kafka/）查看server.log，里面会有Broker启动、连接的详细报错，比如端口被占用、配置错误等信息，能帮你快速定位问题。

内容的提问来源于stack exchange，提问作者polishsputnik