Kafka 2.8.1客户端在Broker启停后持续连接不可用节点问题咨询

• Kafka版本：2.8.1
• Kafka集群：192.168.1.2:9092(1001), 192.168.1.3:9092(1002)
• Kafka Topic配置：2个分区，2个副本
• Kafka客户端配置：bootstrap.servers: 192.168.1.2:9092,192.168.1.3:9092
• 操作步骤：先停止1001再启动1001，随后停止1002且不启动
  • 停止1001时，Kafka客户端运行正常
  • 1001启动且1002停止后，Kafka客户端持续尝试连接1002

[2023-05-16 23:27:02,450] WARN [Consumer clientId=consumer-123-1, groupId=123] Connection to node 1002 (192.168.1.3:9092) could not be established. Broker may not be available. (org.apache.kafka.clients.NetworkClient)
[2023-05-16 23:27:03,004] DEBUG [Consumer clientId=consumer-123-1, groupId=123] Give up sending metadata request since no node is available (org.apache.kafka.clients.NetworkClient)
[2023-05-16 23:27:03,054] DEBUG [Consumer clientId=consumer-123-1, groupId=123] Give up sending metadata request since no node is available (org.apache.kafka.clients.NetworkClient)
[2023-05-16 23:27:03,557] DEBUG [Consumer clientId=consumer-123-1, groupId=123] Initialize connection to node 192.168.1.3:9092 (id: 1002 rack: null) for sending metadata request (org.apache.kafka.clients.NetworkClient)
[2023-05-16 23:27:03,557] DEBUG [Consumer clientId=consumer-123-1, groupId=123] Initiating connection to node 192.168.1.3:9092 (id: 1002 rack: null) using address /192.168.1.3 (org.apache.kafka.clients.NetworkClient)
[2023-05-16 23:27:03,559] DEBUG [Consumer clientId=consumer-123-1, groupId=123] Set SASL client state to SEND_APIVERSIONS_REQUEST (org.apache.kafka.common.security.authenticator.SaslClientAuthenticator)
[2023-05-16 23:27:03,559] DEBUG [Consumer clientId=consumer-123-1, groupId=123] Creating SaslClient: client=null;service=kafka;serviceHostname=192.168.1.3;mechs=[PLAIN] (org.apache.kafka.common.security.authenticator.SaslClientAuthentica
[2023-05-16 23:27:03,560] DEBUG [Consumer clientId=consumer-123-1, groupId=123] Connection with 192.168.1.3 disconnected (org.apache.kafka.common.network.Selector)

1. Kafka客户端配置的bootstrap server（1001、1002）仅用于初始连接
2. 当1001停止时，Kafka客户端刷新元数据并将1001从可用节点列表移除，此时客户端仅知晓1002
3. 当1001启动后，Kafka客户端未刷新元数据，仍仅知晓1002
4. 当1002停止后，Kafka客户端仅持有1002的元数据，因此持续尝试连接1002

问题解答 #

这并非你的使用方式有误，而是Kafka客户端在特定场景下的行为局限。

Kafka客户端默认逻辑中，当所有已知节点都不可用时，不会主动回退到bootstrap配置列表重新尝试连接，而是持续尝试最后已知的节点。这种设计在常规场景下可行，但在你遇到的节点状态频繁切换场景中，就会出现无法自动恢复连接的问题。

你提出的“无可用节点时尝试连接bootstrap配置节点”的逻辑是合理的优化方向，可向Kafka社区提交优化建议，也可通过调整客户端重试策略、元数据刷新机制缓解该问题。

内容的提问来源于stack exchange，提问作者Madai