关于Micronaut-Kafka处理Broker连接丢失及单Broker宕机的技术问询

1. 单Broker连接断开时的处理逻辑 #

Micronaut-Kafka 基于 Apache Kafka Java 客户端封装，核心处理逻辑与原生客户端一致：

• 自动重试机制：客户端会根据配置的重试参数（如retries、retry.backoff.ms）自动尝试重新建立连接，直到达到重试上限或连接恢复。
• 元数据刷新：连接断开后，客户端会触发Broker元数据的刷新操作，尝试获取最新的Broker状态信息。
• 自定义错误处理：你可以通过以下方式处理具体错误：
  • 消费者：在@KafkaListener中定义错误处理方法，或配置kafka.consumer.error-handler指定全局错误处理器，捕获连接异常引发的消费失败。
  • 生产者：通过发送回调（Callback）或配置kafka.producer.error-handler，处理因连接断开导致的消息发送失败。

2. 多Broker部署下单Broker宕机的处理 #

当集群中某个Broker宕机时，Micronaut-Kafka 会自动完成切换，无需手动干预：

• 初始地址列表兜底：客户端通过bootstrap.servers配置的多个Broker地址初始化，即使其中一个不可用，仍能通过其他Broker获取集群元数据。
• 自动感知与路由切换：客户端会定期检测Broker状态，当发现某个Broker宕机时，会将其从可用Broker列表中移除，后续生产/消费请求会自动路由到其他正常运行的Broker。
• 分区领导者自动切换：若宕机的Broker是某个分区的领导者，Kafka集群会自动触发分区领导者选举，客户端在元数据刷新后，会自动切换到新的领导者Broker进行操作。

内容的提问来源于stack exchange，提问作者BlackLotus