Kafka Stream节点长时间宕机后无法自动重连问题咨询

不需要仅修改reconnect.backoff.ms就能实现自动重连，但默认配置大概率无法满足长时间宕机后的自动重连需求，建议结合配套参数手动调整。

参数默认值逻辑说明 #

• Kafka客户端默认reconnect.backoff.ms值为50ms，指两次尝试连接同一节点的基础等待间隔；配套参数reconnect.backoff.max.ms默认值为1000ms，重连等待时间会按指数退避规则增长，直到达到该最大值后保持固定间隔重试。

默认配置无法实现长时间宕机重连的原因 #

• 节点长时间宕机时，指数退避很快就会达到1s的上限，后续每次重连间隔固定为1s，高频重试会占用不必要的网络资源；此外部分低版本Kafka Streams存在重连逻辑缺陷，多次重试失败后会进入停滞状态，仅靠默认参数无法触发有效重连。

你贴出的报错是Kafka Streams内部生产者线程抛出的连接警告：

Error connecting to node localhost:9093 (id: -7 rack: null), 2021-10-21 00:21:14.567 [kafka-producer-network-thread | producer-135] WARN  o.apache.kafka.clients.NetworkClient.initiateConnect - [Producer clientId=producer-135] Error connecting to node localhost:9093 (id: -7 rack: null)

Kafka Streams内部的生产者、消费者、管理端客户端会复用同一套重连退避配置，参数配置正确的前提下三类客户端都会自动执行重连逻辑，无需单独配置。

建议配置方案 #

要实现可靠的节点宕机自动重连，建议手动调整以下参数：

• 调整reconnect.backoff.ms到1000ms、reconnect.backoff.max.ms到30000ms，既避免高频重试浪费资源，也保证重连间隔不会过长导致恢复不及时。
• 配置request.timeout.ms不小于reconnect.backoff.max.ms，避免请求超时时间短于最大重连间隔，导致重试还未执行就被判定为失败。
• 配置production.exception.handler对连接类异常返回RETRY指令，也可直接使用支持重试的内置异常处理器，保证生产链路的异常可以触发重试。
• 若使用2.3及更低版本的Kafka Streams，建议升级到2.8及以上稳定版本，修复已知的重连逻辑缺陷。

内容的提问来源于stack exchange，提问作者biswapriya khawas