Kafka消费者因陈旧Broker IP超时，如何配置节点连接超时与重试次数？

问题描述 #

我编写了一个Kafka Consumer，初始化时指定bootstrap server列表为ip1:9092,ip2:9092,ip3:9092。一段时间后ip2和ip3被替换为ip4和ip5，但客户端的bootstrap列表未更新。理论上只要有一个可用节点消费者就能正常工作，但调用fetchallpartition（该问题非此调用特有）获取主题分区列表时，消费者会选择负载最低的节点；由于ip2、ip3无有效连接，会被随机判定为负载最低，调用时持续重试直至触发default.api.timeout.ms限制，最终抛出API超时异常，日志报错为：

Timeout expired while fetching topic metadata

现咨询以下问题：

1. 是否可设置节点连接超时时间，避免持续重试？
2. 是否可设置节点连接的重试次数限制？

问题解答 #

1. 可以设置节点连接超时时间 #

通过以下Kafka消费者配置参数，可避免客户端对无效节点持续重试：

• connection.timeout.ms：指定客户端与Kafka节点建立TCP连接的超时时间，默认值为10000（10秒）。若在该时间内无法与目标节点建立连接，客户端会直接放弃该节点的连接尝试，转而尝试集群中的其他可用节点。
• request.timeout.ms：控制单个请求（如元数据获取请求）的超时时间，默认值为30000（30秒）。当请求发送到无效节点后，若超过这个时间未收到响应，客户端会终止该请求并触发超时逻辑，不会无限制等待。

2. 可以设置节点连接的重试次数限制 #

Kafka消费者提供多个参数控制连接重试行为：

• reconnect.backoff.ms：指定客户端尝试重新连接失败节点前的等待时间，默认值为50毫秒。设置合理间隔可避免短时间内频繁重试无效节点。
• reconnect.backoff.max.ms：指定重连等待时间的最大值，默认值为1000毫秒。当重连失败次数增加时，等待时间会逐步递增到这个最大值，防止过度占用资源。

额外建议：由于你的场景中bootstrap列表未更新导致持续访问旧节点，还可以设置metadata.max.age.ms（默认值为300000，即5分钟），让客户端定期刷新集群元数据，自动获取最新的节点列表（ip4和ip5），从根源上避免对无效节点的重试。

内容的提问来源于stack exchange，提问作者best wishes