如何配置Kafka属性实现元数据获取失败时的多Broker重试？

针对你提出的「初始bootstrap Broker不可用时，在max.block.ms阻塞时长内重试其他Broker至少3次」的需求，可通过以下核心配置组合实现，同时纠正你对部分参数的认知偏差：

• request.timeout.ms：控制单次元数据请求的超时时间。当请求某个bootstrap节点超时后，客户端会自动切换到列表中的下一个节点重试。建议根据预期的单节点请求耗时设置，比如设为5000（5秒），确保单次请求有足够时间等待响应。

• max.block.ms：生产者核心方法（如send()、partitionsFor()）的最大阻塞时长，客户端会在这个时间窗口内持续尝试获取元数据（包括切换bootstrap节点多次重试）。要覆盖至少3次重试，需计算总耗时：单次请求超时 × 重试次数 + 重试间隔 × (重试次数-1)。例如，若request.timeout.ms=5000、retry.backoff.ms=1000，3次重试总耗时约为5000×3 + 1000×2 = 17000，则max.block.ms需设为不小于17000（17秒）。

• retry.backoff.ms：你提到该参数仅适用于sender线程，但实际上Kafka客户端的元数据请求重试间隔也受此参数控制。它定义了两次元数据请求（或切换节点重试）之间的等待时间，设为1000（1秒）可避免频繁重试导致的资源浪费。

• 关于metadata.max.age.ms：该参数控制已缓存元数据的过期刷新时间，和初始元数据获取的重试逻辑无关，无需调整。

配置示例 #

bootstrap.servers=broker1:9092,broker2:9092,broker3:9092
max.block.ms=17000
request.timeout.ms=5000
retry.backoff.ms=1000

这样配置后，当初始bootstrap Broker不可用时，客户端会在17秒的阻塞时间内，以1秒间隔重试不同的bootstrap节点，直至完成至少3次尝试或阻塞时长耗尽。

内容的提问来源于stack exchange，提问作者Yash Tailor