Kafka 3.2中如何为Admin操作配置长超时时间

在负载繁忙的Kafka 3.2集群中，通过Admin客户端单次请求创建15000个主题，初始实现代码如下：

final Admin admin = ...;
final List<NewTopic> newTopics = IntStream.range(0, 15000)
    .mapToObj(x -> "adam-" + x)
    .map(x -> new NewTopic(x, Optional.empty(), Optional.empty()))
    .collect(toList());
final CreateTopicsResult ctr = admin.createTopics(newTopics);

ctr.all().get(); // 执行到此处抛出超时异常

约束条件：

• 客户端、服务端版本统一为Kafka 3.2
• 不允许拆分请求做分批处理
• 保持代码实现简洁
  目标是通过配置调整让请求顺利执行完成。

抛出异常的核心原因是默认超时阈值不足：默认配置下客户端请求超时、服务端操作处理超时的阈值都在30-60秒区间，繁忙集群中控制器处理1.5万个主题的创建、元数据同步全流程耗时会远超默认阈值，最终触发超时断开。

不需要修改原有主题创建的核心逻辑，也不需要拆分请求批次，仅需同步调整客户端、服务端的超时配置即可。

客户端配置调整 #

初始化Admin客户端实例时，传入两个超时参数覆盖默认值：

• default.api.timeout.ms：Admin客户端API调用的整体等待超时，默认值60000（1分钟），调整为300000（5分钟），匹配ctr.all().get()的最长等待时长要求
• request.timeout.ms：客户端单次网络请求的超时阈值，默认值30000（30秒），调整为180000（3分钟），避免服务端仍在处理时客户端提前判定网络超时

初始化代码示例：

Properties adminProps = new Properties();
adminProps.put(AdminClientConfig.BOOTSTRAP_SERVERS_CONFIG, "kafka集群连接地址");
// 调整客户端总超时
adminProps.put(AdminClientConfig.DEFAULT_API_TIMEOUT_MS_CONFIG, 300000);
// 调整网络请求超时
adminProps.put(AdminClientConfig.REQUEST_TIMEOUT_MS_CONFIG, 180000);
final Admin admin = Admin.create(adminProps);
// 后续原有创建主题的代码无需任何改动

服务端配置调整 #

在集群所有Broker节点的server.properties配置文件中调整以下参数，调整完成后滚动重启Broker生效：

• request.timeout.ms：服务端请求处理超时阈值，默认值30000（30秒），调整为180000（3分钟），和客户端网络请求超时阈值对齐，避免服务端提前断开连接
• ZK模式集群额外将controller.socket.timeout.ms调整为180000（3分钟），给控制器留足批量主题创建的元数据处理、同步到所有节点的时间
• KRaft模式集群额外将controller.quorum.request.timeout.ms调整为180000（3分钟），保证控制器节点间元数据同步不会提前超时

配置完成后重新执行原有代码即可顺利完成1.5万个主题的单次创建，全程不需要拆分批次，代码改动量极小。

内容的提问来源于stack exchange，提问作者Adam Kotwasinski