Windows环境下Kafka元数据获取耗时超40秒的排查求助

部署环境 #

• 共部署3个Kafka集群，每个集群配置：7个单分区主题、2个Broker、1个Producer、2个连接至其他集群的Consumer；总计3个Producer、6个Consumer
• 所有集群通过kafka.security.authorizer.AclAuthorizer配置了简单的ACL认证
• Broker与ZooKeeper均通过Java API进行管理

问题现象 #

• 其中部署在Windows的集群，调用以下代码获取元数据时耗时超过40秒：

List<PartitionInfo> partitions = consumer.partitionsFor(topic);

• 相同代码与配置在Linux集群上执行仅需300-500ms

已排除的可能原因 #

• 元数据获取链路延迟：通过日志与Jprofiler观察到updateFetchPositions存在延迟，但未定位到根因
• Offset查询延迟：已验证该环节无延迟
• 消费者重平衡开销：日志确认未发生重平衡
• 分区/主题数量过载：主题总数不足10个，不存在该问题
• Broker限流或负载过高：仅2个Consumer连接，负载极低
• DNS解析问题：bootstrap.servers已配置为IP地址，规避了DNS依赖
• Windows Defender干扰：已将相关路径排除出防护范围

已附上该问题集群的Consumer配置、Producer配置、Broker配置及Kafka日志，恳请协助排查问题根源。

内容的提问来源于stack exchange，提问作者Mixalis Navridis