KafkaConsumer调用poll方法陷入无限等待，超时设置无效

从你提供的线程dump和代码表现来看，这个问题的核心是Kafka 0.9.0.0版本的Consumer客户端在获取协调器（Coordinator）元数据的过程中陷入了无限阻塞，导致poll()方法即便设置了超时时间也无法返回。下面结合你的场景给出具体的排查方向和解决方案：

一、先分析线程栈的关键信息 #

从dump可以看到主线程卡在了EPollArrayWrapper.epollWait，调用链最终指向ConsumerNetworkClient.awaitMetadataUpdate——这说明客户端一直在等待Kafka集群的元数据（比如协调器地址、Topic分区信息）更新，但始终无法获取到：

"main" #1 prio=5 os_prio=0 tid=0x00007f42a800f000 nid=0x59 runnable [0x00007f42b0782000]
java.lang.Thread.State: RUNNABLE
    at sun.nio.ch.EPollArrayWrapper.epollWait(Native Method)
    ...
    at org.apache.kafka.clients.consumer.internals.ConsumerNetworkClient.awaitMetadataUpdate(ConsumerNetworkClient.java:126)
    at org.apache.kafka.clients.consumer.internals.AbstractCoordinator.ensureCoordinatorKnown(AbstractCoordinator.java:186)
    at org.apache.kafka.clients.consumer.KafkaConsumer.pollOnce(KafkaConsumer.java:857)
    at org.apache.kafka.clients.consumer.KafkaConsumer.poll(KafkaConsumer.java:829)

二、具体排查与解决步骤 #

1. 优先检查网络与Broker连通性 #

这是最常见的原因：

• 验证bootstrap.servers配置是否正确，确保所有填写的Broker地址/端口都能被Consumer所在机器访问。可以用命令测试连通性：

  nc -zv <broker-ip> 9092
  # 或者telnet
  telnet <broker-ip> 9092
  

• 检查防火墙、安全组规则，确认Consumer机器到Broker的9092端口（或自定义端口）没有被拦截。
• 确认Kafka Broker集群处于正常运行状态，没有出现元数据服务异常（比如ZooKeeper连接异常、Broker节点挂掉等）。

2. 检查Consumer核心配置 #

• 确保指定了有效的group.id：0.9.0.0版本的Consumer必须配置group.id（除非使用独立消费者模式，但独立模式也需要正确的配置）。如果group.id对应的消费组是首次创建，Consumer需要和协调器交互完成组初始化，网络异常时这个过程会卡住。
• 可以尝试调整metadata.max.age.ms（默认5分钟），缩短元数据刷新间隔，让客户端更快重试获取元数据，但这只是临时手段，核心还是要解决元数据获取失败的根本问题。

3. 升级Kafka客户端版本（强烈推荐） #

Kafka 0.9.0.0是一个比较早期的版本，存在不少元数据获取相关的已知bug，比如在网络波动、Broker切换场景下会导致客户端无限等待元数据。建议升级到0.9.0.1（同小版本的修复版本）或者更高的稳定版本（比如0.10.2.x系列，兼容性更好），这些版本修复了很多Consumer的阻塞问题。

4. 代码层面的验证手段 #

在调用poll()之前，可以先手动触发元数据获取，验证是否能正常拿到数据：

LOG.info("Trying to get topic partitions first...");
List<PartitionInfo> partitions = consumer.partitionsFor("your-topic-name");
LOG.info("Got {} partitions for topic", partitions.size());
// 再调用poll
ConsumerRecords<String, String> records = consumer.poll(POLLING_TIMEOUT_MILLIS);

如果partitionsFor()也卡住，那可以100%确定是元数据获取的问题，回到前面的网络/配置/版本排查步骤。

总结 #

你的场景中，最可能的原因是网络连通性问题或者0.9.0.0版本的客户端bug，建议先从网络排查入手，再考虑版本升级，这两个方向解决大部分这类问题。

内容的提问来源于stack exchange，提问作者alk453