使用subscribe()和assign()读取Kafka主题的异常差异排查

核心代码问题 #

初始实现的poll()轮询逻辑存在缺陷，是问题的主要诱因：

• 对于assign()：多分区主题下，单次poll()只能拉取部分分区的消息，初始代码没有做循环重试、直到拉不到新消息才终止的逻辑，导致无法覆盖所有分区的全量消息，所以固定只读到366条。
• 对于subscribe()：它依赖Kafka消费者组的协调过程，初始代码如果没有预留足够时间等待组协调完成就开始poll，或者轮询次数/超时时间不足，在网络延迟高的机器上，消费者还没完成分区分配就结束拉取，自然读不到消息。

修改poll()的重试逻辑（比如增加循环拉取次数、延长单次poll超时、直到连续多次拉不到新消息再停止）后，两种方式都能读取全量消息，直接验证了初始代码的轮询逻辑不完善。

环境因素的影响 #

4台机器的结果差异，是环境变量导致的：

• 不同机器的网络延迟、Kafka Broker与客户端的连接稳定性、消费者组协调速度存在差异：两台机器的网络/协调速度快，subscribe()能在初始代码的轮询逻辑内完成分区分配并拉全消息；另外两台机器延迟高，初始代码的轮询逻辑没等协调完成就终止，所以读0条。
• assign()在所有机器表现一致，是因为多分区的消息分布固定，初始代码的单次poll()只能拉取固定数量的分区消息，和机器环境无关。

内容的提问来源于stack exchange，提问作者Michał Niklas