如何查找Kafka主题下未配置group.id、使用assign方法的消费者

问题核心说明 #

这是Kafka设计上的固有逻辑：

只有通过subscribe方法加入消费者组、或者配置了group.id且主动提交过偏移量的消费者，才会在Kafka服务端生成持久化的消费者组元数据。你提供的示例代码没有配置group.id，仅调用assign方法手动分配分区，服务端不会为这类消费者生成消费者组记录，因此KafkaAdminClient.listConsumerGroups接口无法查询到这类消费者。

可行的查询方案 #

• 方案1：通过Broker活跃连接定位
  所有和Kafka集群建立连接的客户端都会在Broker端留存连接信息，你可以直接在Broker节点上用ss -antp | grep 9092（替换为你实际的监听端口）过滤所有活跃连接，反向定位客户端IP，再对应排查运行的消费服务。也可以通过Broker的JMX指标kafka.network:type=SocketServer,name=Connections批量查看所有活跃客户端连接信息。
• 方案2：开启Broker客户端审计日志
  修改Broker配置，添加client.audit.log.enable=true，审计日志会记录所有客户端的请求类型、客户端ID、请求的主题分区信息。你可以通过过滤FetchRequest（消费者拉取消息的请求），匹配请求的分区信息，就能定位到调用assign方法拉取对应分区的消费者。
• 方案3：通过客户端指标筛选
  如果你的消费者配置了client.id，可以通过Broker的JMX指标kafka.server:type=BrokerTopicMetrics,name=MessagesInPerSec,clientId=*、kafka.server:type=FetchRequestMetrics,name=TotalTimeMs,clientId=*筛选对应ID的消费请求，识别未注册消费者组的assign消费者。

长期优化建议 #

建议内部新增消费规范：就算使用assign手动分配分区，也强制配置group.id，不需要自动提交偏移量也可以保留该配置，后续需要查询的时候可以手动提交一次偏移量，服务端就会留存对应的组信息，后续就可以直接用listConsumerGroups接口正常查询了。

内容的提问来源于stack exchange，提问作者Reza