Kafka运行数天后断开连接问题排查请求

问题背景 #

在NestJS API网关与Java用户服务的Kafka数据交互场景中，服务运行数天后出现消费者断开连接的情况，报错信息如下：

ERROR [ServerKafka] ERROR [Runner] The coordinator is not aware of this member, re-joining the group {"timestamp":"2024-07-25T10:45:02.565Z","logger":"kafkajs","groupId":"flights-consumer-server","memberId":"nestjs-consumer-server-3fc36120-7844-4785-9211-89fe2647291e","error":"The coordinator is not aware of this member"}

对应的Kafka Docker Compose配置已提供。

可能的成因分析 #

• 消费者心跳与会话超时配置不合理
  Kafka消费者依赖定期发送心跳维持与协调器的会话。如果NestJS使用的KafkaJS客户端的session.timeout.ms设置过短，或者heartbeat.interval.ms与超时值的比例不符合推荐（通常心跳间隔是会话超时的1/3），再加上运行数天后出现的网络抖动、服务短暂卡顿，就会导致心跳无法及时送达，协调器会将该消费者踢出消费组。当消费者再次尝试通信时，协调器已不识别其memberId，触发报错。

• 单Broker集群的可靠性缺陷
  当前配置是单节点Kafka集群（KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR=1、KAFKA_MIN_INSYNC_REPLICAS=1），没有冗余节点。一旦Broker出现短暂重启、磁盘IO过载或资源耗尽，作为协调器的Broker会丢失消费组的元数据。消费者恢复连接时，协调器无法匹配之前的成员信息，就会出现该错误。

• 消费者实例异常退出未清理会话
  如果NestJS服务存在内存泄漏、未捕获异常导致进程崩溃，或者被容器的OOM Killer强制终止，消费者会突然断开但无法正常退出消费组。协调器会保留该成员信息直到会话超时，但若消费者快速重启并复用原memberId，就会出现协调器不识别该成员的情况。

• Offsets主题日志被异常清理
  虽然Kafka的__consumer_offsets主题默认采用compact清理策略，但当前配置中KAFKA_LOG_CLEANUP_POLICY=delete（全局配置可能覆盖主题默认），且KAFKA_LOG_RETENTION_BYTES=1GB。如果磁盘空间不足或日志达到阈值被强制删除，会导致协调器丢失消费组的成员与偏移量数据，进而引发该报错。

• 跨主机网络连通性不稳定
  配置中Kafka对外暴露EXTERNAL://10.31.1.31:9092供外部服务连接，若跨主机网络存在波动（如防火墙规则变更、路由中断、带宽不足），会导致消费者与Broker的连接频繁中断。多次断开后协调器会移除该成员，再次连接时就会出现"协调器不识别成员"的错误。

内容的提问来源于stack exchange，提问作者Naresh Manthena