Kafka Connect未知主题/分区告警刷屏：原因、止息及消费组安全性咨询

告警产生的原因 #

• 核心原因是Connect的内置消费者组connect-cluster，尝试拉取的分区connect-statuses-2不存在，常见场景包括：
  • connect-statuses主题被意外删除，或主题分区数被人为缩减（比如原本有3个分区，后续调整为2个，分区2直接消失）
  • Connect集群配置与Kafka集群的主题元数据不同步，消费者仍持有旧的分区信息
  • connect-statuses主题的权限配置异常，导致消费者无法获取主题元数据，误判分区不存在

为何会频繁刷屏（每秒超1000次） #

• Kafka消费者的拉取逻辑是循环重试机制：当拉取请求失败（比如遇到未知分区错误），消费者会按配置不断发起新的拉取请求。如果没有合理的重试间隔或错误退避设置，短时间内会产生大量重复请求，导致日志疯狂输出。
• 另外，connect-cluster是Connect集群的核心消费者组，负责消费状态主题，本身拉取频率就较高，一旦触发错误，重试会被快速触发。

如何停止该告警 #

1. 修复根本问题（推荐）：
   • 检查connect-statuses主题状态：执行命令 kafka-topics.sh --describe --topic connect-statuses --bootstrap-server <kafka-broker地址> 确认主题是否存在、分区数是否与Connect配置的status.storage.partitions参数匹配。若主题不存在，按配置的分区数重新创建；若分区数不匹配，调整主题分区数或修改Connect配置后重启集群。
   • 验证消费者组权限：确保connect-cluster组对connect-statuses主题拥有读权限。
2. 临时屏蔽日志（仅应急用）：
   • 修改Connect的日志配置（如log4j2.xml），将org.apache.kafka.clients.consumer.internals.Fetcher的日志级别从WARN调整为ERROR或OFF，停止输出该告警。但此方法仅屏蔽日志，未解决实际问题。

删除消费组是否安全？ #

• 不建议直接删除：connect-cluster是Kafka Connect集群的核心组件，负责管理连接器的状态、偏移量等关键元数据。删除该消费组会导致：
  • Connect集群无法恢复原有连接器状态，所有连接器可能需重新启动并从头同步数据
  • 引发Connect集群元数据混乱，导致部分连接器无法正常工作
• 若必须清理，需先停止所有连接器、关闭Connect集群，再删除消费组，重新创建connect-statuses主题后重启集群，最后重新配置连接器。

内容的提问来源于stack exchange，提问作者Bünyamin Şentürk