Kafka Connect任务长期处于Unassigned状态的原因及排查咨询

触发条件 #

• 集群资源过载：500+连接器会给Connect Worker节点带来极大压力，当Worker的CPU、内存、磁盘IO触顶时，任务分配流程会超时，导致任务无法正常分配；如果Worker频繁重启，已分配的任务被释放后也可能无法重新分配。
• 自定义连接器异常：自定义连接器的任务初始化逻辑有问题（比如启动时卡住、抛出未捕获异常），Worker尝试分配后任务无法正常启动，最终被标记为Unassigned且无法自动重试；另外，连接器配置错误（比如无效Kafka地址、权限不足）也会导致分配失败后长期无法恢复。
• Kafka控制平面异常：Connect依赖connect-configs、connect-offsets、connect-status这三个内部主题存储元数据，如果这些主题副本不足、ISR同步异常、磁盘满导致写入失败，任务状态元数据无法正常更新，分配流程就会停滞。
• 2.4.1版本分配机制缺陷：Kafka Connect 2.4.1的任务分配逻辑在大集群场景下存在效率问题，大量连接器同时存在时可能出现分配死锁；多个Worker同时触发重平衡时也容易产生冲突，导致部分任务长期未分配。
• 网络或Worker失联异常：Worker与Kafka集群之间出现网络分区，Worker无法上报状态，集群会把该Worker上的任务标记为Unassigned；如果网络恢复后Worker状态未被正确识别，这些任务会一直处于未分配状态。

排查方法 #

• 检查Worker节点状态与资源
  • 查看Worker日志（默认logs/connect.log），搜索Unassigned、Failed to allocate task、Task initialization failed等关键词，定位具体错误；
  • 用top、df -h命令检查Worker的CPU、内存、磁盘占用，确认是否有资源瓶颈；
  • 确认Worker进程是否稳定，有没有频繁重启的情况（看进程日志或监控告警）。
• 验证自定义连接器正确性
  • 选一个Unassigned任务对应的连接器，用curl -X POST http://<connect-worker>:8083/connectors/<connector-name>/restart重启，观察任务能否正常分配；
  • 在本地环境测试该连接器的单个任务，排查初始化逻辑、配置参数是否有问题；
  • 检查连接器代码里有没有未捕获的异常，导致任务启动失败后无法重试。
• 检查Kafka内部主题状态
  • 用kafka-topics.sh --describe --topic connect-configs --bootstrap-server <kafka-broker>:9092查看内部主题的副本数、ISR状态，确保所有副本同步；
  • 检查内部主题的磁盘占用，避免磁盘满导致元数据无法写入；
  • 尝试重启整个Connect集群，触发元数据同步。
• 分析任务分配流程
  • 开启Connect的DEBUG日志（修改log4j.properties，把org.apache.kafka.connect.runtime.distributed的日志级别设为DEBUG），观察任务分配的详细流程，看是否有死锁或冲突；
  • 调用状态API curl http://<connect-worker>:8083/connectors/<connector-name>/status，获取任务的详细状态信息，查看是否有具体错误提示。
• 版本相关问题排查
  • 查阅Kafka Connect 2.4.1的官方release notes，确认是否有任务分配相关的已知bug；考虑升级到2.8.x或3.x系列版本，这些版本修复了大量分布式分配的问题。

内容的提问来源于stack exchange，提问作者Prakash Rajagaopal