Kafka Connect 7.4.0源任务优雅停止失败问题排查求助

问题背景 #

• 基于Kafka Connect 7.4.0搭建Postgres视图到Postgres表的数据同步链路，功能运行正常
• 通过REST API执行删除连接器命令（DEL http://kafka-connect:8083/connectors/connector_name_here）时，连接器本身可成功停止（日志：Graceful stop of connector (connector-name-here) succeeded.），但源任务始终返回错误：Graceful stop of task (task-name-here) failed.
• Sink端连接器及任务停止无异常，仅Source任务出现该问题
• 已调大task.shutdown.graceful.timeout.ms=60000，问题仍存在
• 连接器为每日调度的批处理任务，停止操作触发时，任务已完成数据读取并处于空闲状态
• 各环境offset.flush.interval.ms配置不同（开发/集成：10000，生产/UAT：60000），但问题均复现

可能原因 #

1. 空闲任务的状态识别异常
   当任务完成数据读取进入空闲状态后，Kafka Connect框架可能无法正确识别该状态，导致优雅停止流程无法正常触发任务的停止逻辑，最终超时判定为停止失败。Postgres源连接器（推测为JDBC Source Connector）在任务完成后，可能未正确释放数据库连接或进入可终止的就绪状态，阻碍了停止信号的处理。

2. Offset刷新与停止流程的冲突
   即使任务已完成读取，若最后一次offset刷新后任务仍持有未释放的资源，或Connect框架在停止时尝试再次触发offset刷新，但此时任务已无活跃读取进程，会导致停止流程卡住，最终触发超时错误。

3. Kafka Connect 7.4.0版本BUG
   该版本可能存在批处理源任务优雅停止的已知缺陷，尤其是针对已完成的空闲任务，需核对官方JIRA或版本更新日志确认。

解决方案 #

1. 临时规避：调整告警规则 #

由于连接器已成功停止，任务实际已终止，仅日志报错属于误报。可修改告警规则，忽略Graceful stop of task ... failed.这条日志，或者增加判断条件：仅当连接器未成功停止时才触发告警。

2. 优化连接器配置（针对JDBC Source Connector） #

• 确保资源正确释放：配置connection.max.idle.ms参数，设置数据库连接的空闲超时时间，避免任务空闲时持有无效连接。例如：

  connection.max.idle.ms=30000
  

• 强制刷新Offset后停止：在执行删除连接器命令前，先手动触发任务的Offset刷新，确保状态已持久化：

  POST http://kafka-connect:8083/connectors/{connector-name}/tasks/{task-id}/offsets
  

  等待Offset刷新完成后，再执行删除连接器的操作。

3. 版本升级 #

检查Confluent官方发布的版本更新日志，若7.4.0存在该问题的已知BUG，升级到修复后的版本（如7.4.1及以上）。

4. 任务生命周期优化 #

如果是每日调度的批处理任务，可考虑使用外部调度工具触发连接器的启动与停止，在任务完成读取后，先通过REST API暂停任务，再删除连接器，避免直接对空闲任务执行停止操作。

内容的提问来源于stack exchange，提问作者Robson Hermes