如何重置Kafka Connect源连接器的关联消费状态？

操作前的核心逻辑说明 #

很多开发者会误以为删除连接器时会连带清理所有运行状态，实际Kafka Connect的内部状态是分三类独立存储的：

• 连接器配置、任务运行状态存在 connect-configs、connect-status 内部主题
• 源连接器的读取偏移（比如JDBC连接器记录的最后一次同步的自增主键值、时间戳位置）单独存储在 connect-offsets 内部主题
  默认调用REST API删除连接器时，仅会清除对应连接器的配置、任务状态记录，完全不会触碰偏移存储中的历史数据，因此重建同名、同配置的连接器时，会直接读取之前留存的偏移值，从上次中断的位置继续同步。这一状态存储逻辑和具体连接器类型无关，不管是JDBC源、其他数据库源还是自定义源连接器都遵循相同规则，也就是你遇到的“连接器记住历史位置”的问题。

适配2.5版本的无侵入重置方案 #

所有方案均满足：无需全量停用Kafka Connect集群、无需直接读写内部主题。

方案1：通过原生REST API精准重置指定连接器的偏移 #

该能力是Apache Kafka 2.3版本正式引入的稳定功能，2.5版本完全适配，操作步骤：

1. 先通过REST API删除目标连接器：
   DELETE /connectors/你的目标连接器名称
   操作完成后等待10秒左右，等Connect集群同步完成状态，确保对应连接器的任务完全停止，避免后续操作出现偏移写入冲突。
2. 调用偏移重置端点，清空该连接器的所有留存偏移：
   PUT /connectors/你的目标连接器名称/offsets
   请求体传入空偏移对象：{ "offsets": [] }
3. 按照原配置重新创建连接器，启动后因为没有对应的偏移记录，连接器会从头开始全量同步源表数据。

注意事项：

• 禁止在连接器处于运行状态时调用偏移重置端点，否则会触发集群冲突，操作不生效
• 整个操作过程不需要重启任何Connect Worker节点，完全通过官方开放API完成

方案2：开发环境零成本快速重置技巧 #

因为源连接器的偏移存储键是和连接器名称强绑定的，如果你在开发环境需要频繁调整配置、反复从头同步，完全不需要清理任何历史状态，只需要在重建连接器时给名称加上版本后缀即可：

• 原连接器名称：db2-jdbc-order-sync
• 重置后重建的连接器名称：db2-jdbc-order-sync-v2
  新连接器启动时，会在偏移存储中寻找和自己名称绑定的偏移记录，找不到对应值就会从源数据的起始位置（自增列最小值）开始全量同步。

适用场景：开发环境临时调整、反复验证同步逻辑的场景，操作成本最低，也不会影响其他正在运行的连接器。

方案3：一劳永逸开启删除连接器时的自动偏移清理 #

Kafka Connect 2.5版本支持Worker级别的配置开关，打开后删除连接器时会自动连带清除对应的历史偏移，匹配你最初“删除连接器即重置全部状态”的预期：
在开发环境的Worker配置文件中（connect-distributed.properties），添加配置项：
connector.offset.cleanup.on.delete=true

注意事项：

• 该配置仅需要在开发环境初始化集群时设置一次，配套一次Worker重启即可生效，后续所有连接器操作都不需要再重启节点，远低于全量停用集群的操作成本
• 生产环境不建议开启该配置，避免误删连接器导致正常同步的位置丢失，引发数据重复同步

内容的提问来源于stack exchange，提问作者Andrew Ferrier