Kafka Connect timestamp+incrementing模式下如何无需修改偏移量元数据及切换批量模式全量重推数据

不用修改偏移量元数据文件，也不用切换批量模式，有两种实用方法可以实现全量重推：

方法一：通过REST API重置连接器偏移量 #

这是最直接的方式，把连接器的偏移量重置到最早起始点：

• 先暂停目标连接器：

curl -X PUT http://<connect-host>:<port>/connectors/<your-connector-name>/pause

• 发送偏移量重置请求，指定要同步的表和起始偏移（timestamp设为0，incrementing键设为最小值，适配timestamp+incrementing模式）：

curl -X POST -H "Content-Type: application/json" http://<connect-host>:<port>/connectors/<your-connector-name>/offsets -d '{
  "offsets": [
    {
      "sourcePartition": {
        "table": "<your-table>",
        "schema": "<your-schema>"
      },
      "sourceOffset": {
        "timestamp": "0",
        "incrementing": "0"
      }
    }
  ]
}'

如果是多表同步，需要在offsets数组里逐个添加每个表的配置。

• 恢复连接器，开始全量同步：

curl -X PUT http://<connect-host>:<port>/connectors/<your-connector-name>/resume

方法二：临时调整timestamp起始配置触发全量同步 #

通过临时修改连接器的起始时间戳，让它从最早数据开始同步，之后再恢复原配置：

• 暂停连接器：

curl -X PUT http://<connect-host>:<port>/connectors/<your-connector-name>/pause

• 更新连接器配置，添加timestamp.start参数（以JDBC源连接器为例，其他连接器参数名可能类似），设为远早于你业务数据最早时间戳的值：

curl -X PUT -H "Content-Type: application/json" http://<connect-host>:<port>/connectors/<your-connector-name>/config -d '{
  "connector.class": "io.confluent.connect.jdbc.JdbcSourceConnector",
  # 保留原有其他配置，新增或修改以下参数
  "timestamp.start": "0",
  "timestamp.column.name": "<your-timestamp-column>"
}'

• 恢复连接器，此时连接器会从timestamp=0开始拉取所有数据，完成全量同步。
• 全量同步完成后，再暂停连接器，移除timestamp.start参数或者改回原配置，恢复后连接器会继续使用timestamp+incrementing的增量同步逻辑。

内容的提问来源于stack exchange，提问作者user30556552