AWS RDS binlog意外删除后，如何恢复Debezium MySQL连接器？

阿华AIGC实验室

2026-5-26

解决AWS RDS Binlog被清理后Debezium MySQL连接器恢复问题

我之前也碰到过完全一样的情况——Debezium作为Kafka Connect数据源连接AWS RDS MySQL，长时间没数据更新后，RDS自动清掉了旧binlog，再次同步时就会抛出找不到指定binlog文件的错误。下面是亲测有效的解决方案和预防手段：

一、先确认并调整RDS的Binlog保留配置

首先得从根源避免下次再踩坑，先检查RDS的binlog保留时长：

控制台方式：登录AWS控制台找到你的RDS实例，进入「配置」标签页，查看「二进制日志保留期」（默认可能只有24小时）
SQL命令方式：用MySQL客户端连接RDS后执行：
```
SHOW VARIABLES LIKE 'binlog_expire_logs_seconds';
```
这个值是binlog保留的秒数，建议根据业务场景调整，比如设置为604800（7天），离线同步场景可以设更长。修改的话，要么在控制台直接调整，要么执行：
```
CALL mysql.rds_set_configuration('binlog retention hours', 168); -- 168小时=7天
```

二、恢复连接器的两种实用方法

方法1：从最新位点重新同步（适合允许丢失少量历史数据的场景）

如果你的业务能接受从当前最新状态开始同步，这是最简单的操作：

先停掉出问题的连接器（用Kafka Connect的REST API）：

curl -X DELETE http://<你的KafkaConnect地址>:8083/connectors/<你的连接器名称>

重新创建连接器时，调整snapshot.mode参数：

要是只需要同步后续的变更，设snapshot.mode=schema_only（仅同步表结构，然后从最新binlog开始追增量）
要是需要先同步全量当前数据再追增量，设snapshot.mode=initial（先做全量快照，再从快照后的位点开始同步）
给个配置片段参考：

{
  "name": "mysql-rds-connector",
  "config": {
    "connector.class": "io.debezium.connector.mysql.MySqlConnector",
    "tasks.max": "1",
    "database.hostname": "<你的RDS端点>",
    "database.port": "3306",
    "database.user": "<数据库账号>",
    "database.password": "<数据库密码>",
    "database.server.id": "1001",
    "database.server.name": "mysql-rds-cluster",
    "database.include.list": "your_target_db",
    "snapshot.mode": "initial",
    "database.history.kafka.bootstrap.servers": "<你的Kafka集群地址>",
    "database.history.kafka.topic": "schema-changes.your_target_db"
  }
}

把配置提交给Kafka Connect：

curl -X POST -H "Content-Type: application/json" --data @connector-config.json http://<你的KafkaConnect地址>:8083/connectors

方法2：从备份恢复位点（适合不能丢失任何历史数据的场景）

如果业务要求不能丢数据，就得从RDS备份里找回旧binlog：

找到RDS的最新自动备份或手动备份，恢复一个临时RDS实例
在临时实例里确认需要的旧binlog（比如你日志里的mysql-bin-changelog.002640）存在，然后获取它的有效位点信息
恢复连接器：
- 如果用Kafka存储偏移量，可以通过Kafka命令行工具修改connect-offsets主题，把对应连接器的偏移量更新为临时实例里的有效位点
- 或者重新创建连接器时，指定initial.offset.file参数，指向一个包含正确位点的文件，文件内容示例：
```
{
  "mysql-rds-cluster": {
    "server_id": 1001,
    "ts_sec": 1524689414,
    "file": "mysql-bin-changelog.002640",
    "pos": 154,
    "row": 0,
    "event": 0
  }
}
```
确认连接器正常同步后，删掉临时RDS实例即可

三、长期预防措施

调整RDS的binlog保留时长，确保它大于Debezium可能的最长停顿时间（比如每周同步一次就设7天以上）
开启Debezium的心跳机制：设置heartbeat.interval.ms参数，定期发送心跳事件，就算没有数据变更，连接器也会更新位点，避免位点对应的binlog被清理，比如设为300000（每5分钟发一次心跳）
定期监控Debezium连接器的运行状态，避免长时间停顿无人察觉

内容的提问来源于stack exchange，提问作者Kishore Bandi