如何通过Debezium捕获创建连接前的数据库历史变更数据？

Debezium的initial快照模式本身只能捕获快照时刻的表数据，无法回溯之前的更新、删除操作，想要实现需求可以参考以下可行方案：

方案一：利用数据库留存的变更日志（推荐，前提是日志未被清理） #

如果你的数据库在创建Debezium连接前已经开启了变更日志（如MySQL的binlog、PostgreSQL的WAL、Oracle的Redo Log等），且历史日志未被自动清理，可以按以下步骤操作：

• 确认数据库变更日志配置：
  • MySQL：确保binlog_format=ROW，且expire_logs_days设置足够大，历史binlog文件未被删除；
  • PostgreSQL：已开启WAL归档，且归档日志未被清理，同时使用支持行级解码的插件（如wal2json）；
• 配置Debezium：
  • 将snapshot.mode设置为schema_only或schema_only_recovery，避免再次执行全量快照；
  • 手动指定初始偏移量：找到历史变更日志的起始位点（比如MySQL的binlog文件名+位置，PostgreSQL的LSN），修改Debezium的偏移量存储（如Kafka偏移量主题），将起始偏移量设置到该位点，让Debezium从历史日志开始读取；
  • 启动Debezium连接器后，它会先消费历史变更日志，将之前的更新、删除事件发送到Kafka，之后继续捕获新的实时变更。

方案二：无历史变更日志时的替代方案 #

如果数据库未留存历史变更日志，只能通过手动方式补充历史事件：

• 提取历史更新/删除记录：从数据库审计表、多版本备份快照对比、业务日志中提取连接创建前的更新和删除操作详情；
• 构造Debezium格式事件：按照Debezium的事件规范手动构造消息，包含op（操作类型：u代表更新，d代表删除）、before（更新/删除前的数据）、after（更新后的数据，删除事件可为空）等核心字段；
• 发送事件到对应Kafka主题：将构造好的消息发送到Debezium对应表的Kafka主题中，完成历史事件的补全；
• 配置Debezium连接器：使用snapshot.mode=initial捕获当前表数据，确保后续实时变更正常捕获。

关键注意事项 #

• 能否直接捕获历史变更，核心取决于数据库是否留存了足够的历史变更日志，若日志已被清理，Debezium无法回溯；
• 部分Debezium连接器（如MongoDB）支持snapshot.mode=initial_with_history，可结合 oplog 回溯历史，具体需参考对应连接器的官方文档；
• 修改偏移量时需谨慎，避免重复消费或漏消费事件。

内容的提问来源于stack exchange，提问作者Mehmet Alp Demiral