Debezium MySQL连接器新增表时避免重复快照的问题求助

方案一：修复Signalling配置解决DBZ-5053，触发增量快照 #

你遇到的DBZ-5053错误大概率是Signalling表的权限或初始化问题，按以下步骤修复：

1. 手动创建Signalling表：在MySQL中执行以下SQL（可选择任意有权限的schema，示例用mysql库）：

CREATE TABLE mysql.debezium_signal (
  id VARCHAR(42) PRIMARY KEY,
  type VARCHAR(32) NOT NULL,
  data VARCHAR(2048) NULL,
  ts TIMESTAMP DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP
);

2. 授权Debezium用户：给连接器使用的MySQL账号授予该表的读写权限：

GRANT INSERT, SELECT, UPDATE ON mysql.debezium_signal TO 'debezium_user'@'%';

3. 更新连接器配置：
   • 在原有table.include.list中新增SCHEMA.table3,SCHEMA.table4
   • 添加配置signal.data.collection=mysql.debezium_signal
   • 保持snapshot.mode=initial
4. 触发新表快照：插入触发信号：

INSERT INTO mysql.debezium_signal (id, type, data)
VALUES ('snapshot-new-tables-' || UUID(), 'execute-snapshot', '{"data-collections": ["SCHEMA.table3", "SCHEMA.table4"], "type": "INCREMENTAL"}');

这条信号会让Debezium仅对指定的新表执行全量快照，旧表会沿用已记录的offset，不会重复生成CDC事件。

方案二：正确配置snapshot.new.tables参数 #

你之前使用snapshot.new.tables=parallel无效，可能是配置组合错误，按以下步骤调整：

1. 更新连接器配置：
   • 扩展table.include.list加入新表
   • 设置snapshot.mode=initial
   • 设置snapshot.new.tables=parallel
   • 确保连接器的offset存储（Kafka内部或外部存储）已保留旧表的binlog位置信息
2. 重启连接器：Debezium 1.9会自动识别已完成快照的旧表（通过offset中的快照标记），仅对新增的表启动并行全量快照，旧表直接从上次的binlog位置开始捕获增量变更。

方案三：临时覆盖旧表快照查询（应急方案） #

如果以上两种方案都无法生效，可使用snapshot.select.statement.overrides强制跳过旧表快照：

1. 更新连接器配置：
   • 扩展table.include.list加入新表
   • 添加配置：

     snapshot.select.statement.overrides=SCHEMA.table1=SELECT * FROM SCHEMA.table1 WHERE 1=0;SCHEMA.table2=SELECT * FROM SCHEMA.table2 WHERE 1=0
     

   • 保持snapshot.mode=initial
2. 重启连接器：旧表因查询条件永远为假，不会生成快照数据；新表使用默认全量查询，完成快照后自动切换到增量CDC。

注意：此方案需要每次新增表时维护旧表的覆盖规则，适合临时场景，长期推荐方案一或二。

内容的提问来源于stack exchange，提问作者Ajinkya Bambal