Debezium SQL Server CDC连接器事件跨队列路由异常问题咨询

问题根源 #

• 重复的database.server.name：两个连接器配置了相同的database.server.name: kafkacdc。Debezium依赖该参数作为SQL Server CDC捕获实例的唯一标识，相同标识会导致两个连接器共享同一份CDC变更日志，进而让事件被重复路由到不同队列。
• MemoryDatabaseHistory的局限性：使用内存存储数据库历史，连接器重启后会丢失偏移量和表结构记录，可能引发重新扫描CDC日志、错误读取非目标表事件的问题。
• Topic路由正则过宽：transforms.Reroute.topic.regex: (.*)会匹配所有生成的Topic（包括内部Schema变更Topic），导致非目标表事件被错误路由。

修复步骤 #

1. 配置唯一的database.server.name #

每个连接器的该参数必须唯一，避免CDC捕获实例冲突：

• 资产表连接器修改为："database.server.name": "kafkacdc-assets"
• 工单/活动表连接器修改为："database.server.name": "kafkacdc-events"

2. 替换为持久化数据库历史存储 #

放弃MemoryDatabaseHistory，改用Kafka持久化存储，避免重启后状态丢失：

• 资产表连接器配置：

"database.history": "io.debezium.relational.history.KafkaDatabaseHistory",
"database.history.kafka.bootstrap.servers": "localhost:9092",
"database.history.kafka.topic": "schema-history-kafkacdc-assets"

• 工单/活动表连接器对应Topic改为schema-history-kafkacdc-events

3. 优化Topic路由正则匹配 #

缩小正则范围，仅匹配目标表的原始Topic（格式为{database.server.name}.{schema}.{table}）：

• 资产表连接器路由配置：

"transforms.Reroute.topic.regex": "kafkacdc-assets\\.dbo\\.(idm_assets|idm_datapoints)",
"transforms.Reroute.topic.replacement": "debezium_assets"

• 工单/活动表连接器路由配置：

"transforms.Reroute.topic.regex": "kafkacdc-events\\.dbo\\.(idm_workorder|idm_activity)",
"transforms.Reroute.topic.replacement": "debezium_events"

4. 清理旧状态并重新部署 #

• 删除现有两个连接器
• 清理SQL Server中重复的CDC捕获实例：

-- 查看当前CDC捕获实例
SELECT * FROM sys.change_tracking_databases;
-- 删除旧的捕获任务与实例
EXEC sys.sp_cdc_drop_job @job_type = N'capture';
EXEC sys.sp_cdc_drop_job @job_type = N'cleanup';
EXEC sys.sp_cdc_disable_db;
-- 重新启用数据库CDC（如需）
EXEC sys.sp_cdc_enable_db;

• 重新部署修改后的两个连接器

5. 验证修复效果 #

触发各目标表的变更事件，确认debezium_assets仅接收资产类表事件、debezium_events仅接收工单/活动类表事件；删除任一连接器后，对应表事件不再出现在另一个队列中。

内容的提问来源于stack exchange，提问作者Anvitha