如何将Oracle CDC Source Connector生成的CDC事件高效接入Snowflake

可直接落地的优化方案如下： #

方案1：调整Kafka Sink Connector配置，全链路自动化处理（推荐）

这个方案完全不用编写自定义存储过程或merge语句，所有逻辑靠连接器内置能力实现：

• 先对接Confluent Schema Registry，将Oracle CDC Source Connector生成的事件以Avro格式发送到Kafka，事件Schema自动注册到Registry
• 调整Snowflake Sink Connector配置：
  • 开启auto.create.tables=true，连接器会自动根据上游Schema在Snowflake创建对应表，表字段和Oracle侧完全对齐
  • 配置insert.mode=upsert、pk.mode=record_key，连接器会自动识别CDC事件的主键，自动执行行级更新插入操作
  • 开启delete.enabled=true，连接器会自动识别CDC事件中的删除标记，同步执行Snowflake侧的行删除
• 百张表规模可以通过topic正则匹配规则统一配置，无需单表单独设置。

方案2：基于现有原始表结构做通用逻辑封装

如果暂时无法调整Sink连接器配置，可基于你已有的两字段原始表做通用化改造，避免单表手写merge：

• 编写通用动态SQL存储过程：入参仅需指定业务表名、主键字段列表，存储过程会自动解析record_content中的所有字段，动态生成对应merge语句，无需手动维护字段映射
• 为每个原始CDC表创建Snowflake流，搭配定时任务/Serverless任务触发，每次流捕获到新数据时调用通用存储过程传入对应表的参数即可，百张表可通过批量脚本一次性生成流和任务配置，开发成本极低。

补充优化点

如果你当前的CDC事件是Debezium格式，可以直接用Snowflake原生的DEBEZIUM_RECORD系列函数自动解析展开嵌套的事件内容，无需自行写JSON解析逻辑，进一步降低开发量。

内容的提问来源于stack exchange，提问作者jomccr