技术咨询：能否利用Debezium捕获Snowflake、Redshift的CDC并推送至Kafka Broker？

可以实现，但针对Snowflake和Redshift的CDC捕获方式存在差异，具体如下：

Snowflake 实现方案 #

Debezium提供了官方原生的Snowflake连接器，可直接基于Snowflake自身的变更捕获能力（Streams + Tasks）实现CDC：

• 核心原理：先在Snowflake中创建Stream监控目标表的INSERT/UPDATE/DELETE变更，Debezium连接器会定期轮询该Stream获取变更记录，将其转换为标准的CDC事件（如create/update/delete类型）后发布到指定Kafka主题。
• 关键配置示例（Kafka Connect配置片段）：

{
  "name": "snowflake-cdc-connector",
  "config": {
    "connector.class": "io.debezium.connector.snowflake.SnowflakeConnector",
    "tasks.max": "1",
    "snowflake.account.name": "your-account",
    "snowflake.user.name": "your-user",
    "snowflake.password": "your-password",
    "snowflake.database.name": "target-db",
    "snowflake.schema.name": "target-schema",
    "snowflake.table.name": "target-table",
    "snowflake.stream.name": "cdc-stream-for-table",
    "topic.prefix": "snowflake-cdc",
    "value.converter": "org.apache.kafka.connect.json.JsonConverter",
    "value.converter.schemas.enable": "true"
  }
}

Redshift 实现方案 #

Debezium暂无官方原生的Redshift连接器，但可通过间接方式实现CDC：

• 方式1：基于Redshift审计日志 + 自定义处理
  开启Redshift的审计日志（导出到S3），使用Kafka Connect的S3源连接器读取日志文件，结合自定义转换逻辑提取变更记录，再发布到Kafka；或通过Debezium的JDBC连接器定期查询Redshift的增量数据（需依赖表内的时间戳/自增ID字段）。
• 方式2：借助AWS DMS中转
  使用AWS Database Migration Service (DMS)捕获Redshift的变更，将数据同步到S3或Kafka，若同步到S3则再用Kafka Connect的S3源连接器将数据导入Kafka。
• 注意：Redshift本身的CDC原生支持较弱，上述方案需额外维护中间组件，配置复杂度高于Snowflake。

总结 #

• Snowflake：通过Debezium官方连接器可直接、高效实现CDC到Kafka的同步。
• Redshift：需结合第三方工具或自定义逻辑间接实现，虽可行但配置和维护成本更高。

内容的提问来源于stack exchange，提问作者Sam91