如何捕获YugabyteDB的数据变更并将其发送至Kafka？

我想要捕获所有YugabyteDB数据库的更新操作，并将其发送至Kafka主题，请问有什么可推荐的解决方案？

以下是不同场景下的适配方案，可根据你的实际架构选择：

• 首选生产级方案：YugabyteDB 原生CDC（变更数据捕获）功能
  这是官方主推的方案，和数据库内核深度集成，不需要额外引入第三方中间件，天然支持全量INSERT/UPDATE/DELETE操作的变更捕获，数据一致性、交付可靠性都有内核级保障。配置逻辑非常简单，通过yb-admin工具即可快速创建指向Kafka的CDC流，示例命令如下：

  yb-admin create_change_data_stream ysql.<目标数据库名> kafka_topic=<你的Kafka主题名称>
  

  支持自定义输出格式（JSON/Avro等）、字段白名单过滤、交付语义调整，同步延迟低，不会对正常业务负载产生明显影响，适合绝大多数生产场景使用。

• 现有Debezium架构适配方案：Debezium YugabyteDB 连接器
  如果你已经搭建了基于Debezium的统一CDC数据同步链路，直接配置Debezium的YugabyteDB专用连接器即可，连接器会自动拉取数据库变更日志并输出到Kafka，可无缝对接你现有数据转换、治理的工具链，不需要调整已有架构。

• 轻量场景灵活方案：pg_kafka扩展+数据库触发器
  由于YugabyteDB兼容PostgreSQL协议，低并发、小规模的非核心场景可以使用pg_kafka扩展，在需要捕获变更的表上创建DML触发器，每次数据更新时触发调用Kafka生产函数，把变更内容推送到指定主题。这个方案灵活度极高，可自定义变更处理逻辑，但高并发场景下会占用额外数据库资源，不推荐核心业务使用。

部署注意事项 #

• 生产环境使用原生CDC时，提前确认YugabyteDB集群和Kafka集群的网络连通性，合理配置Kafka分区数量匹配你的数据吞吐量
• 若需要Exactly Once交付语义，在CDC创建命令中新增对应参数即可开启，避免数据重复或者丢失

内容的提问来源于stack exchange，提问作者dh YB