如何实时读取RDBMS事务日志并将指定表变更数据流式写入ElasticSearch

以下方案均不需要开启表级CDC功能，仅依赖RDBMS全局事务日志配置即可实现指定表的变更捕获：

1. Debezium 生态（多数据库兼容首选） #

Debezium是目前最主流的开源事务日志CDC工具，原生支持MySQL、PostgreSQL、Oracle、SQL Server等主流关系型数据库。

• 核心特性：直接读取数据库事务日志，支持按库表规则过滤变更，可完整捕获update、delete等DML操作及全部DDL语句，输出标准化CDC事件
• 对接ES的两种方式：
  • 轻量场景用Debezium Server：内置ElasticSearch sink组件，无需部署Kafka集群，配置过滤规则和ES连接参数后即可直接同步
  • 高吞吐高可用场景用Debezium + Kafka Connect：Debezium作为source端读取日志写入Kafka缓冲，再通过ES sink connector写入ElasticSearch，支持流量削峰、断点续传
• 前置要求：仅需要开启数据库全局事务日志（如MySQL的row模式binlog、PostgreSQL的WAL、Oracle的归档日志），无需做表级CDC配置

2. Flink CDC（有数据处理需求首选） #

属于Flink生态的CDC组件，底层基于Debezium的日志解析能力，更适合需要自定义数据处理的场景。

• 核心特性：支持多数据源事务日志读取，可通过Flink SQL灵活配置表过滤规则，捕获DML、DDL事件的同时支持中间做数据清洗、格式转换、字段关联等自定义逻辑
• 对接ES：Flink原生提供ElasticSearch连接器，只需定义CDC源表和ES sink表的映射关系，即可实现实时流写入，全链路可通过SQL配置，灵活性极高

3. Canal（MySQL场景专属） #

阿里开源的MySQL专属CDC工具，国内生产环境应用非常广泛。

• 核心特性：专门读取MySQL的binlog日志，支持按库表过滤变更，可完整捕获DML、DDL事件，仅需要开启MySQL全局row模式binlog即可使用，无需表级配置
• 对接ES：官方提供canal-adapter适配器，内置ES写入支持，配置好过滤规则和ES索引映射后即可直接同步，部署成本低，适合仅对接MySQL的场景

选型参考 #

• 多RDBMS兼容、轻量部署选Debezium Server
• 有实时计算、自定义数据处理需求选Flink CDC
• 仅对接MySQL、追求国内生态成熟度选Canal

内容的提问来源于stack exchange，提问作者Misa J.