CDC(Change Data Capture) 是变更数据获取的简称。可以基于增量日志，以极低的侵入性来完成增量数据捕获的工作。
核心思想是，监测并捕获数据库的变动，包括数据或数据表的插入、更新以及删除等，将这些变更按发生的顺序完整记录下来，可以直接写入到消息中间件中以供其他服务进行订阅及消费，也可以直接对接其他数据源做业务或者数据分析&应用。
与批量同步相比，变更数据的捕获通常具有以下三项基本优势：

• CDC 通过仅发送增量的变更，来降低通过网络传输数据的成本；
• CDC 可以帮助用户根据最新的数据做出更快、更准确的决策。例如，CDC 会将事务直接传输到专供分析的应用上；
• CDC 最大限度地减少了对于生产环境网络流量的干扰。

DataLeap实时分库分表解决方案，支持将Schema 相同的多个实例中多个数据库下的多个分表，一键同步到目标端的一个表中。
下文将为您介绍如何创建实时分库分表解决方案。

方案介绍 #

实时分库分表方案概述如下：

1. 支持将 Schema 相同的多个实例中多个数据库下的多个分表，一键同步到目标端的一个表中。方案中会先创建离线同步任务，然后进行实时同步，适用于分库分表场景。
2. 支持自动建目标表。
3. 当前来源端支持 MySQL，目标端支持写入 Doris、StarRocks、LAS。
4. 支持直连数据库同步，也支持通过中间缓存到 Kafka 后再同步。

CDC方案架构 #

CDC实时处理架构如下：