大数据研发治理套件
实时整库同步解决方案支持多种数据源之间,进行数据的全增量一体化同步,方案中先将源端全量数据通过离线任务方式同步迁移,然后再通过实时同步增量任务,将数据采集至目标端数据源中。
您也可以单独选择进行实时增量数据同步,该场景适用于您已经通过其他方式将全量数据同步至目标端数据源库表中。您可根据实际场景,进行同步方案选择配置,助力您将业务数据更高效、更便捷的同步至目标数据库中。
解决方案支持控制单表是否读取全量数据,配置与提交流程如下:
根据当前的任务状态(如上图中红色标记位点),会有以下两种处理模式:
图例位点 | 任务阶段 | 执行逻辑 | 相较于上次提交执行的配置变更 |
|---|---|---|---|
重启时间点 1 | 全量任务阶段 | 不执行增量重启,继续执行全量任务 | 不支持变更映射相关配置 |
重启时间点 2 | 增量任务阶段 | 从 ckpt5(最近一个 checkpoint 位点) 的进度记录位点进行同步 |
同样的,提交执行后选择全量+增量重启,也会基于当前任务的不同阶段有不同处理办法:
图例位点 | 任务阶段 | 执行逻辑 | 相较于上次提交执行的配置变更 |
|---|---|---|---|
重启时间点 1 | 全量任务阶段 |
|
|
重启时间点 2 | 增量任务阶段 |
|
全量+增量重启时,如果部分数据表配置了不同步全量,则执行逻辑如下图所示:
如上图所示,如果仅执行增量重启,则表 E 不会执行全量,重启后,会同步表 E 的增量数据。
注意
手动新增表后强制重启,需要将之前已经同步过全量的数据表的全量同步开关关闭。
强制重启不论重启时间点,都会执行。
相较于上次提交执行时,所有的配置变更均在此次强制重启时生效。