You need to enable JavaScript to run this app.
文档中心
大数据研发治理套件

大数据研发治理套件

复制全文
下载 pdf
整体解决方案
实时整库解决方案进度管理说明文档
复制全文
下载 pdf
实时整库解决方案进度管理说明文档

实时整库同步解决方案支持多种数据源之间,进行数据的全增量一体化同步,方案中先将源端全量数据通过离线任务方式同步迁移,然后再通过实时同步增量任务,将数据采集至目标端数据源中。
Image
您也可以单独选择进行实时增量数据同步,该场景适用于您已经通过其他方式将全量数据同步至目标端数据源库表中。您可根据实际场景,进行同步方案选择配置,助力您将业务数据更高效、更便捷的同步至目标数据库中。
Image

首次启动

解决方案支持控制单表是否读取全量数据,配置与提交流程如下:
Image

增量重启

Image
根据当前的任务状态(如上图中红色标记位点),会有以下两种处理模式:

图例位点

任务阶段

执行逻辑

相较于上次提交执行的配置变更

重启时间点 1

全量任务阶段

不执行增量重启,继续执行全量任务

不支持变更映射相关配置
支持变更任务参数、资源等相关配置

重启时间点 2

增量任务阶段

从 ckpt5(最近一个 checkpoint 位点) 的进度记录位点进行同步

  1. 查看 checkpoint 信息:日志搜索关键字 “snapshotting binlog split”。
  2. 调整 checkpoint 时间间隔。
    添加以下参数:
    • job.common.checkpoint_interval
    • 默认值 900000ms (15min)
    • 单位:ms

全量+增量重启

同样的,提交执行后选择全量+增量重启,也会基于当前任务的不同阶段有不同处理办法:
Image

图例位点

任务阶段

执行逻辑

相较于上次提交执行的配置变更

重启时间点 1

全量任务阶段

  • 停止所有全量任务
  • 删除所有全量任务、增量任务
  • 新建全/增量任务
  • 执行全/增量任务
  • 支持变更映射相关配置
  • 支持变更任务参数、资源等相关配置

重启时间点 2

增量任务阶段

  • 停止增量任务
  • 删除所有全量任务、增量任务
  • 新建全/增量任务
  • 执行全/增量任务

全量+增量重启时,如果部分数据表配置了不同步全量,则执行逻辑如下图所示:
Image

在解决方案中手动新增表后,增量重启 或 全量+增量重启

手动新增表后,执行增量重启

Image
如上图所示,如果仅执行增量重启,则表 E 不会执行全量,重启后,会同步表 E 的增量数据。

手动新增表后,执行全量+增量重启

Image

手动新增表后,执行强制重启

Image

注意

手动新增表后强制重启,需要将之前已经同步过全量的数据表的全量同步开关关闭。

强制重启

强制重启不论重启时间点,都会执行。

  • 停止所有全量任务、增量任务
  • 删除所有全量任务、增量任务
  • 新建全/增量任务
  • 按照提交执行时的最新配置,执行全/增量任务

相较于上次提交执行时,所有的配置变更均在此次强制重启时生效。

最近更新时间:2026.06.02 14:09:04
这个页面对您有帮助吗?
有用
有用
无用
无用