You need to enable JavaScript to run this app.
导航

架构原理

最近更新时间2024.02.01 16:26:13

首次发布时间2021.11.21 10:32:58

本文介绍数据库传输服务 DTS 服务的整个系统架构和原理。

数据迁移

数据迁移

  • 结构迁移:读取源库表结构定义语法,重新组装成目标库的语法格式。
  • 全量迁移:全量读取源表内容并写到对应的目标表。
  • 增量迁移:目标库增量日志解析和回放,实现数据在线迁移。
  • 后置结构迁移:为保证数据迁移的性能和迁移任务的稳定性,部分数据库迁移对象会在增量迁移结束后进行创建。需要进行后置结构迁移的对象包括:
    • MySQL:TRIGGER、EVENT。
    • PostgreSQL:TRIGGER、RULE、FOREIGN KEY、SEQUENCE。

数据同步

数据同步

  • 结构初始化:读取源库表结构定义语法,重新组装成目标库的语法格式。
  • 全量初始化:全量读取源表内容并写到对应的目标表。
  • 增量同步:目标库增量日志解析和回放,实现数据在线同步。

数据订阅

  • 全量订阅:全量读取源表内容转化成 ProtoBuf 结构,当前支持火山引擎 ProtoCanal Proto 两种格式,并推送到对应的消息队列中。
  • 增量订阅:解析源库的增量日志转换成 ProtoBuf 结构,当前支持火山引擎 ProtoCanal Proto 两种格式,并推送到对应的消息队列中。
  • 库表结构订阅:源库表结构转换成 ProtoBuf 结构,当前支持火山引擎 ProtoCanal Proto 两种格式,并推送到消息队列中。