架构原理

数据库传输服务 DTS 提供不停机迁移或同步解决方案，支持结构迁移或同步、全量迁移或同步，以及增量迁移或同步。本文介绍 DTS 数据迁移和同步的架构原理。

数据迁移

• 结构迁移：读取源库表结构定义语法，重新组装成目标库的语法格式。
• 全量迁移：全量读取源表内容并写到对应的目标表。
• 增量迁移：目标库增量日志解析和回放，实现数据在线迁移。
• 后置结构迁移：为保证数据迁移的性能和迁移任务的稳定性，部分数据库迁移对象会在增量迁移结束后进行创建。需要进行后置结构迁移的对象包括：
  • MySQL：TRIGGER、EVENT。
  • PostgreSQL：TRIGGER、RULE、FOREIGN KEY、SEQUENCE。

数据同步

• 结构初始化：读取源库表结构定义语法，重新组装成目标库的语法格式。
• 全量初始化：全量读取源表内容并写到对应的目标表。
• 增量同步：目标库增量日志解析和回放，实现数据在线同步。

数据订阅

• 全量订阅：全量读取源表内容转化成 ProtoBuf 结构，当前支持火山引擎 Proto 或 Canal Proto 两种格式，并推送到对应的消息队列中。
• 增量订阅：解析源库的增量日志转换成 ProtoBuf 结构，当前支持火山引擎 Proto 或 Canal Proto 两种格式，并推送到对应的消息队列中。
• 库表结构订阅：源库表结构转换成 ProtoBuf 结构，当前支持火山引擎 Proto 或 Canal Proto 两种格式，并推送到消息队列中。