同步至火山引擎版 MySQL

本场景介绍如何在数据库传输服务 DTS 控制台创建火山引擎专有网络 MySQL 同步至火山引擎版 MySQL 任务。

前提条件 #

• 已注册火山引擎账号并完成实名认证。详细操作，请参见如何进行账号注册和实名认证。

• 按需设置源端信息，具体如下所示：

  • 在使用 VPN 实现数据迁移时，自建数据库所属的本地网络已通过 VPN 网关接入火山引擎。详细操作，请参见搭建云上 VPC 与云下多数据中心网络互通。

  • 在需要使用专线实现数据迁移时，您需要搭建云上单私有网络和云下单数据中心网络连通的专线连接。详细操作，请参见配置专线连接。

• 已创建云数据库 MySQL 版实例和数据库。详细信息，请参见创建 RDS MySQL 实例和创建数据库。

• 当目标端部署在火山引擎的 ECS 中通过私网连接，且开启了访问限制时，您需要在 ECS 的安全组规则中添加 DTS 服务器的 IP 地址。

• 已确认源端和目标端的网络连通性与服务可用性。

• （可选）根据预检查项中的说明，检查源端和目标端中各同步对象。更多详情，请参见预检查项（MySQL）。

注意事项 #

• 当源端为自建 MySQL 时，您需要关注以下信息：

  • 同步时，如果源端进行主备切换，会导致同步任务失败。

  • 在同步时如果源端执行了重启操作，同步任务会暂时中断并自动尝试修复。如果任务长时间没恢复，请提交工单联系技术支持。

  • 由于数据库传输服务 DTS 的延迟时间是根据同步到目标端最后一条数据的时间戳和当前时间戳对比得出，源端长时间未执行 DML 操作可能会导致延迟信息不准确。如果任务显示的延迟时间过大，您可以在源端执行一个 DML 操作来更新延迟信息。

    说明

    当同步对象为整库时，您可以创建心跳表，心跳表每秒定期更新或写入数据。

• 当目标端使用的是高权限账号时，数据库传输服务 DTS 会自动在目标端中创建数据库。如果待同步的数据库名称不符合目标数据库的定义规范，您需要在同步任务前手动在目标端中创建数据库。

• 为保证数据同步的性能和同步任务的稳定性，源端的 TRIGGER 和 EVENT 会在增量同步结束后才进行同步。

• 在库表结构初始化过程中，数据库传输服务 DTS 会将源数据库中的外键同步到目标数据库。

• 在全量初始化和增量同步过程中，数据库传输服务 DTS 会以 Session 级别暂时禁用约束检查和外键级联操作。当任务运行时源端存在级联更新、删除操作时，可能会导致数据不一致。

• ETL 功能当前处于邀测阶段，如需使用请提交工单联系技术支持。

• 在创建火山引擎专有网络数据同步任务的过程中，系统会默认在您选择的私有网络内创建数张网卡，网卡会默认选择剩余可用 IP 最多的子网去挂载。网卡的名称格式为 dts_shuttle_********。

限制说明 #

应用限制 #

操作限制 #

• 在 DTS 同步期间，不允许有除 DTS 外的数据写入目标端，否则会导致源端与目标端数据不一致。例如，有除 DTS 外的数据写入目标端时，使用 DBW 执行在线 DDL 变更，可能引起目标端数据丢失。

• 在链路创建、库表结构初始化和全量初始化过程，请勿执行库或表结构变更的 DDL 操作否则同步任务会失败。

• 由于使用 gh-ost 或 pt-online-schema-change 等在线 DDL 工具执行 DDL 操作时会生成临时表，在数据同步过程中，需要注意以下几点：

  • 当需要使用在线 DDL 工具执行 DDL 操作时，需要保证同步对象是整个数据库，否则会由于临时表无法同步导致 DDL 失败。

  • 同步期间请勿使用在线 DDL 工具执行轻量 DDL 操作例如小表增加字段等，否则可能由于 DDL 临时表存在时间过短导致 DDL 同步失败。

支持的同步架构 #

• 一对一单向同步

• 一对多单向同步

• 多对一单向同步

• 级联单向同步

• 一对一双向同步

关于数据库传输服务 DTS 支持的同步拓扑类型和使用说明，请参见数据同步拓扑。

支持的 SQL 操作 #

数据库账号最小权限策略 #

操作步骤 #

1. 登录 DTS 控制台。
2. 在顶部菜单栏，选择项目和地域。

   说明

   当地域选择华南1（广州） 时，不支持创建火山引擎版 veDB MySQL 相关任务。

3. 在左侧导航栏，单击数据同步。
4. 在同步任务列表页面，单击创建任务。

5. 在创建同步任务页面的配置源库及目标库配置向导页面，配置以下参数信息。

   1. 配置同步任务的基本信息，具体如下表所示。
      

      参数	说明
      任务名称	自定义同步任务名称。命名规则如下： 以字母开头且不能为空。 长度需在 64 个字符内。 只能包含字母、数字、下划线（_）和中划线（-）。
      链路规格	按需选择迁移任务的链路规格，当前支持 Compact 和 Standard。 说明 成功创建任务后，不支持修改任务的链路规格。关于链路规格的详细信息，请参见产品规格。
      项目	从下拉列表中选择该任务所属项目，您也可以单击创建新项目，创建新的项目。详细操作，请参见新建项目。
      同步拓扑	根据业务需要选择同步拓扑，当前支持单向同步和双向同步。 说明 双向同步当前仅支持 MySQL 5.6 及以上版本。关于同步拓扑的更多信息，请参见数据同步拓扑。
      计费方式	按需选择计费方式，当前支持按量计费和包年包月两种计费方式。 说明 关于计费的详细信息，请参见计费说明。
      购买时长	按需选择包年包月的购买时长。 说明 在计费方式选择包年包月时，支持设置购买时长。
      标签	（可选）单击添加标签，设置标签键和标签值，为实例添加标签。标签的键值对规则如下： 键 支持任何语言、文字、数字、空格或符号（_.:/=+-@）。 大小写敏感，且长度在 1~128 个字符内。 使用 UTF-8 编码的 Unicode 格式。 不支持设置以 volc: 开头的任何形式的 Key，例如 Volc:、VOLC: 等。 值 支持任何语言、文字、数字、空格或符号（_.:/=+-@）。 大小写敏感，且长度在 0~256 个字符内。 使用 UTF-8 编码的 Unicode 格式。 说明 标签由一个键值对（Key-Value）组成，用于标识云资源，可以帮助您从不同维度（例如用途、所有者或环境等）对具有相同特征的云资源进行分类，便于筛选和聚合，从而轻松管理云上资源。 标签可帮您实现云资源的分类、云资源的访问控制、账单与成本分摊等。 单次最多可给任务绑定 20 个标签。单个任务最多可绑定 50 个标签。 同一个资源拥有的标签 Key 不可重复，且一个标签 Key 只有一个值 Value。

   2. 配置源库信息，具体如下表所示。

      参数	说明
      实例类型	选择 MySQL。
      接入方式	选择火山引擎专有网络 MySQL。
      地域	选择私有网络所属地域。
      主机地址	输入火山引擎专有网络 MySQL 实例的主机地址。
      端口	输入火山引擎专有网络 MySQL 实例的端口。
      VPC	从下拉列表中选择目标私有网络，具体如下所示： 专线连接：通过专线 CEN 实现数据连通时，选择 CEN 下所属的任意私有网络。 VPN 连接：通过 VPN 实现数据连通时，选择 VPN 网关绑定的私有网络。
      数据库账号	输入源实例的数据库账号。
      数据库密码	输入源实例数据库账号对应的密码。

   3. 单击测试连接，验证是否成功连接实例。 当测试连接失败时，根据失败提示信息修改相关配置后，再次单击测试连接，验证是否可以成功连接实例。具体提示信息如下：

      • 连接认证失败，请检查网络是否正常：当出现该报错提示时，请确认网络的连通性。

      • 连接认证失败，请检查用户名和密码是否正确：当出现该报错提示时，您需要确认用户名和密码的准确性。

      • 连接认证失败，无法正常创建连接，请联系客服：当出现该报错提示时，请提交工单联系技术人员。

   4. 配置目标库信息，具体如下表所示。

      参数	说明
      实例类型	选择 MySQL。
      接入方式	选择火山引擎版 MySQL。
      地域	选择目标实例所属地域。
      MySQL 实例	在下拉列表中选择云数据库版 MySQL 的目标实例。说明下拉列表中仅展示前 10 个实例。您也可以通过实例 ID 或名称搜索目标实例。
      数据库账号	输入目标实例的数据库账号。
      数据库密码	输入目标实例数据库账号对应的密码。

   5. 单击测试连接，验证是否成功连接实例。 当测试连接失败时，根据失败提示信息修改相关配置后，再次单击测试连接，验证是否可以成功连接实例。具体提示信息如下：

      • 连接认证失败，请检查用户名和密码是否正确：当出现该报错提示时，您需要确认用户名和密码的准确性。

      • 连接认证失败，无法正常创建连接， 请联系客服：当出现该报错提示时，请提交工单联系技术支持。

6. 单击下一步:配置同步对象。

7. 在配置同步对象配置向导页面，配置相关参数信息，如下表所示。

   说明

   • 若暂时不需要启动同步任务，您可以在完成同步对象配置后，单击页面右下角的保存。

   • 保存后会跳转回同步任务列表页，此时任务状态为待启动，您可以在合适的时候再配置同步任务。配置方法，请参见配置同步任务。

   参数		说明
   初始化步骤		按需选择同步类型，当前支持结构初始化、全量初始化和增量同步。 说明 默认勾选增量同步。 在勾选结构初始化或全量初始化时，预检查完成后，数据库传输服务 DTS 会将源实例中待同步对象的数据在目标实例中初始化，作为后续增量同步数据的基础。
   主键冲突处理		选择当目标库已存在同主键值的行时的处理方法，取值如下： 冲突覆盖：使用源库数据覆盖目标库数据，同步任务可正常启动。 冲突报错：预检查时提示相关报错，需手动修改相关数据，否则同步任务无法启动。 冲突忽略：预检查时会跳过对目标数据库中存在同主键值的行，同步任务可正常启动。 注意 当选择冲突忽略时，可能会导致数据不一致，带来业务风险，须谨慎操作。
   同步起始点		设置从某个指定位点或时间点拉取 Binlog 日志，取值如下： 系统默认：默认为当前时间点。 指定 GTID：在输入框内输入指定的 GTID，格式为 source_id:transaction_id。 指定 GTID_EXECUTED：在输入框内输入指定的 GTID_EXECUTED，格式为 source_id:transaction_id，当存在多个时，可使用英文逗号（,）隔开。关于如何获取实例的 GTID_EXECUTED，请参见如何获取实例的 GTID_EXECUTED。 指定时间戳：单击输入框，选择日期，单击选择时间设置时间点，然后单击确定。 说明 当初始化步骤勾选了全量初始化时，不支持此步骤。 GTID、GTID_EXECUTED 必须是源端合法的值，否则预检查时会报错。 当选择指定时间戳时，您设置的时间必须要晚于源端 Binlog 的最早时间。当没有对应时间 Binlog 时，则选取最接近 Binlog 的起点。
   同步类型选择		选择需要同步的操作类型，当前支持同步 DML 和 DDL 操作语句。具体如下所示： DML：当前支持 DELETE、Insert、Update，默认勾选全部 DML 操作语句，可按需调整。 DDL：默认支持同步全量 DDL，即同步全部 DDL 操作语句，您也可以单击自定义 DDL，默认勾选全部 DDL 操作语句，可按需调整。若无需同步 DDL 操作语句，可单击不同步。 说明 关于数据库传输服务 DTS 在数据同步时支持的 DDL 操作语句，请参见支持同步的 SQL。
   同步对象		选择需要同步的对象，如表格、视图、函数或存储过程等。同时，您可以在已选择对象区域中实现以下操作： 重命名库或表：单击目标库、表和视图后的笔状图标，重命名库、表和视图。 过滤表内数据：勾选过滤数据，可以实现对表内数据的过滤。
   过滤条件		（可选）在开启过滤条件时，可以在全量数据扫描阶段即开始过滤数据，进而提高同步性能，您可以在目标库、表或视图的过滤条件列，单击笔状图标，设置过滤条件，然后单击校验语句，验证是否满足过滤条件。 说明 该功能当前属于邀测阶段，如需使用，请提交工单联系技术支持。 当同步对象的库、表或视图勾选了过滤数据，才支持配置此字段。 过滤条件当前支持=、!=、<、>、<=、>=、in、is null、and 和 or操作符。
   高级配置	开启 ETL 配置	选择是否开启 ETL 功能。关于 ETL 的详细信息，请参见 ETL 简介。 是：使用 DSL 语法配置数据处理规则，并在 Code goes here... 输入框内输入 SQL 语句。详细信息，请参见 DSL 语法。 否：不开启 ETL 功能。 说明 当您在 Code goes here... 输入框内输入 SQL 语句后，需单击校验语法，验证数据处理语句是否正确。 ETL 功能目前处于邀测阶段，如需使用，请提交工单联系技术支持。
   	错误重试时间	在同步任务中，当源库和目标库断连后导致同步任务失败时，会立即在指定时间内多次重试连接源库和目标库。取值范围：600~86400，单位：秒(s)。默认值为 7200 秒。

8. 单击预检查。

9. 在预检查配置向导页面，根据检查结果执行一下操作：

   • 单击预检查结果操作列的详情，查看详细的告警和失败信息，并根据告警或失败信息修改库表后，单击重试。

   • 单击操作列的忽略，忽略本次告警继续启动同步任务。

   说明

   • 选择忽略告警并启动同步任务，可能导致数据不一致，带来业务风险。

   • 关于预检查的具体说明，请参见预检查项。

10. 在预检查页面右下角，单击确认订单。

11. 在确认订单配置向导页面，再次确认配置信息。阅读《数据库产品和服务条款》并勾选我已阅读并同意《数据库产品和服务条款》，然后单击创建并启动任务。

成功创建数据同步任务后，您可以返回数据库传输服务 DTS 控制台，在数据同步任务列表查看数据同步任务的信息。

相关 API #