最近更新时间:2023.11.02 14:15:38
首次发布时间:2022.07.22 16:12:07
数据库传输服务 DTS 提供多种类型的数据库同步服务。本文介绍如何通过数据库传输服务 DTS 配置数据正向同步任务。
在创建数据同步任务时直接保存的任务,且正向同步任务状态为待启动。同步任务的创建方法,请参见创建同步任务。
登录 DTS 控制台。
在顶部菜单栏的左上角,选择项目和地域。
在左侧导航栏,单击数据同步。
在同步任务列表页找到目标任务,单击右上角的配置。
在配置源库及目标库页面,配置如下参数。
填写一下表格配置任务名称和链路规格。
参数 | 说明 |
---|---|
任务名称 | 输入任务名称,必填。名称的命名规则:
|
链路规格 | 创建同步任务时已选择,不支持更改。关于链路规格的更多详情,请参见产品规格。 |
填写如下源库信息。
参数 | 说明 |
---|---|
接入方式 | 创建同步任务时已选择,不支持更改。 |
地域 | 选择源实例所属的地域。 |
MySQL 实例 | 从下拉列表中选择源实例。 说明
|
主机地址 | 输入源自建实例的主机地址。 说明 仅当接入方式为火山引擎ECS自建实例(如火山引擎 ECS 自建 MySQL)或公网自建实例(如公网自建 MySQL)时,支持该配置。 |
端口 | 输入源自建实例的端口号。 说明 仅当接入方式为火山引擎 ECS 自建实例(如火山引擎 ECS 自建 MySQL)或公网自建实例(如公网自建 MySQL)时,支持该配置。 |
VPC | 从下拉列表中选择源实例所属的 VPC 网络。 说明 仅当接入方式为火山引擎 ECS 自建实例(如火山引擎 ECS 自建 MySQL)时,支持该配置。 |
数据库账号 | 输入源实例的数据库账号。 |
数据库密码 | 输入源实例数据库账号对应的密码。 说明 输入完密码后,您可以单击测试连接,待测试通过后再进行后续配置。如果您的实例设置了访问限制,您还需要放开 DTS IP 段的访问权限才可继续进行同步任务。您可以单击查看 DTS IP 段来查看和复制 IP 段。 |
参数 | 说明 |
---|---|
接入方式 | 在创建同步任务时已选择,不支持更改接入方式。 |
地域 | 在创建同步任务时已选择,不支持更改地域。 |
Redis 实例 | 在下拉列表中选择源 Redis 实例。 说明 下拉列表中仅展示前 10 个实例信息,您可以通过实例 ID 或名称搜索目标实例。 |
数据库账号 | 当前仅支持使用默认账号 default,不支持修改。 |
数据库密码 | 输入目标实例数据库账号对应的密码。 说明 在缓存数据库 Redis 版的实例开启免密访问时,无需输入密码即可成功访问目标实例。关于开启免密访问的详细操作,请参见免密访问。 |
填写如下目标库信息。
按需选择实例类型,支持 MySQL 和 ElasticSearch 和 Redis 实例类型。具体参数信息,如下所示:
参数 | 说明 | |
---|---|---|
MySQL | 接入方式 | 不支持更改接入方式。 |
地域 | 选择目标实例所属的地域。 | |
MySQL 实例 | 从下拉列表中选择目标 RDS 实例。 说明
| |
主机地址 | 输入目标自建实例的主机地址。 说明 仅接入方式为火山引擎 ECS 自建实例(如火山引擎 ECS 自建 MySQL)或公网自建实例(如公网自建 MySQL)时,支持该配置。 | |
端口 | 输入目标自建实例的端口号。 说明 仅接入方式为火山引擎 ECS 自建实例(如火山引擎 ECS 自建 MySQL)或公网自建实例(如公网自建 MySQL)时,支持该配置。 | |
私有网络 | 从下拉列表中选择目标实例所属的 VP 网络。 说明
| |
数据库账号 | 输入目标实例的数据库账号。 | |
数据库密码 | 输入目标实例数据库账号对应的密码。 说明 输入完密码后,您可以单击测试连接,待测试通过后再进行后续配置。 | |
ElasticSearch | 接入方式 | 不支持更改接入方式。 |
ES 实例 | 从下拉列表中选择目标 ElasticSearch 实例。 说明
| |
地址 | 输入目标自建实例的主机地址。 说明 仅接入方式为火山引擎 ECS 自建 ElasticSearch 和公网自建 ElasticSearch 时,支持该配置。 | |
私有网络 | 从下拉列表中选择目标实例所属的私有网络。 说明 仅接入方式为火山引擎 ECS 自建 ElasticSearch 时,支持该配置。 | |
数据库账号 | 输入目标实例的数据库账号。 说明 当接入方式选择火山引擎版 ElasticSearch 时,数据库账号只能设置为 admin。 | |
数据库密码 | 输入目标实例数据库账号对应的密码。 说明 输入完密码后,您可以单击测试连接,待测试通过后再进行后续配置。 |
参数 | 说明 |
---|---|
接入方式 | 在创建同步任务时已选择,不支持更改接入方式。 |
地域 | 在创建同步任务时已选择,不支持更改地域。 |
Redis 实例 | 在下拉列表中选择目标 Redis 实例。 说明 下拉列表中仅展示前 10 个实例信息,您可以通过实例 ID 或名称搜索目标实例。 |
数据库账号 | 当前仅支持使用默认账号 default,不支持修改。 |
数据库密码 | 输入目标实例数据库账号对应的密码。 说明 在缓存数据库 Redis 版的实例开启免密访问时,无需输入密码即可成功访问目标实例。关于开启免密访问的详细操作,请参见免密访问。 |
配置任务的项目和计费信息。
参数 | 说明 |
---|---|
项目 | 创建同步任务时已选择,不支持更改。 |
计费方式 | 当前仅支持按量计费,无需选择。 说明 关于计费的详细信息,请参见计费说明。 |
在页面右下角,单击下一步:配置同步对象。
在配置同步对象页,配置如下参数。
根据不同实例类型的接入方式,按需配置相关参数信息:
参数 | 说明 | |
---|---|---|
基本信息 | 初始化步骤 | 支持选择结构初始化或全量初始化。 说明 固定选中增量同步,无需选择。预检查完成后,DTS 会将源实例中待同步对象的全量数据在目标实例中初始化,作为后续增量同步数据的基础。 |
主键冲突处理 | 选择当目标库已存在同主键值或唯一值时的处理方法,取值如下:
注意
| |
同步类型选择 | 选择需要同步的操作类型,您可以选择 DDL、Delete、Insert 或 Update 操作。 说明 关于支持的 DDL 操作语句详情,请参见支持同步的 SQL。 | |
同步起始点 | 设置从某个指定位点或时间点拉取 Binlog 日志,取值如下:
说明
| |
同步对象 | 选择需要同步的对象,如表格、视图、函数或存储过程等。 | |
高级配置 | 开启 ETL 配置 | 选择是否开启 ETL 功能。关于 ETL 的详细信息,请参见 ETL 简介。
说明
|
错误重试时间 | 在同步任务中,当源库和目标库断连后导致同步任务失败时,会立即在指定时间内多次重试连接源库和目标库。取值范围:600~86400,单位:秒(s)。默认值为 7200 秒。 | |
全量同步速率 | 按需设置全量同步速率。防止在同步速率过高时,影响源库的性能,您可以根据源库和目标库的读写压力情况适当调整以下参数:
说明 在同步类型选择全量初始化时,支持配置该参数。 |
当实例类型选择 ElasticSearch 时,您需要配置以下参数信息:
参数 | 说明 | |
---|---|---|
基本信息 | 初始化步骤 | 支持选择结构初始化或全量初始化。 说明 固定选中增量同步,无需选择。预检查完成后,DTS 会将源实例中待同步对象的全量数据在目标实例中初始化,作为后续增量同步数据的基础。 |
索引拼接规则 | 按需选择索引的拼接规则,支持“表名”和库名+表名选项:
说明 成功创建同步任务后,再修改索引拼接规则会重置同步对象的命名,须谨慎操作。 | |
主键冲突处理 | 选择当目标库已存在同主键值的行时的处理方法,取值如下:
注意 若选择冲突忽略处理方法,可能导致数据不一致,给业务带来风险,请谨慎选择。 | |
同步类型选择 | 选择需要同步的操作类型,您可以选择 DDL、Delete、Insert 或 Update 操作。 说明 关于支持的 DDL 操作语句详情,请参见支持同步的 SQL。 | |
同步对象 | 选择需要同步的对象,如表格、视图、函数或存储过程等。 | |
库表字段配置 | 配置库表字段相关信息,可以将文档自定义路由至 ElasticSearch 实例的分片中:
说明 您也可以批量为多个数据库设置是否 _routing。 | |
高级配置 | 开启 ETL 配置 | 选择是否开启 ETL 功能。关于 ETL 的详细信息,请参见 ETL 简介。
说明
|
错误重试时间 | 源库或目标库断连后,若能在该时间内重新连上,同步任务即可自动恢复。取值范围:600~86400,单位:秒(s)。默认值为 7200 秒。 |
当实例类型选择持 Redis 时,您需要配置以下参数信息:
参数 | 说明 | |
---|---|---|
基本信息 | 初始化步骤 | 支持勾选全量初始化。 说明
|
同步对象 | 在同步对象区域中勾选需要同步的对象,您可以在已选择对象区域中确认需要同步的对象。 | |
高级配置 | 错误重试时间 | 源库或目标库断连后,若能在该时间内重新连上,同步任务即可自动恢复。取值范围:600~86400,单位:秒(s)。默认值为 7200 秒。 |
单击预检查。您可以根据预检查结果执行如下操作:
说明
在页面右下角,单击购买并启动。
根据创建任务的计费类型,选择配置方式:
按量付费
在确认订单配置向导页面,再次确认配置信息。阅读《数据库产品和服务条款》并勾选我已阅读并同意《数据库产品和服务条款》,然后单击创建并启动任务。
包年包月
在确认订单配置向导页面,再次确认配置信息。阅读《数据库产品和服务条款》并勾选我已阅读并同意《数据库产品和服务条款》,然后单击创建并启动任务。
在确认订单信息配置向导页面,确认任务的计费信息。
(可选)单击代金券兑换,在代金券兑换对话框,输入代金券兑换码后单击兑换。
(可选)在代金券区域,按需勾选可用代金券,单次仅支持选中一张,即可抵扣部分费用。也可不使用代金券。
单击下一步。
说明
在支付完成配置向导页面,显示支付成功则任务创建成功。
若您在创建同步任务时,选择的同步拓扑是双向同步,那么当正向同步任务进入增量同步阶段后,您就可以配置反向同步任务。配置方法,请参见配置反向同步。