本文介绍如何在数据库传输服务 DTS 控制台创建专有网络 MongoDB 同步火山引擎版 MongoDB 任务。
当数据库实例的接入方式选择的是专有网络时,且数据库实例开启了访问限制,那么在创建数据库传输任务前,您需要将子网网段添加至数据库实例的白名单或安全组中。华南1(广州)子网网段是 172.31.0.0/20
,华北2(上海)和华北2(北京)子网网段是 192.168.3.0/24
,亚太东南(柔佛)子网网段是 192.168.0.0/24
。更多信息,请参见添加 DTS 服务器的 IP 地址段。
按需设置源端端信息,具体如下所示:
在使用 VPN 实现数据同步时,自建数据库所属的本地网络已通过 VPN 网关接入火山引擎。详细操作,请参见搭建云上VPC与云下多数据中心网络互通。
在需要使用专线实现数据同步时,您需要搭建云上单私有网络和云下单数据中心网络连通的专线连接。详细操作,请参见配置专线连接。
已确认源端和目标端的网络连通性与服务可用性。
(可选)根据预检查项中的说明,检查源端和目标端中各同步对象。更多详情,请参见预检查项(MongoDB)。
若未选中增量同步,数据同步期间请勿在源实例中写入新的数据,以确保数据一致性。
为实时保障数据的一致性,建议选择结构初始化、全量初始化和增量同步。
由于全量初始化会并发执行 INSERT 操作,导致目标库的集合产生碎片,因此全量初始化完成后目标库的集合存储空间会比源库的集合存储空间大。
在数据同步的过程中,若遇到目标库中已存在同主键值或唯一键的情况,DTS 不会保留目标端中冲突的数据,即源端的数据将会覆盖掉目标端的数据。当数据进行冲突覆盖时,如果目标库中存在同名表,可能会导致数据不一致等问题,具体如下所示。建议您通过表名映射的方式、删除或重命名目标库中同名表的方式避免数据不一致等问题降低业务风险。
表结构一致时:同步的数据将覆盖目标表中与源库主键或唯一键的值相同的记录。
表结构不一致时:可能会导致无法初始化数据,只能同步部分列数据。
在预检查时,如果选择忽略告警并启动同步任务,可能会导致数据不一致,带来业务风险。关于预检查的具体说明,请参见预检查项(MongoDB)。
类型 | 说明 |
---|---|
源库限制 |
|
其他限制 |
|
源库需具备以下操作限制:
在结构初始化和全量初始化阶段,请勿执行库或集合的结构变更,否则数据同步任务会失败。
当只执行全量初始化时,请勿向源库中写入新的数据,否则将导致源和目标数据不一致。
用于数据同步的账号需具备以下权限:
源库待同步对象 FIND
权限。
源库 changestream
权限。
目标库 INSERT
、UPDATE
、REMOVE
、DROPDATABASE
、DROPCOLLECTION
权限。
同步类型 | 说明 |
---|---|
结构初始化 | 将源专有网络 MongoDB 中同步对象的结构初始化到目标火山引擎版 MongoDB 中。 |
全量初始化 | 将源专有网络 MongoDB 同步对象的存量数据全部初始化到目标火山引擎版 MongoDB 中。 说明 支持全量初始化 DATABASE 和 COLLECTION。 |
增量同步 | 在全量初始化的基础上,将源专有网络 MongoDB 的增量更新同步到目标火山引擎版 MongoDB 中。 说明 不支持增量同步在任务开始运行后新建的数据库。 |
登录 DTS 控制台。
在顶部菜单栏,选择项目和地域。
在左侧导航栏,单击数据同步。
在同步任务列表页面,单击创建任务。
在创建同步任务页面的配置源库及目标库配置向导页面,配置以下参数信息。
类别 | 参数 | 说明 |
---|---|---|
无 | 任务名称 | (可选)自定义同步任务名称。命名规则如下:
说明 如果不设置,系统会按照命名规则为任务创建一个随机名称,该随机名称以 |
链路规格 | 按需选择同步任务的链路规格,当前支持 Compact 和 Standard。 说明 成功创建任务后,不支持修改任务的链路规格。关于链路规格的详细信息,请参见产品规格。 | |
同步拓扑 | 根据业务需要选择同步拓扑,当前仅支持单向同步。 说明 关于同步拓扑的更多信息,请参见数据同步拓扑。 | |
源库配置 | 选择已有数据源 | 您可以按需选择是否使用已录入的实例:
|
实例类型 | 选择 MongoDB。 | |
接入方式 | 选择专有网络 MongoDB。 | |
地域 | 选择私有网络所属地域。 | |
架构 | 按需选择目标 MongoDB 实例的架构类型,当前支持选择副本集、分片集群和单节点。 | |
增量数据获取方式 | 在架构选择分片集群时支持设置增量数据获取方式。按需选择增量数据的获取方式,支持以下选择:
| |
在增量数据获取方式设置为 ChangeStream 或 None 时,需配置参数地址、账号校验数据库、私有网络、子网、数据库账号和数据库密码。 | ||
地址 | 输入目标自建实例的主机地址和端口,格式为 IP:Port 。在存在多个地址时,需使用英文逗号(,)隔开,最多支持配置 5 个地址。 | |
账号校验数据库 | 输入账号所属数据库的库名。 | |
私有网络 | 从下拉列表中选择目标私有网络,具体如下所示:
| |
子网 | 从下拉列表中选择和私有网络连通的子网。 说明 在迁移专有网络 MongoDB 实例时,您需要提前在源端的白名单或安全组策略中,添加子网 IP 段的访问权限。单击查看子网 IP 段查看和复制 IP 段。 | |
数据库账号 | 输入目标实例的数据库账号。 | |
数据库密码 | 输入目标实例数据库账号对应的密码。 | |
在增量数据获取方式设置为 Oplog 时,需配置私有网络、子网、Mongos 信息和分片信息参数。 | ||
私有网络 | 从下拉列表中选择目标私有网络,具体如下所示:
| |
子网 | 从下拉列表中选择和私有网络连通的子网。 说明 在迁移专有网络 MongoDB 实例时,您需要提前在源端的白名单或安全组策略中,添加子网 IP 段的访问权限。单击查看子网 IP 段查看和复制 IP 段。 | |
Mongos 信息 |
| |
分片信息 |
| |
测试链接 | 单击测试链接,验证是否成功连接实例。 当测试连接失败时,根据失败提示信息修改相关配置后,再次单击测试连接,验证是否可以成功连接实例。具体提示信息如下:
| |
目标库配置 | 选择已有数据源 | 您可以按需选择是否使用已录入的实例:
|
实例类型 | 选择 MongoDB。 | |
接入方式 | 选择火山引擎版 MongoDB。 | |
架构 | 按需选择目标 MongoDB 实例的架构类型,当前支持选择副本集和分片集群。 | |
地域 | 选择目标实例所属地域。 | |
MongoDB 实例 | 从下拉列表中选择目标 MongoDB 的实例。 说明 您可以通过实例 ID 或名称搜索目标实例。 | |
数据库账号 | 输入目标实例的数据库账号。 | |
数据库密码 | 输入目标实例数据库账号对应的密码。 | |
测试链接 | 单击测试链接,验证是否成功连接实例。 当测试连接失败时,根据失败提示信息修改相关配置后,再次单击测试连接,验证是否可以成功连接实例。具体提示信息如下:
| |
无 | 项目 | (可选)从下拉列表中选择该任务所属项目,默认在 default(默认项目) 下。您也可以单击创建新项目,创建新的项目。详细操作,请参见新建项目。 |
标签 | (可选)单击添加标签,为实例添加标签,标签可帮您实现云资源的分类、云资源的访问控制、账单与成本分摊等。标签由一个键值对(Key-Value)组成,用于标识云资源,可以帮助您从不同维度(例如用途、所有者等)对具有相同特征的云资源进行分类,便于筛选和聚合,从而轻松管理云上资源。关于标签的详细信息,请参见标签概述。标签的键值对规则如下:
说明
| |
计费方式 | 按需选择计费方式,当前支持按量计费和包年包月两种计费方式。 说明 关于计费的详细信息,请参见计费说明。 | |
购买时长 | 按需选择包年包月的购买时长。 说明 在计费方式选择包年包月时,支持设置购买时长。 |
单击下一步:配置同步对象。
在配置同步对象配置向导页面,配置以下参数信息。
说明
若暂时不需要启动同步任务,您可以在完成同步对象配置后,单击页面右下角的保存。
保存后会跳转回同步任务列表页,此时任务状态为待启动,您可以在合适的时候再配置同步任务。配置方法,请参见配置同步任务。
参数 | 说明 |
---|---|
同步类型 | 按需选择同步类型,当前支持结构初始化、全量初始化和增量同步。 说明
|
同步起始点 | 设置从某个指定位点或时间点拉取 Binlog 日志,取值如下:
说明
|
同步对象 | 在同步对象区域中勾选需要同步的对象,您可以在已选择对象区域中确认需要同步的对象。同时,在该区域的搜索框内支持模糊搜索,批量删除不需要的目标。 |
错误重试时间 | 在同步任务中,当源库和目标库断连后导致同步任务失败时,会立即在指定时间内多次重试连接源库和目标库。取值范围:600~86400,单位:秒(s)。默认值为 600 秒。 |
全量同步速率 | 按需设置全量同步速率。防止在同步速率过高时,影响源库的性能,您可以根据源库和目标库的读写压力情况适当调整以下参数:
说明 在同步类型选择全量初始化时,支持配置该参数。 |
单击预检查。
在预检查配置向导页面,根据检查结果执行以下操作:
单击预检查结果操作列的详情,查看详细的告警和失败信息,并根据告警或失败信息修改库表后,单击重试。
单击操作列的忽略,忽略本次告警继续启动同步任务。同时,也可以单击忽略全部,一键忽略全部告警信息。
说明
选择忽略告警并启动同步任务,可能导致数据不一致,带来业务风险。
关于预检查的具体说明,请参见预检查项。
在预检查页面右下角,单击确认订单。
根据创建任务的计费类型,选择配置方式:
按量付费 在确认订单配置向导页面,再次确认配置信息。阅读《数据库产品和服务条款》并勾选我已阅读并同意《数据库产品和服务条款》,然后单击创建并启动任务。
包年包月
在确认订单配置向导页面,再次确认配置信息。阅读《数据库产品和服务条款》并勾选我已阅读并同意《数据库产品和服务条款》,然后单击创建并启动任务。
在确认订单信息配置向导页面,确认任务的计费信息。
(可选)单击代金券兑换,在代金券兑换对话框,输入代金券兑换码后单击兑换。
(可选)在代金券区域,按需勾选可用代金券,单次仅支持选中一张,即可抵扣部分费用。也可不使用代金券。
单击下一步。
说明
在支付完成配置向导页面,显示支付成功则任务创建成功。
成功创建数据同步任务后,您可以返回 DTS 控制台,在数据同步任务列表查看数据同步任务的信息。