实时分库分表

实时分库分表方案概述

1. 支持将 Schema 相同的多个实例中多个数据库下的多个分表，一键同步到目标端的一个表中。方案中会先创建离线同步任务，然后进行实时同步，适用于分库分表场景。
2. 支持自动建目标表。
3. 当前来源端支持 MySQL、VeDB、PostgreSQL、SQLServer、Oracle、Mongo，目标端支持写入 Doris、StarRocks、LAS、Elasticsearch、ByteHouse 云数仓版（ByteHouse CDW）、ByteHouse 企业版（ByteHouse CE）。
4. 支持直连数据库同步，也支持通过中间缓存到 Kafka 后再同步。

实时整库方案概述

1. 支持将一个数据库下的多张 Schema 不同的表在一个解决方案中分别同步到目标端的不同表中。方案中会先创建离线同步任务，然后进行实时同步。
2. 支持自动建目标表。
3. 当前来源端支持 MySQL、VeDB、PostgreSQL、SQLServer、Mongo、Oracle，目标端支持写入 Doris、StarRocks、LAS、Elasticsearch、ByteHouse CDW、ByteHouse CE。
4. 支持直连数据库同步，也支持通过中间缓存到 Kafka 后再同步。

基本信息

*方案名称

输入实时分库分表同步方案名称。只允许字符.、字母、数字、下划线、连字符、[]、【】、（）、()以及中文字符，且需在127个字符以内。

方案描述

输入此方案的描述信息，方便后续维护管理。

*保存至

下拉选择方案保存路径，此路径为数据开发项目中的任务路径。创建方式详见任务目录树管理。

*链路类型

下拉选择来源和目标端数据源类型。

• 来源支持类型：MySQL、VeDB、PostgreSQL、SQLServer、Oracle、Mongo
• 目标支持类型：LAS、Doris、StarRocks、Elasticsearch、ByteHouse 云数仓版、ByteHouse 企业版

网络与资源配置

数据来源

在数据来源框中，选择数据源管理中创建成功的数据源，支持选择多个。
若此前仍未创建相应数据源，您可单击左侧导航栏中的数据源管理按钮，前往数据源管理界面，进行数据源的创建。详见配置数据源。

数据缓存

选择同步解决方案是否需要通过数据缓存的方式来采集数据：

• 勾选使用缓存， 需选择已创建成功的 Kafka、BMQ、DataSail(内置 Topic) 数据源，通过中间缓存来进行实时数据同步。

  说明

  DataSail(内置 Topic) 、BMQ 数据源缓存方式，目前仅支持 MySQL2Doris、MySQL2StarRocks、MySQL2Elasticsearch 通道进行该缓存方式配置。

• 不勾选，不使用缓存，通过直连数据库的方式采集源端数据。

数据目标

在数据目标框中，选择数据源管理中创建成功的数据源。

离线/实时集成任务资源组

下拉选择在数据源管理界面中，创建来源、中间缓存、目标端数据源时，测试连通性能够成功的独享集成资源组。选择资源组后，您可进行以下操作：

1. 单击下方的立即测试连通性按钮，进入连通性测试界面。
2. 单击连通性测试按钮，完成离线全量、实时增量任务来源和目标端数据源的连通。

若此前还未创建独享集成资源组，您也可以单击资源组管理按钮，前往资源组管理界面进行资源组的查看或新建等操作，详见资源组管理。

数据源设置

*数据源名称

展现基本配置中选择的数据源，您也可以在此处再新增其余需要采集的数据源。
若此前仍未创建相应数据源，您可单击右侧数据源管理或批量新建数据源按钮，进行数据源的创建。

*源库、源 Schema、源表选择限定条件

您可通过设置源库、源 Schema、源表的限定条件，来获取源表信息。

单击添加规则按钮，完成限定条件规则的添加，支持添加多个规则，取合集；

• 限定条件：您可通过指定源库、源表的名称来限定，也可通过正则表达式匹配的方式，快速获取源端库表信息。
• 类型：依据限定条件中输入的条件，下拉选择匹配的类型，支持正则和个例类型配置。
• 删除：您也可以单击操作列下的删除按钮，完成规则删除。

表

单击获取源表/获取源集合按钮，平台根据源库、源表/集合限定条件的设置，自动加载符合条件的表/集合。

映射规则

*库表匹配策略

支持选择与来源库表同名和自定义方式匹配：

• 与来源库表同名：目前暂不支持
• 自定义：您可通过自定义匹配方式，设置源端与目标库表名称的转换规则，在目标库表名框中输入相应的库表名称信息。

  注意

  • 目前暂不支持自动创建与源端同名的目标数据库，您需先在目标端中创建好同名的数据库。
  • 目标端为 EMR Doris 半托管集群数据源时，建议开启集群高可用服务，使 Doris Master 节点数量在 3 个以上，保障 DataSail 解决方案自动创建表成功；若 Doris 半托管集群仅有 1 Master+1 Core 或 1 Master+2 Core 节点数量时，您需在目标 Doris 数据库中进行手动创建表，并需手动指定副本参数 replication_num，示例如下：

    CREATE TABLE demo.t3 (pk INT, v1 INT SUM) AGGREGATE KEY (pk) DISTRIBUTED BY hash (pk) PROPERTIES ('replication_num' = '1');
    

数据源设置

*数据源

下拉选择数据源管理中创建成功的目标端数据源。目前支持写入 LAS、Doris、StarRocks、Elasticsearch、ByteHouse 云数仓版、ByteHouse 企业版数据源中。
若此前仍未创建相应数据源，您可单击右侧数据源管理按钮，前往数据源管理界面，进行数据源的创建。

*自动分区设置

目前通过 DataSail 解决方案自动建表时，LAS、Doris、StarRocks、ByteHouse CDW、ByteHouse CE 数据源仅支持写入非分区表。

映射配置

高级配置

使用已有表配置

当目标表已存在，即下方“表建立方式”为“使用已有表”时，若此时源表与目标表中已有字段列不一致时，可通过列匹配规则，根据实际场景进行列映射规则设置，目前支持自动映射、同名取交映射两种匹配规则配置：

• 自动映射：默认映射规则，字段列不一致时，提示目标检查异常。
• 同名取交映射：字段列不一致时，仅同名映射匹配到的字段进行数据同步，未匹配到的字段不做同步，任务正常执行。

高级参数配置

您可为同步解决方案配置多表映射高级参数，以 key-value 的形式输入。

*刷新源表和目标表映射

单击刷新源表和目标表映射按钮，自动加载源表和目标表信息，您可以在列表中进行以下操作：

逻辑表名

单击逻辑表名信息，可查看所选的源库表信息。

分片键、分表键

设置分库分表中分片字段和分表键字段信息。

筛选库表

单击漏斗按钮，您可输入源端与目标端的库表信息，进行筛选搜索。

排序策略

排序策略将影响实时增量任务，若无排序字段，可能会出现上游乱序导致下游数据源错误，建议增加排序策略。

• 无排序：根据上游数据写入顺序，新数据覆盖旧数据；
• 自适应排序：根据目标表属性自动推断排序策略，表/索引建立方式为使用已有表或数据表不存在时，会选择自适应排序方式。

表建立方式

表建立方式分为使用已有表、自动建表和数据表不存在几种方式：

• 使用已有表：当映射配置检查，目标端数据库中若存在相应库表映射规则转换后的表名时，则会直接使用已有表，来执行方案。
• 自动建表：当映射配置检查，目标端数据库中若不存在相应库表映射规则转换后的表名时，将会通过任务，以映射规则定义的目标表名，自动创建目标表。

  说明

  通过实时分库分表同步方案创建目标表时，需确保数据源中配置的账号有建表的权限，防止在执行自动建表流程时出现失败情况。

• 数据表不存在：当映射配置检查，目标端数据库中若不存在相应库表映射规则转换后的表名，且平台暂时无法自动建表的情况下，您需要手动在目标端数据库表中创建目标表，再继续配置解决方案。

全量同步

• 按钮开启时，同步解决方案将创建全量离线任务和实时增量任务，进行历史全量数据和增量数据的同步。
• 按钮关闭时，同步解决方案仅创建实时增量任务，仅同步后续增量变更的源端表数据。

清表策略

您可根据实际情况，选择是否开启清表策略，开启表示在数据写入目标表前，会清空原有目标表中的数据，通常是为了使任务重跑时支持幂等操作。

查看字段信息

可以查看来源表、目标表的字段名和其对应的字段类型等信息。在弹窗中，您也可对自动创建的目标表字段类型和字段描述信息，进行手动编辑调整。

配置

您可为同步解决方案配置多表映射高级参数，以 key-value 的形式输入。

移除

单击操作列中的更多 > 移除按钮，可将当前源端与目标端的映射删除。

重置

单击操作列中的更多 > 重置按钮，可重置源表与目标表的映射关系。

执行详情

• 单击运维操作列的执行详情按钮，进入解决方案执行详情界面，查看方案的具体执行步骤，如目标表创建，增量流任务、全量离线任务的创建、发布、启动等一系列详情步骤。
  在具体步骤的右侧，您可单击单个步骤的执行详情按钮，您可进入查看各步骤中的任务操作状态、耗时及前往任务运维界面等操作。
• 单击云监控页签，前往查看解决方案的实时集成读写指标、CDC 延迟指标信息。您可根据实际场景，自定义时间来查看方案相关的执行指标。

提交执行

未在启动中的任务，您可单击运维操作列的提交执行按钮，将任务提交到运行状态，开启增量流任务的运行。

1. 方案调整后，第二次提交执行时，在增量流任务位点重置步骤，您可人工确认是否需要重置位点开关，您可输入 Binlog 文件名、 Binlog 位点、gtids 等信息进行位点重置。
2. 在增量流任务启动的执行详情中，单击更多按钮，您可进行前往运维、查看执行日志、查看 Application Url 等操作。

方案查看

单击运维操作列更多中的方案查看按钮，可对当前解决方案的各个配置步骤进行查看。

方案编辑

单击运维操作列更多中的方案编辑按钮，可对当前解决方案的方案名称、数据来源端、目标端、DDL 策略配置、运行配置步骤进行修改编辑，如您可在数据来源配置步骤中，为当前解决方案新增同步表或删除已选择的同步表，或者调整独享集成资源组等操作。

方案删除

单击运维操作列更多中的方案删除按钮，将处于非运行中、非启动中的方案进行删除，当前仅删除解决方案本身，已生成的表和集成任务不会被删除。

运行监控

单击运维操作列更多中的运行监控按钮，为当前实时分库分表同步方案配置一次性全量、实时增量任务的运行监控。
在运行监控界面，单击新增规则按钮，平台自动为您创建一条监控规则，您可在操作列中，单击配置监控按钮，前往运维中心，查看监控详情。更多运行监控配置操作详见离线监控规则、实时监控规则。

强制重启

单击运维操作列更多中的强制重启按钮，将之前创建的解决方案再次提交执行，区别于提交执行，强制重启会位点初始化、全量批任务清理、重启全量批任务等操作。

提交停止

单击运维操作列更多中的提交停止按钮，可将处于正常运行中的增量流任务进行停止操作。

操作历史

单击运维操作列更多中的操作历史按钮，您可查看当前同步方案的操作历史情况，如创建方案、重启方案、提交停止等操作，均会记录在操作历史中。您可单击操作列中的查看详情按钮，对历史版本的操作进行查看。