You need to enable JavaScript to run this app.
文档中心
大数据研发治理套件(私有化)

大数据研发治理套件(私有化)

复制全文
实时分库分表
映射配置
复制全文
映射配置

在映射配置界面中,完成数据来源设置与库表映射规则匹配策略:

数据源配置

进行来源库表的选择,其中名称前带 * 的参数为必填参数,名称前未带 * 的参数为可选参数。
来源配置说明

配置项

说明

数据源设置

*数据源名称

默认展示在网络与资源配置中选择的数据来源名称。
您也下拉选择更多数据源管理中创建成功的数据源。若此前仍未创建相应数据源,您可单击右侧数据源管理按钮,前往数据源管理界面,进行数据源的创建。
数据源相关操作可参见“注册数据源”。

*源库、源 Schema、源表选择限定条件

您可通过设置源库、源 Schema、源表的限定条件,来获取源表信息。
Image

  • 单击添加规则按钮,完成限定条件规则的添加,支持添加多个规则,取合集;
    • 限定条件:您可通过指定源库、源表的名称来限定,也可通过正则表达式匹配的方式,快速获取源端库表信息。
    • 类型:依据限定条件中输入的条件,下拉选择匹配的类型,支持正则个例类型配置。
  • 源表限定条件,可支持批量输入,单击批量输入按钮,在弹窗中输入限定条件表达式,示例如下:
    [ {"filterPattern":".*", "filterType":"FULL", "filterAction":"INCLUDE" } ]
    • filterType 可选:个例-FULL、正则-REG
    • filterAction 可选:INCLUDE

    注意

    当前批量输入的内容将会全量替换已手动添加的规则,请谨慎操作!

  • 删除:您也可以单击操作列下的删除按钮,完成规则删除。

*表

单击获取源表/获取源集合按钮,平台根据源库、源表/集合限定条件的设置,自动加载符合条件的表/集合。

注意

选择的多个库表,需保证其 Schema 信息一致(包括字段名称、字段类型)。
数据字段模块内系统默认展示第一个数据源中第一张表的元数据字段信息,若多表间字段不一致可能会导致运行失败。

目标库表映射配置

来源库表选择完成后,您便可进行后续的库表映射规则配置。

  1. 自动分区设置
    目前通过解决方案自动建表时,LAS、Doris、StarRocks数据源仅支持写入非分区表。

  2. 高级配置
    展开高级配置按钮,进行解决方案 DML、使用已有表、高级参数等相关配置,其中名称前带 * 的参数为必填参数,名称前未带 * 的参数为可选参数。
    高级配置说明

    配置项

    说明

    DML 配置

    解决方案执行过程中,支持同步 DML 事件类型,支持插入、更新、删除事件类型。

    说明

    • 若取消勾选 DML 事件类型,则源端进行相应操作时,解决方案将不同步对应操作类型的数据;
    • 若在任务高级参数中配置了 DML 相关语句过滤,则以高级参数中的配置为准,此处勾选不生效。

    使用已有表配置

    当目标表已存在,即下方“表建立方式”为“使用已有表”时,若此时源表与目标表中已有字段列不一致时,可通过列匹配规则,根据实际场景进行列映射规则设置,目前支持自动映射、同名取交映射两种匹配规则配置:

    • 自动映射:默认映射规则,字段列不一致时,提示目标检查异常。
    • 同名取交映射:字段列不一致时,仅同名映射匹配到的字段进行数据同步,未匹配到的字段不做同步,任务正常执行。

    高级参数配置

    您可为同步解决方案配置全局的高级参数,以 key-value 的形式输入。
    例如,当源端/目标端是SQLServer、PostgreSQL、GaussDB、KingBase这类“库-Schema-表”三层结构的数据源时,若想要指定目标表的Schema信息时,您需在此添加 solution.table_schema=schema_name 高级参数,其中 schema_name 需替换为目标表具体的schema名称信息。
    Image

  3. 库/表名映射配置
    单击库/表名映射配置按钮,在弹窗中配置库表匹配策略,支持选择与来源库表同名和自定义方式匹配:

    • 与来源库表同名:目前暂不支持。
    • 自定义:您也可以通过自定义匹配方式,设置源端与目标库表名称的转换规则,在目标库表名框中输入相应的库表名称信息,配置方式详见“库表映射规则说明”。

    说明

    目前暂不支持自动创建同名数据库,您需先在目标端创建好同名的数据库。

    库表名映射规则配置完成后,单击弹窗右上角关闭按钮,即规则映射配置完成。

  4. DDL 配置
    在分库分表解决方案 MySQL2StarRocks 通道中,通常会遇到较多来源端新增列、修改列类型等 DDL 操作场景。此时您可根据实际业务场景,对来源端不同的 DDL 消息,在配置解决方案同步到目标端数据源时,可进行预设不同的处理策略。

    1. 单击 DDL 配置按钮,在弹窗中进行消息处理策略配置;
    2. 按需进行新增列、修改列类型处理策略选择;
    3. DDL 策略配置完成后,单击弹窗右上角关闭按钮,DDL 配置即完成。
      DDL 消息处理策略说明详见解决方案 DDL 策略配置
  5. 刷新逻辑表和目标表映射
    库/表映射配置、DDL 等配置完成后,您可单击刷新源表和目标表映射按钮,自动加载源表和目标表信息,您可以在列表中进行以下操作:
    目标端配置说明

    配置项

    说明

    逻辑表名

    单击逻辑表名信息,可查看所选的源库表信息。

    分片键、分表键

    设置分库分表中分片字段和分表键字段信息。

    排序策略

    排序策略将影响实时增量任务,若无排序字段,可能会出现上游乱序导致下游数据源错误,建议增加排序策略。

    • 无排序:根据上游数据写入顺序,新数据覆盖旧数据;
    • 自适应排序:根据目标表属性自动推断排序策略,表/索引建立方式为使用已有表数据表不存在时,会选择自适应排序方式。

    全量同步

    • 按钮开启时,同步解决方案将创建全量离线任务和实时增量任务,进行历史全量表数据和增量表数据的同步。
    • 按钮关闭时,同步解决方案仅创建实时增量任务,仅同步后续增量变更的源端表数据。

    表建立方式

    表建立方式分为使用已有表、自动建表和数据表不存在三种方式:

    • 使用已有表:当映射配置检查,目标端存在与源端表同名的表名时,则会直接使用已有表,来执行方案。
    • 自动建表:当映射配置检查,目标端不存在与源端表同名的表名时,将会通过任务,以定义的目标表名,自动创建目标表。StarRocks引擎目标表暂不支持自动创建。
    • 数据表不存在:当目标端无法通过数据集成自动建表时,您需要进入目标端数据库中,手动创建数据表后,再继续配置解决方案。

    查看字段信息

    可以查看来源表、目标表的字段名和其对应的字段类型等信息。

    移除

    可将当前源表和目标表映射删除。

    配置

    为当前解决方案配置映射高级参数,以key-value形式输入。

    清表策略

    您可根据实际情况,选择是否开启清表策略,开启表示在数据写入目标表前,会清空原有目标表中的数据,通常是为了使任务重跑时支持幂等操作。

  6. 提交方案
    目标库表映射配置完成后,单击右下角提交方案按钮,进行方案的提交,在弹窗中,您可根据实际情况勾选方案是否立即执行,并单击确定按钮,完成实时分库分表同步解决方案的创建。

最近更新时间:2024.12.20 15:37:34
这个页面对您有帮助吗?
有用
有用
无用
无用