You need to enable JavaScript to run this app.
文档中心
大数据研发治理套件(私有化)

大数据研发治理套件(私有化)

复制全文
实时整库同步
映射配置
复制全文
映射配置

在映射配置界面中,完成数据来源设置与库表映射规则匹配策略:

数据源配置

进行来源库表的选择,其中名称前带 * 的参数为必填参数,名称前未带 * 的参数为可选参数。
来源配置说明:

配置项

说明

数据源设置

*数据源

下拉选择数据源管理中创建成功的数据源。若此前仍未创建相应数据源,您可单击右侧数据源管理按钮,前往数据源管理界面,进行数据源的创建。
数据源相关操作可参见“注册数据源”。

*表选择模式

支持通过指定表或正则方式进行表的选择:

  • 指定表:您可手动指定选择一个库中的部分表进行实时同步。

    说明

    指定表模式,后续无法自动响应新增表 DDL 消息。

  • 正则:您可通过正则匹配的方式,监控指定库,并同步对应库下所有符合规则的表。

指定表模式

*数据表

指定表模式选择时,在左侧您可选择来源数据库表信息,以整库,或单表多表形式展开进行勾选需要同步的库表,取消勾选便可撤回已选中的库表。

说明

数据库下没有表存在时,不支持勾选同步。

正则模式

*源库、源 Schema、源表/集合选择限定条件

正则模式选择时,您可通过设置源库、源 Schema、源表的限定条件,来获取源表信息。
Image

  • 单击添加规则按钮,完成限定条件规则的添加,Schema、源表条件支持添加多个规则,取合集;
    • 限定条件:您可通过指定源库、源表的名称来限定,也可通过正则表达式匹配的方式,快速获取源端库表信息。
    • 类型:依据限定条件中输入的条件,下拉选择匹配的类型,支持正则个例类型配置。

    说明

    实时整库同步解决方案,同时仅支持一个库的同步。

  • 源表限定条件,可支持批量输入,单击批量输入按钮,在弹窗中输入限定条件表达式,示例如下:
    [ {"filterPattern":".*", "filterType":"FULL", "filterAction":"INCLUDE" } ]
    • filterType 可选:个例-FULL、正则-REG
    • filterAction 可选:INCLUDE

    注意

    当前批量输入的内容将会全量替换已手动添加的规则,请谨慎操作!

  • 删除:您也可以单击操作列下的删除按钮,完成规则删除。

表/集合

正则模式选择时,单击获取源表/获取源集合按钮,平台根据源库、源表/集合限定条件的设置,自动加载符合条件的表/集合。

说明

数据字段模块内系统默认展示第一个数据源中第一张表的元数据字段信息,若多表间字段不一致可能会导致运行失败。

目标库表映射配置

来源库表选择完成后,您便可进行后续的映射规则配置。

  1. 高级配置
    展开高级配置按钮,进行解决方案 DML、使用已有表、高级参数等相关配置,其中名称前带 * 的参数为必填参数,名称前未带 * 的参数为可选参数。
    目标端配置说明

    配置项

    说明

    DML 配置

    解决方案执行过程中,支持同步 DML 事件类型,支持插入、更新、删除事件类型。

    说明

    • 若取消勾选 DML 事件类型,则源端进行相应操作时,解决方案将不同步对应操作类型的数据;
    • 若在任务高级参数中配置了 DML 相关语句过滤,则以高级参数中的配置为准,此处勾选不生效。
    • GaussDB 数据源读取类型时,暂不支持 DML 配置。

    使用已有表配置

    当目标表已存在,即下方“表建立方式”为“使用已有表”时,若此时源表与目标表中已有字段列不一致时,可通过列匹配规则,根据实际场景进行列映射规则设置,目前支持自动映射、同名取交映射两种匹配规则配置:

    • 自动映射:默认映射规则,字段列不一致时,提示目标检查异常。
    • 同名取交映射:字段列不一致时,仅同名映射匹配到的字段进行数据同步,未匹配到的字段不做同步,任务正常执行。

    源表和目标表刷新配置

    整库离线方案配置的源表和目标表数量较多时,您可设置单次拉取表数量,来分批进行表映射配置,默认单次拉取数量为 100 张表,您可根据实际情况进行调整,填写范围 1~2000。

    高级参数配置

    您可为同步解决方案配置全局的高级参数,以 key-value 的形式输入。
    例如:

    • 当源端/目标端是SQLServer、PostgreSQL、GaussDB、KingBase这类“库-Schema-表”三层结构的数据源时,若想要指定目标表的Schema信息时,您需在此添加 solution.table_schema=schema_name 高级参数,其中 schema_name 需替换为目标表具体的schema名称信息。
      Image
    • 当源端为 Oracle 数据源时,您需通过配置高级参数:job.reader.database_include_list = orcl,在解决方案执行期间指定 Oracle 数据库的连接方式,即 jdbc 连接串最后的 serviceName 或者 sid 信息(值可指定为 orcl),以确保能够正常实时读取 Oracle 数据。
      Image
  2. 库/表名映射配置
    单击库/表名映射配置按钮,在弹窗中配置库表匹配策略,支持选择与来源库表同名和自定义方式匹配:

    • 与来源库表同名:来源库表选择完成后,解决方案默认将目标端的库表名称,与源端库表信息同名,若目标端不存在同名数据表时,将会自动创建。
    • 自定义:
      您也可以通过自定义匹配方式,设置源端与目标库表的匹配策略。
      目标库名支持 ${src_db_name} 变量,如:prefix_${src_db_name}suffix。
      目标表名支持 ${src_db_name}、${src_schema_name}、${src_table_name} 三种变量,如:prefix
      ${src_db_name}_${src_table_name}_suffix。
      具体配置方式详见“库表映射规则说明”。

    说明

    • 目前暂不支持自动创建同名数据库,您需先在目标端创建好同名的数据库。
    • 当源端为 Oracle 数据源时,您需在库表映射规则处,额外添加映射规则,“源库名:Oracle 连接方式的 serviceName 或 sid 信息 > 目标库名:目标数据库名称”,如 ORCL > dts,其中 Oracle 的 serviceName 或 sid 信息需注意区分大小写。
      Image

    映射规则配置完成后,单击弹窗右上角关闭按钮,即规则映射配置完成。

  3. DDL 配置
    在实时整库 CDC 解决方案 MySQL2StarRocks 通道中,通常会遇到较多来源端新增表、新增列等 DDL 操作场景。此时您可根据实际业务场景,对来源端不同的 DDL 消息,在配置解决方案同步到目标端数据源时,可进行预设不同的处理策略。

    1. 单击 DDL 配置按钮,在弹窗中进行消息处理策略配置;
    2. 按需进行新建表、新增列、删除列、修改列类型等处理策略选择;
    3. DDL 策略配置完成后,单击弹窗右上角关闭按钮,DDL 配置即完成。
      DDL 消息处理策略说明详见解决方案 DDL 策略配置
  4. 刷新源表和目标表映射
    库/表映射配置、DDL 等配置完成后,您可单击刷新源表和目标表映射按钮,自动加载源表和目标表信息,您可以在列表中进行以下操作:

    说明

    对于历史方案,操作方案编辑,如在原有方案中进行新增表、删除表操作时,单击刷新源表和目标表映射按钮,会弹窗表选择范围,您可按需选择刷新全量表映射仅刷新新增表映射按钮进行表映射刷新。
    Image
    在方案编辑过程中,若同时对库/表名映射、DDL 配置、DML 配置、使用已有表配置、高级参数配置、数据源等所有涉及表内容的修改时,系统将默认会刷新全量表映射,且不会弹出选择窗口。

    目标端配置说明:

    配置项

    说明

    筛选库表

    单击漏斗按钮,您可输入源端与目标端的库表信息,进行筛选搜索。

    同步主键

    默认设置为源表中设置的主键字段信息,您可下拉进行选择源表中其余字段作为同步主键字段。

    说明

    实时整库解决方案写入目标数据源时,目标端数据表中,必须要有主键字段。

    排序策略

    排序策略将影响实时增量任务,若无排序字段,可能会出现上游乱序导致下游数据源错误,建议增加排序策略。

    • 无排序:根据上游数据写入顺序,新数据覆盖旧数据;
    • 自适应排序:根据目标表属性自动推断排序策略,表/索引建立方式为使用已有表数据表不存在时,会选择自适应排序方式。

    全量同步

    • 按钮开启时,同步解决方案将创建全量离线任务和实时增量任务,进行历史全量表数据和增量表数据的同步。
    • 按钮关闭时,同步解决方案仅创建实时增量任务,仅同步后续增量变更的源端表数据。

    表建立方式

    表建立方式分为使用已有表、自动建表数据表不存在三种方式:

    • 使用已有表:当映射配置检查,目标端存在与源端表同名的表名时,则会直接使用已有表,来执行方案。
    • 自动建表:当映射配置检查,目标端不存在与源端表同名的表名时,将会通过任务,以定义的目标表名,自动创建目标表。StarRocks引擎目标表暂不支持自动创建。
    • 数据表不存在:当目标端无法通过数据集成自动建表时,您需要进入目标端数据库中,手动创建数据表后,再继续配置解决方案。

    支持写入LAS Tencent COS归属库表类型,该库表类型,您需前往LAS控制台中进行单独创建后方可后续配置使用,暂不支持在数据地图中或通过解决方案自动创建该类型库表。

    查看字段信息

    可以查看来源表、目标表的字段名和其对应的字段类型等信息。

    移除

    可将当前源表和目标表映射删除。

    配置

    为当前解决方案配置映射高级参数,以key-value形式输入。

  5. 方案映射配置完成后,单击右下角提交方案按钮,进行方案的提交,在弹窗中,您可根据实际情况勾选方案是否立即执行,并单击确定按钮,完成实时整库同步解决方案的创建。

最近更新时间:2025.04.17 15:11:12
这个页面对您有帮助吗?
有用
有用
无用
无用