You need to enable JavaScript to run this app.
文档中心
大数据研发治理套件(私有化)

大数据研发治理套件(私有化)

复制全文
实时数据采集
映射配置
复制全文
映射配置

在映射配置界面中,完成数据来源设置与库表映射规则匹配策略:

数据源配置

进行来源库表的选择,其中名称前带 * 的参数为必填参数,名称前未带 * 的参数为可选参数。
来源配置说明:

配置项

说明

*数据源名称

默认展示在网络与资源配置中选择的数据来源名称。
若此前仍未创建相应数据源,您可单击右侧数据源管理按钮,前往数据源管理界面,进行数据源的创建。
数据源相关操作可参见“注册数据源”。

*订阅格式

下拉选择数据订阅格式,MySQL、SQLServer 源端数据类型支持 Debezium Json 格式。

*源库、源表选择限定条件

您可通过设置源库、源 Schema、源表的限定条件,来获取源表信息。
Image

  • 单击添加规则按钮,完成限定条件规则的添加,支持添加多个规则,取合集;
    • 限定条件:您可通过指定源库、源 Schema、源表的名称来限定,也可通过正则表达式匹配的方式,快速获取源端库表信息。
    • 类型:依据限定条件中输入的条件,下拉选择匹配的类型,支持正则个例类型配置。
  • 源表限定条件,可支持批量输入,单击批量输入按钮,在弹窗中输入限定条件表达式,示例如下:[{"filterPattern":"table_name","filterType":"FULL","filterAction":"INCLUDE"}
    • filterType 可选:个例-FULL、正则-REG
    • filterAction 可选:INCLUDE

    注意

    当前批量输入的内容将会全量替换已手动添加的规则,请谨慎操作!

  • 删除:您也可以单击操作列下的删除按钮,完成规则删除。

单击获取源表按钮,平台根据源库、源表限定条件的设置,自动加载符合条件的表。

目标库表映射配置

  1. 高级配置
    展开高级配置按钮,进行解决方案 DML、高级参数等相关配置,其中名称前带 * 的参数为必填参数,名称前未带 * 的参数为可选参数。
    高级配置说明

    配置项

    说明

    DML配置

    解决方案执行过程中,支持同步 DML 事件类型选择,支持插入、更新、删除事件类型。

    说明

    • 若取消勾选 DML 事件类型,则源端进行相应操作时,解决方案将不同步对应操作类型的数据;
    • 若在任务高级参数中配置了 DML 相关语句过滤,则以高级参数中的配置为准,此处勾选不生效。

    高级参数配置

    您可按需为同步解决方案配置多表映射高级参数,以 key-value 的形式输入。

  2. 库/表名映射配置
    单击库/表名映射配置按钮,在弹窗中配置库表匹配策略,支持选择与来源库表同名和自定义方式匹配:

    • 与来源库表同名:目前暂时不支持。
    • 自定义:您也可以通过自定义匹配方式,设置源端与目标Topic的匹配策略,或在目标名称框中输入相应的名称信息。
      您可在规则输入框中,通过变量参数来实现分流到多个不同 Topic,如: ${db_name_src_transed}、${table_name_src_transed}。自定义配置方式详见“库表映射规则说明”。
  3. 刷新逻辑表和目标表映射
    库/表映射配置完成后,您可单击刷新源表和目标表映射按钮,自动加载源表和目标表信息,您可以在列表中进行以下操作:
    目标端配置说明

    配置项

    说明

    逻辑表名

    单击逻辑表名信息,可查看所选的源库表信息。

    Topic/表建立方式

    Topic/表建立方式分为使用已有表和数据表不存在几种方式:

    • 使用已有表:当映射配置检查,目标端存在与源端表同名的表名时,则会直接使用已有表,来执行方案。
    • 数据表不存在:Kafka 目标端无法通过同步方案自动建 Topic ,因此您需要先进入目标端数据库中,手动创建 Topic 后,再继续配置解决方案。

    配置

    您可为采集方案配置映射高级参数,以 key-value 的形式输入。
    常用参数示例:

    • Topic 分区数:solution.writer.common.topic.partition_num = 5
    • Topic TTL 时间:solution.writer.common.topic.ttl = 7,单位天
  4. 提交方案
    目标库表映射配置完成后,单击右下角提交方案按钮,进行方案的提交,在弹窗中,您可根据实际情况勾选方案是否立即执行,并单击确定按钮,完成实时数据采集方案的创建。

最近更新时间:2025.07.31 18:13:48
这个页面对您有帮助吗?
有用
有用
无用
无用