在映射配置界面中,完成数据来源设置与库表映射规则匹配策略:
数据源配置
进行来源库表的选择,其中名称前带 * 的参数为必填参数,名称前未带 * 的参数为可选参数。
来源配置说明:
配置项 | 说明 |
|---|
*数据源名称 | 默认展示在网络与资源配置中选择的数据来源名称。
若此前仍未创建相应数据源,您可单击右侧数据源管理按钮,前往数据源管理界面,进行数据源的创建。
数据源相关操作可参见“注册数据源”。 |
*订阅格式 | 下拉选择数据订阅格式,MySQL、SQLServer 源端数据类型支持 Debezium Json 格式。 |
*源库、源表选择限定条件 | 您可通过设置源库、源 Schema、源表的限定条件,来获取源表信息。
 - 单击添加规则按钮,完成限定条件规则的添加,支持添加多个规则,取合集;
- 限定条件:您可通过指定源库、源 Schema、源表的名称来限定,也可通过正则表达式匹配的方式,快速获取源端库表信息。
- 类型:依据限定条件中输入的条件,下拉选择匹配的类型,支持正则和个例类型配置。
- 源表限定条件,可支持批量输入,单击批量输入按钮,在弹窗中输入限定条件表达式,示例如下:[{"filterPattern":"table_name","filterType":"FULL","filterAction":"INCLUDE"}
- filterType 可选:个例-FULL、正则-REG
- filterAction 可选:INCLUDE
注意 当前批量输入的内容将会全量替换已手动添加的规则,请谨慎操作! - 删除:您也可以单击操作列下的删除按钮,完成规则删除。
|
表 | 单击获取源表按钮,平台根据源库、源表限定条件的设置,自动加载符合条件的表。 |
目标库表映射配置
高级配置
展开高级配置按钮,进行解决方案 DML、高级参数等相关配置,其中名称前带 * 的参数为必填参数,名称前未带 * 的参数为可选参数。
高级配置说明
配置项 | 说明 |
|---|
DML配置 | 解决方案执行过程中,支持同步 DML 事件类型选择,支持插入、更新、删除事件类型。 说明 - 若取消勾选 DML 事件类型,则源端进行相应操作时,解决方案将不同步对应操作类型的数据;
- 若在任务高级参数中配置了 DML 相关语句过滤,则以高级参数中的配置为准,此处勾选不生效。
|
高级参数配置 | 您可按需为同步解决方案配置多表映射高级参数,以 key-value 的形式输入。 |
库/表名映射配置
单击库/表名映射配置按钮,在弹窗中配置库表匹配策略,支持选择与来源库表同名和自定义方式匹配:
- 与来源库表同名:目前暂时不支持。
- 自定义:您也可以通过自定义匹配方式,设置源端与目标Topic的匹配策略,或在目标名称框中输入相应的名称信息。
您可在规则输入框中,通过变量参数来实现分流到多个不同 Topic,如: ${db_name_src_transed}、${table_name_src_transed}。自定义配置方式详见“库表映射规则说明”。
刷新逻辑表和目标表映射
库/表映射配置完成后,您可单击刷新源表和目标表映射按钮,自动加载源表和目标表信息,您可以在列表中进行以下操作:
目标端配置说明
配置项 | 说明 |
|---|
逻辑表名 | 单击逻辑表名信息,可查看所选的源库表信息。 |
Topic/表建立方式 | Topic/表建立方式分为使用已有表和数据表不存在几种方式: - 使用已有表:当映射配置检查,目标端存在与源端表同名的表名时,则会直接使用已有表,来执行方案。
- 数据表不存在:Kafka 目标端无法通过同步方案自动建 Topic ,因此您需要先进入目标端数据库中,手动创建 Topic 后,再继续配置解决方案。
|
配置 | 您可为采集方案配置映射高级参数,以 key-value 的形式输入。
常用参数示例: - Topic 分区数:solution.writer.common.topic.partition_num = 5
- Topic TTL 时间:solution.writer.common.topic.ttl = 7,单位天
|
提交方案
目标库表映射配置完成后,单击右下角提交方案按钮,进行方案的提交,在弹窗中,您可根据实际情况勾选方案是否立即执行,并单击确定按钮,完成实时数据采集方案的创建。