在映射配置界面中,完成数据来源设置与库表映射规则匹配策略:
进行来源库表的选择,其中名称前带 * 的参数为必填参数,名称前未带 * 的参数为可选参数。
来源配置说明
配置项 | 说明 |
|---|---|
数据源设置 | |
*数据源名称 | 默认展示在网络与资源配置中选择的数据来源名称。 |
*源库、源 Schema、源表选择限定条件 | 您可通过设置源库、源 Schema、源表的限定条件,来获取源表信息。
|
*表 | 单击获取源表/获取源集合按钮,平台根据源库、源表/集合限定条件的设置,自动加载符合条件的表/集合。 注意 选择的多个库表,需保证其 Schema 信息一致(包括字段名称、字段类型)。 |
来源库表选择完成后,您便可进行后续的库表映射规则配置。
自动分区设置
目前通过解决方案自动建表时,LAS、Doris、StarRocks数据源仅支持写入非分区表。
高级配置
展开高级配置按钮,进行解决方案 DML、使用已有表、高级参数等相关配置,其中名称前带 * 的参数为必填参数,名称前未带 * 的参数为可选参数。
高级配置说明
配置项 | 说明 |
|---|---|
DML 配置 | 解决方案执行过程中,支持同步 DML 事件类型,支持插入、更新、删除事件类型。 说明
|
使用已有表配置 | 当目标表已存在,即下方“表建立方式”为“使用已有表”时,若此时源表与目标表中已有字段列不一致时,可通过列匹配规则,根据实际场景进行列映射规则设置,目前支持自动映射、同名取交映射两种匹配规则配置:
|
高级参数配置 | 您可为同步解决方案配置全局的高级参数,以 key-value 的形式输入。 |
库/表名映射配置
单击库/表名映射配置按钮,在弹窗中配置库表匹配策略,支持选择与来源库表同名和自定义方式匹配:
说明
目前暂不支持自动创建同名数据库,您需先在目标端创建好同名的数据库。
库表名映射规则配置完成后,单击弹窗右上角关闭按钮,即规则映射配置完成。
DDL 配置
在分库分表解决方案 MySQL2StarRocks 通道中,通常会遇到较多来源端新增列、修改列类型等 DDL 操作场景。此时您可根据实际业务场景,对来源端不同的 DDL 消息,在配置解决方案同步到目标端数据源时,可进行预设不同的处理策略。
刷新逻辑表和目标表映射
库/表映射配置、DDL 等配置完成后,您可单击刷新源表和目标表映射按钮,自动加载源表和目标表信息,您可以在列表中进行以下操作:
目标端配置说明
配置项 | 说明 |
|---|---|
逻辑表名 | 单击逻辑表名信息,可查看所选的源库表信息。 |
分片键、分表键 | 设置分库分表中分片字段和分表键字段信息。 |
排序策略 | 排序策略将影响实时增量任务,若无排序字段,可能会出现上游乱序导致下游数据源错误,建议增加排序策略。
|
全量同步 |
|
表建立方式 | 表建立方式分为使用已有表、自动建表和数据表不存在三种方式:
|
查看字段信息 | 可以查看来源表、目标表的字段名和其对应的字段类型等信息。 |
移除 | 可将当前源表和目标表映射删除。 |
配置 | 为当前解决方案配置映射高级参数,以key-value形式输入。 |
清表策略 | 您可根据实际情况,选择是否开启清表策略,开启表示在数据写入目标表前,会清空原有目标表中的数据,通常是为了使任务重跑时支持幂等操作。 |
提交方案
目标库表映射配置完成后,单击右下角提交方案按钮,进行方案的提交,在弹窗中,您可根据实际情况勾选方案是否立即执行,并单击确定按钮,完成实时分库分表同步解决方案的创建。