You need to enable JavaScript to run this app.
导航

配置 BMQ 数据源

最近更新时间2023.11.09 17:43:57

首次发布时间2023.11.09 17:43:57

BMQ 数据源为您提供实时读取和离线写入 BMQ 的双向通道能力,实现不同数据源与 BMQ 数据源之间进行数据传输。
本文为您介绍 DataSail 的 BMQ 数据同步的能力支持情况。

1 支持的 BMQ 版本

  • 实时读:
    • 支持火山引擎 BMQ 实例

2 使用限制

  • 子账号新建数据源时,需要有项目的管理员角色,方可以进行新建数据源操作。各角色对应权限说明,详见:管理成员

  • BMQ 数据源目前支持可视化配置实时读取和离线写入 BMQ。

  • 为确保同步任务使用的独享集成资源组具有 BMQ 库节点的网络访问能力,您需将独享集成资源组和 BMQ 数据库节点网络打通,详见网络连通解决方案

3 支持的字段类型

目前支持的数据类型是根据数据格式来决定的,支持以下两种格式:

  1. JSON 格式。

  2. Protobuf(PB) 格式。

4 数据同步任务开发

4.1 数据源注册

新建数据源操作详见配置数据源,以下为您介绍火山引擎 BMQ 数据源配置相关信息:
其中参数名称前带 * 的为必填参数,名称前未带 * 的为可选填参数。

参数说明
基本配置
*数据源类型BMQ
*接入方式火山引擎 BMQ
*数据源名称数据源的名称,可自行设置,仅支持中文,英文,数字,“_”,100个字符以内。
参数配置

*BMQ 实例 ID

下拉选择已在火山引擎云原生消息引擎 BMQ 中创建的 BMQ 实例名称信息。
若您还未创建 BMQ 实例,您可前往 BMQ 实例控制台中创建,详见创建资源池

4.2 新建离线任务

BMQ 数据源测试连通性成功后,进入到数据开发界面,开始新建 BMQ 相关通道任务。新建任务方式详见离线数据同步流式数据同步
任务创建成功后,您可根据实际场景,配置 BMQ 离线写BMQ 流式读等通道任务。

4.3 可视化配置 BMQ 离线写

数据目标端选择 BMQ,并完成以下相关参数配置:
其中参数名称前带 * 的为必填参数,名称前未带 * 的为可选填参数。

参数说明
*目标类型数据去向目标类型选择 BMQ。

*数据源名称

已在数据源管理界面注册的 BMQ 数据源,下拉可选。
若还未建立相应数据源,可单击数据源管理按钮,前往创建 BMQ 数据源。

*Topic名称选择 BMQ 处理消息源的不同分类主题名称,下拉可选数据源下对应需写入数据的 Topic 名称。
*数据格式默认仅支持 json 格式,不可编辑。
示例数据需以 json 字符串形式描述 schema。必须填写完整的数据,否则schema不准确。
分区设置可以自定义 BMQ 分区规则,从 bmq message 字段中选择 0~N 个字段,用于保证指定字段相同的值写入到 BMQ 的同一 partition 中。

4.4 可视化配置 BMQ 流式读

数据来源选择 BMQ,并完成以下相关参数配置:
其中参数名称前带 * 的为必填参数,名称前未带 * 的为可选填参数。

参数说明
*目标类型数据去向目标类型选择 BMQ。

*数据源名称

已在数据源管理界面注册的 BMQ 数据源,下拉可选。
若还未建立相应数据源,可单击数据源管理按钮,前往创建 BMQ 数据源。

*Topic名称

选择 BMQ 处理消息源的不同分类主题名称,下拉可选数据源下对应需读取数据的 Topic 名称。

注意

请检查 Group ID 是否存在,Group ID 命名规则需严格符合:dorado_{任务名称}_{任务id} 形式 ,否则任务会失败。

*数据类型

支持 JSON、Pb,下拉可选,默认为 JSON 格式。
当选择Pb时,需要填写参数信息 Pb类定义Pb Class

示例数据数据格式为 json 时,需以 json 字符串形式描述 schema。必须填写完整的数据,否则schema不准确。

*Pb 类定义

数据格式为 Pb 时,需要先定义 Pb 类,在框中中填写 Pb 的IDL定义,一次只支持一个 Pb 类的定义,示例如下:

syntax = "proto2";
package abase_test;
message AbaseTest {
    required int64 first_id = 1;
    required int64 latest_id = 2;
}

*Pb 类名

数据格式为 Pb 时,需要填写 PB Class 入口类名信息,
上方示例中的 PB Class 为 AbaseTest。

4.5 字段映射

数据来源和目标端配置完成后,需要指定来源和目标端的字段映射关系,根据字段映射关系,数据集成任务将源端字段中的数据,写入到目标端对应字段中。
您可通过以下三种方式操作字段映射关系:

  • 同名映射:流式读取 BMQ 数据源时,单击同名映射按钮,源端字段信息可根据目标端字段信息进行映射添加。

  • 自动添加:单击自动添加按钮,根据两端数据表信息,可以自动填充来源和目标的字段信息。

  • 手动添加:单击手动添加按钮,可以手动编辑来源和目标的字段信息,可以逐个添加。

  • 移动\删除字段:您也可以根据需要移动字段映射顺序或删除字段。

5 流式任务运行参数说明

BMQ 流式任务运行参数说明与 Kafka 数据源配置说明一致。详见 Kafka 任务运行参数说明