You need to enable JavaScript to run this app.
文档中心
大数据研发治理套件

大数据研发治理套件

复制全文
下载 pdf
数据源列表
配置 BMQ 数据源
复制全文
下载 pdf
配置 BMQ 数据源

BMQ 数据源为您提供实时读取和离线写入 BMQ 的双向通道能力,实现不同数据源与 BMQ 数据源之间进行数据传输。
本文为您介绍 DataSail 的 BMQ 数据同步的能力支持情况。

1 支持的 BMQ 版本

  • 实时读:
    • 支持火山引擎 BMQ 实例

2 使用限制

  • 子账号新建数据源时,需要有项目的管理员角色,方可以进行新建数据源操作。各角色对应权限说明,详见:管理成员
  • BMQ 数据源目前支持可视化配置实时读取和离线写入 BMQ。
  • 当 BMQ 数据源与独享数据集成资源组处于不同VPC网络环境时,暂不支持跨 VPC 网络访问;仅当二者位于同一 VPC 网络时,可实现数据连通访问。

3 支持的字段类型

目前支持的数据类型是根据数据格式来决定的,支持以下两种格式:

  1. JSON 格式。
  2. Protobuf(PB) 格式。

4 数据同步任务开发

4.1 数据源注册

新建数据源操作详见配置数据源,以下为您介绍火山引擎 BMQ 数据源配置相关信息:
其中参数名称前带 * 的为必填参数,名称前未带 * 的为可选填参数。

参数

说明

基本配置

*数据源类型

BMQ

*接入方式

火山引擎 BMQ

*数据源名称

数据源的名称,可自行设置,仅支持中文,英文,数字,“_”,100个字符以内。

参数配置

*实例所属账号

实例所属账号支持选择当前云账号和其他云账号:

  • 当前云账户:即当前登录控制台的云账号;
  • 其他云账户:非当前登录的云账号,BMQ 数据源类型支持跨账号形式访问其他云账号下的 BMQ 实例,当选择其他云账户时,您需添加其他云账号 ID跨账号授权角色名称信息。

跨账号授权操作详见授权角色管理使用说明

*BMQ 实例 ID

下拉选择已在火山引擎云原生消息引擎 BMQ 中创建的 BMQ 实例名称信息,可选当前云账户或其他云账户下的实例。
若您还未创建 BMQ 实例,您可前往 BMQ 实例控制台中创建,详见创建资源池

4.2 新建离线任务

BMQ 数据源测试连通性成功后,进入到数据开发界面,开始新建 BMQ 相关通道任务。新建任务方式详见离线数据同步流式数据同步
任务创建成功后,您可根据实际场景,配置 BMQ 离线写BMQ 流式读等通道任务。

4.3 可视化配置 BMQ 离线写

Image
数据目标端选择 BMQ,并完成以下相关参数配置:
其中参数名称前带 * 的为必填参数,名称前未带 * 的为可选填参数。

参数

说明

*目标类型

数据去向目标类型选择 BMQ。

*数据源名称

已在数据源管理界面注册的 BMQ 数据源,下拉可选。
若还未建立相应数据源,可单击数据源管理按钮,前往创建 BMQ 数据源。

*Topic名称

选择 BMQ 处理消息源的不同分类主题名称,下拉可选数据源下对应需写入数据的 Topic 名称。

*数据格式

默认仅支持 json 格式,不可编辑。

示例数据

需以 json 字符串形式描述 schema。必须填写完整的数据,否则schema不准确。

分区设置

可以自定义 BMQ 分区规则,从 bmq message 字段中选择 0~N 个字段,用于保证指定字段相同的值写入到 BMQ 的同一 partition 中。

4.4 可视化配置 BMQ 流式读

Image
数据来源选择 BMQ,并完成以下相关参数配置:
其中参数名称前带 * 的为必填参数,名称前未带 * 的为可选填参数。

参数

说明

*目标类型

数据去向目标类型选择 BMQ。

*数据源名称

已在数据源管理界面注册的 BMQ 数据源,下拉可选。
若还未建立相应数据源,可单击数据源管理按钮,前往创建 BMQ 数据源。

*Topic名称

选择 BMQ 处理消息源的不同分类主题名称,下拉可选数据源下对应需读取数据的 Topic 名称。

注意

请检查 Group ID 是否存在,Group ID 命名规则需严格符合:dorado_{任务名称}_{任务id} 形式 ,否则任务会失败。

*数据类型

支持 JSON、Pb,下拉可选,默认为 JSON 格式。
当选择Pb时,需要填写参数信息 Pb类定义Pb Class

示例数据

数据类型为 json 时,需以 json 字符串形式描述 schema。必须填写完整的数据,否则schema不准确。

*Pb 类定义

数据类型为 Pb 时,需要先定义 Pb 类,在框中中填写 Pb 的IDL定义,一次只支持一个 Pb 类的定义,示例如下:

syntax = "proto2";
package abase_test;
message AbaseTest {
    required int64 first_id = 1;
    required int64 latest_id = 2;
}

*Pb 类名

数据类型为 Pb 时,需要填写 PB Class 入口类名信息,
上方示例中的 PB Class 为 AbaseTest。

4.5 字段映射

数据来源和目标端配置完成后,需要指定来源和目标端的字段映射关系,根据字段映射关系,数据集成任务将源端字段中的数据,写入到目标端对应字段中。
您可通过以下三种方式操作字段映射关系:

  • 同名映射:流式读取 BMQ 数据源时,单击同名映射按钮,源端字段信息可根据目标端字段信息进行映射添加。
  • 自动添加:单击自动添加按钮,根据两端数据表信息,可以自动填充来源和目标的字段信息。
  • 手动添加:单击手动添加按钮,可以手动编辑来源和目标的字段信息,可以逐个添加。
  • 移动\删除字段:您也可以根据需要移动字段映射顺序或删除字段。

5 流式任务运行参数说明

BMQ 流式任务运行参数说明与 Kafka 数据源配置说明一致。详见 5 流式任务运行参数说明

最近更新时间:2025.12.19 11:26:17
这个页面对您有帮助吗?
有用
有用
无用
无用