BMQ 数据源为您提供实时读取和离线写入 BMQ 的双向通道能力,实现不同数据源与 BMQ 数据源之间进行数据传输。
本文为您介绍 DataSail 的 BMQ 数据同步的能力支持情况。
目前支持的数据类型是根据数据格式来决定的,支持以下两种格式:
新建数据源操作详见配置数据源,以下为您介绍火山引擎 BMQ 数据源配置相关信息:
其中参数名称前带 * 的为必填参数,名称前未带 * 的为可选填参数。
参数 | 说明 |
---|---|
基本配置 | |
*数据源类型 | BMQ |
*接入方式 | 火山引擎 BMQ |
*数据源名称 | 数据源的名称,可自行设置,仅支持中文,英文,数字,“_”,100个字符以内。 |
参数配置 | |
*实例所属账号 | 实例所属账号支持选择当前云账号和其他云账号:
跨账号授权操作详见授权角色管理使用说明。 |
*BMQ 实例 ID | 下拉选择已在火山引擎云原生消息引擎 BMQ 中创建的 BMQ 实例名称信息,可选当前云账户或其他云账户下的实例。 |
BMQ 数据源测试连通性成功后,进入到数据开发界面,开始新建 BMQ 相关通道任务。新建任务方式详见离线数据同步、流式数据同步。
任务创建成功后,您可根据实际场景,配置 BMQ 离线写或 BMQ 流式读等通道任务。
数据目标端选择 BMQ,并完成以下相关参数配置:
其中参数名称前带 * 的为必填参数,名称前未带 * 的为可选填参数。
参数 | 说明 |
---|---|
*目标类型 | 数据去向目标类型选择 BMQ。 |
*数据源名称 | 已在数据源管理界面注册的 BMQ 数据源,下拉可选。 |
*Topic名称 | 选择 BMQ 处理消息源的不同分类主题名称,下拉可选数据源下对应需写入数据的 Topic 名称。 |
*数据格式 | 默认仅支持 json 格式,不可编辑。 |
示例数据 | 需以 json 字符串形式描述 schema。必须填写完整的数据,否则schema不准确。 |
分区设置 | 可以自定义 BMQ 分区规则,从 bmq message 字段中选择 0~N 个字段,用于保证指定字段相同的值写入到 BMQ 的同一 partition 中。 |
数据来源选择 BMQ,并完成以下相关参数配置:
其中参数名称前带 * 的为必填参数,名称前未带 * 的为可选填参数。
参数 | 说明 |
---|---|
*目标类型 | 数据去向目标类型选择 BMQ。 |
*数据源名称 | 已在数据源管理界面注册的 BMQ 数据源,下拉可选。 |
*Topic名称 | 选择 BMQ 处理消息源的不同分类主题名称,下拉可选数据源下对应需读取数据的 Topic 名称。 注意 请检查 Group ID 是否存在,Group ID 命名规则需严格符合: |
*数据类型 | 支持 JSON、Pb,下拉可选,默认为 JSON 格式。 |
示例数据 | 数据格式为 json 时,需以 json 字符串形式描述 schema。必须填写完整的数据,否则schema不准确。 |
*Pb 类定义 | 数据格式为 Pb 时,需要先定义 Pb 类,在框中中填写 Pb 的
|
*Pb 类名 | 数据格式为 Pb 时,需要填写 PB Class 入口类名信息, |
数据来源和目标端配置完成后,需要指定来源和目标端的字段映射关系,根据字段映射关系,数据集成任务将源端字段中的数据,写入到目标端对应字段中。
您可通过以下三种方式操作字段映射关系:
BMQ 流式任务运行参数说明与 Kafka 数据源配置说明一致。详见 5 流式任务运行参数说明。