You need to enable JavaScript to run this app.
导航

配置 RocketMQ 数据源

最近更新时间2024.03.01 11:30:54

首次发布时间2022.09.15 17:46:56

RocketMQ 数据源为您提供实时读取 RocketMQ 的单向通道能力,实现从 RocketMQ 读取数据,实时同步至不同目标数据源中,进行数据传输。
本文为您介绍 DataSail 的 RocketMQ 数据同步的能力支持情况。

1 支持的 RocketMQ 版本

  • 实时读:
    • 支持火山引擎 RocketMQ 实例 4.X 版本。

2 使用限制

  • 子账号新建数据源时,需要有项目的管理员角色,方可以进行新建数据源操作。各角色对应权限说明,详见:管理成员
  • RocketMQ 数据源目前仅支持可视化配置实时读取 RocketMQ。
  • 为确保同步任务使用的独享集成资源组具有 RocketMQ 库节点的网络访问能力,您需将独享集成资源组和 RocketMQ 数据库节点网络打通,详见网络连通解决方案
  • 若通过 VPC 网络访问,则独享集成资源组所在 VPC 中的 IPv4 CIDR 地址,需加入到 BMQ 访问白名单中:
    1. 确认集成资源组所在的 VPC:
      图片
    2. 查看 VPC 的 IPv4 CIDR 地址:

      注意

      若考虑安全因素,减少 IP CIDR 的访问范围,您至少需要将集成资源组绑定的子网下的 IPv4 CIDR 地址加入到实例白名单中。

      图片
    3. 将获取到的 IPv4 CIDR 地址添加进 RocketMQ 实例白名单中。
  • 若是通过公网形式访问 RocketMQ 实例,则您需进行以下操作:
    • 独享集成资源组开通公网访问能力,操作详见开通公网
    • 并将公网 IP 地址,添加进 RocketMQ 实例白名单中。

3 支持的字段类型

目前支持的数据类型是根据数据格式来决定的,支持以下两种格式:

  1. JSON 格式。
  2. Protobuf(PB) 格式。

4 数据同步任务开发

4.1 数据源注册

新建数据源操作详见配置数据源,以下为您介绍 RocketMQ 数据源通过不同接入方式配置的相关信息:
其中参数名称前带 * 的为必填参数,名称前未带 * 的为可选填参数。

  • 火山引擎 RocketMQ:

    参数

    说明

    基本配置

    *数据源类型

    RocketMQ

    *接入方式

    火山引擎 RocketMQ

    *数据源名称

    数据源的名称,可自行设置,仅支持中文,英文,数字,“_”,100个字符以内。

    参数配置

    *RocketMQ 实例 ID

    下拉选择已在火山引擎消息队列 RocketMQ 中创建的 RocketMQ 实例名称信息。
    若您还未创建 RocketMQ 实例,您可前往 RocketMQ 实例控制台中创建,详见创建实例

    *Access key ID

    进入 RocketMQ 实例列表,单击相应的实例,在密钥管理页签中,查看 AccessKey ID 和 Secret,并复制到此处。秘钥操作详见创建秘钥

    *Secret Access Key

    与秘钥管理中的 Access Key ID 配套使用,类似登录密码,用于签名您的访问参数,以防被篡改。

  • 连接串:

    参数

    说明

    基本配置

    *数据源类型

    RocketMQ

    *接入方式

    连接串

    *数据源名称

    数据源的名称,可自行设置,仅支持中文,英文,数字,“_”,100个字符以内。

    参数配置

    *RocketMQ 集群地址

    输入需访问的 RocketMQ 集群地址信息,填写格式为 ip:port 或 host:port 格式,存在多个集群地址时,可用半角逗号分隔。

    *Access key ID

    进入 RocketMQ 实例列表,单击相应的实例,在密钥管理页签中,查看 AccessKey ID 和 Secret,并复制到此处。秘钥操作详见创建秘钥

    *Secret Access Key

    与秘钥管理中的 Access Key ID 配套使用,类似登录密码,用于签名您的访问参数,以防被篡改。

4.2 新建离线任务

RocketMQ 数据源测试连通性成功后,进入到数据开发界面,开始新建 RocketMQ 相关通道任务。新建任务方式详见流式数据同步
任务创建成功后,您可根据实际场景,配置 RocketMQ 流式读通道任务。

4.3 可视化配置 RocketMQ 流式读

图片
数据来源选择 RocketMQ,并完成以下相关参数配置:
其中参数名称前带 * 的为必填参数,名称前未带 * 的为可选填参数。

参数

说明

*目标类型

数据去向目标类型选择 RocketMQ。

*数据源名称

已在数据源管理界面注册的 RocketMQ 数据源,下拉可选。
若还未建立相应数据源,可单击数据源管理按钮,前往创建 RocketMQ 数据源。

*Topic名称

选择 RocketMQ 处理消息源的不同分类主题名称,下拉可选数据源下对应需读取数据的 Topic 名称。

*Group ID

下拉选择 RocketMQ 实例中,已创建的 Group ID 消费组名称信息。消费组操作详见创建 Group

*数据类型

支持JSON、Pb,下拉可选,默认为 JSON 格式。
当选择Pb时,需要填写参数信息 Pb类定义Pb Class

示例数据

数据格式为 json 时,需以 json 字符串形式描述 schema。必须填写完整的数据,否则schema不准确。

*Pb 类定义

数据格式为 Pb 时,需要先定义 Pb 类,在框中中填写 Pb 的IDL定义,一次只支持一个 Pb 类的定义,示例如下:

syntax = "proto2";
package abase_test;
message AbaseTest {
    required int64 first_id = 1;
    required int64 latest_id = 2;
}

*Pb 类名

数据格式为 Pb 时,需要填写 PB Class 入口类名信息,
上方示例中的 PB Class 为 AbaseTest。

4.4 字段映射

数据来源和目标端配置完成后,需要指定来源和目标端的字段映射关系,根据字段映射关系,数据集成任务将源端字段中的数据,写入到目标端对应字段中。
您可通过以下三种方式操作字段映射关系:

  • 自动添加:单击自动添加按钮,根据两端数据表信息,可以自动填充来源和目标的字段信息。
  • 手动添加:单击手动添加按钮,可以手动编辑来源和目标的字段信息,可以逐个添加。
  • 移动\删除字段:您也可以根据需要移动字段映射顺序或删除字段。

5 流式任务运行参数说明

RocketMQ 流式任务运行参数说明与 Kafka 数据源配置说明一致。详见 Kafka 任务运行参数说明