配置 RocketMQ 数据源

RocketMQ 数据源为您提供实时读取 RocketMQ 的单向通道能力，实现从 RocketMQ 读取数据，实时同步至不同目标数据源中，进行数据传输。
本文为您介绍 DataSail 的 RocketMQ 数据同步的能力支持情况。

1 支持的 RocketMQ 版本

• 实时读：
  • 支持火山引擎 RocketMQ 实例 4.X 版本。

2 使用限制

• 子账号新建数据源时，需要有项目的管理员角色，方可以进行新建数据源操作。各角色对应权限说明，详见：管理成员。
• RocketMQ 数据源目前仅支持可视化配置实时读取 RocketMQ。
• 为确保同步任务使用的独享集成资源组具有 RocketMQ 库节点的网络访问能力，您需将独享集成资源组和 RocketMQ 数据库节点网络打通，详见网络连通解决方案。
• 若通过 VPC 网络访问，则独享集成资源组所在 VPC 中的 IPv4 CIDR 地址，需加入到 BMQ 访问白名单中：
  1. 确认集成资源组所在的 VPC：
     
  2. 查看 VPC 的 IPv4 CIDR 地址：

     注意

     若考虑安全因素，减少 IP CIDR 的访问范围，您至少需要将集成资源组绑定的子网下的 IPv4 CIDR 地址加入到实例白名单中。

     
  3. 将获取到的 IPv4 CIDR 地址添加进 RocketMQ 实例白名单中。
• 若是通过公网形式访问 RocketMQ 实例，则您需进行以下操作：
  • 独享集成资源组开通公网访问能力，操作详见开通公网。
  • 并将公网 IP 地址，添加进 RocketMQ 实例白名单中。

3 支持的字段类型

目前支持的数据类型是根据数据格式来决定的，支持以下两种格式：

1. JSON 格式。
2. Protobuf（PB） 格式。

4 数据同步任务开发

4.1 数据源注册

新建数据源操作详见配置数据源，以下为您介绍 RocketMQ 数据源通过不同接入方式配置的相关信息：
其中参数名称前带 * 的为必填参数，名称前未带 * 的为可选填参数。

• 火山引擎 RocketMQ：

  参数	说明
  基本配置
  *数据源类型	RocketMQ
  *接入方式	火山引擎 RocketMQ
  *数据源名称	数据源的名称，可自行设置，仅支持中文，英文，数字，“_”，100个字符以内。
  参数配置
  *RocketMQ 实例 ID	下拉选择已在火山引擎消息队列 RocketMQ 中创建的 RocketMQ 实例名称信息。 若您还未创建 RocketMQ 实例，您可前往 RocketMQ 实例控制台中创建，详见创建实例。
  *Access key ID	进入 RocketMQ 实例列表，单击相应的实例，在密钥管理页签中，查看 AccessKey ID 和 Secret，并复制到此处。秘钥操作详见创建秘钥。
  *Secret Access Key	与秘钥管理中的 Access Key ID 配套使用，类似登录密码，用于签名您的访问参数，以防被篡改。

• 连接串：

  参数	说明
  基本配置
  *数据源类型	RocketMQ
  *接入方式	连接串
  *数据源名称	数据源的名称，可自行设置，仅支持中文，英文，数字，“_”，100个字符以内。
  参数配置
  *RocketMQ 集群地址	输入需访问的 RocketMQ 集群地址信息，填写格式为 ip:port 或 host:port 格式，存在多个集群地址时，可用半角逗号分隔。
  *Access key ID	进入 RocketMQ 实例列表，单击相应的实例，在密钥管理页签中，查看 AccessKey ID 和 Secret，并复制到此处。秘钥操作详见创建秘钥。
  *Secret Access Key	与秘钥管理中的 Access Key ID 配套使用，类似登录密码，用于签名您的访问参数，以防被篡改。

4.2 新建离线任务

RocketMQ 数据源测试连通性成功后，进入到数据开发界面，开始新建 RocketMQ 相关通道任务。新建任务方式详见流式数据同步。
任务创建成功后，您可根据实际场景，配置 RocketMQ 流式读通道任务。

4.3 可视化配置 RocketMQ 流式读

数据来源选择 RocketMQ，并完成以下相关参数配置：
其中参数名称前带 * 的为必填参数，名称前未带 * 的为可选填参数。

syntax = "proto2";
package abase_test;
message AbaseTest {
    required int64 first_id = 1;
    required int64 latest_id = 2;
}

4.4 字段映射

数据来源和目标端配置完成后，需要指定来源和目标端的字段映射关系，根据字段映射关系，数据集成任务将源端字段中的数据，写入到目标端对应字段中。
您可通过以下三种方式操作字段映射关系：

• 自动添加：单击自动添加按钮，根据两端数据表信息，可以自动填充来源和目标的字段信息。
• 手动添加：单击手动添加按钮，可以手动编辑来源和目标的字段信息，可以逐个添加。
• 移动\删除字段：您也可以根据需要移动字段映射顺序或删除字段。

5 流式任务运行参数说明

RocketMQ 流式任务运行参数说明与 Kafka 数据源配置说明一致。详见 5 流式任务运行参数说明。