You need to enable JavaScript to run this app.
导航

新建消费组

最近更新时间2023.05.30 17:06:07

首次发布时间2022.09.01 09:56:46

成功创建数据订阅任务之后,需要根据消费端的类型在 DTS 控制台或通过开源 Kafka SDK 创建消费组。本文介绍如何通过数据库传输服务 DTS 控制台为内置中间件新建消费组。

背景信息

消费组是一组具有相同消费组 ID 的消费者。当一个 Topic 被同一个消费组的多个消费者消费时,每一条消息都只会被投递到一个消费者,实现消费的负载均衡。通过消费组,您可以确保一个 Topic 的消息被并行消费。
创建数据订阅任务之后,数据库的数据更新和结构更新均以消息数据的形式投递到指定的消费端,您还需要创建对应的消费组以消费数据。不同类型的消费端创建消费组的方式如下:

  • 内置中间件:通过数据库传输服务 DTS 新建消费组,详情请参见本文操作步骤部分。

  • 自有中间件:

    • 火山引擎 ECS 自建 Kafka:使用开源 Kafka SDK 创建消费组(Group),详细信息,请参见 Kafka 官方文档

    • 消息队列 Kafka 版:使用消息队列 Kafka 版的 SDK 创建消费组(Group),创建后可以在消息队列 Kafka 版控制台中查看 Group 列表。详细信息请参见消息队列 Kafka 版 SDK 参考

    • 消息队列 RocketMQ 版:使用消息队列 RocketMQ 版创建消费组(Group),创建后可以在消息队列 RocketMQ 版控制台中查看 Group 列表。详细信息,请参考创建 Group

使用限制

  • 仅在订阅数据投递订阅内置中间件时,才需要在 DTS 控制台新建消费组。其他类型请参考背景信息选择对应方式创建消费组。

  • 一个数据订阅任务最多支持创建 20 个消费组,通过创建多个消费组达到数据被重复消费的目标。

前提条件

  • 按需创建数据订阅任务,具体操作,请参见订阅方案概览

  • 数据订阅任务需处于执行中

操作步骤

  1. 登录 DTS 控制台

  2. 在顶部菜单栏的左上角,选择项目和地域。

  1. 在左侧导航栏,单击数据订阅

  2. 您可以通过以下两种方式进入新建消费组对话框。

    • 方式一

    数据订阅列表页面,选择目标数据订阅任务,单击新增消费组

    • 方式二
      1. 数据订阅列表页面,单击目标数据订阅任务的名称。

      2. 在目标数据订阅任务的详细页面,单击数据消费

      3. 数据消费页签,单击新建消费组

  3. 新建数据组对话框内,配置以下参数信息。

    参数描述

    消费组名称

    自定义消费组名称。建议设置和您的业务有相关联的名称,便于后续查询。名称命名规则如下:

    • 长度需在 2~32 个字符内。

    • 由数字、大写字母、小写字母、下划线(_)和中划线(-)组成。

    账号

    设置消费组账号。账号命名规则如下:

    • 长度需在 2~16 个字符内。

    • 以字母开头,字母或数字结尾。

    • 由数字、大写字母、小写字母、下划线(_)组成。

    密码

    设置消费组账号密码。密码规则如下:

    • 长度需在 8~32 个字符内。

    • 至少包含大写字母、小写字母、数字或特殊字符中的三种类型。特殊字符包含 _#!@$%^&*()+=-

    确认密码再次输入消费组账号密码。
  4. 单击确定

相关 API

API描述
CreateSubscriptionGroup调用 CreateSubscriptionGroup 接口创建订阅消费组。
DescribeSubscriptionGroup调用 DescribeSubscriptionGroup 接口查询订阅消息组。
DescribeSubscriptionGroups调用 DescribeSubscriptionGroups 接口查询消费组列表。
DescribeSubscriptionGroupProgress调用 DescribeSubscriptionGroupProgress 接口查询订阅消费组进度。