You need to enable JavaScript to run this app.
导航

Topic 和 Group 管理

最近更新时间2024.01.04 11:03:59

首次发布时间2023.07.03 15:36:59

消息队列 Kafka版提供以下 Topic 和 Group 管理相关的常见问题供您参考。

FAQ 列表

支持多少个 Topic?

消息队列 Kafka版暂未限制 Topic 的数量。但是每个 Topic 至少包含一个分区,每个实例规格提供的分区数量额度不同,如果当前已创建的 Topic 占用了所有分区额度,则无法再创建新的 Topic。您需要购买更多分区,或升级实例规格后才能再次创建 Topic。

支持多少个分区?

消息队列 Kafka版提供多种实例规格,每个实例规格对应的分区数量额度不同。各个规格均提供不同数量的免费分区额度,您也可以根据业务需求购买更大分区额度。各个规格对应的分区数量上限请参考下表。

计算规格

业务读流量峰值(MB/s)

业务写流量峰值(MB/s)

免费分区数

分区额度

磁盘容量(GiB)

kafka.20xrate.hw

20

20

350

350~1000

300~96000

kafka.30xrate.hw

30

30

350

350~1000

300~96000

kafka.60xrate.hw

60

60

400

400~1000

300~96000

kafka.100xrate.hw

100

100

600

600~3000

600~96000

kafka.150xrate.hw

150

150

700

700~3000

900~96000

kafka.200xrate.hw

200

200

750

750~3000

1200~96000

kafka.250xrate.hw

250

250

800

800~3000

1500~96000

kafka.300xrate.hw

300

300

900

900~3000

1800~192000

kafka.600xrate.hw

600

600

1800

1800~5000

2400~192000

kafka.800xrate.hw

800

800

2400

2400~6000

4000~288000

kafka.1000xrate.hw

1000

1000

3000

3000~7000

5500~384000

kafka.1200xrate.hw

1200

1200

3600

3600~8000

6500~480000

kafka.1500xrate.hw

1500

1500

3600

3600~8000

8000~576000

Topic 是否支持 ACL 权限配置?

支持。消息队列 Kafka版支持配置 ACL 权限策略,即指定不同 SASL 用户对于指定 Topic、Group 的权限。
在控制台的ACL管理页签中单击新增ACL,并填写 ACL 策略。详细的操作步骤请参考创建 ACL

如何管理 Group 的 offset?

Broker 会如实记录 Consumer 客户端提交的消费位点信息。通常情况下,消费位点的提交机制取决于对接的 Kafka 客户端 SDK,SDK 通过以下两种机制指定消费位点:

  • 自动提交消费位点:Kafka 客户端 SDK 按照指定的时间间隔,将已消费的最新消息对应的位点+1 提交到 Broker。
  • 手动提交消费位点:Kafka 客户端 SDK 通过应用程序,把消费过的最新消息的位点+1 提交到 Broker。

您可以在控制台Group详情页的消费状态区域,找到指定 Topic 对应的提交offset位置一列,该位点即 Consumer 客户端提交的消费位点,Consumer 消费时,会从这个位点继续消费。详细操作步骤请参考查看 Group 消费状态

消息队列支持重置 Group 的消费位点,重置方式如下。详细的说明请参考重置消费位点

  • 根据最新 offset 位点重置:跳过所有堆积消息,从最新位点开始消费。堆积的消息本身并不会因此被删除。
  • 根据时间点重置:从过去的某个指定时段内选择一个时间点开始消费。该时间段由 Topic 的消息保留时间决定。
  • 根据指定 offset 位点重置:从当前分区的某个指定位点开始消费。重置后,Group 在当前分区中将指定位点开始消费。

Group 不需要订阅 Topic 时,如何删除订阅关系?

在控制台删除 Topic 或删除 Group 都无法删除订阅关系,您需要在 Kafka 客户端中取消订阅该 Topic。

如何删除 Topic 中的消息?

消息队列 Kafka版不支持删除指定的某一条消息,但是您可以通过删除 Topic 或修改 Topic 的消息保留时长来批量删除消息。

  • 删除 Topic:直接删除 Topic 会同时删除此 Topic 中存储的所有消息,请谨慎操作。
  • 修改 Topic 的消息保留时长:缩短 Topic 的消息保留时间,加速 Topic 中的消息老化速度。该方式也会批量删除消息,请谨慎操作。