You need to enable JavaScript to run this app.
导航
数据再均衡
最近更新时间:2024.07.19 12:53:41首次发布时间:2023.09.21 15:36:13

消息队列 Kafka版实例支持数据再均衡功能,开启该功能后,后端服务会在指定时间检查集群 Broker 之间的磁盘倾斜情况,并自动均衡数据。

背景信息

在 Kakfa Broker 磁盘倾斜场景下,某些 Broker 的磁盘使用率明显高于其他 Broker,此时可能导致该 Broker 的消息消费速度成为整个实例的消费进度瓶颈,同时 Kafka 实例中其他 Broker 的数据处理性能、磁盘容量未被充分利用。
消息队列 Kafka版提供数据再均衡功能,对实例集群中所有 Broker 进行数据再均衡。您可以通过云监控查看 Kafka 实例的监控指标,如果实例最大磁盘使用率磁盘倾斜率同时处于高位,表示集群中存在磁盘水位较高的 Broker,且不同 Broker 之间磁盘使用量差异较大。此时推荐进行数据再均衡,以免该 Broker 磁盘达到容量阈值、后端服务自动删除历史数据。
设置数据再均衡后,后端服务会自动在任务管理中创建一个再均衡任务,并在指定时间点启动该任务。在数据再均衡的过程中,后端服务会检查集群中的所有 Broker 磁盘使用量差异,并参考其中的 Topic 分区流量差异,自动均衡所有 Broker 的数据,使不同 Broker 的磁盘使用量基本一致。

注意事项

  • 分区再均衡为邀测功能,若有业务需求,请联系客户经理开通白名单。
  • 数据再均衡会占用实例带宽资源,建议在业务低峰期进行,并谨慎操作。再均衡任务耗时和数据量大小有关,大数据量时可能耗时较久,请耐心等待。
  • 数据再均会触发客户端更新元数据、重连服务端,操作前请确认 Kafka 客户端具有自动更新元数据和自动重连的能力。

操作步骤

  1. 登录消息队列 Kafka版控制台
  2. 在顶部菜单栏的左上角,选择实例所属的地域。
  3. 实例列表页面,单击目标实例名称。
  4. 实例详情页签的右上角单击数据再均衡
  5. 设置再均衡时间
    支持立即执行或在指定时刻执行数据再均衡。
    • 立即执行:后端服务会立即创建并指定数据再均衡任务。
    • 自定义时间:后端服务会立即创建一个再均衡任务,并在指定的时间点启动该任务。
      自定义的时刻应晚于当前时间 5 分钟以上,且在未来 24 小时内。

    说明

    创建自定义时间的再均衡任务后,如果需要修改任务执行时间,可以再次单击数据再均衡,重新设置自定义时间。后端服务会根据最新的自定义时间设置启动任务。

  6. 单击确定