如何查询指定时间段内Kafka主题的最大占用规模

一、管理UI工具方案 #

• Kafka Manager：支持主题级存储监控，在目标主题的详情页中，可选择时间范围查看存储趋势图表，直接定位该时间段内的主题最大磁盘占用量，还能导出数据做后续分析。
• Prometheus + Grafana：通过Kafka Exporter采集主题分区级指标kafka_topic_partition_current_size，在Grafana面板中配置时间范围后，用max_over_time()函数对分区大小求和后的结果取最大值，即可得到指定时间段内主题的最大占用量。

二、脚本/命令行方案 #

• Kafka自带工具kafka-log-dirs.sh：
  定期执行该脚本获取主题各分区大小，统计总和并记录历史数据，后续从记录中提取指定时间段的最大值。示例命令：

  ./kafka-log-dirs.sh --bootstrap-server <你的Broker地址> --describe --topic <目标主题名称>
  

  解析输出里的Size字段，累加得到主题总大小，配合crontab定时执行并写入日志文件，最后通过日志分析工具（如awk、grep）筛选出目标时间段的最大值。
• 自定义Python脚本：
  借助kafka-python库调用AdminClient接口获取分区大小，累加后记录到本地文件或时序数据库，后续查询指定时间段的最大值。示例核心逻辑：

  from kafka.admin import KafkaAdminClient
  
  admin_client = KafkaAdminClient(bootstrap_servers="<你的Broker地址>")
  log_dir_details = admin_client.describe_log_dirs()
  total_size = 0
  topic_name = "<目标主题名称>"
  
  for broker_data in log_dir_details.values():
      for partition_path, partition_info in broker_data["partitions"].items():
          if partition_path.split("-")[0] == topic_name:
              total_size += partition_info["size"]
  
  print(f"当前主题总占用: {round(total_size / (1024**3), 2)} GB")
  

  用定时任务（如systemd timer、crontab）周期性运行脚本并记录结果，之后编写简单分析脚本从记录中找出指定时间段的峰值。

注意事项 #

• 用自带工具时，定时执行的频率要足够（比如5分钟一次），避免错过短时间内的占用峰值。
• 采用监控系统方案时，需提前确保指标采集的时间范围覆盖你需要查询的周期，避免数据缺失。

内容的提问来源于stack exchange，提问作者user2585494