如何通过开源自动化脚本检查Kafka集群健康及配置合规性

以下方案均可以直接对接运行中的Kafka集群，输出结构化检测报告，覆盖错误配置排查、最佳实践校验需求，完全匹配列出的6类检测项：

原生Shell脚本组合（零额外依赖） #

直接使用Kafka发行版自带的命令行工具封装即可，不需要额外部署第三方组件，适合轻量快速检测场景：

• 核心检测逻辑对应覆盖项：
  • 集群过载判定：通过kafka-run-class.sh kafka.tools.JmxTool拉取Broker请求处理空闲率、请求队列积压长度、磁盘IO饱和度、网络吞吐使用率，持续10分钟以上请求空闲率低于30%即可判定为集群过载
  • 资源统计：执行kafka-topics.sh --bootstrap-server <broker地址> --list统计全量Topic数量，遍历所有Topic累加Partition数得到总Partition计数，同时同步统计未同步副本、离线副本等异常Partition数量
  • 配置合理性校验：采集每个Broker的CPU核数、堆内存配置、磁盘容量，按照单Broker推荐承载200~1000个Partition、总Partition数不超过集群总CPU核数*1000的通用最佳实践阈值，比对当前Topic/Partition规模是否超出资源承载上限
  • 吞吐倾斜检测：按分钟粒度拉取每个Topic、每个Partition的消息流入/流出字节、消息条数，单Partition吞吐超过同Topic下Partition平均吞吐3倍即判定为倾斜
  • 连接数过载检测：通过JMX拉取每个Broker的当前客户端连接数、连接创建速率，结合Broker堆内存配置给出的最大连接阈值（通常1万~3万不等），判定是否存在连接数打满导致的请求阻塞
  • 性能异常检测：拉取生产/消费请求平均延迟、P99延迟、日志刷盘延迟、副本同步延迟，生产请求P99超过200ms、副本同步延迟持续超过10s即判定为性能异常
• 输出逻辑：所有采集结果可以直接封装为结构化Markdown报告，异常项标红提示，同时附上对应的配置修复建议。

Cruise Control 内置检测模块 #

这是业界通用的Kafka开源自动化运维组件，内置完整的集群健康检测能力，适合规模较大、需要常态化检测的集群：

• 部署后直接对接集群JMX和管理接口，不需要额外开发采集逻辑，内置的健康检查接口可以一键导出全量检测报告
• 检测能力完全覆盖需求：自动计算集群多维度资源负载水位判定过载状态，统计Topic/Partition/副本总量并结合当前资源配置给出合理规模上限，自动识别吞吐、磁盘占用的负载倾斜，统计客户端连接数和请求线程池饱和度识别连接过载，持续采集全链路性能指标定位延迟突增、配置错误等问题，所有不符合最佳实践的配置项会直接给出整改建议，比如副本因子配置不合理、消息保留时间过长、分区数不足导致的吞吐瓶颈等。
• 支持自定义检测规则，可以根据客户的集群等级、业务SLA调整阈值，适配不同场景的检测标准。

Kafka Exporter + 自定义规则脚本 #

如果集群已经部署Prometheus监控栈，可以直接用开源的Kafka Exporter采集全量集群指标，配合简单的Python/Shell脚本做规则判定：

• 所有需要检测的指标都已经做了标准化暴露，不需要单独对接JMX开发采集逻辑
• 检测阈值灵活可配，可以根据客户的业务场景调整过载判定、倾斜判定的阈值，检测完成后自动生成带问题等级、影响范围、修复建议的完整报告，适合批量检测多套Kafka集群的场景。

使用提示：所有检测工具对接集群时建议使用只读权限的管理账号，首次运行前先在测试环境验证采集频率，避免高频拉取指标给集群带来额外负载。

内容的提问来源于stack exchange，提问作者kalyan chakravarthy