基于Prometheus Adapter的K8s HPA RabbitMQ自定义指标问题排查

1. open_tasks指标未在自定义指标API中暴露的原因 #

以下是核心排查方向：

• 原始指标或标签不匹配：先确认Prometheus中能查询到rabbitmq_detailed_queue_messages_ready指标，且该指标带有kubernetes_namespace和kubernetes_name标签。如果原始指标不存在、标签名称不符（比如部分RabbitMQ exporter用namespace而非kubernetes_namespace），prometheus-adapter无法生成自定义指标。
• 自定义规则配置缺陷：
  • resources.overrides映射错误：你将kubernetes_name关联到service资源，但如果RabbitMQ指标的kubernetes_name对应的是Deployment/Pod名称而非Service，规则无法匹配到有效资源。
  • metricsQuery分组逻辑无效：sum(<<.Series>>{<<.LabelMatchers>>,queue="my-task-queue"}) by (<<.GroupBy>>)中的分组字段依赖resources.overrides定义的资源，如果原始指标没有对应标签，查询结果为空，adapter不会暴露该指标。
• 配置未生效：修改Helm values.yaml后未执行helm upgrade命令重新部署prometheus-adapter，新规则未加载。
• 网络/权限问题：prometheus-adapter无法访问Prometheus实例，导致无法拉取原始指标。

2. HPA配置的错误与遗漏 #

当前配置存在多处关键问题：

• describedObject配置错误：
  • apiVersion应为"v1"，而非"/v1"。
  • name字段填写了指标名open_tasks，但此处需要填写关联的Service名称（即prometheus-adapter规则中映射的Service，通常是RabbitMQ的Service）。
• 目标指标类型不符合需求：
  你的扩容规则是每个实例处理5个任务，队列消息数超过副本数×5时扩容，因此应使用AverageValue而非Value。Value是指标总值，而AverageValue会将总值除以当前副本数，实现按实例分摊任务的逻辑。正确配置：

  target:
    type: AverageValue
    averageValue: "5"
  

• 指标关联逻辑不匹配：如果open_tasks是全局队列的消息数，使用Object类型指标可能不合适，建议调整为External类型指标（需prometheus-adapter支持），或修改规则让指标关联到task-processor的Deployment/Pod。

内容的提问来源于stack exchange，提问作者Stefan