GKE集群使用托管Prometheus无法采集CronJob相关指标求助

检查kube-state-metrics的指标暴露与采集配置 #

GKE托管采集服务依赖kube-state-metrics暴露CronJob和Job相关指标，首先确认采集规则是否存在过滤：

• 登录GCP控制台，进入监控 > 采集 > 托管采集服务，找到目标集群的采集配置
• 排查是否设置了metricIncludeFilter或metricExcludeFilter规则，确认kube_cronjob_next_schedule_time、kube_job_status_failed、kube_job_status_succeeded未被误过滤
• 验证kube-state-metrics服务状态：

  kubectl get svc kube-state-metrics -n kube-system
  

  确保服务存在，且监听8080端口（默认metrics端口）

验证kube-state-metrics本身是否生成目标指标 #

直接在集群内访问kube-state-metrics端点，确认指标是否存在：

• 启动临时调试Pod进行查询：

  kubectl run -it --rm debug --image=busybox -- wget -qO- http://kube-state-metrics.kube-system.svc.cluster.local:8080/metrics | grep -E 'kube_cronjob_next_schedule_time|kube_job_status_(failed|succeeded)'
  

• 若无输出，排查kube-state-metrics配置：
  1. 检查镜像版本（GKE v1.24对应kube-state-metrics v2.x版本，过低版本可能缺失指标）：

     kubectl get pod kube-state-metrics-0 -n kube-system -o jsonpath='{.spec.containers[0].image}'
     

  2. 确认是否有--metric-allowlist参数限制了指标组：

     kubectl get pod kube-state-metrics-0 -n kube-system -o jsonpath='{.spec.containers[0].command}'
     

     若存在该参数，需确保包含cronjobs和jobs相关指标组

检查采集服务权限配置 #

托管采集服务的ServiceAccount需要足够权限访问kube-state-metrics：

• 查看默认采集ServiceAccount的ClusterRoleBinding：

  kubectl get clusterrolebinding gke-metrics-agent-binding -o yaml
  

  确认该ClusterRole包含metrics.k8s.io API组的list、watch权限，以及访问kube-state-metrics服务的权限

强制刷新采集服务配置 #

若以上检查正常，尝试触发采集配置同步：

• 在GCP控制台编辑托管采集配置（无需修改内容，直接保存），触发配置刷新
• 或使用gcloud命令重新启用托管Prometheus：

  gcloud container clusters update [你的集群名称] --region [集群区域] --enable-managed-prometheus
  

确认指标在监控控制台的查询方式 #

指标采集后，需在GCP监控控制台正确查询：

• 进入监控 > 指标资源管理器，选择指标kubernetes.io/cronjob/next_schedule_time、kubernetes.io/job/status_failed、kubernetes.io/job/status_succeeded
• 确认时间范围覆盖CronJob/Job的运行周期，且选择了目标GKE集群

内容的提问来源于stack exchange，提问作者Michel