AWS EKS中Prometheus Server Pod CrashLoopBackOff问题求助

核心问题定位 #

日志中出现的connection refused到9090端口，说明Prometheus主进程未成功启动，导致配置重载进程（config-reloader）无法连接到主服务端口。Pod的1/2状态表示其中一个容器（大概率是Prometheus主容器）启动失败并反复重启，最终触发CrashLoopBackOff。

可能的故障原因及对应解决步骤 #

1. 查看Prometheus主容器的完整日志 #

你目前只提供了重载进程的错误日志，主容器的启动日志才是排查关键。执行以下命令获取主容器日志：

kubectl logs <prometheus-server-pod-name> -c prometheus-server

重点查找以下关键字：

• error loading config file：配置文件语法错误或无效
• permission denied：IAM权限不足或文件系统权限问题
• out of memory：资源不足导致OOM被kill

2. 验证IAM角色权限配置 #

你的remoteWrite配置使用了sigv4认证，需确保关联的IAM角色具备AMP写入权限：

• 检查IAM角色是否附加了AmazonPrometheusRemoteWriteAccess托管策略，或自定义策略包含以下权限：

  {
    "Version": "2012-10-17",
    "Statement": [
      {
        "Effect": "Allow",
        "Action": "aps:RemoteWrite",
        "Resource": "arn:aws:aps:eu-west-1:###########:workspace/#############"
      }
    ]
  }
  

• 确认ServiceAccount的eks.amazonaws.com/role-arn注释中的角色ARN正确，且角色信任策略允许EKS OIDC身份提供商关联的ServiceAccount AssumeRole。

3. 检查资源限制与节点资源 #

t3.large实例提供2vCPU和8Gi内存，需确认Prometheus的资源配置是否足够：

• 查看Helm Chart的资源请求/限制配置，默认值可能过低（如requests: 100m CPU/256Mi内存）。可在values.yaml中调整：

  server:
    resources:
      requests:
        cpu: 500m
        memory: 1Gi
      limits:
        cpu: 1
        memory: 2Gi
  

• 执行kubectl describe node <node-name>检查节点剩余资源，确认Pod能分配到足够资源。

4. 验证Prometheus与Kubernetes 1.27的兼容性 #

确保你使用的Prometheus Helm Chart版本支持Kubernetes 1.27：

• 检查Chart版本：执行helm list查看部署的Chart版本，建议使用最新稳定版（如prometheus-community/prometheus >= 25.0.0），该版本已适配K8s 1.27的API变更。

5. 检查Prometheus配置文件有效性 #

手动生成并验证Prometheus配置文件：

• 从Pod中拷贝配置文件：

  kubectl cp <prometheus-server-pod-name>:/etc/prometheus/config_out/prometheus.env.yaml ./prometheus-config.yaml
  

• 使用Prometheus本地工具验证配置：

  promtool check config prometheus-config.yaml
  

  重点检查remoteWrite块的语法是否正确，URL和region是否与AMP workspace匹配。

6. 检查Pod事件 #

执行kubectl describe pod <prometheus-server-pod-name>查看Pod事件，寻找启动失败的直接原因：

• 如MountVolume.SetUp failed：存储卷挂载问题（虽然你说EBS已绑定，但需确认权限）
• Back-off restarting failed container：容器反复重启的具体触发原因

快速验证步骤 #

1. 先临时禁用remoteWrite配置，重新部署Prometheus，看是否能正常启动：

   server:
     remoteWrite: []
   

   如果能启动，说明问题出在remoteWrite的配置或权限上；如果仍无法启动，排查核心配置或资源问题。

内容的提问来源于stack exchange，提问作者Harry