kube-Prometheus-stack中Grafana Pod陷入CrashLoopBackOff问题求助

环境与配置信息 #

• 版本：kube-prometheus-stack 39.8.0
• Grafana存储配置（values.yaml）：

grafana:
  initChownData:
    enabled: false
  persistence:
    enabled: true
    type: pvc
    storageClassName: oci-fss
    accessModes:
    - ReadWriteMany
    size: 50Gi
    finalizers:
    - kubernetes.io/pvc-protection

• Pod状态：pod/prometheus-grafana-54cdc8774f-blfqx 2/3 CrashLoopBackOff
• 当前获取的日志（来自grafana-sc-dashboard边车容器）：

{"time": "2022-11-11T08:07:40.625012+00:00", "level": "INFO", "msg": "Starting collector"}
{"time": "2022-11-11T08:07:40.625190+00:00", "level": "WARNING", "msg": "No folder annotation was provided, defaulting to k8s-sidecar-target-directory"}
{"time": "2022-11-11T08:07:40.625329+00:00", "level": "INFO", "msg": "Loading incluster config ..."}
{"time": "2022-11-11T08:07:40.626083+00:00", "level": "INFO", "msg": "Config for cluster api at 'https://10.96.0.1:443' loaded..."}
{"time": "2022-11-11T08:07:40.626199+00:00", "level": "INFO", "msg": "Unique filenames will not be enforced."}
{"time": "2022-11-11T08:07:40.626283+00:00", "level": "INFO", "msg": "5xx response content will not be enabled."}

核心排查方向 #

1. 主容器日志缺失：当前仅获取了边车容器的日志，grafana主容器的报错信息才是定位问题的关键，边车启动正常不代表主容器能正常运行。
2. OCI-FSS权限不匹配：已禁用initChownData，但OCI-FSS挂载后的目录权限可能不符合Grafana默认运行用户（UID 472，用户grafana）的读写要求。
3. PVC绑定与挂载异常：需确认PVC是否成功绑定到OCI-FSS卷，Pod是否能正常挂载该存储卷。
4. 存储卷依赖冲突：主容器可能因存储卷挂载失败、目录不可写等问题无法启动，导致Pod整体进入CrashLoopBackOff状态。

具体排查操作 #

• 获取Grafana主容器日志：执行命令

  kubectl logs -f pod/prometheus-grafana-54cdc8774f-blfqx -n prometheus grafana
  

  查看主容器的具体报错内容。
• 检查PVC状态：执行以下命令确认PVC绑定情况

  kubectl get pvc -n prometheus
  kubectl describe pvc <grafana-pvc-name> -n prometheus
  

  重点看PVC是否处于Bound状态，以及事件栏是否有绑定失败提示。
• 检查Pod挂载事件：执行命令

  kubectl describe pod prometheus-grafana-54cdc8774f-blfqx -n prometheus
  

  查看Events字段，排查是否有挂载失败、权限错误等信息。
• 验证存储目录权限：如果Pod能短暂启动，进入Grafana容器查看挂载目录权限

  kubectl exec -it pod/prometheus-grafana-54cdc8774f-blfqx -n prometheus -c grafana -- ls -ld /var/lib/grafana
  

  若无法进入容器，可通过OCI控制台查看FSS目录的权限配置。

常见解决方法 #

1. 修复存储权限问题：
   • 若OCI-FSS支持chown操作，可重新启用initChownData，让初始化容器自动调整目录权限。
   • 若OCI-FSS不支持chown，可修改Grafana容器以root用户运行，在values.yaml中添加：

     grafana:
       securityContext:
         runAsUser: 0
         runAsGroup: 0
     

   • 临时测试可在OCI控制台将FSS目录权限设置为777，生产环境建议配置为UID 472可读写。
2. 解决PVC绑定异常：如果PVC未绑定，检查OCI-FSS存储类是否正常工作，确认FSS资源是否足够。
3. 调整边车容器配置：若主容器与边车容器存在目录冲突，可修改边车容器的目标挂载路径，避免与Grafana数据目录重叠。

内容的提问来源于stack exchange，提问作者kachwa