K8s环境下Nginx反向代理Prometheus UI频繁报502错误如何解决？

1. 优先确认端口配置一致性 #

• 日志显示Nginx反向代理的目标端口为8080，而Prometheus默认监听端口为9090，首先校验Prometheus实际监听端口：执行kubectl exec -it <Prometheus Pod名称> -- ss -tulpn查看Pod内进程的监听端口，确认是否与Nginx upstream配置的端口一致。
• 核对Prometheus Service配置：检查Service的targetPort是否匹配Pod监听端口，port字段是否为Nginx配置中指向的Service端口。

2. 验证Nginx到Prometheus的网络连通性 #

进入Nginx Pod内部执行连通性测试：

• 测试Service连通性：curl <Prometheus Service名称>.<命名空间>.svc.cluster.local:<Service端口>，如果访问失败，排查Service的端点是否正常：执行kubectl get endpoints <Prometheus Service名称>，确认端点列表包含正常运行的Prometheus Pod IP。
• 测试Pod直连连通性：curl <Prometheus Pod IP>:<Pod监听端口>，如果直连也失败，排查K8s集群网络策略、节点防火墙规则，是否允许Nginx所在Pod访问Prometheus Pod的对应端口。

3. 检查Nginx配置合理性 #

• 禁止在Nginx upstream配置中写死Prometheus Pod IP，Pod重建后IP会变化，必须配置为Prometheus Service的域名或固定ClusterIP。
• 检查proxy_pass相关路径重写规则，确认不会出现路径拼接错误，导致Prometheus接收到非法请求路径。
• 确认Nginx没有配置错误的健康检查规则，导致正常的Prometheus节点被误摘除。

4. 排查Prometheus服务可用性 #

• 执行kubectl describe pod <Prometheus Pod名称>查看Pod事件，确认是否存在OOM被 Kill、重启、端口占用等异常。
• 查看Prometheus启动日志，确认服务是否正常完成启动，没有配置错误导致的进程退出。
• 检查Prometheus的CPU/内存资源使用情况，确认是否因为资源不足导致服务无响应、拒绝连接。

5. 连接提前关闭类报错优化 #

• 适当调大Nginx代理超时参数：增加proxy_connect_timeout、proxy_send_timeout、proxy_read_timeout的数值，避免Prometheus查询大时间范围监控数据时超时，导致连接被提前断开。
• 排查客户端侧网络是否存在不稳定、主动超时断开的情况。

内容的提问来源于stack exchange，提问作者Nanda Kumar R