Kubernetes运行Prometheus端口转发返回空响应及权限拒绝问题

1. 优先检查SELinux策略限制 #

CentOS 7默认启用SELinux强制访问控制，是触发socat端口转发权限拒绝的最常见原因，执行以下步骤验证：

• 执行命令查看当前SELinux状态：getenforce
• 如果返回结果为Enforcing，临时关闭SELinux验证问题：setenforce 0
• 重新执行端口转发命令，测试访问http://localhost:8080是否正常
• 如果验证后问题解决，可通过以下两种方式永久处理：
  • 给9090端口添加SELinux允许规则：semanage port -a -t http_port_t -p tcp 9090
  • 永久关闭SELinux：修改/etc/selinux/config文件，将SELINUX=enforcing改为SELINUX=permissive，重启服务器生效

2. 验证Prometheus监听地址配置 #

确认Prometheus进程没有只绑定本地回环地址：

• 进入Pod内部执行监听查询命令：kubectl exec -n monitoring <你的Prometheus Pod名> -- ss -tulpn | grep 9090
• 如果返回结果中监听地址为127.0.0.1:9090，需要修改Prometheus Deployment的启动参数，添加--web.listen-address=0.0.0.0:9090参数

3. 验证集群内部连通性 #

排除端口转发本身的链路问题，先确认Pod服务本身可访问：

• 先查询Prometheus Pod的IP：kubectl get pod -n monitoring <你的Prometheus Pod名> -o wide
• 启动临时测试Pod发起内部访问：kubectl run -it --rm --restart=Never busybox --image=busybox:1.28 -- curl <上一步查到的PodIP>:9090
• 如果该请求返回正常，说明问题出在节点到Pod的端口转发链路，优先排查SELinux、节点防火墙规则；如果请求失败，说明问题出在Prometheus Pod内部配置

4. 调整Pod运行用户（匹配官方镜像默认配置） #

官方prom/prometheus镜像默认使用UID为65534的非root用户运行，如果你当前部署配置强制以root用户运行，可能触发镜像内部权限限制，可在Deployment的spec.template.spec下添加如下安全上下文配置：

securityContext:
  runAsUser: 65534
  runAsNonRoot: true
  fsGroup: 65534

更新Deployment后等待Pod重建完成，再测试端口转发是否正常。

内容的提问来源于stack exchange，提问作者Jon Hayden